WO2016072595A1 - 전자 장치 및 그 동작 방법 - Google Patents

전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2016072595A1
WO2016072595A1 PCT/KR2015/008471 KR2015008471W WO2016072595A1 WO 2016072595 A1 WO2016072595 A1 WO 2016072595A1 KR 2015008471 W KR2015008471 W KR 2015008471W WO 2016072595 A1 WO2016072595 A1 WO 2016072595A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
emotion
emotional
user
expression
Prior art date
Application number
PCT/KR2015/008471
Other languages
English (en)
French (fr)
Inventor
얀차오
리지쑤엔
후앙잉
슝준준
왕치앙
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201410638408.1A external-priority patent/CN105615902A/zh
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US15/524,419 priority Critical patent/US20180285641A1/en
Priority to EP15857415.2A priority patent/EP3217254A4/en
Publication of WO2016072595A1 publication Critical patent/WO2016072595A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present application relates to the field of computer technology, and more particularly to the field of human-computer interaction technology, and more particularly to an electronic device for monitoring emotions and a method of operating the same.
  • an electronic device obtains emotion expression information representing emotions of a memory, a display unit, and a user, obtains emotion stimulation source information indicating a cause of the emotion, and compares the emotion expression information with the emotion stimulation source information.
  • a control unit for associating, storing the associated emotional expression information and the emotional stimulus source information in the memory, and displaying the emotional expression information and the emotional stimulus source information on the display unit.
  • An electronic device for monitoring emotions and a method of operating the same may be provided.
  • 1 is a schematic diagram of recording emotional information
  • FIG. 2 is a flowchart illustrating a method for monitoring emotions according to an embodiment of the present application
  • FIG. 3 is a schematic diagram of an application scene of the embodiment shown in FIG. 2;
  • FIG. 4 is a flowchart illustrating a method for monitoring emotions according to another embodiment of the present application.
  • FIG. 5 is a flowchart illustrating a method for monitoring emotions according to another embodiment of the present application.
  • FIG. 6 is a schematic diagram of an application scene of the embodiment shown in FIG. 5;
  • FIG. 7A is a schematic diagram of an application scene of an embodiment
  • FIG. 7B is another schematic diagram of an application scene of an embodiment
  • FIG. 8 is a flowchart illustrating a method for monitoring emotions according to another embodiment of the present application.
  • FIG. 9 is a schematic diagram of an application scene of the embodiment shown in FIG. 8.
  • FIG. 10 is a schematic diagram illustrating an apparatus for monitoring emotions according to an embodiment of the present application.
  • FIG. 11 is a schematic diagram illustrating an apparatus for monitoring emotions according to another embodiment of the present application.
  • FIG. 12 is a block diagram showing an apparatus for monitoring emotions according to another embodiment of the present application.
  • FIG. 13 is a block diagram showing an apparatus for monitoring emotions according to another embodiment of the present application.
  • FIG. 14 is a block diagram illustrating a configuration of an electronic device according to some embodiments.
  • FIG. 15 is a block diagram illustrating still another configuration of the electronic device of FIG. 14.
  • an electronic device obtains emotion expression information representing emotions of a memory, a display unit, and a user, obtains emotion stimulation source information indicating a cause of the emotion, and compares the emotion expression information with the emotion stimulation source information.
  • a control unit for associating, storing the associated emotional expression information and the emotional stimulus source information in the memory, and displaying the emotional expression information and the emotional stimulus source information on the display unit.
  • the controller may display content indicating the emotion of the user over time on the display unit.
  • the electronic device may further include a user input unit configured to receive a user input of selecting a specific time from the content, and the controller may display the emotion expression information and the emotion stimulation source information related to the selected time on the display unit. have.
  • the controller may acquire the emotional stimulus source information based on at least one of multimedia information, environment information, and physiological signal information of the user, wherein the multimedia information includes at least one of text information, image information, audio information, and video information. It may include.
  • the controller may acquire the emotion expression information based on at least one of the multimedia information and the physiological signal information.
  • the electronic device may further include a communication unit configured to communicate with at least one of a server and a second electronic device used by the second user, wherein the controller is further configured to express an emotion of a second user associated with the user based on the multimedia information.
  • a communication unit configured to communicate with at least one of a server and a second electronic device used by the second user, wherein the controller is further configured to express an emotion of a second user associated with the user based on the multimedia information.
  • the communication unit may be controlled to share with the user.
  • the control unit receives at least one of third emotion expression information representing the emotion of the user and third emotion stimulation source information corresponding to the third emotion expression information, which are shared by the second user, through the communication unit,
  • the emotion expression information and the emotion stimulation source information may be combined with at least one of the third emotion expression information and the third emotion stimulation source information.
  • the control unit stores the associated emotion expression information and the emotion stimulation source information in the memory, and then monitors a change in emotion type and a change in emotion intensity with respect to the emotion of the user, so that the emotion type does not change, When the change in the emotion intensity is greater than a threshold value, the emotion expression information and the emotion stimulation source information may be updated.
  • the controller may normalize the emotion intensity.
  • the controller may obtain emotion management recommendation information based on the emotion expression information and the emotion stimulation source information, and display the emotion management recommendation information on the display unit.
  • a method of operating an electronic device may include obtaining emotion expression information indicating a user's emotion, obtaining emotion stimulation source information indicating a cause of the emotion, and converting the emotion expression information to the emotion stimulation source information. And associating the associated emotional expression information and the emotional stimulus source information and displaying the emotional expression information and the emotional stimulus source information.
  • the method may further comprise displaying content indicative of the user's emotion over time.
  • the method may further include receiving a user input for selecting a specific time in the content, and displaying the emotion expression information and the emotion stimulation source information may include the emotion expression information associated with the selected time. And displaying the emotional stimulus source information.
  • the acquiring of the emotional stimulus source information may include acquiring the emotional stimulus source information based on at least one of multimedia information, environment information, and physiological signal information of the user, wherein the multimedia information includes text information and an image. It may include at least one of information, audio information, and video information.
  • Acquiring the emotional expression information may include acquiring the emotional expression information based on at least one of the multimedia information and the physiological signal information.
  • the method includes obtaining at least one of second emotion expression information indicating emotion of a second user associated with the user and second emotion stimulation source information indicating a cause of the emotion of the second user based on the multimedia information;
  • the method may further include sharing at least one of the second emotional expression information and the second emotional stimulation source information with the second user.
  • the method comprises receiving at least one of third emotional expression information representing the emotion of the user and third emotional stimulation source information corresponding to the third emotional expression information shared by the second user and the emotional expression And combining the information and the emotional stimulation source information with at least one of the third emotional expression information and the third emotional stimulation source information.
  • the method comprises storing the associated emotional expression information and the emotional stimulus source information, then monitoring a change in the emotion type and a change in the emotion intensity with respect to the emotion of the user and the emotion type is not changed, the emotion If the change in intensity is greater than a threshold value, the method may further include updating the emotional expression information and the emotional stimulation source information.
  • the method may further include obtaining emotion management recommendation information based on the emotion expression information and the emotion stimulation source information and displaying the emotion management recommendation information.
  • 1 is a schematic diagram of recording emotion information.
  • different emotion images may be distinguished according to emotion types, and a simple emotion tag such as "happy”, “surprised”, “sad”, “angry”, etc. may be attached to each emotion type. have.
  • a simple emotion tag such as "happy”, “surprised”, “sad”, “angry”, etc.
  • the user can only obtain a simple emotion tag and cannot effectively manage or analyze emotion changes when recalling emotions in the future.
  • FIG. 2 shows a flowchart 200 illustrating a method for monitoring emotions according to one embodiment.
  • the method may be used in various terminals such as smart phones, smart TVs, tablet computers, portable laptop computers, desktop computers, wearable devices, and the like.
  • the method for monitoring emotions includes the following steps.
  • step 201 emotional expression information of the current emotion of the user is obtained.
  • the emotional expression information is external presentation information that can reflect the characteristics of the current emotion of the user, and specifically, the expression of the current face of the user, the body movement of the user, the pronunciation and intonation of the user's voice, and the user. It may include information such as speech that represents the input text or emotions of the.
  • the terminal may include various information collecting devices such as a camera and a microphone, may actively collect the emotion expression information of the current emotion of the user, or may include text and speech. Emotional expression information may be extracted from the user's input information such as.
  • step 202 emotional stimulus source information of the current emotion is obtained.
  • the emotional stimulus source information may be the causes that caused the user's current emotion.
  • Causes that provoke the user's emotions can be various possible causes, including people, objects, events, sentences, actions, and combinations thereof.
  • all the information currently obtained by the terminal may be analyzed, and the emotional stimulus source information may be extracted.
  • step 203 the emotional expression information is associated with the emotional stimulus source information, and the associated emotional expression information and the emotional stimulus source information are stored.
  • the emotional expression information and the emotional stimulus source obtained at a time point or in a preset time interval when associating the emotional expression information with the emotional stimulus source information and storing the associated emotional expression information and the emotional stimulus source information.
  • the information may be associated according to the time relationship of the information acquisition, and the associated emotional expression information and the emotional stimulus source information may be stored in the storage of the terminal itself or in external devices such as cloud storage and a server.
  • FIG. 3 shows an application scene.
  • the user posts a text message 302 indicating "Today I have a dinner with my family together.Happy!
  • the terminal 301 can obtain word information “Happy” representing a self-emotional expression from the message 302, and also the picture.
  • word information “Happy” representing a self-emotional expression from the message 302, and also the picture.
  • the smiley face and word information "Happy” is emotional expression information of the user's current emotion.
  • the terminal may also obtain event information "I have a dinner with my family together" from the text message 302, and may further determine that the event is emotional stimulus source information of the current emotion by semantic analysis.
  • the terminal may associate the emotion expression information “Happy” and the smiley face in the picture with the event information “I have a dinner with my family together” and store the associated emotion expression information and the event information.
  • the user can see that the reason why he was so happy at that time was that the user had dinner with the family.
  • Biological characteristic information includes, but is not limited to, facial feature information, voiceprint information, iris information, and physiological signal feature information.
  • Stored emotional expression information and emotional stimulus source information may be displayed on the user device.
  • the above-described embodiment of the present application obtains the emotion expression information of the current emotion and the emotion stimulation source information of the current emotion, associates the emotion expression information with the emotion stimulation source information, and the associated emotion expression information and the emotion stimulation source information. It provides a method for monitoring emotions by storing the information, and can record the stimulus source information of the emotion expressions while recording the user's emotion expressions, thereby extending the scope of monitoring emotions, and traceability of the emotion expressions. To ensure.
  • FIG. 4 shows a flowchart 400 illustrating a method for monitoring emotions according to another embodiment.
  • Flowchart 400 includes the following steps.
  • the emotion expression information of the current emotion of the user is determined according to the currently collected multimedia information and / or physiological signal information, and the multimedia information includes at least one of text information, image information, audio information, and video information.
  • the terminal may use a multimedia sensor to collect multimedia information, and / or use a physiological signal sensor to collect physiological signal information of the user.
  • the terminal may use an image sensor for collecting image information, use an audio sensor for collecting audio information, use the above two sensors to collect video information, Or a text acquiring technique for acquiring a text message input by the user, such as a short message edited by the user, a text description attached to the photo, or the like.
  • the collected physiological signal information includes, but is not limited to, heart rate, electrocardiogram, skin conductance, body temperature and blood pressure.
  • the terminal may perform data analysis on at least one of the collected text information, image information, audio information, video information, and physiological signal information to determine emotion expression information of the current emotion of the user. For example, if a textual depiction characterizing emotions such as sadness and happiness is obtained from currently collected text information, the text information may be emotional expression information; If the smiley face of the user is extracted from the currently collected image information, the image information may be emotional expression information; If the user's crying voice is extracted from the currently collected audio information, the audio information may be emotional expression information; If a signal characterizing hypertension is extracted from currently collected physiological signal information, the physiological signal information may be emotional expression information; If the painful expression and / or painful moan of the user is extracted from the currently collected video information, the video information may be emotional expression information; If one or more emotional expression information is simultaneously collected in different file formats, the one or more emotional expression information is considered as emotional expression information.
  • a textual depiction characterizing emotions such as sadness and happiness is obtained from currently collected text information
  • the text information may be emotional expression information
  • step 402 emotional stimulus source information of the current emotion is obtained.
  • the emotional stimulus source information may be the causes that caused the user's current emotion.
  • the causes can be people, objects, events, sentences, actions, and the like.
  • all the information currently obtained by the terminal may be analyzed, and the emotional stimulus source information may be extracted.
  • step 403 if a change in the current emotion is detected, the emotional expression information is associated with the emotional stimulus source information, and the associated emotional expression information and the emotional stimulus source information are stored.
  • the emotional state of the user may continue to be collected at some sampling frequency by the emotional expression information obtained in step 401. If a change in the user's emotion is detected, the emotional expression information and the emotional stimulus source information obtained in step 402 are associated and stored. That is, the terminal may continuously collect the emotion expression information and determine the current emotion of the user based on the emotion expression information. In addition, when the user's emotion is maintained in a stable state, the terminal does not need to store the collected emotional expression information and the collected emotional stimulus source information. Only when the current emotion changes considerably, the terminal needs to associate the emotion expression information with the emotion stimulation source information and store the associated emotion expression information and the emotion stimulation source information.
  • the change in the current emotion includes a change in the emotion type or a change in the intensity of the current emotion.
  • the emotion type may represent a classification of emotions according to human emotion cognition, and in particular, includes calmness, joy, sadness, surprise, anger and fear. do;
  • the emotion intensity change may indicate the saturation degree of a particular type of emotion in terms of expressing each emotion. Since emotion can include two attributes: emotion type and emotion intensity, changes in the current emotion can also include two aspects of change. One is a change in emotion type, such as a change from calm to joy, and the other is a change in emotion intensity, such as a change from joy to very joy.
  • the emotion type and emotion intensity may be obtained according to the emotion expression information, since the other emotion types and the emotion intensities correspond to other emotion characteristic parameters, which may include expression parameters and speech parameters (eg For example, the facial feature "rise of mouth angle" corresponds to emotion type "joy", and the greater the magnitude of the elevation, the higher the intensity of emotion).
  • Emotional feature parameters may be extracted from the collected emotional expression information of the current emotion, and the emotion type and the emotion intensity of the current emotion may be further determined according to the emotion feature parameters.
  • the emotion intensity change is implemented as if the magnitude of the emotion intensity change reaches a preset threshold.
  • different intensity values that are directly proportional to the saturation of the emotion may be assigned to different emotion intensities.
  • the change in the emotion intensity may indicate a change in the emotion intensity value, and the magnitude of the change in the emotion intensity value reaches a preset threshold.
  • the emotional expression information and the emotional stimulus source information may be stored only when the variation in the intensity of emotion reaches a certain degree for the same emotion type. Otherwise, related emotional information does not need to be stored.
  • conversion may be performed on the collected emotional expression information, and the converted emotional expression information and emotional stimulus source information may be associated and stored.
  • the terminal may perform informatization extraction on the directly collected emotion expression information, so that information elements that may represent the characteristics of the current emotion may be obtained, and the expression type conversion may be further performed on the information elements.
  • the smiley face of the user may be extracted from the group picture as an information element representing the emotion characteristics of the user by facial feature recognition technology, and the expression shape conversion is performed on the smiley face.
  • the actual smiley face may be converted into an animated smiley face, audio information including laughter sounds, or text information including the word "happy".
  • the converted emotional expression information and emotional stimulus source information are then associated and stored. As such, if the emotional expression information needs to be stored, all the emotional expression information can be first converted into the same type of information, and the same type of information is stored for subsequent information management. Alternatively, the collected audio information can be converted into a text message and stored, reducing the space required for information storage.
  • the emotional expression information includes at least one of text information, image information, audio information, video information, and physiological signal information.
  • the method for monitoring emotions of the embodiment shown in FIG. 4 is illustrative of how to obtain emotional expression information and when the emotional expression information and the emotional stimulus source information are stored. Describe the implementation. Specifically, the emotion expression information of the current emotion of the user is first determined according to at least one of the currently collected image information, audio information, video information, and physiological signal information, emotion stimulation source information of the current emotion is obtained, and If a change is detected, emotional expression information and emotional stimulus source information are associated and stored. Embodiments associate emotional expression information with emotional stimulus source information and further determine triggers for storing associated emotional expression information and emotional stimulus source information, such that the stored emotional relationship information effectively characterizes the state of emotional change. And improve the efficiency of monitoring emotions.
  • FIG. 5 shows a flowchart 500 illustrating a method for monitoring emotions in accordance with another embodiment of the present application.
  • the method for monitoring emotions includes the following steps.
  • step 501 emotional expression information of the current emotion of the user is obtained.
  • step 502 the emotional stimulus source information of the current emotion is determined according to at least one of the currently obtained multimedia information, environmental information, and physiological signal information.
  • the emotional stimulus source information of the current emotion is determined according to at least one of the currently obtained multimedia information, environmental information, and physiological signal information.
  • the terminal may acquire at least one of multimedia information, environmental information, and physiological signal information by various signal sensors, perform data analysis on at least one of the collected information, and according to a result of the data analysis. Emotion stimulation source information of the current emotion may be determined.
  • determining the emotional stimulation source information according to the currently obtained multimedia information includes determining the emotional stimulation source information according to the currently output and / or collected multimedia information.
  • the multimedia information includes at least one of text information, image information, audio information, and video information.
  • the multimedia information output and / or collected by the terminal is obtained. Data analysis is performed on the multimedia information, and emotional stimulus source information causing an emotional change can be determined according to the results of the data analysis.
  • determining the emotional stimulus source information according to the currently obtained multimedia information may include: currently output and / or collected audio information, attribute information derived from the audio information, a preset time of the audio information. And selecting at least one of semantic information derived from the audio segment and the audio information in the section as the emotional stimulation source information.
  • the audio information currently output and / or collected by the terminal is first obtained.
  • Data analysis on the next audio information is performed to derive the attribute information derived from the audio information, the audio segment in the predetermined time interval of the audio information, the semantic information derived from the audio information, the event information derived from the audio information, and the audio information.
  • Acquired personal information Thereafter, at least one of the audio information, the attribute information derived from the audio information, the semantic information derived from the audio segment and the audio information in a predetermined time interval of the audio information is selected as the emotional stimulation source information.
  • the preset time interval may be an interval before and / or after the current time point.
  • the terminal when the terminal outputs (ie, plays) a song, the currently played song can be obtained by detecting an operating state of the terminal, to obtain at least one of the following three items: a) Song Attribute information such as title, artist / performer and album can be obtained by performing data analysis on the song; b) semantic information, such as song lyrics and the central content of the lyrics, obtained by semantic analysis can be obtained; And c) an audio segment in a preset time interval can be obtained by splitting a song.
  • Song Attribute information such as title, artist / performer and album
  • semantic information such as song lyrics and the central content of the lyrics, obtained by semantic analysis can be obtained
  • an audio segment in a preset time interval can be obtained by splitting a song.
  • the terminal may actively collect audio of the call and perform data analysis on the audio, obtaining at least one of the following three items: To: a) attribute information such as caller, talk time and caller and calling frequency between callers can be obtained; b) semantic information may be obtained by semantic analysis of the call content; c) An audio segment in a preset time interval may be obtained by dividing the call audio. To determine the stimulus source information, stimulus source analysis is performed on the information related to the audio obtained in the two examples above.
  • determining emotional stimulus source information according to the currently output and / or collected multimedia information may include: currently output and / or collected video information, attribute information derived from the video information, video information.
  • attribute information derived from the video information may include: currently output and / or collected video information, attribute information derived from the video information, video information.
  • video information Among the video segment, semantic information derived from the video information, event information derived from the video information, personal information derived from the video information, screenshot information derived from the video information, and audio information derived from the video information in a predetermined time interval of. Selecting at least one as emotional stimulation source information.
  • video information currently output and / or collected by the terminal is first obtained.
  • Data analysis is then performed on the next video information to obtain video segments in preset time intervals of attribute information, semantic information, event information, personal information and video information.
  • at least one emotional stimulus source information is determined from the information by stimulus source analysis.
  • the preset time interval may be an interval before and / or after the current time point.
  • the terminal when the terminal outputs (ie, plays) a movie, the currently played movie can be obtained by detecting an operating state of the terminal, to obtain at least one of the following four items: a) Movie Attribute information such as title, starring actors, director, and production company can be obtained by performing data analysis on the film; b) semantic information can be obtained, such as a movie dialogue and a summary of the dialogue, obtained by semantic analysis; And c) screenshots can be taken for the movie, wherein the screenshots are analyzed to obtain event information and personal information; And d) video segments within a preset time interval may be obtained by dividing the movie.
  • Movie Attribute information such as title, starring actors, director, and production company can be obtained by performing data analysis on the film
  • semantic information can be obtained, such as a movie dialogue and a summary of the dialogue, obtained by semantic analysis
  • screenshots can be taken for the movie, wherein the screenshots are analyzed to obtain event information and personal information
  • video segments within a preset time interval may be obtained
  • the terminal may actively collect the call video and perform data analysis on the video, obtaining at least one of the following four items: To: a) attribute information such as caller, talk time and caller and call frequency between callers can be obtained; b) semantic information may be obtained by semantic analysis of the video call content; c) screenshots can be taken for the video, the screenshots being analyzed to obtain event information and personal information; And d) video segments within a preset time interval may be obtained by dividing the call video. To determine the stimulus source information, stimulus source analysis is performed on the information related to the video obtained in the two examples above.
  • determining the emotional stimulus source information according to the currently output and / or collected multimedia information is derived from the currently output and / or collected image information, event information derived from the image information, and image information. Selecting at least one of the personal information as the emotional stimulus source information.
  • the image information currently output and / or collected by the terminal is first obtained.
  • Data analysis on the next image information is performed to obtain event information and personal information included in the image information.
  • at least one emotional stimulus source information is determined from the information by stimulus source analysis.
  • the terminal outputs (ie, displays) or collects a picture by the camera
  • a picture currently being browsed may be obtained by detecting an operation state of the terminal, and performing analysis on the picture. This is to obtain event information or personal information.
  • personal information such as a person's name, gender, and age may be determined through features and attire of a person's face.
  • the event information included in the picture is determined by performing analysis on a body motion or a face expression of a person, a picture background, and the like in the picture.
  • stimulus source analysis is performed on the information related to the photograph obtained in the two examples above.
  • FIG. 6 is a schematic diagram of an application scene of an embodiment.
  • the terminal when the user uses the terminal 601 to browse the photo 602, the terminal detects that the user's emotions are suddenly feared, and through the image analysis technique for the photo 602.
  • the terminal may acquire a picture 602.
  • personal information that is, Snow White (first personal information) and old witch (second personal information) in the picture 602 are identified according to the features and clothes of the human face.
  • the first event information of the image ie, the old witch is apologizing to Snow White
  • the queen is an old witch and the apple is poisonous, so that the second event information (that is, the queen wants to give Snow White a poisoned apple to Snow White) can be obtained.
  • the emotional stimulus source information that causes fear to the user that the queen wants to give Snow White a poisoned apple.
  • determining the emotional stimulus source information according to the currently output and / or collected multimedia information may affect at least one of the currently output and / or collected text information and semantic information derived from the text information. Selection as stimulus source information.
  • the text information currently output and / or collected by the terminal is first obtained.
  • Data analysis is then performed on the text information to obtain semantic information derived from the text information.
  • at least one of the text information and the semantic information is determined as the emotional stimulus source information.
  • the terminal outputs (ie, displays) text information
  • the currently browsed text image may be obtained by detecting an operation state of the terminal, and obtaining text information included in the text image by a feature recognition technique. For that.
  • the input words may be directly collected to be used as collected text information.
  • semantic analysis may be performed on the obtained text information to obtain semantic information.
  • stimulus source analysis may be performed on the acquired text information and / or semantic information.
  • the text message input to the user and collected by the terminal is "A lonely stranger in a strange land I am cast, I miss my family all the more on every festive day”
  • this text message is the user Can be used directly as emotional stimulus source information to make people feel sad.
  • semantic analysis may be performed on the textual information to obtain semantic information "being far away from my hometown, I can't reunite with families", which may be used as emotional stimulus source information.
  • the physiological signal information includes health information obtained according to the user's current physiological signal information or physiological signal information.
  • Health information may be obtained by analyzing physiological signal information, and may reflect a user's health status. For example, if the user's collected body temperature signal is 38 ° C., the temperature signal may be analyzed to find that the temperature signal is higher than the normal human body temperature 36 ° C., thus inferring that the user has a fever,
  • the health information may be an image or text representing "fever".
  • physiological signal information is used as emotional stimulation source information, it should be pointed out that the acquired emotional expression information will no longer include physiological signal information. Instead, for example, acquired image information (e.g., a picture of hot flashes by heat) will be used as emotional expression information.
  • acquired image information e.g., a picture of hot flashes by heat
  • the environmental information includes at least one of time information, location information, weather information, temperature information, and humidity information.
  • the environmental information may be used as emotional stimulus source information.
  • the environmental information may be information related to the current environment that may be obtained while collecting the emotional expression information.
  • Information related to the current environment may include time information, geographic information and climate information, such as current weather, temperature and humidity, associated with the obtained emotional expression information.
  • the environmental information may be characterized by text information, image information, audio information and video information. For example, a picture depicting a blue sky can be used as emotional stimulus source information because the picture includes weather information "sunny.”
  • two or three of the aforementioned multimedia information, environmental information and physiological information can be used as emotional stimulus source information if the two or three information causes a change of emotion.
  • the user may select one of the above information to be emotional stimulus source information.
  • the terminal determines that the current emotion of the user is sadness according to the currently collected emotional expression information, and detects the operating state of the terminal, thereby determining that the currently played movie is a movie entitled "Butterfly Lovers", It determines from the weather forecast website that the current weather information is light rain, and determines that the user's current body temperature is higher than normal body temperature according to the temperature signal obtained by the physiological signal sensor. All three pieces of information can be used as emotional stimulus source information to make the user feel sad.
  • the user may receive all three pieces of information and select one or more pieces of information as emotional stimulus source information. For example, if the user likes a rainy day, the user will not select weather information indicating drizzle as the emotional stimulus source information causing grief.
  • the multimedia information, the environmental information and the physiological signal information may be listed simply or as the emotional stimulus source information.
  • the information can be logically analyzed and the analysis results can be used as emotional stimulus source information. For example, if the time information obtained is the user's birthday and video information is collected indicating that the user is celebrating his birthday with his friends, then the text or voice related to "my friends celebrate my birthday" may be time information. And emotional stimulus source information according to a logical analysis of the video information.
  • step 503 emotional expression information and emotional stimulus source information are associated and stored.
  • emotional expression type and emotional intensity are associated with emotional stimulus source information, and the associated emotional expression type, emotional strength and emotional stimulus source information are stored.
  • the emotion type and emotion intensity obtained by the emotional expression information may be associated with the emotional stimulus source information and may be stored. As such, the user may obtain a particular emotion type and emotion intensity, or classify all of the collected emotions according to the emotion types.
  • the emotional intensity may be normalized.
  • different users express their own feelings in different ways. For example, an extrovert does not care about showing his feelings. He will laugh when he is happy, and he will cry when he is sad. In contrast, introverts are rather calm. He will only smile if he feels happy, and weep when he feels sad.
  • the emotion intensity can be normalized. Specifically, for emotions of the same emotion type, the strongest emotion intensity expressed by the user is set to the maximum value MAX, the calmest emotion intensity expressed by the user is set to the minimum value MIN, Other emotion levels X may be normalized based on MAX and MIN.
  • the emotion intensity of the current emotion when the emotion type of the current emotion remains unchanged in a preset sampling time interval, if the emotion intensity of the current emotion is greater than the stored emotion intensity, the stored emotion expression information and the stored emotion stimulation source information are respectively The emotion expression information of the emotion and the emotional stimulus source information of the current emotion are replaced. Specifically, after the association of emotional expression information with emotional stimulus source information and storage of associated information, and the emotion type of the current emotion remains unchanged in a preset sampling interval (eg, 10 minutes), the emotion intensity ranges When fluctuating within, only emotional expression information and associated emotional stimulus source information corresponding to the maximum emotional intensity are stored, not only sufficiently reflecting the emotional state of the user, but also reducing the required storage space.
  • a preset sampling interval eg, 10 minutes
  • the emotional expression information and the emotional stimulus source information obtained at the time of the change are associated and stored, at which time the value of the emotional intensity is 60%. Can be stored as.
  • the value of the emotional intensity changes for example, if the value of the emotional intensity changes from 70 minutes to 70%
  • the previously stored information is 7 minutes. Is replaced with the emotional expression information and the emotional stimulus source information obtained in.
  • the value of the emotional intensity increases to 95% at 7 minutes ie, the magnitude of the change is 35% greater than the preset size threshold, for example 30%
  • the emotional expression information obtained at 7 minutes are associated and stored, while previously stored information is still preserved.
  • the stored emotional expression information and associated emotional stimulus source information are shared and displayed.
  • the user may share the stored emotional expression information and associated emotional stimulus source information in a wired or wireless manner, for example, the user may post the information on a social platform, or to any contactable person.
  • Can send information Alternatively, the user can display the information on the user's terminal.
  • the user can log in to the system by the identity of the registered user, in which the information is stored through various terminals of different platforms, and the stored emotional expression information and emotional stimulus source information are browsed. .
  • the user can bind the user's biological information and the user's ID, so that the terminal can automatically identify the current user and log in to the associated system.
  • data analysis is performed on the stored emotional expression information and associated emotional stimulus source information, and the analysis results are shared or displayed.
  • data analysis may be performed on stored emotional expression information and associated emotional stimulus source information, and may be performed primarily with a focus on causes and variations in emotion.
  • related information such as stored emotional expression information
  • the stored emotional expression information and associated emotional stimulus source information may be formed to be a slide file. The graph or slide file can then be shared or displayed.
  • data analysis is performed on emotional expression information and associated emotional stimulus source information
  • emotional management recommendation information is output in accordance with the data analysis results.
  • the emotion management recommendation information may be input according to the data analysis result. For example, if data analysis reveals that a user's feelings are upset in a time interval and the causes that caused the anger are minor, the emotion management recommendation information can tell the user to control his mood and to control angerable emotions. It can remind you and provide some tips to help the user feel good.
  • FIG. 7A is a schematic diagram of another application scene of an embodiment.
  • a diagram 702 is shown on the terminal 701, in which the histogram represents the degree of change of the user's joy, and each column of the histogram represents a record of joy, The height of the column indicates the degree of intensity of the user's delight.
  • the user wants to know more about a particular condition of a happy emotion, the user can click on the star pattern 703 at the top of the histogram.
  • the terminal includes the emotional expression information of the user's joyful emotion, that is, the user's smiley face 704 and the emotional stimulus source information that caused the user's happy emotion, that is, the SMS 705. It will show you specific information about your feelings. From FIG. 7B, the user can then not only see his joyful feelings, but also recall that the reason he was happy was that he received a message informing him that he was promoted.
  • step 501 and step 503 in the above flowchart are the same as step 201 and step 203 in the above-described embodiment, respectively, and will not be described in detail.
  • the method for monitoring emotions in the embodiment of FIG. 5 shows in more detail an example implementation of obtaining emotional stimulus source information.
  • emotional expression information of the user's current emotion is first obtained.
  • the emotion stimulus source information of the current emotion is determined according to at least one of the currently collected multimedia information, environmental information, and physiological signal information.
  • the emotional expression information and the emotional stimulus source information are associated and stored.
  • the emotional stimulus source information is determined according to the obtained multimedia information, the environmental information and the physiological signal information, and the emotional stimulus source information obtained in such a manner includes almost all possible stimulus source information causing the emotional changes.
  • the stimulus sources thus obtained are more comprehensive, further improving the accuracy of monitoring emotion.
  • FIG. 8 shows a flowchart 800 illustrating a method for monitoring emotion in accordance with another embodiment.
  • the method for monitoring emotions includes the following steps.
  • step 801 when it is detected that the preset emotion monitoring program is executed, emotion expression information and emotion stimulation source information of the user are obtained, and emotion expression information and / or emotion stimulation source information of the associated user are obtained.
  • the emotion monitoring program may be a general program, such as a program designed for monitoring emotions or a short message program, and is implemented in the terminal so that when the general program is set to be executed, the terminal may collect emotion relationship information. It may be a program. Therefore, when a preset emotion monitoring program is executed, the terminal may actively acquire emotion expression information of the user's current emotion and associated emotion expression information and / or emotion stimulation source information.
  • the biological information of the associated user may be recorded such that the emotional expression information and / or emotional stimulation of the associated user from various information currently collected according to the biological information. It should be pointed out that source information can be identified.
  • a selfie taken by user A includes user A's smiley face and user B's slipping and scary emotions in the background, where user A associates user B with user A's associated
  • the terminal may not only acquire user A's emotion expression information, that is, a smiley face, but also user B's emotion expression information, that is, scary emotion and user B's emotion stimulation source information, that is, slipping. ) Can be obtained.
  • the terminal may collect the emotion stimulation source information, obtain the emotion expression information and / or the emotion stimulation source information of the associated user, and the emotion When it is detected that the monitoring program is executed, emotional expression information and emotional stimulation source information of the user are obtained, and emotional expression information and / or emotional stimulation source information of the associated user are obtained.
  • the smiley face of the associated user B may be the emotional stimulus source information of user A, which smiled face is the emotional expression information of the associated user B.
  • step 802 emotional expression information and emotional stimulus source information of the current emotion are associated and stored.
  • step 803 emotional expression information and / or emotional stimulation source information of the associated user is shared with the associated user.
  • the terminal when the terminal acquires the emotion expression information of the associated user in step 801, the terminal may record the information and share the information with the associated user in a wired or wireless manner. Before sharing, the terminal may also output a prompting message to enable the current user to select whether to share the emotional expression information with the associated user.
  • emotional stimulus source information corresponding to the emotional expression information of the associated user if emotional stimulus source information corresponding to the emotional expression information of the associated user is obtained, the emotional expression information and the corresponding emotional stimulation source information of the associated user will be shared with the associated user.
  • emotional stimulus source information corresponding to the emotional expression information may not be obtained correctly. Under such circumstances, only emotional expression information will be shared. Otherwise, emotional expression information will be shared with the corresponding emotional stimulus source information.
  • FIG. 9 is a schematic diagram of an application scene of an embodiment.
  • the terminal 901 displays the group picture 902 that has just been taken.
  • face recognition technology it can be determined that not only the current user A's smiley face 903, but also the user A's friend, that is, the smiley face 904 of the associated user B, is present.
  • terminal 901 may output a prompting message 905 that prompts User A to determine whether to share the picture with User B.
  • step 804 emotional expression information and emotional stimulation source information of an associated user are received.
  • the terminal may also receive emotional expression information and emotional stimulus source information that is associated with the current user and shared with the associated user. Prior to reception, the terminal may also output a prompting message that prompts the current user to select whether to receive the emotion expression information and the emotion stimulus source information.
  • step 805 the emotional expression information and the emotional stimulus source information of the associated user are combined with the stored emotional expression information and the emotional stimulus source information.
  • the terminal after receiving the emotion expression information and the emotion stimulation source information shared by the associated user, stores the received information according to a time sequence and / or location information in which each information is generated. Can be combined with
  • the terminal collects the current user A's laughter and song X's melody through the acoustic sensor, and the associated user B's dancing behavior and smiley face through the image sensor.
  • the user A's emotional expression information is a laugh and the user A's emotional stimulus source information is the user B's dancing behavior, and the user B's emotional expression information is a smiley face.
  • the emotional stimulus source information of user B may be determined to be a melody of song X.
  • the emotional expression information and emotional stimulus information of the current user and associated user may be mixed together. Indeed, different emotional relationship information can be distinguished according to different application scenes.
  • the received information may be combined with the information stored in the terminal.
  • a time at which received emotional relationship information is generated can be obtained, and the received emotional relationship information is stored as information related to the corresponding time.
  • the emotional expression information of the user B stored in the day includes the emotional expression information X generated at 9 o'clock and the emotional expression information Y generated at 11 o'clock.
  • the information Z may be stored as the emotional expression information of user B.
  • the user B receives other emotional expression information M generated at 9:00, the received information M and previously stored information X are used together as emotional expression information generated at 9:00;
  • the common emotional expression features of information M and information X may be extracted to form the emotional expression information of 9 o'clock.
  • location information indicating where the received emotional relationship information was generated may be obtained, the emotional relationship information being combined with other stored information generated at the same location.
  • the stored emotional stimulus source information of user B is the emotional stimulus source information N generated at position 1.
  • information P may be stored as user B's emotional stimulus source information.
  • both the received information Q and the previously stored information N are used as the emotional expression information generated at position 1.
  • time information and location information regarding each of the time and place where the received emotional relationship information was generated may be obtained simultaneously, and the emotional relationship information generated at the same location is combined according to time links.
  • the method for monitoring the emotions of the embodiment describes in more detail an example implementation of obtaining emotional expression information and emotional stimulation source information of an associated user.
  • the terminal may collect the emotion relationship information of the associated user while collecting the emotion relationship information of the current user, and may share it with the associated user.
  • the terminal may receive sentiment relation information transmitted from the associated user.
  • Embodiments broaden the source from which emotional relationship information can be obtained, further improving the range of monitoring emotions.
  • an apparatus for monitoring emotions of an embodiment includes: expression information acquisition module 1010, stimulus information acquisition module 1020, and association and storage module 1030.
  • the expression information obtaining module 1010 is configured to obtain emotion expression information of the current emotion of the user;
  • the stimulus information obtaining module 1020 is configured to obtain emotional stimulus source information of the current emotion
  • the associating and storing module 1030 is configured to associate the emotional expression information obtained by the expression information obtaining module 1010 with the emotional stimulus source information obtained by the stimulus information obtaining module 1020, and the associated emotional expression information and Store emotional stimulus source information.
  • the foregoing embodiment of the present application provides an apparatus for monitoring emotions.
  • the emotion expression information of the current emotion of the user is obtained by the expression information obtaining module
  • the emotion stimulation source information of the current emotion is obtained by the stimulus information obtaining module
  • the emotion expression information and the emotion stimulation source information are obtained by the association and storage module.
  • the device can record both the emotional expression of the user and the stimulus source information that caused the emotional expression, thus broadening the scope of monitoring emotions and ensuring traceability of the emotional expression.
  • the expression information obtaining module 1010 obtains the expression information for determining the emotion expression information of the current emotion of the user according to the currently collected multimedia information and / or physiological signal information. It further includes a submodule.
  • the multimedia information includes at least one of text information, image information, audio information, and video information.
  • the apparatus for monitoring the aforementioned emotions further includes a change detection module, not shown in the figures, for detecting a change in the current emotion.
  • the associating and storing module 1030 associates the emotional expression information with the emotional stimulus source information and stores the associated emotional expression information and the emotional stimulus source information.
  • the change in current emotion includes a change in emotion type or a change in emotion intensity.
  • the emotion intensity change comprises a magnitude of the emotion intensity change reaching a preset threshold.
  • the apparatus for monitoring the aforementioned emotions further includes a representation information conversion module, not shown in the figures, for performing information transformation of the emotion expression information.
  • the association and storage module 1030 described above includes an association and storage submodule for associating the converted emotional expression information with emotional stimulation source information and for storing the associated emotional expression information and emotional stimulation source information.
  • the emotional expression information includes at least one of text information, image information, audio information, video information, and physiological signal information.
  • an apparatus for monitoring emotions of the embodiment shown in FIG. 11 relates to associating emotional expression information with emotional stimulation source information and for storing associated emotional expression information and emotional stimulation source information. Further determination of the trigger allows the stored emotional relationship information to effectively characterize the state of emotional change and improve the efficiency of monitoring the emotions.
  • the aforementioned stimulus source information acquisition module 1020 may generate the emotion stimulus source information of the current emotion according to at least one of the currently obtained multimedia information, environmental information, and physiological signal information.
  • the stimulus source information acquisition submodule 1021 is configured to determine the emotional stimulus source information according to the currently output and / or collected multimedia information.
  • the multimedia information includes at least one of text information, image information, audio information, and video information.
  • the stimulus source information acquisition submodule 1021 derives from the currently output and / or collected audio information, attribute information derived from the audio information, audio segment and audio information in a predetermined time interval of the audio information.
  • An audio information unit not shown in the figures, for selecting at least one of the semantic information specified as emotional stimulus source information.
  • the stimulus source information acquisition submodule 1021 may derive from the currently output and / or collected video information, the attribute information derived from the video information, the video segment in the preset time interval of the video information, the video information.
  • the video information may be selected at least one of the semantic information derived from the video information, the event information derived from the video information, the personal information derived from the video information, the screenshot information derived from the video information, and the audio information derived from the video information.
  • Video information units that are not shown.
  • the stimulus source information acquisition submodule 1021 may include at least one of the currently output and / or collected image information, event information derived from the image information, and personal information derived from the image information.
  • An image information unit not shown in the figures, for selection.
  • the stimulus source information acquisition submodule 1021 may, in the figures, select at least one of currently output and / or collected text information and semantic information derived from the text information as emotional stimulation source information.
  • a text information unit not shown.
  • the physiological signal information includes health information derived from the user's current physiological signal information or current physiological signal information.
  • the environmental information includes at least one of time information, location information, weather information, temperature information, and humidity information.
  • the apparatus for monitoring the aforementioned emotions is provided for associating an emotion type and emotion intensity of a current emotion with emotion expression information and storing associated emotion type, emotion intensity and emotion stimulation source information. It further includes a emotion storage module not shown.
  • the apparatus for monitoring the aforementioned emotions further includes a normalization module for normalizing the emotion intensity.
  • the device is maintained unchanged in a preset sampling time interval, and if the emotion intensity of the current emotion is greater than the stored emotion intensity, the stored emotion expression information and stored emotion stimulation source information.
  • an emotion update module not shown in the figures, for respectively replacing s with emotion expression information of the current emotion and emotion stimulus source information of the current emotion.
  • the apparatus for monitoring the aforementioned emotions further comprises a program detection module, not shown in the figures, for detecting the execution of the emotion monitoring program.
  • the apparatus for monitoring the aforementioned emotions includes: a display and sharing module, not shown in the figures, for sharing or displaying stored emotional expression information and associated emotional stimulus source information;
  • a data analysis module not shown in the figures, for performing data analysis on the stored emotional expression information and associated emotional stimulus source information, and for sharing or displaying the data analysis results;
  • the method further includes an emotion recommendation module (not shown in the drawings) for performing data analysis on the stored emotion expression information and the associated emotion stimulus source information and outputting the emotion management recommendation information according to the data analysis result.
  • the apparatus for monitoring the emotions of the embodiment determines the emotional stimulus source information according to the obtained multimedia information, the environmental information and the physiological signal information, and the emotional stimulus source information obtained in such a manner causes almost all possible stimuli to cause emotional changes. Including source information, the stimulus sources thus obtained are more comprehensive, further improving the accuracy of monitoring emotion.
  • the apparatus for monitoring the aforementioned emotions may include an associated emotion acquisition module 1040 and an associated emotion for obtaining emotional expression information and / or emotional stimulation source information of an associated user. And an associated emotion sharing module 1050 for sharing the emotion expression information and / or the emotion stimulation source information of the user.
  • the apparatus for monitoring the above-described emotions is provided by an emotion receiving module 1060 and an emotion receiving module 1060 for receiving emotion expression information and emotion stimulation source information shared by an associated user.
  • Emotion combining module 1070 is further included for combining the received emotional expression information and the emotional stimulus source information with the stored emotional expression information and the stored emotional stimulus source information.
  • the apparatus for monitoring the emotions of the embodiment may obtain the emotional relationship information of the associated user collected from the emotional relationship information of the current user and share it with the associated user.
  • the device may receive emotional relationship information sent from an associated user. Embodiments broaden the source from which emotional relationship information can be obtained, further improving the range of monitoring emotions.
  • Modules described in the foregoing embodiments may be implemented in software or hardware, or may be disposed in a processor.
  • the processor includes a representation information acquisition module, a stimulus source information acquisition module, and an association and storage module.
  • the name of each module does not limit the module itself.
  • the expression information obtaining module may also be described as "a module used to obtain emotional expression information of a user's current emotion".
  • the electronic apparatus 1000 may be an embodiment of the apparatus for monitoring the emotions described in the above drawings, and all of the above descriptions may be applied.
  • the electronic device 1000 may be various electronic devices such as a smart phone, a smart TV, a tablet computer, a portable laptop computer, a desktop computer, a wearable device, and the like.
  • the electronic apparatus 1000 includes a memory 1700, a display unit 1210, and a controller 1300.
  • the controller 1300 may control overall operations of the electronic device 1000 and may process various data required for the operation of the electronic device 1000.
  • the control of the operation of the apparatus for monitoring emotion described above with reference to the drawings, or data processing necessary for the operation may all be performed by the controller 1300. Therefore, the above description may be applied to the electronic device 1000 of FIG. 14 even if not specifically mentioned.
  • the controller 1300 may include a CPU, a microprocessor, a GPU, and the like.
  • the controller 1300 may include modules shown in the above-described drawings.
  • the controller 1300 may obtain emotion expression information indicating the emotion of the user.
  • the controller 1300 may obtain emotional stimulus source information indicating a cause of the emotion.
  • the controller 1300 may associate the emotion expression information with the emotion stimulation source information, and store the associated emotion expression information and the emotion stimulation source information in the memory 1700.
  • the controller 1300 may display the emotion expression information and the emotion stimulation source information on the display unit 1210.
  • the controller 1300 may associate the time information regarding the time at which the emotion expression information and the emotion stimulation source information are obtained with the emotion expression information and the emotion stimulation source information and store the same in the memory 1700.
  • the controller 1300 may display the content indicating the emotion of the user over time on the display 1210.
  • the content may vary from text, charts, slides, graphs, etc. to indicate emotions over time. An example of the content representing the emotion of the user over time is described with reference to FIG. 7A.
  • the controller 1300 may display the emotion expression information and the emotion stimulus source information related to the selected time on the display 1210.
  • the electronic apparatus 1000 may further include a user input unit configured to receive a user input for selecting a specific time from the content.
  • the screen of the display unit 1210 may be switched as shown in FIG. 7B. That is, the controller 1300 may display the emotion expression information and the emotion stimulus source information related to the selected time on the display 1210.
  • the controller 1300 may obtain emotional stimulation source information based on at least one of multimedia information, environment information, and physiological signal information of the user.
  • the multimedia information may include at least one of text information, image information, audio information, and video information.
  • the controller 1300 may acquire the emotion expression information based on at least one of the multimedia information and the physiological signal information.
  • the controller 1300 may store the emotion expression information and the emotion stimulation source information in the memory 1700, and then monitor the change in the emotion type and the intensity of the emotion with respect to the user's emotion. As a result of the monitoring, the emotion type does not change, and when the change in the emotion intensity is greater than the first threshold value, the controller 1300 may update the emotion expression information and the emotion stimulation source information. The controller 1300 may replace the emotion expression information and the emotion stimulation source information previously stored in the memory 1700 with the updated emotion expression information and the emotion stimulation source information. If the change in the emotion intensity is greater than the second threshold value greater than the first threshold value, the controller 1300 preserves the emotion expression information and the emotion stimulation source information previously stored in the memory 1700, and updates the updated emotion expression. Information and emotional stimulus source information may be newly stored in the memory 1700.
  • the controller 1300 may normalize the emotion intensity.
  • the controller 1300 may obtain emotion management recommendation information based on the emotion expression information and the emotion stimulation source information.
  • FIG. 15 is a block diagram illustrating still another configuration of the electronic apparatus 1000 of FIG. 14.
  • the configuration of the electronic device 1000 illustrated in FIG. 15 may be applied to all the devices for monitoring the aforementioned emotions.
  • the electronic apparatus 1000 may include a user input unit 1100, an output unit 1200, a controller 1300, and a communication unit 1500. However, not all of the components illustrated in FIG. 15 are essential components of the electronic apparatus 1000.
  • the electronic device 1000 may be implemented by more components than those illustrated in FIG. 15, or the electronic device 1000 may be implemented by fewer components than those illustrated in FIG. 15.
  • the electronic apparatus 1000 may include the sensing unit 1400, the A / V input unit 1600, and the memory 1700 in addition to the user input unit 1100, the output unit 1200, the control unit 1300, and the communication unit 1500. It may further include.
  • the controller 1300 may obtain emotion expression information indicating the emotion of the user.
  • the controller 1300 may obtain emotional stimulus source information indicating a cause of the emotion.
  • the controller 1300 may associate the emotion expression information with the emotion stimulation source information, and store the associated emotion expression information and the emotion stimulation source information in the memory 1700.
  • the controller 1300 may obtain emotional stimulation source information based on at least one of multimedia information, environment information, and physiological signal information of the user.
  • the multimedia information may include at least one of text information, image information, audio information, and video information.
  • the controller 1300 may acquire the emotion expression information based on at least one of the multimedia information and the physiological signal information.
  • the controller 1300 may include multimedia information, environment information, and physiological signal information of the user through the user input unit 1100, the output unit 1200, the sensing unit 1400, the communication unit 1500, and the A / V input unit 1600. At least one can be learned.
  • the multimedia information may be received through the user input unit 1100 or the communication unit 1500 or may be output to the output unit 1200.
  • the multimedia information may be obtained through the A / V input unit 1600.
  • the environmental information or the physiological signal information of the user may be obtained by the sensing unit 1400.
  • the user input unit 1100 means a means for a user to input data for controlling the electronic apparatus 1000.
  • the user input unit 1100 includes a key pad, a dome switch, a touch pad (contact capacitive type, pressure resistive layer type, infrared sensing type, surface ultrasonic conduction type, and integral type). Tension measurement method, piezo effect method, etc.), a jog wheel, a jog switch, and the like, but are not limited thereto.
  • the user input unit 1100 may receive multimedia information input by a user.
  • the controller 1300 may obtain emotion expression information and emotion stimulation source information about the user's emotion based on the multimedia information received through the user input unit 1100.
  • the user input unit 1100 may receive a command for instructing to perform emotion monitoring.
  • the user input unit 1100 may receive a command for instructing an emotion monitoring program to be executed by the user.
  • the electronic apparatus 1000 may perform an operation of monitoring the emotion.
  • the output unit 1200 may output audio information or video information or a vibration signal, and the output unit 1200 may include a display unit 1210, an audio output unit 1220, and a vibration motor 1230. have.
  • the controller 1300 may obtain emotion expression information and emotion stimulation source information about the user's emotion based on the audio information or the video information output by the output unit 1200.
  • the output unit 1200 may output emotion expression information and emotion stimulation source information. In addition, the output unit 1200 may output emotion management recommendation information.
  • the display unit 1210 displays and outputs information processed by the electronic apparatus 1000. Meanwhile, when the display unit 1210 and the touch pad form a layer structure and are configured as a touch screen, the display unit 1210 may be used as an input device in addition to the output device.
  • the display unit 1210 may include a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, and a three-dimensional display. 3D display, an electrophoretic display.
  • the electronic apparatus 1000 may include two or more display units 1210 according to the implementation form of the electronic apparatus 1000. In this case, the two or more display units 1210 may be disposed to face each other using a hinge.
  • the controller 1300 may display the emotion expression information and the emotion stimulation source information on the display 1210.
  • the controller 1300 may display the content indicating the emotion of the user over time on the display 1210.
  • the user input unit 1100 may receive a user input for selecting a specific time from the content.
  • the controller 1300 may display the emotion expression information and the emotion stimulus source information related to the selected time on the display 1210.
  • the sound output unit 1220 outputs audio information received from the communication unit 1500 or stored in the memory 1700.
  • the sound output unit 1220 outputs a sound signal related to a function (for example, a call signal reception sound, a message reception sound, and a notification sound) performed by the electronic device 1000.
  • the sound output unit 1220 may include a speaker, a buzzer, and the like.
  • the vibration motor 1230 may output a vibration signal.
  • the vibration motor 1230 may output a vibration signal corresponding to the output of audio information or video information (eg, call signal reception sound, message reception sound, etc.).
  • the vibration motor 1230 may output a vibration signal when a touch is input to the touch screen.
  • the controller 1300 may typically control overall operations of the electronic device 1000.
  • the controller 1300 may control the electronic device 1000 to perform an operation of the electronic device (for example, 100 of FIG. 1) of the aforementioned drawings.
  • the controller 1300 executes programs stored in the memory 1700, such that the user input unit 1100, the output unit 1200, the sensing unit 1400, the communication unit 1500, and the A / V input unit 1600 are provided. ) Can be controlled overall.
  • the sensing unit 1400 may detect a state of the electronic device 1000, a state around the electronic device 1000, or a state of a user, and transmit the detected information to the controller 1300.
  • the sensing unit 1400 may include a geomagnetic sensor 1410, an acceleration sensor 1420, a temperature / humidity sensor 1430, an infrared sensor 1440, a gyroscope sensor 1450, and a position sensor. (Eg, GPS) 1460, barometric pressure sensor 1470, proximity sensor 1480, and RGB sensor (illuminance sensor) 1490, but are not limited thereto. Since functions of the respective sensors can be intuitively deduced by those skilled in the art from the names, detailed descriptions thereof will be omitted.
  • the sensing unit 1400 may obtain environment information used to acquire emotion expression information or emotion stimulation source information.
  • the environment information includes at least one of time information, location information, weather information, temperature information, and humidity information.
  • the sensing unit 1400 may further include a physiological signal sensor that acquires physiological signal information of the user.
  • the physiological signal sensor can acquire, for example, heart rate, electrocardiogram, skin conductance, body temperature and blood pressure.
  • the communicator 1500 may include one or more components for communicating with a cloud, a server, and / or another electronic device.
  • the second user associated with the user may be a user of another electronic device.
  • the communicator 1500 may include a short range communicator 1510, a mobile communicator 1520, and a broadcast receiver 1530.
  • the short-range wireless communication unit 1510 includes a Bluetooth communication unit, a Bluetooth low energy (BLE) communication unit, a near field communication unit, a WLAN (Wi-Fi) communication unit, a Zigbee communication unit, an infrared ray ( IrDA (Infrared Data Association) communication unit, WFD (Wi-Fi Direct) communication unit, UWB (ultra wideband) communication unit, Ant + communication unit and the like, but may not be limited thereto.
  • the mobile communication unit 1520 transmits and receives a radio signal with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the wireless signal may include various types of data according to transmission and reception of a voice call signal, a video call call signal, or a text / multimedia message.
  • the broadcast receiving unit 1530 receives a broadcast signal and / or broadcast related information from the outside through a broadcast channel.
  • the broadcast channel may include a satellite channel and a terrestrial channel. According to an embodiment of the present disclosure, the electronic device 1000 may not include the broadcast receiving unit 1530.
  • the controller 1300 may control the communicator 1500 to share emotion relationship information, which is at least one of emotion expression information and emotion stimulation source information, with a second user associated with the user.
  • the controller 1300 may transmit emotion relation information to at least one of a cloud or a server that a second user can access through the communication unit 1500, and a second electronic device used by the second user.
  • the controller 1300 may receive the emotion relationship information shared by the second user through the communication unit 1500.
  • the electronic apparatus 1000 may share the emotion relation information with the second user by the communicator 1500.
  • the controller 1300 may obtain at least one of second emotion expression information indicating emotion of a second user associated with the user and second emotion stimulation source information indicating a cause of the emotion of the second user based on the multimedia information. .
  • the controller 1300 may control the communicator 1500 to share at least one of the second emotion expression information and the second emotion stimulation source information with the second user.
  • the controller 1300 may receive, via the communicator 1500, at least one of third emotion expression information representing the emotion of the user and third emotion stimulation source information corresponding to the third emotion expression information shared by the second user. Can be.
  • the communicator 1500 may combine the emotion expression information and the emotion stimulation source information with at least one of the third emotion expression information and the third emotion stimulation source information.
  • the A / V input unit 1600 is for inputting an audio signal or a video signal, and may include a camera 1610 and a microphone 1620.
  • the camera 1610 may obtain an image frame such as a still image or a moving image through an image sensor in a video call mode or a photographing mode.
  • the image captured by the image sensor may be processed by the controller 1300 or a separate image processor (not shown).
  • the image frame processed by the camera 1610 may be stored in the memory 1700 or transmitted to the outside through the communication unit 1500. Two or more cameras 1610 may be provided according to the configuration aspect of the terminal.
  • the microphone 1620 receives an external sound signal and processes the external sound signal into electrical voice data.
  • the microphone 1620 may receive an acoustic signal from an external electronic device or a speaker.
  • the microphone 1620 may use various noise removing algorithms for removing noise generated in the process of receiving an external sound signal.
  • the camera 1610 may capture a user and acquire image information.
  • the camera 1610 and the microphone 1620 may capture a user to acquire video information.
  • the microphone 1620 may acquire audio information about the voice of the user.
  • the A / V input unit 1600 may obtain multimedia information that may include at least one of image information, video information, and audio information.
  • the controller 1300 may obtain emotion expression information or emotion stimulus source information based on the multimedia information obtained through the A / V input unit 1600.
  • the memory 1700 may store a program for processing and controlling the controller 1300, and may store data input to or output from the electronic device 1000.
  • the memory 1700 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory), RAM Random Access Memory (RAM) Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), Magnetic Memory, Magnetic Disk It may include at least one type of storage medium of the optical disk.
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • ROM Read-Only Memory
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • PROM Programmable Read-Only Memory
  • Magnetic Memory Magnetic Disk It may include at least one type of storage medium of the optical disk.
  • Programs stored in the memory 1700 may be classified into a plurality of modules according to their functions.
  • the programs stored in the memory 1700 may be classified into a UI module 1710, a touch screen module 1720, a notification module 1730, and the like. .
  • the UI module 1710 may provide a specialized UI, GUI, and the like that interoperate with the electronic device 1000 for each application.
  • the touch screen module 1720 may detect a touch gesture on a user's touch screen and transmit information about the touch gesture to the controller 1300.
  • the touch screen module 1720 according to some embodiments may recognize and analyze a touch code.
  • the touch screen module 1720 may be configured as separate hardware including a controller.
  • Various sensors may be provided inside or near the touch screen to detect a touch or proximity touch of the touch screen.
  • An example of a sensor for sensing a touch of a touch screen is a tactile sensor.
  • the tactile sensor refers to a sensor that senses the contact of a specific object to the extent that a person feels or more.
  • the tactile sensor may sense various information such as the roughness of the contact surface, the rigidity of the contact object, the temperature of the contact point, and the like.
  • an example of a sensor for sensing a touch of a touch screen is a proximity sensor.
  • the proximity sensor refers to a sensor that detects the presence or absence of an object approaching a predetermined detection surface or an object present in the vicinity without using a mechanical contact by using an electromagnetic force or infrared rays.
  • Examples of the proximity sensor include a transmission photoelectric sensor, a direct reflection photoelectric sensor, a mirror reflection photoelectric sensor, a high frequency oscillation proximity sensor, a capacitive proximity sensor, a magnetic proximity sensor, and an infrared proximity sensor.
  • the user's touch gesture may include tap, touch and hold, double tap, drag, pan, flick, drag and drop, and swipe.
  • the notification module 1730 may generate a signal for notifying occurrence of an event of the electronic device 1000. Examples of events occurring in the electronic apparatus 1000 may include call signal reception, message reception, key signal input, and schedule notification.
  • the notification module 1730 may output a notification signal in the form of a video signal through the display unit 1210, may output the notification signal in the form of an audio signal through the sound output unit 1220, and the vibration motor 1230. Through the notification signal may be output in the form of a vibration signal.
  • the present application further provides a computer readable storage medium, which may be a computer readable storage medium included in the apparatus of the previous embodiment, or may be a separate computer readable storage medium not installed in the terminal. have.
  • the computer readable storage medium stores one or more programs executed by one or more processors for implementing the method for monitoring the emotions of the present application.

Abstract

메모리, 디스플레이부 및 사용자의 감정을 나타내는 감정 표현 정보를 획득하고, 상기 감정의 원인을 나타내는 감정 자극 소스 정보를 획득하고, 상기 감정 표현 정보를 상기 감정 자극 소스 정보와 연관시키고, 연관된 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 상기 메모리에 저장하며, 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 상기 디스플레이부에 디스플레이하는 제어부를 포함하는 전자 장치가 개시된다.

Description

전자 장치 및 그 동작 방법
본 출원은 컴퓨터 기술 분야에 관한 것이고, 상세하게는 휴먼-컴퓨터 상호 작용 기술 분야에 관한 것이고, 더 상세하게는 감정들을 모니터링하기 위한 전자 장치 및 그 동작 방법에 관한 것이다.
과학 및 기술의 계속적인 발달과 함께, 사람들의 생활 속도는 점점 더 빨라지고 있고, 이는 사람들이 그들 자신의 감정 변화들에 주목하는 데 더 짧은 시간 및 더 적은 노력을 소비하게 한다. 따라서 사람들이 감정 변화들과 관계된 상태를 기록하는 것을 돕는 어떤 보충 수단이 필요하다.
일부 실시예에 따른 전자 장치는 메모리, 디스플레이부 및 사용자의 감정을 나타내는 감정 표현 정보를 획득하고, 상기 감정의 원인을 나타내는 감정 자극 소스 정보를 획득하고, 상기 감정 표현 정보를 상기 감정 자극 소스 정보와 연관시키고, 연관된 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 상기 메모리에 저장하며, 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 상기 디스플레이부에 디스플레이하는 제어부를 포함하는 전자 장치를 포함한다.
감정들을 모니터링하기 위한 전자 장치 및 그 동작 방법을 제공할 수 있다.
첨부된 도면들을 참고하여 제한되지 않는 실시예들의 상세한 설명을 읽은 후, 이 기술 분야에서 숙련된 자는 다른 특징들, 목적들 및 본 출원의 효과들이 더 명확해 짐을 인식할 것이다.
도 1은 감정 정보를 기록하는 도식도이다;
도 2는 본 출원의 일 실시예에 따른 감정들을 모니터링하기 위한 방법을 나타내는 흐름도이다;
도 3은　도 2에 도시된 실시예의 적용 장면의 도식도이다;
도 4는 본 출원의 다른 실시예에 따른 감정들을 모니터링하기 위한 방법을 나타내는 흐름도이다;
도 5는 본 출원의 또 다른 실시예에 따른 감정들을 모니터링하기 위한 방법을 나타내는 흐름도이다;
도 6은 도 5에 도시된 실시예의 적용 장면의 도식도이다;
도 7a는 실시예의 적용 장면의 도식도이다;
도 7b는 실시예의 적용 장면의 다른 도식도이다;
도 8은 본 출원의 또 다른 실시예에 따른 감정들을 모니터링하기 위한 방법을 나타내는 흐름도이다;
도 9는 도 8에 도시된 실시예의 적용 장면의 도식도이다;
도 10은 본 출원의 일 실시예에 따른 감정들을 모니터링하기 위한 장치를 나타내는 구성도이다;
도 11은 본 출원의 다른 실시예에 따른 감정들을 모니터링하기 위한 장치를 나타내는 구성도이다;
도 12는 본 출원의 또 다른 실시예에 따른 감정들을 모니터링하기 위한 장치를 나타내는 구성도이다; 그리고
도 13은 본 출원의 또 다른 실시예에 따른 감정들을 모니터링하기 위한 장치를 나타내는 구성도이다.
도 14는 일부 실시예에 따른 전자 장치의 구성을 나타내는 블록도이다.
도 15는 도 14의 전자 장치의 또 다른 구성을 나타내는 블록도이다.
일부 실시예에 따른 전자 장치는 메모리, 디스플레이부 및 사용자의 감정을 나타내는 감정 표현 정보를 획득하고, 상기 감정의 원인을 나타내는 감정 자극 소스 정보를 획득하고, 상기 감정 표현 정보를 상기 감정 자극 소스 정보와 연관시키고, 연관된 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 상기 메모리에 저장하며, 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 상기 디스플레이부에 디스플레이하는 제어부를 포함하는 전자 장치를 포함한다.
상기 제어부는 시간에 따른 상기 사용자의 감정을 나타내는 콘텐트를 상기 디스플레이부에 디스플레이할 수 있다.
상기 전자 장치는 상기 콘텐트에서 특정 시간을 선택하는 사용자 입력을 수신하는 사용자 입력부를 더 포함하며, 상기 제어부는 상기 선택된 시간과 관계된 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 상기 디스플레이부에 디스플레이할 수 있다.
상기 제어부는 멀티미디어 정보, 환경 정보 및 상기 사용자의 생리적 신호 정보 중 적어도 하나에 기초하여 상기 감정 자극 소스 정보를 획득할 수 있고, 상기 멀티미디어 정보는 텍스트 정보, 이미지 정보, 오디오 정보 및 비디오 정보 중 적어도 하나를 포함할 수 있다.
상기 제어부는 상기 멀티미디어 정보 및 상기 생리적 신호 정보 중 적어도 하나에 기초하여 상기 감정 표현 정보를 획득할 수 있다.
상기 전자 장치는 서버 및 제2 사용자가 사용하는 제2 전자 장치 중 적어도 하나와 통신하도록 구성된 통신부를 더 포함할 수 있으며, 상기 제어부는 상기 멀티미디어 정보에 기초하여 상기 사용자와 연관된 제2 사용자의 감정을 나타내는 제2 감정 표현 정보 및 상기 제2 사용자의 감정의 원인을 나타내는 제2 감정 자극 소스 정보 중 적어도 하나를 획득하고, 상기 제2 감정 표현 정보 및 상기 제2 감정 자극 소스 정보 중 적어도 하나를 상기 제2 사용자와 공유하도록 상기 통신부를 제어할 수 있다.
상기 제어부는 상기 제2 사용자에 의해 공유되는, 상기 사용자의 감정을 나타내는 제3 감정 표현 정보 및 상기 제3 감정 표현 정보에 대응하는 제3 감정 자극 소스 정보 중 적어도 하나를 상기 통신부를 통해 수신하고, 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 상기 제3 감정 표현 정보 및 상기 제3 감정 자극 소스 정보 중 적어도 하나와 결합시킬 수 있다.
상기 제어부는 상기 연관된 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 상기 메모리에 저장한 후, 상기 사용자의 상기 감정에 대한 감정 유형의 변화 및 감정 강도의 변화를 모니터링하여, 상기 감정 유형은 변하지 않고, 상기 감정 강도의 변화가 임계값보다 커지면, 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 업데이트할 수 있다.
상기 제어부는 상기 감정 강도를 정규화할 수 있다.
상기 제어부는 상기 감정 표현 정보 및 상기 감정 자극 소스 정보에 기초하여 감정 관리 추천 정보를 획득할 수 있고, 상기 감정 관리 추천 정보를 상기 디스플레이부에 디스플레이할 수 있다.
일부 실시예에 따른 전자 장치의 동작 방법은, 사용자의 감정을 나타내는 감정 표현 정보를 획득하는 단계, 상기 감정의 원인을 나타내는 감정 자극 소스 정보를 획득하는 단계, 상기 감정 표현 정보를 상기 감정 자극 소스 정보와 연관시키는 단계, 연관된 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 저장하는 단계 및 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 디스플레이하는 단계를 포함한다.
상기 방법은, 시간에 따른 상기 사용자의 감정을 나타내는 콘텐트를 디스플레이하는 단계를 더 포함할 수 있다.
상기 방법은, 상기 콘텐트에서 특정 시간을 선택하는 사용자 입력을 수신하는 단계를 더 포함할 수 있고, 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 디스플레이하는 단계는, 상기 선택된 시간과 관계된 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 디스플레이하는 단계일 수 있다.
상기 감정 자극 소스 정보를 획득하는 단계는, 멀티미디어 정보, 환경 정보 및 상기 사용자의 생리적 신호 정보 중 적어도 하나에 기초하여 상기 감정 자극 소스 정보를 획득하는 단계를 포함하고, 상기 멀티미디어 정보는 텍스트 정보, 이미지 정보, 오디오 정보 및 비디오 정보 중 적어도 하나를 포함할 수 있다.
상기 감정 표현 정보를 획득하는 단계는, 상기 멀티미디어 정보 및 상기 생리적 신호 정보 중 적어도 하나에 기초하여 상기 감정 표현 정보를 획득하는 단계를 포함할 수 있다.
상기 방법은 상기 멀티미디어 정보에 기초하여 상기 사용자와 연관된 제2 사용자의 감정을 나타내는 제2 감정 표현 정보 및 상기 제2 사용자의 감정의 원인을 나타내는 제2 감정 자극 소스 정보 중 적어도 하나를 획득하는 단계 및 상기 제2 감정 표현 정보 및 상기 제2 감정 자극 소스 정보 중 적어도 하나를 상기 제2 사용자와 공유하는 단계를 더 포함할 수 있다.
상기 방법은 상기 제2 사용자에 의해 공유되는, 상기 사용자의 감정을 나타내는 제3 감정 표현 정보 및 상기 제3 감정 표현 정보에 대응하는 제3 감정 자극 소스 정보 중 적어도 하나를 수신하는 단계 및 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 상기 제3 감정 표현 정보 및 상기 제3 감정 자극 소스 정보 중 적어도 하나와 결합시키는 단계를 더 포함할 수 있다.
상기 방법은 상기 연관된 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 저장한 후, 상기 사용자의 상기 감정에 대한 감정 유형의 변화 및 감정 강도의 변화를 모니터링하는 단계 및 상기 감정 유형은 변하지 않고, 상기 감정 강도의 변화가 임계값보다 커지면, 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 업데이트하는 단계를 더 포함할 수 있다.
상기 방법은 상기 감정 표현 정보 및 상기 감정 자극 소스 정보에 기초하여 감정 관리 추천 정보를 획득하는 단계 및 상기 감정 관리 추천 정보를 디스플레이하는 단계를 더 포함할 수 있다.
본 출원이 첨부된 도면들 및 실시예들과 연결하여 아래에서 더 서술된다. 여기에서 특정 실시예들은 본 개시를 설명하기 위해 사용되는 것이고, 본 개시를 제한하는 것이 아님이 이해되어야만 한다. 또한, 편의를 위해 본 개시와 관계 있는 부분만이 도면들에 도시되다.
다양한 실시예들 및 실시예들의 특징들은 모순되지 않는 경우 결합될 수 있음을 설명할 필요가 있다. 본 출원은 첨부된 도면들 및 실시예들을 참고하여 아래에서 설명될 것이다.
도 1은 감정 정보를 기록하는 도식도이다.
도 1에 도시된 것과 같이, 다른 감정 이미지들은 감정 유형들에 따라 구별될 수 있고, "happy", "surprised", "sad", "angry" 등과 같은 단순한 감정 태그가 각 감정 유형에 부착될 수 있다. 사용자의 감정 정보를 기록할 때, 어떤 순간에 사용자의 감정 상태가 먼저 획득되고, 다음 관계된 태그(tag)가 획득된 감정 상태에 부착되고, 태그된 감정 상태가 저장된다. 그러나, 감정을 기록하기 위해 이러한 방식을 사용하면, 사용자는 단지 단순한 감정 태그만을 획득할 수 있고, 미래에 감정을 회상할 때 감정 변화들을 효과적으로 관리하거나 분석할 수 없다.
도 2는 일 실시예에 따른 감정들을 모니터링하기 위한 방법을 나타내는 흐름도(200)를 도시한다. 이 실시예에서, 상기 방법은 스마트 폰들, 스마트 TV들, 태블릿 컴퓨터들, 포터블 랩탑 컴퓨터들, 데스크탑 컴퓨터들, 웨어러블 디바이스들 등과 같은 다양한 단말들에서 사용될 수 있다. 감정들을 모니터링하기 위한 방법은 다음 단계들을 포함한다.
단계 201에서, 사용자의 현재 감정의 감정 표현 정보가 획득된다.
실시예에서, 감정 표현 정보는 사용자의 현재 감정의 특징들을 반영할 수 있는 외부 표시(representation) 정보이고, 구체적으로 사용자의 현재 얼굴의 표현, 사용자의 신체 움직임, 사용자의 음성의 발음 및 억양 및 사용자의 입력 텍스트 또는 감정들을 표현하는 스피치와 같은 정보를 포함할 수 있다. 사용자의 현재 감정의 감정 표현 정보를 획득할 때, 단말은 카메라 및 마이크로폰과 같이 다양한 정보 수집 디바이스들을 포함할 수 있으며, 사용자의 현재 감정의 감정 표현 정보를 능동적으로 수집할 수 있고, 또는 텍스트 및 스피치와 같은 사용자의 입력 정보로부터 감정 표현 정보를 추출할 수 있다.
단계 202에서, 현재 감정의 감정 자극 소스 정보가 획득된다.
실시예에서, 감정 자극 소스 정보는 사용자의 현재 감정을 야기한 원인들일 수 있다. 사용자의 감정을 자극하는 원인들은 사람, 객체(object), 이벤트, 문장, 행동(action) 및 그것들의 조합을 포함하는 가능한 다양한 원인들일 수 있다. 현재 감정의 감정 자극 소스 정보를 획득할 때, 단말에 의해 현재 획득된 모든 정보가 분석될 수 있고, 감정 자극 소스 정보가 추출될 수 있다.
단계 203에서, 감정 표현 정보는 감정 자극 소스 정보와 연관되고, 연관된 감정 표현 정보 및 감정 자극 소스 정보는 저장된다.
실시예에서, 감정 표현 정보를 감정 자극 소스 정보와 연관시키고, 연관된 감정 표현 정보 및 감정 자극 소스 정보를 저장할 때, 시간 포인트에서 또는 미리 설정된(preset) 시간 구간에서 획득된 감정 표현 정보 및 감정 자극 소스 정보는 정보 획득의 시간 관계에 따라 연관될 수 있고, 연관된 감정 표현 정보 및 감정 자극 소스 정보는 단말 자체의 저장소 또는 클라우드 저장소 및 서버와 같은 외부의 디바이스에 저장될 수 있다.
본 출원의 전술한 실시예에 대해, 도 3은 적용 장면을 도시한다. 도 3에 도시된 것과 같이, 사용자가 단말(301)을 통해 소셜 플랫폼(social platform)의 개인 홈페이지상에 "Today I have a dinner with my family together. Happy!"를 나타내는 텍스트 메시지(302)를 게재(publish)하고, 연관된 사진(303)을 첨부하면, 단말(301)은 메시지(302)로부터 자기 감정(self-emotional) 표현을 나타내는 단어(word) 정보 "Happy"를 획득할 수 있고, 또한 사진(303)으로부터 사용자의 미소 진 얼굴을 식별할 수 있다. 미소 진 얼굴 및 워드 정보 "Happy"는 사용자의 현재 감정의 감정 표현 정보이다. 동시에, 단말은 또한 텍스트 메시지(302)로부터 이벤트 정보 "I have a dinner with my family together"를 획득할 수 있고, 시맨틱 분석에 의해 이벤트가 현재 감정의 감정 자극 소스 정보임을 더 결정할 수 있다. 그 후에, 단말은 감정 표현 정보 "Happy" 및 사진 안의 미소 진 얼굴을 이벤트 정보 "I have a dinner with my family together"와 연관시킬 수 있고, 연관된 감정 표현 정보 및 이벤트 정보를 저장할 수 있어, 사용자가 나중에 그 미소 진 얼굴을 보았을 때, 사용자는 그 당시 그렇게 행복했던 이유가 사용자가 그 가족과 함께 저녁을 먹었기 때문임을 알 수 있다.
감정 표현 정보가 얼굴의 표현 및 음성과 같은 사용자의 생물학적 특징들로부터 획득되는 경우, 다양하게 현재 수집된 정보로부터 사용자와 연관된 감정 표현 정보를 추출하기 위해, 사용자의 현재 감정의 감정 표현 정보를 획득하기 전에 사용자의 생물학적 특징 정보가 기록될 수 있음이 지적되어야 한다. 생물학적 특징 정보는 얼굴의 특징 정보, 성문(voiceprint) 정보, 홍채(iris) 정보 및 생리적 신호 특징 정보를 포함하나 이에 제한되는 것은 아니다.
저장된 감정 표현 정보 및 감정 자극 소스 정보는 사용자 기기에 디스플레이될 수 있다.
본 출원의 전술한 실시예는, 사용자의 현재 감정의 감정 표현 정보 및 현재 감정의 감정 자극 소스 정보를 획득하고, 감정 표현 정보를 감정 자극 소스 정보와 연관시키고, 연관된 감정 표현 정보 및 감정 자극 소스 정보를 저장함으로써 감정들을 모니터링하기 위한 방법을 제공하고, 사용자의 감정 표현을 기록하는 동안 감정 표현의 자극 소스 정보를 기록할 수 있어, 감정들을 모니터링하는 범위를 확장하고, 감정 표현의 추적성(traceability)을 보장한다.
도 4는 다른 실시예에 따른 감정들을 모니터링하기 위한 방법을 나타내는 흐름도(400)를 나타낸다. 흐름도(400)는 다음 단계들을 포함한다.
단계 401에서, 사용자의 현재 감정의 감정 표현 정보는 현재 수집된 멀티미디어 정보 및/또는 생리적 신호 정보에 따라 결정되고, 멀티미디어 정보는 텍스트 정보, 이미지 정보, 오디오 정보 및 비디오 정보 중 적어도 하나를 포함한다.
실시예에서, 단말은 멀티미디어 정보를 수집하기 위해 멀티미디어 센서를 사용할 수 있고, 그리고/또는 사용자의 생리적 신호 정보를 수집하기 위해 생리적 신호 센서를 사용할 수 있다. 멀티미디어 정보를 수집할 때, 단말은 이미지 정보를 수집하기 위한 이미지 센서를 사용할 수 있고, 오디오 정보를 수집하기 위한 오디오 센서를 사용할 수 있고, 비디오 정보를 수집하기 위해 위 2개의 센서들을 사용할 수 있고, 또는 사용자에 의해 편집된 단문 메시지, 사진에 첨부된 텍스트 설명 등과 같은, 사용자에 의해 입력된 텍스트 메시지를 획득하기 위한 텍스트 획득 기술을 사용할 수 있다. 생리적 신호 정보를 수집하는 단계에서, 수집된 생리적 신호 정보는 심박동수(heart rate), 심전도(electrocardiogram), 피부 전도도(skin conductance), 신체 온도 및 혈압을 포함하나, 이에 제한되는 것은 아니다. 그러면 단말은 사용자의 현재 감정의 감정 표현 정보를 결정하기 위해, 수집된 텍스트 정보, 이미지 정보, 오디오 정보, 비디오 정보 및 생리적 신호 정보 중 적어도 하나에 대해 데이터 분석을 수행할 수 있다. 예를 들어, 슬픔 및 행복과 같은 감정을 특징짓는 텍스트상 묘사가 현재 수집된 텍스트 정보로부터 획득되면, 텍스트 정보가 감정 표현 정보일 수 있고; 사용자의 미소 진 얼굴이 현재 수집된 이미지 정보로부터 추출되면, 이미지 정보가 감정 표현 정보일 수 있고; 사용자의 우는 음성이 현재 수집된 오디오 정보로부터 추출되면, 오디오 정보가 감정 표현 정보일 수 있고; 고혈압을 특징짓는 신호가 현재 수집된 생리적 신호 정보로부터 추출되면, 생리적 신호 정보가 감정 표현 정보일 수 있고; 사용자의 괴로운 표현 및/또는 괴로운 신음이 현재 수집된 비디오 정보로부터 추출되면, 비디오 정보가 감정 표현 정보일 수 있고; 다른 파일 포맷들로 하나 이상의 감정 표현 정보가 동시에 수집되면, 하나 이상의 감정 표현 정보가 감정 표현 정보로 고려된다.
단계 402에서, 현재 감정의 감정 자극 소스 정보가 획득된다.
실시예에서, 감정 자극 소스 정보는 사용자의 현재 감정을 야기한 원인들일 수 있다. 그 원인들은 사람, 객체, 이벤트, 문장, 행동 등일 수 있다. 현재 감정의 감정 자극 소스 정보를 획득할 때, 단말에 의해 현재 획득된 모든 정보가 분석될 수 있고, 감정 자극 소스 정보가 추출될 수 있다.
단계 403에서, 현재 감정의 변화가 검출되면, 감정 표현 정보는 감정 자극 소스 정보와 연관되고, 연관된 감정 표현 정보 및 감정 자극 소스 정보는 저장된다.
실시예에서, 사용자의 감정 상태는 단계 401에서 획득된 감정 표현 정보에 의해 어떤 샘플링 주파수에서 계속 수집될 수 있다. 사용자의 감정의 변화가 검출되면, 감정 표현 정보 및 단계 402에서 획득된 감정 자극 소스 정보가 연관되고, 저장된다. 즉, 단말은 감정 표현 정보를 계속 수집할 수 있고, 감정 표현 정보에 의해 사용자의 현재 감정을 결정할 수 있다. 또한, 사용자의 감정이 안정 상태(stable state)로 유지되면, 단말은 수집된 감정 표현 정보 및 수집된 감정 자극 소스 정보를 저장할 필요가 없다. 현재 감정이 상당히 변화하는 경우에만, 단말은 감정 표현 정보를 감정 자극 소스 정보와 연관시키고, 연관된 감정 표현 정보 및 감정 자극 소스 정보를 저장할 필요가 있다.
실시예의 대체 구현에서, 현재 감정의 변화는 현재 감정의 감정 유형 변화 또는 감정 강도 변화를 포함한다. 감정 유형은 인간의 감정 인지에 따른 감정들의 분류를 나타낼 수 있고, 특히, 평온(calmness), 기쁨(joy), 슬픔(sadness), 놀람(surprise), 분노(anger) 및 공포(fear)를 포함한다; 감정 강도 변화는 각각의 감정들을 표현하는 측면에서 특정 유형의 감정의 포화도(saturation degree)를 나타낼 수 있다. 감정은 두 개의 속성들, 즉 감정 유형 및 감정 강도를 포함할 수 있기 때문에, 현재 감정의 변화 또한 두 가지 측면의 변화들을 포함할 수 있다. 하나는 평온에서 기쁨으로 변화하는 것과 같은 감정 유형의 변화이고, 다른 하나는 다소 기쁨에서 매우 기쁨으로의 변화와 같은 감정 강도의 변화이다. 구체적으로, 감정 유형 및 감정 강도는 감정 표현 정보에 따라 획득될 수 있는데, 다른 감정 유형들 및 감정 강도들은, 표현 파라미터들 및 스피치 파라미터들을 포함할 수 있는 다른 감정 특징 파라미터들 대응하기 때문이다(예를 들어, 얼굴의 특징 "입 각도의 상승"은 감정 유형 "기쁨"에 대응하고, 상승의 크기(amplitude)가 클수록, 감정 강도는 더 높다). 감정 특징 파라미터들은 현재 감정의 수집된 감정 표현 정보로부터 추출될 수 있고, 현재 감정의 감정 유형 및 감정 강도는 감정 특징 파라미터들에 따라 더 결정될 수 있다.
실시예의 대체 구현에서, 감정 강도 변화는 감정 강도 변화의 크기가 미리 설정된 임계값에 도달하는지로 구현된다. 실시예에서, 감정 강도들이 평가될 때, 감정의 포화도에 정비례하는 다른 강도 값들이 다른 감정 강도들로 할당될 수 있다. 따라서, 감정 강도의 변화는 감정 강도 값의 변화를 나타낼 수 있고, 감정 강도 값의 변화의 크기는 미리 설정된 임계값에 도달한다. 다시 말해, 동일한 감정 유형에 대해, 감정 강도 변화량이 어느 정도에 도달하는 경우에만, 감정 표현 정보 및 감정 자극 소스 정보가 저장될 수 있다. 그렇지 않으면, 관련된 감정 정보는 저장될 필요가 없다.
실시예의 대체 구현에서, 수집된 감정 표현 정보에 대해 변환(conversion)이 수행될 수 있고, 변환된 감정 표현 정보 및 감정 자극 소스 정보는 연관될 수 있고, 저장될 수 있다. 구체적으로, 단말은 직접 수집된 감정 표현 정보에 대해 정보화 추출을 수행할 수 있어, 현재 감정의 특징들을 나타낼 수 있는 정보 요소들이 획득되고, 정보 요소들에 대해 표현 형태 변환이 더 수행될 수 있어, 감정 표현 정보의 정보 변환을 달성한다. 예를 들어, 그룹 사진으로부터 사용자의 미소 진 얼굴이 얼굴 특징 인식 기술에 의해 사용자의 감정 특징들을 나타내는 정보 요소로 추출될 수 있고, 미소 진 얼굴에 대해 표현 형태 변환이 수행된다. 다시 말해, 실제 미소 진 얼굴은 애니메이션화된(animated) 미소 진 얼굴, 웃음 소리를 포함하는 오디오 정보, 또는 단어 "happy"를 포함하는 텍스트 정보로 변환될 수 있다. 그러면 변환된 감정 표현 정보 및 감정 자극 소스 정보는 연관되고, 저장된다. 그러한 것과 같이, 감정 표현 정보가 저장될 필요가 있으면, 모든 감정 표현 정보는 먼저 동일한 유형의 정보로 변환될 수 있고, 동일한 유형의 정보는 후속 정보 관리를 위해 저장된다. 대안으로, 수집된 오디오 정보는 텍스트 메시지로 변환될 수 있고 저장될 수 있어, 정보 저장을 위해 요구되는 공간을 줄일 수 있다.
실시예의 대체 구현에서, 감정 표현 정보는 텍스트 정보, 이미지 정보, 오디오 정보, 비디오 정보 및 생리적 신호 정보 중 적어도 하나를 포함한다.
도 2에 도시된 실시예와 비교하면, 도 4에 도시된 실시예의 감정들을 모니터링하기 위한 방법은, 감정 표현 정보를 획득하는 방식 및 감정 표현 정보 및 감정 자극 소스 정보가 저장되는 때를 보여주는 예시적인 구현을 설명한다. 구체적으로, 사용자의 현재 감정의 감정 표현 정보는 먼저 현재 수집된 이미지 정보, 오디오 정보, 비디오 정보 및 생리적 신호 정보 중 적어도 하나에 따라 결정되고, 현재 감정의 감정 자극 소스 정보가 획득되고, 현재 감정의 변화가 검출되면, 감정 표현 정보 및 감정 자극 소스 정보가 연관되고 저장된다. 실시예는 감정 표현 정보를 감정 자극 소스 정보와 연관시키고, 연관된 감정 표현 정보 및 감정 자극 소스 정보를 저장하기 위한 트리거(trigger)를 더 결정하여, 저장된 감정 관계 정보가 감정 변화의 상태를 효과적으로 특징지어지게 하고, 감정들을 모니터링하는 효율을 향상시킨다.
도 5를 더 참고하면, 도 5는 본 출원의 또 다른 실시예에 따른 감정들을 모니터링하기 위한 방법을 나타내는 흐름도(500)를 도시한다. 감정들을 모니터링하기 위한 방법은 다음 단계들을 포함한다.
단계 501에서, 사용자의 현재 감정의 감정 표현 정보가 획득된다.
단계 502에서, 현재 감정의 감정 자극 소스 정보는 현재 획득된 멀티미디어 정보, 환경 정보 및 생리적 신호 정보 중 적어도 하나에 따라 결정된다.
실시예에서, 현재 감정의 감정 자극 소스 정보가 획득될 때, 현재 감정의 감정 자극 소스 정보는 현재 획득된 멀티미디어 정보, 환경 정보 및 생리적 신호 정보 중 적어도 하나에 따라 결정된다. 구체적으로, 단말은 다양한 신호 센서들에 의해 멀티미디어 정보, 환경 정보 및 생리적 신호 정보 중 적어도 하나를 획득할 수 있고, 수집된 정보 중 적어도 하나에 데이터 분석을 수행할 수 있고, 데이터 분석의 결과에 따라 현재 감정의 감정 자극 소스 정보를 결정할 수 있다.
실시예의 대체 구현에서, 현재 획득된 멀티미디어 정보에 따라 감정 자극 소스 정보를 결정하는 것은, 현재 출력된 그리고/또는 수집된 멀티미디어 정보에 따라 감정 자극 소스 정보를 결정하는 것을 포함한다. 멀티미디어 정보는 텍스트 정보, 이미지 정보, 오디오 정보 및 비디오 정보 중 적어도 하나를 포함한다. 실시예에서, 단말에 의해 출력된 그리고/또는 수집된 멀티미디어 정보가 획득된다. 데이터 분석이 멀티미디어 정보에 수행되고, 감정 변화를 야기하는 감정 자극 소스 정보가 데이터 분석의 결과에 따라 결정될 수 있다.
실시예의 대체 구현에서, 현재 획득된 멀티미디어 정보에 따라 감정 자극 소스 정보를 결정하는 것은, 현재 출력된 그리고/또는 수집된 오디오 정보, 오디오 정보로부터 유도(derive)된 속성 정보, 오디오 정보의 미리 설정된 시간 구간에서 오디오 세그먼트 및 오디오 정보로부터 유도된 시맨틱 정보 중 적어도 하나를 감정 자극 소스 정보로 선택하는 것을 포함한다.
실시예에서, 단말에 의해 현재 출력된 그리고/또는 수집된 오디오 정보가 먼저 획득된다. 다음 오디오 정보에 대한 데이터 분석이 수행되어, 오디오 정보로부터 유도된 속성 정보, 오디오 정보의 미리 설정된 시간 구간에서 오디오 세그먼트, 오디오 정보로부터 유도된 시맨틱 정보, 오디오 정보로부터 유도된 이벤트 정보, 오디오 정보로부터 유도된 개인 정보를 획득한다. 그 후에, 오디오 정보, 오디오 정보로부터 유도된 속성 정보, 오디오 정보의 미리 설정된 시간 구간에서 오디오 세그먼트 및 오디오 정보로부터 유도된 시맨틱 정보 중 적어도 하나가 감정 자극 소스 정보로 선택된다. 미리 설정된 시간 구간은 현재 시간 포인트 전 및/또는 후의 구간일 수 있다. 일 예에서, 단말이 노래를 출력(즉, 재생)하면, 현재 재생되는 노래는 단말의 동작 상태를 검출함으로써 획득될 수 있는데, 다음 세 가지 아이템들 중 적어도 하나를 획득하기 위해서이다: a) 노래 제목, 가수/연주자 및 앨범과 같은 속성 정보는 노래에 대한 데이터 분석을 수행함으로써 획득될 수 있다; b) 시맨틱 분석에 의해 획득되는, 노래 가사 및 가사의 중심 내용과 같은 시맨틱 정보가 획득될 수 있다; 그리고 c) 미리 설정된 시간 구간 내의 오디오 세그먼트는 노래를 분할(splitting)함으로써 획득될 수 있다. 다른 예에서, 사용자가 음성 통화를 걸기 위해 단말을 사용할 때, 단말은 통화의 오디오를 능동적으로 수집할 수 있고, 오디오에 대한 데이터 분석을 수행할 수 있는데, 다음 세 가지 아이템들 중 적어도 하나를 획득하기 위해서이다: a) 통화한 사람, 통화 시간 및 콜러(caller) 및 통화한 사람 사이의 통화(calling) 주파수와 같은 속성 정보가 획득될 수 있다; b) 시맨틱 정보는 통화 내용에 대한 시맨틱 분석에 의해 획득될 수 있다; c) 미리 설정된 시간 구간 내의 오디오 세그먼트는 통화 오디오를 분할함으로써 획득될 수 있다. 자극 소스 정보를 결정하기 위해, 자극 소스 분석이 위 두 예시들에서 획득되는 오디오와 관계된 정보에 대해 수행된다.
본 구현의 대체 실시예에서, 현재 출력된 그리고/또는 수집된 멀티미디어 정보에 따라 감정 자극 소스 정보를 결정하는 것은, 현재 출력된 그리고/또는 수집된 비디오 정보, 비디오 정보로부터 유도된 속성 정보, 비디오 정보의 미리 설정된 시간 구간에서 비디오 세그먼트, 비디오 정보로부터 유도된 시맨틱 정보, 비디오 정보로부터 유도된 이벤트 정보, 비디오 정보로부터 유도된 개인 정보, 비디오 정보로부터 유도된 스크린샷 정보 및 비디오 정보로부터 유도된 오디오 정보 중 적어도 하나를 감정 자극 소스 정보로 선택하는 것을 포함한다.
실시예에서, 단말에 의해 현재 출력된 그리고/또는 수집된 비디오 정보가 먼저 획득된다. 다음 비디오 정보에 대한 데이터 분석이 수행되어, 속성 정보, 시맨틱 정보, 이벤트 정보, 개인 정보 및 비디오 정보의 미리 설정된 시간 구간에서 비디오 세그먼트를 획득한다. 그 후에, 자극 소스 분석에 의한 상기 정보로부터 적어도 하나의 감정 자극 소스 정보가 결정된다. 미리 설정된 시간 구간은 현재 시간 포인트 전 및/또는 후의 구간일 수 있다. 일 예에서, 단말이 영화를 출력(즉, 재생)하면, 현재 재생되는 영화는 단말의 동작 상태를 검출함으로써 획득될 수 있는데, 다음 네 가지 아이템들 중 적어도 하나를 획득하기 위해서이다: a) 영화 제목, 주연 배우들, 감독, 제작사와 같은 속성 정보는 영화에 대한 데이터 분석을 수행함으로써 획득될 수 있다; b) 시맨틱 분석에 의해 획득되는, 영화 대사 및 대사의 요약과 같은 시맨틱 정보가 획득될 수 있다; 그리고 c) 스크린샷이 영화에 대해 수행될 수 있고, 스크린샷은 이벤트 정보 및 개인 정보를 획득하기 위해 분석된다; 그리고 d) 미리 설정된 시간 구간 내의 비디오 세그먼트는 영화를 분할함으로써 획득될 수 있다. 다른 예에서, 사용자가 비디오 통화를 걸기 위해 단말을 사용할 때, 단말은 통화 비디오를 능동적으로 수집할 수 있고, 비디오에 대한 데이터 분석을 수행할 수 있는데, 다음 네 가지 아이템들 중 적어도 하나를 획득하기 위해서이다: a) 통화한 사람, 통화 시간 및 콜러(caller) 및 통화한 사람 사이의 통화 주파수과 같은 속성 정보가 획득될 수 있다; b) 시맨틱 정보는 비디오 통화 내용에 대한 시맨틱 분석에 의해 획득될 수 있다; c) 스크린샷이 비디오에 대해 수행될 수 있고, 스크린샷은 이벤트 정보 및 개인 정보를 획득하기 위해 분석된다; 그리고 d) 미리 설정된 시간 구간 내의 비디오 세그먼트는 통화 비디오를 분할함으로써 획득될 수 있다. 자극 소스 정보를 결정하기 위해, 자극 소스 분석이 위 두 예시들에서 획득되는 비디오와 관계된 정보에 대해 수행된다.
실시예의 대체 구현에서, 현재 출력된 그리고/또는 수집된 멀티미디어 정보에 따라 감정 자극 소스 정보를 결정하는 것은, 현재 출력된 그리고/또는 수집된 이미지 정보, 이미지 정보로부터 유도된 이벤트 정보 및 이미지 정보로부터 유도된 개인 정보 중 적어도 하나를 감정 자극 소스 정보로 선택하는 것을 포함한다.
실시예에서, 단말에 의해 현재 출력된 그리고/또는 수집된 이미지 정보가 먼저 획득된다. 다음 이미지 정보에 대한 데이터 분석이 수행되어, 이미지 정보에 포함되는 이벤트 정보 및 개인 정보를 획득한다. 그 후에, 자극 소스 분석에 의한 상기 정보로부터 적어도 하나의 감정 자극 소스 정보가 결정된다. 일 예에서, 단말이 카메라에 의해 사진(picture)을 출력(즉, 디스플레이) 또는 수집하면, 현재 브라우징(browsing)되는 사진은 단말의 동작 상태를 검출함으로써 획득될 수 있는데, 사진에 대한 분석을 수행함으로써 이벤트 정보 또는 개인 정보를 획득하기 위해서이다. 구체적으로, 사람 이름, 성별 및 나이와 같은 개인 정보는 사람 얼굴의 특징 및 옷차림을 통해 결정될 수 있다. 다른 예에서, 사진에 포함되는 이벤트 정보는 사진에서 신체 움직임 또는 사람의 얼굴 표현, 사진 배경 등에 대한 분석을 수행함으로써 결정된다. 자극 소스 정보를 결정하기 위해, 자극 소스 분석이 위 두 예시들에서 획득되는 사진과 관계된 정보에 대해 수행된다.
도 6은 실시예의 적용 장면의 도식도이다. 도 6에 도시된 것과 같이, 사용자가 사진(602)을 브라우징하기 위해 단말(601)을 사용할 때, 단말은 사용자의 감정이 갑자기 두려워하는 것임을 검출하고, 이미지 분석 기술을 통해 사진(602)에 대한 분석을 수행하면, 단말은 사진(602)을 획득할 수 있다. 사진(602)에 대한 분석 수행에 대해, 먼저 개인 정보, 즉 사진(602)에서 백설 공주(제1 개인 정보) 및 늙은 마녀(제2 개인 정보)가 사람 얼굴의 특징들 및 옷에 따라 식별된다; 두 번째로, 이미지의 제1 이벤트 정보(즉 늙은 마녀가 백설 공주에게 사과를 주고 있음)가 사람의 행동들을 분석함으로써 결정될 수 있다. 기존 지식에 기초하여 사진에서 여왕이 늙은 마녀로 변장하고, 사과에 독이 있음이 인식될 수 있어, 제2 이벤트 정보(즉 여왕이 독이 든 사과를 백설 공주에게 주기 원함)가 획득될 수 있다. 마지막으로, 두 가지 개인 정보 및 두 가지 이벤트 정보에 대한 종합적인 분석에 의해, 사용자에게 공포를 가져오는 감정 자극 소스 정보는 여왕이 독이 든 사과를 백설 공주에게 주기 원함임이 결정될 수 있다.
실시예의 대체 구현에서, 현재 출력된 그리고/또는 수집된 멀티미디어 정보에 따라 감정 자극 소스 정보를 결정하는 것은, 현재 출력된 그리고/또는 수집된 텍스트 정보 및 텍스트 정보로부터 유도된 시맨틱 정보 중 적어도 하나를 감정 자극 소스 정보로 선택하는 것을 포함한다.
실시예에서, 단말에 의해 현재 출력된 그리고/또는 수집된 텍스트 정보가 먼저 획득된다. 다음 텍스트 정보에 대한 데이터 분석이 수행되어, 텍스트 정보로부터 유도된 시맨틱 정보를 획득한다. 그 후에, 텍스트 정보 및 시맨틱 정보 중 적어도 하나가 감정 자극 소스 정보로 결정된다. 예를 들어, 단말이 텍스트 정보를 출력(즉, 디스플레이)하면, 현재 브라우징되는 텍스트 이미지는 단말의 동작 상태를 검출함으로써 획득될 수 있는데, 특징 인식 기술에 의해 텍스트 이미지에 포함되는 텍스트 정보를 획득하기 위해서이다. 다른 예로서, 사용자가 단말에 의해 단어들을 입력하면, 입력된 단어들은 수집된 텍스트 정보로 사용되도록 직접 수집될 수 있다. 텍스트 정보를 획득한 후, 시맨틱 정보를 획득하기 위해, 시맨틱 분석이 획득된 텍스트 정보에 대해 수행될 수 있다. 다음 감정 자극 소스 정보를 결정하기 위해, 자극 소스 분석이 획득된 텍스트 정보 및/또는 시맨틱 정보에 대해 수행될 수 있다. 실시예의 적용 장면에서, 만일 사용자에 입력되며 단말에 의해 수집된 텍스트 메시지가 "A lonely stranger in a strange land I am cast, I miss my family all the more on every festive day"이면, 이 텍스트 메시지는 사용자에게 슬픔을 느끼게 하는 감정 자극 소스 정보로 직접 사용될 수 있다. 대안으로, 시맨틱 분석이 텍스트 정보에 대해 수행될 수 있어, 시맨틱 정보 "being far away from my hometown, I can’t reunite with families"를 획득하고, 시맨틱 정보는 감정 자극 소스 정보로 사용될 수 있다.
실시예의 대체 구현에서, 생리적 신호 정보는 사용자의 현재 생리적 신호 정보 또는 생리적 신호 정보에 따라 획득되는 건강 정보(health information)를 포함한다. 건강 정보는 생리적 신호 정보를 분석함으로써 획득될 수 있고, 사용자의 건강 상태를 반영할 수 있다. 예를 들어, 사용자의 수집된 신체 온도 신호가 38℃이면, 온도 신호는 온도 신호가 정상 사람 신체 온도 36℃보다 높음을 발견하도록 분석될 수 있고, 따라서 사용자가 열이 있음이 추론될 수 있고, 건강 정보는 "열(fever)"을 나타내는 이미지 또는 텍스트일 수 있다.
만일 생리적 신호 정보가 감정 자극 소스 정보로 사용되면, 획득된 감정 표현 정보는 더 이상 생리적 신호 정보를 포함하지 않을 것임이 지적되어야만 한다. 대신에, 예를 들어 획득된 이미지 정보(예를 들어 열에 의한 안면 홍조의 사진)가 감정 표현 정보로 사용될 것이다.
실시예의 대체 구현에서, 환경 정보는 시간 정보, 위치 정보, 기상 정보, 온도 정보 및 습도 정보 중 적어도 하나를 포함한다. 실시예에서, 환경 정보는 감정 자극 소스 정보로 사용될 수 있다. 환경 정보는 감정 표현 정보를 수집하는 동안 획득될 수 있는 현재 환경과 관계된 정보일 수 있다. 현재 환경과 관계된 정보는 획득된 감정 표현 정보와 연관된, 시간 정보, 지리적 정보 및 현재 기상, 온도 및 습도와 같은 기후 정보를 포함할 수 있다. 환경 정보는 텍스트 정보, 이미지 정보, 오디오 정보 및 비디오 정보에 의해 특징지어질 수 있다. 예를 들어, 파란 하늘을 묘사한 사진은, 사진이 기상 정보 "맑음(sunny)"을 포함하기 때문에 감정 자극 소스 정보로 사용될 수 있다.
앞에서 언급된 멀티미디어 정보, 환경 정보 및 생리적 정보 중 두 개 또는 세 개의 정보는, 두 개 또는 세 개의 정보가 감정의 변화를 야기하면 감정 자극 소스 정보로 사용될 수 있음이 지적되어야 한다. 대안으로, 사용자가 전술한 정보 중 하나를 감정 자극 소스 정보가 되도록 선택할 수 있다. 예를 들어, 단말은 현재 수집된 감정 표현 정보에 따라 사용자의 현재 감정이 슬픔임을 결정하고, 단말의 동작 상태를 검출함으로써, 현재 재생되는 것이 "Butterfly Lovers"라는 제목의 영화임을 결정하고, 인터넷을 통한 기상 예보 웹사이트로부터 현재 기상 정보가 보슬비(light rain)임을 결정하고, 그리고 생리적 신호 센서에 의해 획득된 온도 신호에 따라 사용자의 현재 체온이 정상 체온보다 높음을 결정한다. 세 개의 정보 모두 사용자에게 슬픔을 느끼게 하는 감정 자극 소스 정보로 사용될 수 있다. 대안으로, 사용자는 세 개의 정보 모두를 수신할 수 있고, 하나 또는 그 이상의 정보를 감정 자극 소스 정보로 선택할 수 있다. 예를 들어, 만일 사용자가 비 오는 날을 좋아한다면, 사용자는 보슬비를 지시하는 기상 정보를 슬픔을 야기하는 감정 자극 소스 정보로 선택하지 않을 것이다.
두 개 또는 그 이상의 정보가 감정 자극 소스 정보로 선택될 때, 멀티미디어 정보, 환경 정보 및 생리적 신호 정보는 단순히 또는 감정 자극 소스 정보로 열거될 수 있다. 대안으로, 정보는 논리적으로 분석될 수 있고, 분석 결과는 감정 자극 소스 정보로 사용될 수 있다. 예를 들어, 만일 획득된 시간 정보가 사용자의 생일이고, 사용자가 그의 생일을 그의 친구들과 함께 축하하는 것을 나타내는 비디오 정보가 수집되면, "my friends celebrate my birthday"에 대해 관계된 텍스트 또는 음성이 시간 정보 및 비디오 정보의 논리적 분석에 따라 감정 자극 소스 정보로 사용될 수 있다.
단계 503에서, 감정 표현 정보 및 감정 자극 소스 정보는 연관되며 저장된다.
실시예의 대체 구현에서, 감정 표현 유형 및 감정 강도는 감정 자극 소스 정보와 연관되고, 연관된 감정 표현 유형, 감정 강도 및 감정 자극 소스 정보가 저장된다. 실시예에서, 감정 표현 정보가 저장될 때, 감정 표현 정보에 의해 획득된 감정 유형 및 감정 강도는 감정 자극 소스 정보와 연관될 수 있고, 저장될 수 있다. 그것과 같이, 사용자는 특정한 감정 유형 및 감정 강도를 획득할 수 있고, 또는 감정 유형들에 따라 수집된 감정들 모두를 분류할 수 있다.
실시예의 대체 구현에서, 감정 강도는 정규화(normalization)될 수 있다. 구체적으로, 다른 사용자들은 다른 방식들로 그들 자신의 감정들을 표현한다. 예를 들어, 외향적인 사람은 그의 감정들을 보이는 것을 개의치 않는다. 그는 행복을 느끼면 웃을 것이고, 슬픔을 느끼면 울 것이다. 그에 반해, 내향적인 사람은 다소 침착하다. 그는 행복을 느끼면 단지 미소 지을 것이고, 슬픔을 느끼면 눈물을 흘릴 것이다. 따라서, 더 정확한 방식으로 모든 사용자의 감정 변화를 묘사하기 위해, 감정 강도가 정규화될 수 있다. 구체적으로, 동일한 감정 유형의 감정들에 대해, 사용자에 의해 표현되는 가장 강한 감정 강도가 최대값(MAX)으로 설정되고, 사용자에 의해 표현되는 가장 침착한 감정 강도는 최소값(MIN)으로 설정되고, 다른 감정 레벨들(X)은 MAX 및 MIN에 기초하여 정규화될 수 있다. 예를 들어, 정규화된 감정 강도(X')는 공식 X' = (X - MIN) / (MAX - MIN)에 따라 계산될 수 있다. 이런 방식으로, 각 사용자의 감정 강도가 정규화에 의해 0에서 1 사이의 범위에 속할 수 있음이 보장되어, 다른 사용자의 감정 강도들을 표현하는 효과가 동일함을 보장한다.
실시예의 대체 구현에서, 현재 감정의 감정 유형이 미리 설정된 샘플링 시간 구간에서 변화되지 않고 유지될 때, 현재 감정의 감정 강도가 저장된 감정 강도보다 크면, 저장된 감정 표현 정보 및 저장된 감정 자극 소스 정보는 각각 현재 감정의 감정 표현 정보 및 현재 감정의 감정 자극 소스 정보로 교체된다. 구체적으로, 감정 표현 정보와 감정 자극 소스 정보의 연관 및 연관된 정보의 저장 후에, 그리고 현재 감정의 감정 유형이 미리 설정된 샘플링 구간(예를 들어, 10분)에서 변화되지 않고 유지되며, 감정 강도가 범위 내에서 변동하면, 오직 최대 감정 강도에 대응하는 감정 표현 정보 및 관계된 감정 자극 소스 정보가 저장되어, 사용자의 감정 상태를 충분히 반영할 뿐 아니라 요구되는 저장 공간을 감소시킨다.
실시예의 적용 장면에서, 사용자의 감정 유형이 침착에서 행복으로 변화하면, 변화가 일어난 시간에 획득된 감정 표현 정보 및 감정 자극 소스 정보가 연관되고, 저장되며, 이 시간에서 감정 강도의 값이 60%로 저장될 수 있다. 하나의 경우에, 사용자의 감정 유형이 다음 10분 후에 행복으로 유지되고, 감정 강도의 값이 변하면, 예를 들어, 7분에서 감정 강도의 값이 70%로 변하면, 이전에 저장된 정보는 7분에서 획득된 감정 표현 정보 및 감정 자극 소스 정보로 교체된다; 다른 경우에, 7분에서 감정 강도의 값이 95%로 증가하면(즉 변화의 크기가 미리 설정된 크기 임계값, 예를 들어, 30%보다 큰 35%임), 7분에서 획득된 감정 표현 정보 및 감정 자극 소스 정보가 연관되고 저장되며, 반면, 이전에 저장된 정보는 여전히 보존된다.
실시예의 대체 구현에서, 저장된 감정 표현 정보 및 연관된 감정 자극 소스 정보는 공유되고, 디스플레이된다. 실시예에서, 사용자는 저장된 감정 표현 정보 및 연관된 감정 자극 소스 정보를 유선 또는 무선 방식으로 공유할 수 있고, 예를 들어, 사용자는 소셜 플랫폼상에 정보를 게재할 수 있고, 또는 어떤 연락 가능한 사람에게 정보를 보낼 수 있다. 대안으로, 사용자는 사용자의 단말상에 정보를 디스플레이할 수 있다. 게다가, 사용자는 등록된 사용자의 식별자(identity: ID)에 의해 시스템에 로그인할 수 있고, 그 시스템에서는 다른 플랫폼들의 다양한 단말들을 통해 정보가 저장되고, 저장된 감정 표현 정보 및 감정 자극 소스 정보가 브라우징되다. 사용자의 ID를 등록할 때 사용자는 사용자의 생물학적 정보 및 사용자의 ID를 묶을 수 있어, 단말이 현재 사용자를 자동으로 식별할 수 있고, 관계된 시스템에 로그인할 수 있다.
실시예의 대체 구현에서, 데이터 분석이 저장된 감정 표현 정보 및 연관된 감정 자극 소스 정보에 수행되고, 분석 결과는 공유되거나 또는 디스플레이된다. 실시예에서, 데이터 분석은 저장된 감정 표현 정보 및 연관된 감정 자극 소스 정보에 대해 수행될 수 있고, 주로 감정의 변동 및 변동을 야기하는 원인들에 초점을 맞춰 수행될 수 있다. 구체적으로, 저장된 감정 표현 정보와 같이 관계된 정보는 감정 유형, 자극 소스(시간, 장소, 사람)에 기초하여 분석될 수 있고, 분석 결과는 텍스트, 차트, 슬라이드들 또는 한 곡의 오디오의 형태로 디스플레이되거나 공유된다. 예를 들어, 시간 구간 동안 감정 변화들을 보여주는 그래프가 표현될 수 있다. 대안으로, 저장된 감정 표현 정보 및 연관된 감정 자극 소스 정보는 슬라이드 파일이 되도록 형성될 수 있다. 그 후, 그래프 또는 슬라이드 파일은 공유될 수 있거나 디스플레이될 수 있다.
실시예의 대체 구현에서, 데이터 분석은 감정 표현 정보 및 연관된 감정 자극 소스 정보에 대해 수행되고, 감정 관리 추천 정보가 데이터 분석 결과에 따라 출력된다. 실시예에서, 저장된 감정 표현 정보 및 연관된 감정 자극 소스 정보를 분석한 후, 감정 관리 추천 정보가 데이터 분석 결과에 따라 입력될 수 있다. 예를 들어, 데이터 분석에 의해, 사용자의 감정이 시간 구간에서 화남이고, 화를 야기한 원인들이 사소한 것임을 알아내면, 감정 관리 추천 정보는 사용자에게 그의 기분을 조절할 것, 화가 나기 쉬운 감정을 제어할 것을 상기시킬 수 있고, 그리고 사용자가 좋은 기분이 되도록 도울 수 있는 몇몇 비결들을 제공할 수 있다.
도 7a는 실시예의 다른 적용 장면의 도식도이다. 도 7a에 도시된 것과 같이, 도표(702)가 단말(701)상에 보여지고, 도표(702)에서 히스토그램은 사용자의 기쁨의 변화 정도를 나타내고, 히스토그램의 각 컬럼들은 기쁨에 대한 기록을 나타내고, 컬럼의 높이는 사용자의 기쁨의 강도 정도를 나타낸다. 사용자가 어떤 기쁜 감정의 특정 조건을 더 알기 원하면, 사용자는 히스토그램의 맨 위에 있는 스타 패턴(703)을 클릭할 수 있다. 도 7b에 도시된 것과 같이, 단말은 사용자의 기쁜 감정의 감정 표현 정보, 즉 사용자의 미소 진 얼굴(704) 및 사용자의 기쁜 감정을 야기한 감정 자극 소스 정보, 즉 SMS(705)를 포함하는, 이 기쁜 감정에 대한 특정 정보를 보여줄 것이다. 도 7b로부터, 사용자는 그때 그의 기쁜 감정을 볼 수 있을 뿐 아니라, 그가 기뻤던 원인이 그가 승진했음을 그에게 알리는 메시지를 수신했기 때문임을 회상할 수 있다.
실시예에서, 위 흐름도에서 단계 501 및 단계 503은 각각 전술한 실시예에서 단계 201 및 단계 203과 동일하므로, 상세하게 설명하지 않을 것이다.
도 2에 도시된 실시예와 비교하면, 도 5의 실시예에서 감정들을 모니터링하기 위한 방법은 감정 자극 소스 정보를 획득하는 예시적인 구현을 더 상세하게 보여줌을 알 수 있다. 구체적으로, 사용자의 현재 감정의 감정 표현 정보가 먼저 획득된다. 다음 현재 감정의 감정 자극 소스 정보는 현재 수집된 멀티미디어 정보, 환경 정보 및 생리적 신호 정보 중 적어도 하나에 따라 결정된다. 그 후에, 감정 표현 정보 및 감정 자극 소스 정보는 연관되며, 저장된다. 실시예에서, 감정 자극 소스 정보는 획득된 멀티미디어 정보, 환경 정보 및 생리적 신호 정보에 따라 결정되고, 그러한 방식으로 획득된 감정 자극 소스 정보는 감정 변화들을 일으키는 가능한 거의 모든 자극 소스 정보를 포함한다. 따라서, 이와 같이 획득된 자극 소스들은 더 종합적이어서, 감정을 모니터링하는 정확도를 더 향상시킨다.
도 8은 또 다른 실시예에 따라 감정을 모니터링하기 위한 방법을 나타내는 흐름도(800)를 도시한다. 감정들을 모니터링하기 위한 방법은 다음 단계들을 포함한다.
단계 801에서, 미리 설정된 감정 모니터링 프로그램이 실행됨이 검출되면, 사용자의 감정 표현 정보 및 감정 자극 소스 정보가 획득되며, 연관된 사용자의 감정 표현 정보 및/또는 감정 자극 소스 정보가 획득된다.
실시예에서, 감정 모니터링 프로그램은 감정들을 모니터링하기 위해 설계된 프로그램 또는 단문 메시지 프로그램과 같은 일반 프로그램일 수 있고, 일반 프로그램이 실행되도록 설정될 때, 단말이 감정 관계 정보를 수집할 수 있도록 단말에 구현된 프로그램일 수 있다. 따라서, 미리 설정된 감정 모니터링 프로그램이 실행되면, 단말은 사용자의 현재 감정의 감정 표현 정보 및 연관된 사용자의 감정 표현 정보 및/또는 감정 자극 소스 정보를 능동적으로 획득할 수 있다.
연관된 사용자의 감정 표현 정보 및/또는 감정 자극 소스 정보를 획득하기 전, 연관된 사용자의 생물학적 정보가 기록될 수 있어, 생물학적 정보에 따라 현재 수집된 다양한 정보로부터 연관된 사용자의 감정 표현 정보 및/또는 감정 자극 소스 정보를 식별할 수 있음이 지적되어야만 한다.
실시예의 적용 장면에서, 사용자 A에 의해 촬영된 셀피(selfie)가 사용자 A의 미소 진 얼굴 및 배경에서 사용자 B의 미끄러짐(slipping) 및 무서운 감정을 포함하며, 사용자 A가 사용자 B를 사용자 A의 연관된 사용자로 설정해 놓은 경우, 단말은 사용자 A의 감정 표현 정보, 즉 미소 진 얼굴을 획득할 수 있을 뿐 아니라, 사용자 B의 감정 표현 정보, 즉 무서운 감정 및 사용자 B의 감정 자극 소스 정보, 즉 미끄러짐(slipping)을 획득할 수 있다.
실시예에서, 현재 감정의 감정 표현 정보를 위에서 획득하는 것과 유사하게, 단말은 감정 자극 소스 정보를 수집할 수 있고, 연관된 사용자의 감정 표현 정보 및/또는 감정 자극 소스 정보를 획득할 수 있고, 감정 모니터링 프로그램이 실행됨이 검출되면, 사용자의 감정 표현 정보 및 감정 자극 소스 정보가 획득되고, 연관된 사용자의 감정 표현 정보 및/또는 감정 자극 소스 정보가 획득된다. 이 실시예에서, 연관된 사용자 B의 미소 진 얼굴은 사용자 A의 감정 자극 소스 정보일 수 있고, 이 미소 진 얼굴은 연관된 사용자 B의 감정 표현 정보이다.
단계 802에서, 현재 감정의 감정 표현 정보 및 감정 자극 소스 정보는 연관되며 저장된다.
단계 803에서, 연관된 사용자의 감정 표현 정보 및/또는 감정 자극 소스 정보는 연관된 사용자와 공유된다.
실시예에서, 단계 801에서 단말이 연관된 사용자의 감정 표현 정보를 획득하면, 단말은 상기 정보를 기록할 수 있고, 상기 정보를 연관된 사용자와 유선 또는 무선 방식으로 공유할 수 있다. 공유 전, 현재 사용자가 감정 표현 정보를 연관된 사용자와 공유할지 여부를 선택 가능하도록 하기 위해, 단말은 또한 프롬프팅(prompting) 메시지를 출력할 수 있다.
실시예의 대체 구현에서, 연관된 사용자의 감정 표현 정보에 대응하는 감정 자극 소스 정보가 획득되면, 연관된 사용자의 감정 표현 정보 및 대응하는 감정 자극 소스 정보는 연관된 사용자와 공유될 것이다. 실시예에서, 연관된 사용자의 감정 표현 정보가 획득될 때, 감정 표현 정보에 대응하는 감정 자극 소스 정보는 정확하게 획득되지 않을 수도 있다. 그런 상황하에서는, 감정 표현 정보만이 공유될 것이다. 그렇지 않으면, 대응하는 감정 자극 소스 정보와 함께 감정 표현 정보가 공유될 것이다.
도 9는 실시예의 적용 장면의 도식도이다. 도 9에 도시된 것과 같이, 단말(901)은 막 촬영된 그룹 사진(902)을 디스플레이한다. 얼굴 인식 기술에 의해, 현재 사용자 A의 미소 진 얼굴(903)뿐 아니라, 사용자 A의 친구, 즉 연관된 사용자 B의 미소 진 얼굴(904)이 존재함이 판별될 수 있다. 그러한 것과 같이, 단말(901)은 사용자 A에게 사용자 B와 사진을 공유할지 여부를 결정하도록 촉구하는 프롬프팅 메시지(905)를 출력할 수 있다.
단계 804에서, 연관된 사용자의 감정 표현 정보 및 감정 자극 소스 정보가 수신된다.
실시예에서, 단말은 또한 현재 사용자와 관계되며, 연관된 사용자와 공유되는 감정 표현 정보 및 감정 자극 소스 정보를 수신할 수 있다. 수신 전에, 단말은 또한 현재 사용자가 감정 표현 정보 및 감정 자극 소스 정보의 수신 여부를 선택하도록 촉구하는 프롬프팅 메시지를 출력할 수 있다.
단계 805에서, 연관된 사용자의 감정 표현 정보 및 감정 자극 소스 정보는 저장된 감정 표현 정보 및 감정 자극 소스 정보와 결합된다.
실시예에서, 연관된 사용자에 의해 공유된, 감정 표현 정보 및 감정 자극 소스 정보를 수신한 후, 단말은 각 정보가 생성된 시간 순서(time sequence) 및/또는 위치 정보에 따라 수신된 정보를 저장된 정보와 결합할 수 있다.
실시예의 한 적용 장면에서, 단말은 음향 센서를 통해 현재 사용자 A의 웃음 소리 및 노래 X의 멜로디를 수집하고, 이미지 센서를 통해 연관된 사용자 B의 춤추는 행동 및 미소 진 얼굴을 수집한다. 수집된 오디오 정보 및 이미지 정보의 데이터 분석을 통해, 사용자 A의 감정 표현 정보는 웃음 소리이고 및 사용자 A의 감정 자극 소스 정보는 사용자 B의 춤추는 행동이고, 그리고 사용자 B의 감정 표현 정보는 미소 진 얼굴이며, 사용자 B의 감정 자극 소스 정보는 노래 X의 멜로디임이 결정될 수 있다. 보여지는 것과 있듯이, 현재 사용자 및 연관된 사용자의 감정 표현 정보 및 감정 자극 정보는 함께 혼합될 수 있다. 실제로, 다른 감정 관계 정보는 다른 적용 장면들에 따라 구별될 수 있다.
사용자 B가 연관된 사용자 A에 의해 공유되며, 사용자 B 자신과 관계된 감정 표현 정보 및 감정 자극 소스 정보를 수신하면, 수신된 정보는 단말에 저장된 정보와 결합될 수 있다.
하나의 가능한 구현에서, 수신된 감정 관계 정보가 생성되는 시간이 획득될 수 있고, 수신된 감정 관계 정보는 대응하는 시간에 관계된 정보로 저장된다. 예를 들어, 하루에 저장된 사용자 B의 감정 표현 정보는 9시에 생성된 감정 표현 정보 X 및 11시에 생성된 감정 표현 정보 Y를 포함한다. 사용자 B가 10시에 생성되며, 연관된 사용자 A에 의해 공유되는 감정 표현 정보 Z를 수신하면, 정보 Z는 사용자 B의 감정 표현 정보로 저장될 수 있다. 게다가, 사용자 B가 9시에 생성된 다른 감정 표현 정보 M을 수신하면, 수신된 정보 M 및 이전에 저장된 정보 X가 함께 9시에 생성된 감정 표현 정보로 사용된다; 대안으로, 정보 M 및 정보 X의 공통된 감정 표현 특징이 9시의 감정 표현 정보로 형성되도록 추출될 수 있다.
다른 가능한 구현에서, 수신된 감정 관계 정보가 생성된 장소를 지시하는 위치 정보가 획득될 수 있고, 감정 관계 정보는 동일한 위치에서 생성된 다른 저장된 정보와 결합된다. 예를 들어, 사용자 B의 저장된 감정 자극 소스 정보는 위치 1에서 생성된 감정 자극 소스 정보 N이다. 사용자 B가 위치 2에서 생성되며, 연관된 사용자 A에 의해 공유되는 감정 자극 소스 정보 P를 수신하면, 정보 P는 사용자 B의 감정 자극 소스 정보로 저장될 수 있다. 게다가, 사용자 B가 위치 1에서 생성된 다른 감정 표현 정보 Q를 수신하면, 수신된 정보 Q 및 이전에 저장된 정보 N은 모두 위치 1에서 생성된 감정 표현 정보로 사용된다.
다른 가능한 구현에서, 수신된 감정 관계 정보가 생성된 시간 및 장소 각각에 관한 시간 정보 및 위치 정보는 동시에 획득될 수 있고, 동일한 위치에서 생성된 감정 관계 정보는 시간 링크들에 따라 결합된다.
도 2에 도시된 실시예와 비교하면, 실시예의 감정들을 모니터링하기 위한 방법은 연관된 사용자의 감정 표현 정보 및 감정 자극 소스 정보를 획득하는 예시적인 구현을 더 상세하게 서술한다. 구체적으로, 단말은 현재 사용자의 감정 관계 정보를 수집하는 동안 연관된 사용자의 감정 관계 정보를 수집할 수 있으며, 이를 연관된 사용자와 공유할 수 있다. 게다가, 단말은 연관된 사용자로부터 전송된 감정 관계 정보를 수신할 수 있다. 실시예는 감정 관계 정보가 획득될 수 있는 소스를 넓혀, 감정들을 모니터링하는 범위를 더 향상시킨다.
도 10은 일 실시예에 따른 감정들을 모니터링하기 위한 장치를 나타내는 구성도를 도시한다. 도 10에 도시된 것과 같이, 실시예의 감정들을 모니터링하기 위한 장치는: 표현 정보 획득 모듈(1010), 자극 정보 획득 모듈(1020), 그리고 연관 및 저장 모듈(1030)을 포함한다.
표현 정보 획득 모듈(1010)은 사용자의 현재 감정의 감정 표현 정보를 획득하도록 구성된다;
자극 정보 획득 모듈(1020)은 현재 감정의 감정 자극 소스 정보를 획득하도록 구성된다;
연관 및 저장 모듈(1030)은 표현 정보 획득 모듈(1010)에 의해 획득된 감정 표현 정보를 자극 정보 획득 모듈(1020)에 의해 획득된 감정 자극 소스 정보와 연관시키도록 구성되고, 연관된 감정 표현 정보 및 감정 자극 소스 정보를 저장하도록 구성된다.
본 출원의 전술한 실시예는 감정들을 모니터링하기 위한 장치를 제공한다. 사용자의 현재 감정의 감정 표현 정보는 표현 정보 획득 모듈에 의해 획득되고, 현재 감정의 감정 자극 소스 정보는 자극 정보 획득 모듈에 의해 획득되며, 감정 표현 정보 및 감정 자극 소스 정보는 연관 및 저장 모듈에 의해 연관되고 저장된다. 장치는 사용자의 감정 표현 및 감정 표현을 야기한 자극 소스 정보 모두를 기록할 수 있어, 감정들을 모니터링하는 범위를 넓히며, 감정 표현의 추적성을 보장한다.
실시예의 대체 구현에서, 도 11에 도시된 것과 같이, 표현 정보 획득 모듈(1010)은 현재 수집된 멀티미디어 정보 및/또는 생리적 신호 정보에 따라 사용자의 현재 감정의 감정 표현 정보를 결정하기 위한 표현 정보 획득 서브모듈을 더 포함한다. 멀티미디어 정보는 텍스트 정보, 이미지 정보, 오디오 정보 및 비디오 정보 중 적어도 하나를 포함한다.
실시예의 대체 구현에서, 전술한 감정들을 모니터링하기 위한 장치는 현재 감정의 변화를 검출하기 위한, 도면들에서 도시되지 않은 변화 검출 모듈을 더 포함한다. 현재 감정의 변화가 일어남을 검출하면, 연관 및 저장 모듈(1030)은 감정 표현 정보를 감정 자극 소스 정보와 연관시키고, 연관된 감정 표현 정보 및 감정 자극 소스 정보를 저장한다.
실시예의 대체 구현에서, 현재 감정의 변화는 감정 유형 변화 또는 감정 강도 변화를 포함한다.
실시예의 대체 구현에서, 감정 강도 변화는 미리 설정된 임계값에 도달하는 감정 강도 변화의 크기를 포함한다.
실시예의 대체 구현에서, 전술한 감정들을 모니터링하기 위한 장치는 감정 표현 정보의 정보 변환을 수행하기 위한, 도면들에서 도시되지 않은 표현 정보 변환 모듈을 더 포함한다.
전술한 연관 및 저장 모듈(1030)은 변환된 감정 표현 정보를 감정 자극 소스 정보와 연관시키고, 연관된 감정 표현 정보 및 감정 자극 소스 정보를 저장하기 위한 연관 및 저장 서브모듈을 포함한다.
실시예의 대체 구현에서, 감정 표현 정보는 텍스트 정보, 이미지 정보, 오디오 정보, 비디오 정보 및 생리적 신호 정보 중 적어도 하나를 포함한다.
도 10에 도시된 실시예와 비교하면, 도 11에 도시된 실시예의 감정들을 모니터링하기 위한 장치는 감정 표현 정보를 감정 자극 소스 정보와 연관시키고, 연관된 감정 표현 정보 및 감정 자극 소스 정보를 저장하기 위한 트리거를 더 결정하여, 저장된 감정 관계 정보가 감정 변화의 상태를 효과적으로 특징지어지게 하고, 감정들을 모니터링하는 효율을 향상시킨다.
실시예의 대체 구현에서, 도 12에 도시된 것과 같이, 전술한 자극 소스 정보 획득 모듈(1020)은 현재 획득된 멀티미디어 정보, 환경 정보 및 생리적 신호 정보 중 적어도 하나에 따라 현재 감정의 감정 자극 소스 정보를 결정하기 위한 자극 소스 정보 획득 서브모듈(1021)을 포함한다.
실시예의 대체 구현에서, 자극 소스 정보 획득 서브모듈(1021)은 현재 출력된 그리고/또는 수집된 멀티미디어 정보에 따라 감정 자극 소스 정보를 결정하도록 구성된다. 멀티미디어 정보는 텍스트 정보, 이미지 정보, 오디오 정보 및 비디오 정보 중 적어도 하나를 포함한다.
실시예의 대체 구현에서, 자극 소스 정보 획득 서브모듈(1021)은 현재 출력된 그리고/또는 수집된 오디오 정보, 오디오 정보로부터 유도된 속성 정보, 오디오 정보의 미리 설정된 시간 구간에서 오디오 세그먼트 및 오디오 정보로부터 유도된 시맨틱 정보 중 적어도 하나를 감정 자극 소스 정보로 선택하기 위한, 도면들에서 도시되지 않은 오디오 정보 유닛을 포함한다.
실시예의 대체 구현에서, 자극 소스 정보 획득 서브모듈(1021)은 현재 출력된 그리고/또는 수집된 비디오 정보, 비디오 정보로부터 유도된 속성 정보, 비디오 정보의 미리 설정된 시간 구간에서 비디오 세그먼트, 비디오 정보로부터 유도된 시맨틱 정보, 비디오 정보로부터 유도된 이벤트 정보, 비디오 정보로부터 유도된 개인 정보, 비디오 정보로부터 유도된 스크린샷 정보 및 비디오 정보로부터 유도된 오디오 정보 중 적어도 하나를 감정 자극 소스 정보로 선택하기 위한, 도면들에서 도시되지 않은 비디오 정보 유닛을 포함한다.
실시예의 대체 구현에서, 자극 소스 정보 획득 서브모듈(1021)은 현재 출력된 그리고/또는 수집된 이미지 정보, 이미지 정보로부터 유도된 이벤트 정보 및 이미지 정보로부터 유도된 개인 정보 중 적어도 하나를 감정 자극 소스 정보로 선택하기 위한, 도면들에서 도시되지 않은 이미지 정보 유닛을 포함한다.
실시예의 대체 구현에서, 자극 소스 정보 획득 서브모듈(1021)은 현재 출력된 그리고/또는 수집된 텍스트 정보 및 텍스트 정보로부터 유도된 시맨틱 정보 중 적어도 하나를 감정 자극 소스 정보로 선택하기 위한, 도면들에서 도시되지 않은 텍스트 정보 유닛을 포함한다.
본 구현의 대체 실시예에서, 생리적 신호 정보는 사용자의 현재 생리적 신호 정보 또는 현재 생리적 신호 정보로부터 유도된 건강 정보를 포함한다.
실시예의 대체 구현에서, 환경 정보는 시간 정보, 위치 정보, 기상 정보, 온도 정보 및 습도 정보 중 적어도 하나를 포함한다.
실시예의 대체 구현에서, 전술한 감정들을 모니터링하기 위한 장치는, 현재 감정의 감정 유형 및 감정 강도를 감정 표현 정보와 연관시키고, 연관된 감정 유형, 감정 강도 및 감정 자극 소스 정보를 저장하기 위한, 도면들에서 도시되지 않은 감정 저장 모듈을 더 포함한다.
실시예의 대체 구현에서, 전술한 감정들을 모니터링하기 위한 장치는 감정 강도를 정규화하기 위한 정규화 모듈을 더 포함한다.
실시예의 대체 구현에서, 상기 장치는, 현재 감정의 감정 유형이 미리 설정된 샘플링 시간 구간에서 변화되지 않고 유지되며, 현재 감정의 감정 강도가 저장된 감정 강도보다 크면, 저장된 감정 표현 정보 및 저장된 감정 자극 소스 정보를 현재 감정의 감정 표현 정보 및 현재 감정의 감정 자극 소스 정보로 각각 교체하기 위한, 도면들에서 도시되지 않은 감정 업데이트 모듈을 더 포함한다.
실시예의 대체 구현에서, 전술한 감정들을 모니터링하기 위한 장치는, 감정 모니터링 프로그램의 실행을 검출하기 위한, 도면들에서 도시되지 않은 프로그램 검출 모듈을 더 포함한다.
실시예의 대체 구현에서, 전술한 감정들을 모니터링하기 위한 장치는, 저장된 감정 표현 정보 및 연관된 감정 자극 소스 정보를 공유 또는 디스플레이하기 위한, 도면들에서 도시되지 않은 디스플레이 및 공유 모듈; 저장된 감정 표현 정보 및 연관된 감정 자극 소스 정보에 대해 데이터 분석을 수행하고, 데이터 분석 결과를 공유 또는 디스플레이하기 위한, 도면들에서 도시되지 않은 데이터 분석 모듈; 저장된 감정 표현 정보 및 연관된 감정 자극 소스 정보 에 대해 데이터 분석을 수행하고, 데이터 분석 결과에 따라 감정 관리 추천 정보를 출력하기 위한, 도면들에서 도시되지 않은 감정 추천 모듈을 더 포함한다.
실시예의 감정들을 모니터링하기 위한 장치는, 획득된 멀티미디어 정보, 환경 정보 및 생리적 신호 정보에 따라 감정 자극 소스 정보를 결정하고, 그러한 방식으로 획득된 감정 자극 소스 정보는 감정 변화들을 야기하는 가능한 거의 모든 자극 소스 정보를 포함하고, 이와 같이 획득된 자극 소스들은 더 종합적이어서, 감정을 모니터링하는 정확도를 더 향상시킨다.
실시예의 대체 구현에서, 도 13에 도시된 것과 같이, 전술한 감정들을 모니터링하기 위한 장치는, 연관된 사용자의 감정 표현 정보 및/또는 감정 자극 소스 정보를 획득하기 위한 연관 감정 획득 모듈(1040) 및 연관된 사용자의 감정 표현 정보 및/또는 감정 자극 소스 정보를 공유하기 위한 연관 감정 공유 모듈(1050)을 더 포함한다.
실시예의 대체 구현에서, 전술한 감정들을 모니터링하기 위한 장치는, 연관된 사용자에 의해 공유되는 감정 표현 정보 및 감정 자극 소스 정보를 수신하기 위한 감정 수신 모듈(1060), 그리고 감정 수신 모듈(1060)에 의해 수신되며, 연관된 사용자에 의해 공유되는 감정 표현 정보 및 감정 자극 소스 정보를 저장된 감정 표현 정보 및 저장된 감정 자극 소스 정보와 결합하기 위한 감정 결합 모듈(1070)를 더 포함한다.
실시예의 감정들을 모니터링하기 위한 장치는, 현재 사용자의 감정 관계 정보로부터 수집된 연관된 사용자의 감정 관계 정보를 획득할 수 있고, 이를 연관된 사용자와 공유할 수 있다. 게다가, 상기 장치는 연관된 사용자로부터 전송된 감정 관계 정보를 수신할 수 있다. 실시예는 감정 관계 정보가 획득될 수 있는 소스를 넓혀, 감정들을 모니터링하는 범위를 더 향상시킨다.
앞의 실시예들에서 설명된 모듈들은 소프트웨어 또는 하드웨어에 구현되거나, 또는 프로세서에 배치될 수 있다. 예를 들어, 프로세서는 표현 정보 획득 모듈, 자극 소스 정보 획득 모듈 및 연관 및 저장 모듈을 포함하는 것이 설명될 수 있다. 일부 상황들 하에서, 각 모듈의 이름은 모듈 자체를 제한하지 않는다. 예를 들어, 표현 정보 획득 모듈은 또한 "사용자의 현재 감정의 감정 표현 정보를 획득하기 위해 사용되는 모듈"로 설명될 수 있다.
도 14는 일부 실시예에 따른 전자 장치(1000)의 구성도를 도시한다. 전자 장치(1000)는 전술한 도면들에서 설명한 감정을 모니터링하는 장치의 구현예일 수 있고, 전술한 내용이 모두 적용될 수 있다. 전자 장치(1000)는 스마트 폰, 스마트 TV, 태블릿 컴퓨터, 포터블 랩탑 컴퓨터, 데스크탑 컴퓨터, 웨어러블 디바이스 등과 같은 다양한 전자 장치일 수 있다.
도 14를 참고하면, 전자 장치(1000)는 메모리(1700), 디스플레이부(1210) 및 제어부(1300)를 포함한다.
제어부(1300)는 전자 장치(1000)의 전반적인 동작을 제어하며, 전자 장치(1000)의 동작에 필요한 각종 데이터를 처리할 수 있다. 전술한 도면들에서 설명한 감정을 모니터링하는 장치의 동작의 제어나, 그 동작에 필요한 데이터 처리는 모두 제어부(1300)에서 수행될 수 있다. 따라서 전술된 내용은 특별히 언급하지 않더라도 도 14의 전자 장치(1000)에 적용 가능하다. 제어부(1300)는 CPU, 마이크로 프로세서, GPU 등을 포함할 수 있다. 제어부(1300)는 전술한 도면들에 도시된 모듈들을 포함할 수 있다.
제어부(1300)는 사용자의 감정을 나타내는 감정 표현 정보를 획득할 수 있다. 제어부(1300)는 감정의 원인을 나타내는 감정 자극 소스 정보를 획득할 수 있다. 제어부(1300)는 감정 표현 정보를 감정 자극 소스 정보와 연관시키고, 연관된 상기 감정 표현 정보 및 감정 자극 소스 정보를 메모리(1700)에 저장할 수 있다.
제어부(1300)는 감정 표현 정보 및 감정 자극 소스 정보를 상기 디스플레이부(1210)에 디스플레이할 수 있다. 제어부(1300)는 감정 표현 정보 및 감정 자극 소스 정보가 획득된 시간에 대한 시간 정보를 감정 표현 정보 및 감정 자극 소스 정보와 함께 연관시켜 메모리(1700)에 저장할 수 있다.
제어부(1300)는 시간에 따른 사용자의 감정을 나타내는 콘텐트를 디스플레이부(1210)에 디스플레이할 수 있다. 콘텐트는 시간에 따른 감정을 나타내는 텍스트, 차트, 슬라이드, 그래프 등 다양할 수 있다. 시간에 따른 사용자의 감정을 나타내는 콘텐트의 예는 도 7a에서 설명하였다.
사용자 입력에 의해 콘텐트에서 특정 시간이 선택되면, 제어부(1300)는 선택된 시간과 관계된 감정 표현 정보 및 감정 자극 소스 정보를 디스플레이부(1210)에 디스플레이할 수 있다. 전자 장치(1000)는 콘텐트에서 특정 시간을 선택하는 사용자 입력을 수신하는 사용자 입력부를 더 포함할 수 있다.
전술한 도 7a에서와 같이 시간에 따른 사용자의 감정을 나타내는 콘텐트에서 특정 시간을 선택하는 사용자 입력이 수신되면, 도 7b와 같이 디스플레이(1210)부의 화면이 전환될 수 있다. 즉, 제어부(1300)는 선택된 시간과 관계된 감정 표현 정보 및 감정 자극 소스 정보를 디스플레이부(1210)에 디스플레이할 수 있다.
제어부(1300)는 멀티미디어 정보, 환경 정보 및 사용자의 생리적 신호 정보 중 적어도 하나에 기초하여 감정 자극 소스 정보를 획득할 수 있다. 멀티미디어 정보는 텍스트 정보, 이미지 정보, 오디오 정보 및 비디오 정보 중 적어도 하나를 포함할 수 있다.
제어부(1300)는 멀티미디어 정보 및 생리적 신호 정보 중 적어도 하나에 기초하여 감정 표현 정보를 획득할 수 있다.
제어부(1300)는 감정 표현 정보 및 감정 자극 소스 정보를 메모리(1700)에 저장한 후, 사용자의 감정에 대한 감정 유형의 변화 및 감정 강도의 변화를 모니터링할 수 있다. 모니터링 결과, 감정 유형은 변하지 않고, 감정 강도의 변화가 제1 임계값보다 커지면, 제어부(1300)는 감정 표현 정보 및 감정 자극 소스 정보를 업데이트할 수 있다. 제어부(1300)는 메모리(1700)에 이전에 저장된 감정 표현 정보 및 감정 자극 소스 정보를 업데이트된 감정 표현 정보 및 감정 자극 소스 정보로 교체할 수 있다. 만일, 감정 강도의 변화가 제1 임계값보다 큰 제2 임계값보다 크다면, 제어부(1300)는 메모리(1700)에 이전에 저장된 감정 표현 정보 및 감정 자극 소스 정보를 보존하고, 업데이트된 감정 표현 정보 및 감정 자극 소스 정보를 메모리(1700)에 새로 저장할 수도 있다.
제어부(1300)는 감정 강도를 정규화할 수 있다.
제어부(1300)는 감정 표현 정보 및 감정 자극 소스 정보에 기초하여 감정 관리 추천 정보를 획득할 수 있다.
도 15는 도 14의 전자 장치(1000)의 또 다른 구성을 나타내는 블록도이다. 도 15에 도시된 전자 장치(1000)의 구성은 전술한 감정을 모니터링하기 위한 장치들에 모두 적용될 수 있다.
도 15를 참고하면, 전자 장치(1000)는, 사용자 입력부(1100), 출력부(1200), 제어부(1300), 및 통신부(1500)를 포함할 수 있다. 그러나, 도 15에 도시된 구성 요소 모두가 전자 장치(1000)의 필수 구성 요소인 것은 아니다. 도 15에 도시된 구성 요소보다 많은 구성 요소에 의해 전자 장치(1000)가 구현될 수도 있고, 도 15에 도시된 구성 요소보다 적은 구성 요소에 의해 전자 장치(1000)가 구현될 수도 있다.
전자 장치(1000)는, 사용자 입력부(1100), 출력부(1200), 제어부(1300), 및 통신부(1500) 이외에 센싱부(1400), A/V 입력부(1600), 및 메모리(1700)를 더 포함할 수도 있다.
제어부(1300)는 사용자의 감정을 나타내는 감정 표현 정보를 획득할 수 있다. 제어부(1300)는 감정의 원인을 나타내는 감정 자극 소스 정보를 획득할 수 있다. 제어부(1300)는 감정 표현 정보를 감정 자극 소스 정보와 연관시키고, 연관된 상기 감정 표현 정보 및 감정 자극 소스 정보를 메모리(1700)에 저장할 수 있다.
제어부(1300)는 멀티미디어 정보, 환경 정보 및 사용자의 생리적 신호 정보 중 적어도 하나에 기초하여 감정 자극 소스 정보를 획득할 수 있다. 멀티미디어 정보는 텍스트 정보, 이미지 정보, 오디오 정보 및 비디오 정보 중 적어도 하나를 포함할 수 있다.
제어부(1300)는 멀티미디어 정보 및 생리적 신호 정보 중 적어도 하나에 기초하여 감정 표현 정보를 획득할 수 있다.
제어부(1300)는, 사용자 입력부(1100), 출력부(1200), 센싱부(1400), 통신부(1500), A/V 입력부(1600)를 통해 멀티미디어 정보, 환경 정보, 사용자의 생리적 신호 정보 중 적어도 하나를 회득할 수 있다.
멀티미디어 정보는 사용자 입력부(1100) 또는 통신부(1500)를 통해 수신된 것일 수 있고, 출력부(1200)에 출력된 것일 수 있다. 또한, 멀티미디어 정보는 A/V 입력부(1600)를 통해 획득된 것일 수도 있다. 환경 정보나 사용자의 생리적 신호 정보는 센싱부(1400)에서 획득된 것일 수 있다.
사용자 입력부(1100)는, 사용자가 전자 장치(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1100)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
사용자 입력부(1100)는, 사용자에 의해 입력되는 멀티미디어 정보를 수신할 수 있다. 제어부(1300)는 사용자 입력부(1100)를 통해 수신된 멀티미디어 정보에 기초하여 사용자의 감정에 대한 감정 표현 정보 및 감정 자극 소스 정보를 획득할 수 있다.
사용자 입력부(1100)는, 감정 모니터링 수행을 지시하는 명령을 수신할 수도 있다. 구체적으로, 사용자 입력부(1100)는 사용자에 의해 감정 모니터링 프로그램 실행을 지시하는 명령을 수신할 수 있다. 명령을 수신한 후, 전자 장치(1000)는 감정을 모니터링하는 동작을 수행할 수 있다.
출력부(1200)는, 오디오 정보 또는 비디오 정보 또는 진동 신호를 출력할 수 있으며, 출력부(1200)는 디스플레이부(1210), 음향 출력부(1220), 및 진동 모터(1230)를 포함할 수 있다. 제어부(1300)는 출력부(1200)가 출력하는 오디오 정보 또는 비디오 정보에 기초하여 사용자의 감정에 대한 감정 표현 정보 및 감정 자극 소스 정보를 획득할 수 있다.
출력부(1200)는 감정 표현 정보 및 감정 자극 소스 정보를 출력할 수 있다. 또한, 출력부(1200)는 감정 관리 추천 정보를 출력할 수도 있다.
디스플레이부(1210)는 전자 장치(1000)에서 처리되는 정보를 표시 출력한다. 한편, 디스플레이부(1210)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(1210)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(1210)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 전자 장치(1000)의 구현 형태에 따라 전자 장치(1000)는 디스플레이부(1210)를 2개 이상 포함할 수도 있다. 이때, 2개 이상의 디스플레이부(1210)는 힌지(hinge)를 이용하여 마주보게 배치될 수 있다.
제어부(1300)는 감정 표현 정보 및 감정 자극 소스 정보를 디스플레이부(1210)에 디스플레이할 수 있다. 제어부(1300)는 시간에 따른 사용자의 감정을 나타내는 콘텐트를 디스플레이부(1210)에 디스플레이할 수 있다.
사용자 입력부(1100)는 콘텐트에서 특정 시간을 선택하는 사용자 입력을 수신할 수 있다. 제어부(1300)는 선택된 시간과 관계된 감정 표현 정보 및 감정 자극 소스 정보를 디스플레이부(1210)에 디스플레이할 수 있다.
음향 출력부(1220)는 통신부(1500)로부터 수신되거나 메모리(1700)에 저장된 오디오 정보를 출력한다. 또한, 음향 출력부(1220)는 전자 장치(1000)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(1220)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
진동 모터(1230)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(1230)는 오디오 정보 또는 비디오 정보(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(1230)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.
제어부(1300)는, 통상적으로 전자 장치(1000)의 전반적인 동작을 제어할 수 있다. 제어부(1300)는 전술한 도면들의 전자 장치(예를 들어, 도 1의 100)의 동작을 수행하기 위하여 전자 장치(1000)를 제어할 수 있다. 예를 들어, 제어부(1300)는, 메모리(1700)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(1100), 출력부(1200), 센싱부(1400), 통신부(1500), A/V 입력부(1600) 등을 전반적으로 제어할 수 있다.
센싱부(1400)는, 전자 장치(1000)의 상태 또는 전자 장치(1000) 주변의 상태 또는 사용자의 상태를 감지하고, 감지된 정보를 제어부(1300)로 전달할 수 있다.
센싱부(1400)는, 지자기 센서(Magnetic sensor)(1410), 가속도 센서(Acceleration sensor)(1420), 온/습도 센서(1430), 적외선 센서(1440), 자이로스코프 센서(1450), 위치 센서(예컨대, GPS)(1460), 기압 센서(1470), 근접 센서(1480), 및 RGB 센서(illuminance sensor)(1490) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
센싱부(1400)는 감정 표현 정보 또는 감정 자극 소스 정보 획득에 이용되는 환경 정보를 획득할 수 있다. 환경 정보는 시간 정보, 위치 정보, 기상 정보, 온도 정보 및 습도 정보 중 적어도 하나를 포함한다.
센싱부(1400)는 사용자의 생리적 신호 정보를 획득하는 생리적 신호 센서를 더 포함할 수 있다. 생리적 신호 센서는 예를 들어 심박동수(heart rate), 심전도(electrocardiogram), 피부 전도도(skin conductance), 신체 온도 및 혈압 등을 획득할 수 있다.
통신부(1500)는, 클라우드, 서버 및/또는 다른 전자 장치와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 사용자와 연관된 제2 사용자는 다른 전자 장치의 사용자일 수 있다. 예를 들어, 통신부(1500)는, 근거리 통신부(1510), 이동 통신부(1520), 방송 수신부(1530)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(1510)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(1520)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(1530)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 전자 장치(1000)가 방송 수신부(1530)를 포함하지 않을 수도 있다.
제어부(1300)는 감정 표현 정보 및 감정 자극 소스 정보 중 적어도 하나인 감정 관계 정보를 사용자와 연관된 제2 사용자와 공유하도록 통신부(1500)를 제어할 수 있다.
예를 들어, 제어부(1300)는 통신부(1500)를 통해 제2 사용자가 접속할 수 있는 클라우드 또는 서버, 제2 사용자가 사용하는 제2 전자 장치 중 적어도 하나에 감정 관계 정보를 전송할 수 있다. 또한, 제어부(1300)는 제2 사용자에 의해 공유되는 감정 관계 정보를 통신부(1500)를 통해 수신할 수 있다. 이와 같이, 통신부(1500)에 의해, 전자 장치(1000)는 감정 관계 정보를 제2 사용자와 공유할 수 있다.
제어부(1300)는 멀티미디어 정보에 기초하여 사용자와 연관된 제2 사용자의 감정을 나타내는 제2 감정 표현 정보 및 상기 제2 사용자의 감정의 원인을 나타내는 제2 감정 자극 소스 정보 중 적어도 하나를 획득할 수 있다. 제어부(1300)는 제2 감정 표현 정보 및 제2 감정 자극 소스 정보 중 적어도 하나를 제2 사용자와 공유하도록 통신부(1500)를 제어할 수 있다.
제어부(1300)는 제2 사용자에 의해 공유되는, 사용자의 감정을 나타내는 제3 감정 표현 정보 및 제3 감정 표현 정보에 대응하는 제3 감정 자극 소스 정보 중 적어도 하나를 통신부(1500)를 통해 수신할 수 있다. 통신부(1500)는 감정 표현 정보 및 감정 자극 소스 정보를 제3 감정 표현 정보 및 제3 감정 자극 소스 정보 중 적어도 하나와 결합시킬 수 있다.
A/V(Audio/Video) 입력부(1600)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1610)와 마이크로폰(1620) 등이 포함될 수 있다. 카메라(1610)은 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 제어부(1300) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
카메라(1610)에서 처리된 화상 프레임은 메모리(1700)에 저장되거나 통신부(1500)를 통하여 외부로 전송될 수 있다. 카메라(1610)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
마이크로폰(1620)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(1620)은 외부 전자 장치 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(1620)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
카메라(1610)는 사용자를 촬영하여 이미지 정보를 획득할 수 있다. 카메라(1610) 및 마이크로폰(1620)은 사용자를 촬영하여 비디오 정보를 획득할 수 있다. 마이크로폰(1620)은 사용자의 음성에 대한 오디오 정보를 획득할 수 있다. 이와 같이, A/V 입력부(1600)는 이미지 정보, 비디오 정보 및 오디오 정보 중 적어도 하나를 포함할 수 있는 멀티미디어 정보를 획득할 수 있다.
제어부(1300)는 A/V 입력부(1600)를 통해 획득된 멀티미디어 정보에 기초하여 감정 표현 정보나 감정 자극 소스 정보를 획득할 수 있다.
메모리(1700)는, 제어부(1300)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 전자 장치(1000)로 입력되거나 전자 장치(1000)로부터 출력되는 데이터를 저장할 수도 있다.
메모리(1700)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
메모리(1700)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(1710), 터치 스크린 모듈(1720), 알림 모듈(1730) 등으로 분류될 수 있다.
UI 모듈(1710)은, 애플리케이션 별로 전자 장치(1000)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(1720)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 제어부(1300)로 전달할 수 있다. 일부 실시예에 따른 터치 스크린 모듈(1720)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(1720)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.
터치스크린의 터치 또는 근접 터치를 감지하기 위해 터치스크린의 내부 또는 근처에 다양한 센서가 구비될 수 있다. 터치스크린의 터치를 감지하기 위한 센서의 일례로 촉각 센서가 있다. 촉각 센서는 사람이 느끼는 정도로 또는 그 이상으로 특정 물체의 접촉을 감지하는 센서를 말한다. 촉각 센서는 접촉면의 거칠기, 접촉 물체의 단단함, 접촉 지점의 온도 등의 다양한 정보를 감지할 수 있다.
또한, 터치스크린의 터치를 감지하기 위한 센서의 일례로 근접 센서가 있다.
근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 사용자의 터치 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 스와이프 등이 있을 수 있다.
알림 모듈(1730)은 전자 장치(1000)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 전자 장치(1000)에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 일정 알림 등이 있다. 알림 모듈(1730)은 디스플레이부(1210)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(1220)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(1230)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.
다른 측면에서, 본 출원은 컴퓨터 판독 가능 저장 매체를 더 제공하고, 이는 앞의 실시예의 장치에 포함되는 컴퓨터 판독 가능 저장 매체일 수 있고, 또는 단말에 인스톨되지 않는 별개의 컴퓨터 판독 가능 저장 매체일 수 있다. 컴퓨터 판독 가능 저장 매체는, 본 출원의 감정을 모니터링하기 위한 방법을 구현하기 위한 하나 또는 그 이상의 프로세서에 의해 실행되는 하나 또는 그 이상의 프로그램을 저장한다.
여기에 개시된 설명들은 바람직한 실시예들이 되도록 현재 고려된 것이고, 발명의 원리를 설명하였지만, 이 기술 분야에서 통상의 지식을 가진 자에 의해 발명의 범위는 앞의 기술적 특징들 중 하나와 다른 것들 사이의 조합들로 구성된 기술적 해결책에 제한하는 것이 아니라, 발명의 범위를 벗어나지 않으면서, 앞의 기술적 특징들에 대한 유사한 기능들로, 기술적 특징들 중 하나와 다른 것들 사이의 임의의 조합으로 구성된 기술적 해결책과 같은, 앞의 기술적 특징들 또는 그와 등가물들 중 하나와 다른 것들 사이의 조합들로 구성된 다른 기술적 해결책을 포함하도록 의도된 것임이 인정될 것이다.

Claims (20)

  1. 메모리;
    디스플레이부; 및
    사용자의 감정을 나타내는 감정 표현 정보를 획득하고, 상기 감정의 원인을 나타내는 감정 자극 소스 정보를 획득하고, 상기 감정 표현 정보를 상기 감정 자극 소스 정보와 연관시키고, 연관된 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 상기 메모리에 저장하며,
    상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 상기 디스플레이부에 디스플레이하는 제어부를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 제어부는 시간에 따른 상기 사용자의 감정을 나타내는 콘텐트를 상기 디스플레이부에 디스플레이하는, 전자 장치.
  3. 제2항에 있어서,
    상기 콘텐트에서 특정 시간을 선택하는 사용자 입력을 수신하는 사용자 입력부를 더 포함하며,
    상기 제어부는 상기 선택된 시간과 관계된 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 상기 디스플레이부에 디스플레이하는, 전자 장치.
  4. 제1항에 있어서,
    상기 제어부는 멀티미디어 정보, 환경 정보 및 상기 사용자의 생리적 신호 정보 중 적어도 하나에 기초하여 상기 감정 자극 소스 정보를 획득하고,
    상기 멀티미디어 정보는 텍스트 정보, 이미지 정보, 오디오 정보 및 비디오 정보 중 적어도 하나를 포함하는, 전자 장치.
  5. 제4항에 있어서,
    상기 제어부는 상기 멀티미디어 정보 및 상기 생리적 신호 정보 중 적어도 하나에 기초하여 상기 감정 표현 정보를 획득하는, 전자 장치.
  6. 제4항에 있어서,
    서버 및 제2 사용자가 사용하는 제2 전자 장치 중 적어도 하나와 통신하도록 구성된 통신부를 더 포함하며,
    상기 제어부는 상기 멀티미디어 정보에 기초하여 상기 사용자와 연관된 제2 사용자의 감정을 나타내는 제2 감정 표현 정보 및 상기 제2 사용자의 감정의 원인을 나타내는 제2 감정 자극 소스 정보 중 적어도 하나를 획득하고,
    상기 제2 감정 표현 정보 및 상기 제2 감정 자극 소스 정보 중 적어도 하나를 상기 제2 사용자와 공유하도록 상기 통신부를 제어하는, 전자 장치.
  7. 제6항에 있어서,
    상기 제어부는 상기 제2 사용자에 의해 공유되는, 상기 사용자의 감정을 나타내는 제3 감정 표현 정보 및 상기 제3 감정 표현 정보에 대응하는 제3 감정 자극 소스 정보 중 적어도 하나를 상기 통신부를 통해 수신하고,
    상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 상기 제3 감정 표현 정보 및 상기 제3 감정 자극 소스 정보 중 적어도 하나와 결합시키는, 전자 장치.
  8. 제1항에 있어서,
    상기 제어부는 상기 연관된 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 상기 메모리에 저장한 후, 상기 사용자의 상기 감정에 대한 감정 유형의 변화 및 감정 강도의 변화를 모니터링하여, 상기 감정 유형은 변하지 않고, 상기 감정 강도의 변화가 임계값보다 커지면, 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 업데이트하는, 전자 장치.
  9. 제8항에 있어서,
    상기 제어부는 상기 감정 강도를 정규화하는, 전자 장치.
  10. 제1항에 있어서,
    상기 제어부는 상기 감정 표현 정보 및 상기 감정 자극 소스 정보에 기초하여 감정 관리 추천 정보를 획득하고,
    상기 감정 관리 추천 정보를 상기 디스플레이부에 디스플레이하는, 전자 장치.
  11. 사용자의 감정을 나타내는 감정 표현 정보를 획득하는 단계;
    상기 감정의 원인을 나타내는 감정 자극 소스 정보를 획득하는 단계;
    상기 감정 표현 정보를 상기 감정 자극 소스 정보와 연관시키는 단계;
    연관된 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 저장하는 단계; 및
    상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 디스플레이하는 단계를 포함하는 전자 장치의 동작 방법.
  12. 제11항에 있어서,
    시간에 따른 상기 사용자의 감정을 나타내는 콘텐트를 디스플레이하는 단계를 더 포함하는 방법.
  13. 제12항에 있어서,
    상기 콘텐트에서 특정 시간을 선택하는 사용자 입력을 수신하는 단계를 더 포함하고,
    상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 디스플레이하는 단계는, 상기 선택된 시간과 관계된 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 디스플레이하는 단계인, 방법.
  14. 제11항에 있어서,
    상기 감정 자극 소스 정보를 획득하는 단계는, 멀티미디어 정보, 환경 정보 및 상기 사용자의 생리적 신호 정보 중 적어도 하나에 기초하여 상기 감정 자극 소스 정보를 획득하는 단계를 포함하고, 상기 멀티미디어 정보는 텍스트 정보, 이미지 정보, 오디오 정보 및 비디오 정보 중 적어도 하나를 포함하는, 방법.
  15. 제14항에 있어서,
    상기 감정 표현 정보를 획득하는 단계는, 상기 멀티미디어 정보 및 상기 생리적 신호 정보 중 적어도 하나에 기초하여 상기 감정 표현 정보를 획득하는 단계를 포함하는, 방법.
  16. 제14항에 있어서,
    상기 멀티미디어 정보에 기초하여 상기 사용자와 연관된 제2 사용자의 감정을 나타내는 제2 감정 표현 정보 및 상기 제2 사용자의 감정의 원인을 나타내는 제2 감정 자극 소스 정보 중 적어도 하나를 획득하는 단계;
    상기 제2 감정 표현 정보 및 상기 제2 감정 자극 소스 정보 중 적어도 하나를 상기 제2 사용자와 공유하는 단계를 더 포함하는 방법.
  17. 제16항에 있어서,
    상기 제2 사용자에 의해 공유되는, 상기 사용자의 감정을 나타내는 제3 감정 표현 정보 및 상기 제3 감정 표현 정보에 대응하는 제3 감정 자극 소스 정보 중 적어도 하나를 수신하는 단계; 및
    상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 상기 제3 감정 표현 정보 및 상기 제3 감정 자극 소스 정보 중 적어도 하나와 결합시키는 단계를 더 포함하는 방법.
  18. 제11항에 있어서,
    상기 연관된 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 저장한 후, 상기 사용자의 상기 감정에 대한 감정 유형의 변화 및 감정 강도의 변화를 모니터링하는 단계; 및
    상기 감정 유형은 변하지 않고, 상기 감정 강도의 변화가 임계값보다 커지면, 상기 감정 표현 정보 및 상기 감정 자극 소스 정보를 업데이트하는 단계를 더 포함하는 방법.
  19. 제11항에 있어서,
    상기 감정 표현 정보 및 상기 감정 자극 소스 정보에 기초하여 감정 관리 추천 정보를 획득하는 단계; 및
    상기 감정 관리 추천 정보를 디스플레이하는 단계를 더 포함하는 방법.
  20. 제11항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
PCT/KR2015/008471 2014-11-06 2015-08-13 전자 장치 및 그 동작 방법 WO2016072595A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/524,419 US20180285641A1 (en) 2014-11-06 2015-08-13 Electronic device and operation method thereof
EP15857415.2A EP3217254A4 (en) 2014-11-06 2015-08-13 Electronic device and operation method thereof

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201410638408.1 2014-11-06
CN201410638408.1A CN105615902A (zh) 2014-11-06 2014-11-06 情绪监控方法和装置
KR1020150113854A KR102327203B1 (ko) 2014-11-06 2015-08-12 전자 장치 및 그 동작 방법
KR10-2015-0113854 2015-08-12

Publications (1)

Publication Number Publication Date
WO2016072595A1 true WO2016072595A1 (ko) 2016-05-12

Family

ID=55909299

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/008471 WO2016072595A1 (ko) 2014-11-06 2015-08-13 전자 장치 및 그 동작 방법

Country Status (1)

Country Link
WO (1) WO2016072595A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106507280A (zh) * 2016-10-28 2017-03-15 宇龙计算机通信科技(深圳)有限公司 一种情绪监测方法及相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070162283A1 (en) * 1999-08-31 2007-07-12 Accenture Llp: Detecting emotions using voice signal analysis
US20100003969A1 (en) * 2008-04-07 2010-01-07 Shin-Ichi Isobe Emotion recognition message system, mobile communication terminal therefor and message storage server therefor
WO2013048225A2 (ko) * 2011-09-29 2013-04-04 Hur Min 감성표현데이터 전달 방법 및 그 시스템
US20140016860A1 (en) * 2010-06-07 2014-01-16 Affectiva, Inc. Facial analysis to detect asymmetric expressions
US20140234815A1 (en) * 2013-02-18 2014-08-21 Electronics And Telecommunications Research Institute Apparatus and method for emotion interaction based on biological signals

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070162283A1 (en) * 1999-08-31 2007-07-12 Accenture Llp: Detecting emotions using voice signal analysis
US20100003969A1 (en) * 2008-04-07 2010-01-07 Shin-Ichi Isobe Emotion recognition message system, mobile communication terminal therefor and message storage server therefor
US20140016860A1 (en) * 2010-06-07 2014-01-16 Affectiva, Inc. Facial analysis to detect asymmetric expressions
WO2013048225A2 (ko) * 2011-09-29 2013-04-04 Hur Min 감성표현데이터 전달 방법 및 그 시스템
US20140234815A1 (en) * 2013-02-18 2014-08-21 Electronics And Telecommunications Research Institute Apparatus and method for emotion interaction based on biological signals

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3217254A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106507280A (zh) * 2016-10-28 2017-03-15 宇龙计算机通信科技(深圳)有限公司 一种情绪监测方法及相关设备

Similar Documents

Publication Publication Date Title
KR102327203B1 (ko) 전자 장치 및 그 동작 방법
WO2020080773A1 (en) System and method for providing content based on knowledge graph
WO2017043857A1 (ko) 어플리케이션 제공 방법 및 이를 위한 전자 기기
WO2016126007A1 (en) Method and device for searching for image
WO2018182201A1 (ko) 사용자의 음성 입력에 대한 답변을 제공하는 방법 및 장치
WO2020067710A1 (ko) 대화형 인터페이스를 제공하는 방법 및 시스템
WO2017082519A1 (ko) 응답 메시지를 추천하는 사용자 단말 장치 및 그 방법
WO2016122158A1 (en) Image processing method and electronic device for supporting the same
WO2018080023A1 (ko) 전자 장치 및 그의 동작을 제어하는 방법
WO2020122677A1 (en) Method of performing function of electronic device and electronic device using same
WO2016089047A1 (ko) 컨텐트를 제공하는 방법 및 디바이스
WO2017086676A1 (ko) 전자 장치 및 전자 장치의 컨텐츠 출력 방법
WO2018128403A1 (en) Apparatus and method for processing content
WO2016036143A1 (ko) 전자 장치의 멀티미디어 데이터 처리 방법 및 그 전자 장치
WO2020159288A1 (ko) 전자 장치 및 그 제어 방법
WO2019125082A1 (en) Device and method for recommending contact information
WO2015199288A1 (en) Glass-type terminal and method of controling the same
WO2020036467A1 (ko) 사용자의 음성 입력에 기초하여 응답 메시지를 제공하는 서버 및 그 동작 방법
WO2019235793A1 (en) Electronic device and method for providing information related to image to application through input unit
EP3906553A1 (en) Electronic device for providing graphic data based on voice and operating method thereof
WO2018101671A1 (en) Apparatus and method for providing sentence based on user input
WO2015147486A1 (en) Method of providing activity notification and device thereof
WO2020153785A1 (ko) 전자 장치 및 이를 이용한 감정 정보에 대응하는 그래픽 오브젝트를 제공하는 방법
EP3529774A1 (en) Apparatus and method for processing content
WO2016039596A1 (en) Method and apparatus for generating preview data

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15857415

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15524419

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2015857415

Country of ref document: EP