WO2016170810A1 - 情報処理装置、制御方法、およびプログラム - Google Patents

情報処理装置、制御方法、およびプログラム Download PDF

Info

Publication number
WO2016170810A1
WO2016170810A1 PCT/JP2016/051735 JP2016051735W WO2016170810A1 WO 2016170810 A1 WO2016170810 A1 WO 2016170810A1 JP 2016051735 W JP2016051735 W JP 2016051735W WO 2016170810 A1 WO2016170810 A1 WO 2016170810A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
emotion
information
person
information processing
Prior art date
Application number
PCT/JP2016/051735
Other languages
English (en)
French (fr)
Inventor
高橋　亮
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2017513986A priority Critical patent/JP6610661B2/ja
Priority to CN201680017804.XA priority patent/CN107405120B/zh
Priority to EP16782832.6A priority patent/EP3287075A4/en
Priority to US15/560,230 priority patent/US11160479B2/en
Publication of WO2016170810A1 publication Critical patent/WO2016170810A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176—Recognition of faces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7445—Display arrangements, e.g. multiple display units
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. SMS or e-mail
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/109—Time management, e.g. calendars, reminders, meetings or time accounting
    • G06Q10/1093—Calendar-based scheduling for persons or groups
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Definitions

  • the present disclosure relates to an information processing device, a control method, and a program.
  • Patent Document 1 proposes an imaging apparatus that performs imaging by setting imaging parameters that reflect the psychological state of a person as a subject.
  • the present disclosure proposes an information processing apparatus, a control method, and a program that can recognize emotions of other users using user sensing information.
  • the emotion recognition unit that recognizes the emotion of the other user and the information on the recognized emotion of the other user are notified to the user.
  • An information processing apparatus including a notification control unit to be controlled is proposed.
  • the notification control for recognizing the emotion of the other user and notifying the user of the information on the recognized emotion of the other user.
  • a control method including controlling by a unit.
  • the computer is configured to send information relating to the emotion of the other user to the user based on the information related to the sensed user and the information related to the other user.
  • a program for functioning as a notification control unit that controls to notify is proposed.
  • FIG. 3 is an explanatory diagram illustrating a hardware configuration of an information processing apparatus according to an embodiment of the present disclosure.
  • An information processing system makes it possible to recognize an emotion of another person based on a sensor value sensed from a user who interacts with the other person.
  • a user's emotion is recognized based on biometric information sensed from the user, etc., and an emotion that matches, resembles, or correlates with the emotion (other party) ) Recognize as an emotion.
  • the user when recognizing the emotion of another person who is an AC partner using this system, the user only has to wear (or own) a predetermined sensor device, and the other person must be forced to wear the sensor device. Therefore, it is practical and improves convenience.
  • FIG. 1 an outline of the information processing system according to the present disclosure will be described with reference to FIG. 1.
  • FIG. 1 is a diagram illustrating an overview of an information processing system according to an embodiment of the present disclosure.
  • the information processing apparatus 1 attached to the user includes the user's biological information sensed by a self-measuring sensor and others.
  • the emotion of the other person P is recognized based on the captured image of the other person P sensed by the measurement sensor.
  • the information processing apparatus 1 is realized by, for example, a transmission type eyeglass-type terminal (smart eyeglass) as shown in FIG. 1, and displays the emotion of the recognized other person P on the lens portion and outputs a voice to the user. To do.
  • the user can know the emotion of the other person P in real time without forcing the other person P to wear the sensor device.
  • the other person's emotion is recognized based on only the other person's P's facial expression using the captured image of the other person's P
  • the other person's facial expression is intentionally changed in order to fake the emotion as described above.
  • the emotion of the other person P can be recognized more accurately.
  • At least a part of the self-measuring sensor and the other person measuring sensor may be mounted on the information processing apparatus 1 worn by the user, or another wearable device worn by the user (for example, smart band, smart watch, neck). It may be mounted on a hanging device or the like. Further, at least a part of the self-measuring sensor and the other person measuring sensor may be mounted on a mobile terminal (for example, a mobile phone terminal, a smartphone, a tablet terminal, etc.) owned by the user.
  • a mobile terminal for example, a mobile phone terminal, a smartphone, a tablet terminal, etc.
  • FIG. 2 is a block diagram illustrating an example of the configuration of the information processing apparatus 1-1 according to the first embodiment.
  • the information processing apparatus 1-1 includes a self-measuring sensor value acquisition unit 10, an other person measurement sensor value acquisition unit 11, an other person emotion recognition unit 12, an emotion recognition management unit 13, and an other person emotion information storage.
  • Unit 14 others information acquisition unit 15, others information management unit 16, others information storage unit 17, others feeling estimation unit 18, and output control unit 19.
  • the self-measurement sensor value acquisition unit 10 acquires the sensor value detected by the self-measurement sensor worn or owned by the user.
  • the self-measuring sensor is a biological information such as a heart rate monitor such as a pulse wave meter or an electrocardiograph, a respiratory rate meter, a sweat sensor, a cardiac elastic meter, a thermometer, a blood pressure meter, a blood glucose meter, a gaze detection device, or a pupil measurement device. It may be realized by a biosensor for detecting Further, the self-measuring sensor may be realized by an activity amount sensor that detects activity amount information, such as an acceleration sensor, an angular velocity sensor, a pedometer, or a geomagnetic sensor. Moreover, you may implement
  • Various self-measuring sensors may be mounted on a wearable device (for example, an information processing device 1 realized by smart eyeglass, a smart band, a smart watch, or a neck-mounted device) that is worn by a user, or a user May be installed in any mobile terminal.
  • a self-measuring sensor exists as an external device of the information processing apparatus 1, the self-measuring sensor value acquisition unit 10 receives a sensor value from an external self-measuring sensor by wireless or wired communication.
  • the other person measurement sensor value acquisition unit 11 acquires the sensor value detected by the other person measurement sensor that senses the other person.
  • the other person measurement sensor may be realized by, for example, a camera, a microphone, a depth meter, a proximity sensor, a human sensor, a thermography, or a combination thereof.
  • the other person measurement sensor may be mounted on a wearable device worn by the user, or may be mounted on a mobile terminal owned by the user.
  • the other person measurement sensor can also sense a third party who is present from the viewpoint that the emotion of the other person also affects the emotion of the third party.
  • the other person is a person who is an object of emotion recognition by this system and is a person who is interacting with the user by conversation or the like (a person who is directly facing, or who is directly facing through a telephone or the like). Not a partner who is interacting).
  • the third party is a person other than the other party who is the subject of emotion recognition, and is a person who interacts with the user and others through conversation or the like.
  • the other person emotion recognition unit 12 determines the other person's emotion based on the self measurement sensor value acquired by the self measurement sensor value acquisition unit 10 and the other person measurement sensor value acquired by the other person measurement sensor value acquisition unit 11. recognize.
  • the other person measurement sensor value acquired by the other person measurement sensor value acquisition unit 11 is the first from the viewpoint that, in addition to the sensor value related to the other person, the emotion of the other person also affects the emotion of the third party as described above. It may be a sensor value obtained by sensing the three parties.
  • Various methods for classifying human emotions have been proposed. In this embodiment, for example, an emotion classification method based on a two-dimensional ring model by Russell is used.
  • FIG. 3 is a diagram showing a two-dimensional circular model of emotion.
  • the emotions are arranged by placing each emotion on a two-dimensional axis on the two-dimensional axis of the degree of arousal (arousal-sedation) and the degree of pleasant emotion (pleasure-discomfort). Is included.
  • Another example is the classification based on the six emotions of surprise, fear, anger, disgust, sadness, and happiness, as proposed by Paul Ekman.
  • the user is influenced by the other person (partner) with whom the user interacts, and the user's emotion and the emotion of the other person often coincide, are similar, or are correlated. That is, when the emotions of two people who are together are mapped to a two-dimensional ring model, the mapping of emotions between the user and others is often similar as shown in FIG.
  • the other person's emotion recognition unit 12 recognizes the user's emotion based on each sensor value, and recognizes an emotion that matches, is similar to, or is correlated with, the emotion of the other person.
  • the correlated emotions include emotions that are contrary to the user's emotions.
  • the other person emotion recognition unit 12 performs SVM (support vector machine), deep learning, etc. based on the feature quantity extracted from the self-measurement sensor value and the feature quantity extracted from the other person sensor. It is possible to recognize others' feelings using machine learning methods and statistical methods.
  • SVM support vector machine
  • the features extracted from the self-measuring sensor value are RR interval, interval average value, root mean square, LF / HF ratio (low frequency component LF (Low ⁇ Frequency)) A high frequency component HF (High-Frequency) ratio) is extracted as a feature quantity.
  • LF / HF ratio low frequency component LF (Low ⁇ Frequency)
  • RR interval low frequency component LF (Low ⁇ Frequency)
  • LF / HF ratio low frequency component LF (Low ⁇ Frequency)
  • HF High-Frequency ratio
  • the feature amount extracted from the other person measurement sensor value for example, when the other person measurement sensor is a camera, a grayscale value, a gradient value, a four-direction surface feature, a HOG feature, and a Haar from a captured image (still image / moving image). -like features are extracted as feature values.
  • a face can be detected from the captured image, information related to facial expressions such as the mouth corner, eyebrows, lips, and the rising and falling of the eyelids and the opening and closing of the mouth and eyes may be extracted as the feature amount.
  • information on the posture and movement of the other person may be extracted as the feature amount.
  • the temperature information of the other person may be extracted from the infrared image as a feature amount.
  • the other person measurement sensor is a microphone
  • the fundamental frequency, sound pressure, speech rate, first to third formants and their bandwidth, etc. of the other person's voice may be extracted as feature quantities.
  • the other person emotion recognition unit 12 has an LF / HF ratio obtained from a pulse wave meter, a SCL obtained from a sweat sensor, and a mouth angle obtained from a camera, and an eyebrow rise, in particular, for a self-measurement sensor value. -It is possible to recognize other person's feelings by inputting a feature amount such as a fall state into a recognition algorithm based on a machine learning method.
  • Case 1 a general purpose algorithm that does not depend on the user and the person (others) of emotion recognition, that is, a recognition algorithm that is not specialized for an individual is assumed.
  • case 2 a recognition algorithm generated for each user, that is, a recognition algorithm specialized for the individual user is assumed.
  • case 3 a recognition algorithm specialized for each person who is subject to emotion recognition (another person), i.e., an individual who is the other person, is assumed.
  • case 4 a recognition algorithm specialized for a combination of a user and a specific other person is assumed, which is generated for each user and a target person (others) of emotion recognition.
  • the recognition algorithm for case 1 described above may be stored in advance in the information processing apparatus 1-1, for example, and the recognition algorithms for case 2 to case 4 described above may be generated by the other person emotion recognition unit 12.
  • the emotion recognition management unit 13 has a function of managing the recognition result by the other person emotion recognition unit 12 in the other person emotion information storage unit 14. Specifically, the emotion recognition management unit 13 stores the recognition result by the other person emotion recognition unit 12 in the other person emotion information storage unit 14. At this time, the emotion recognition management unit 13 obtains other person information (schedule information, physiological phenomenon information, or balance information, etc.) having a high correlation with the other person's emotion acquired by the other person information acquisition unit 15 at the time of other person's emotion recognition. Information) may be stored in association with the emotions of others.
  • the other person emotion information storage unit 14 is a database that stores the recognition result by the other person emotion recognition unit 12.
  • the other person information acquisition unit 15 acquires various information related to others from a predetermined server on the network.
  • the other person information acquisition unit 15 acquires various information related to others from a service such as SNS (Social Networking Service), a database in a company, an educational institution, or the like.
  • Specific examples of information related to others include physiological phenomena (menstrual cycle, meals, excretion, depression, drug intake, etc.), schedules (friends / friends, attendance at meetings, delivery times, business trips, attendance) ⁇ Retirement, attending school / exiting school, taking exams, leave, etc.), income and expenditure (payment of salary / bonus, purchase history, withdrawals / deposits from bank accounts, etc.), etc. Is assumed.
  • the acquired other person information may be limited according to the relationship between the user and the other person. For example, acquisition of other person information related to physiological phenomena may be limited to cases where the user and the other person are family members.
  • the other person information management unit 16 has a function of managing the other person information acquired by the other person information acquisition unit 15 in the other person information storage unit 17. Specifically, the other person information management unit 16 stores the other person information acquired by the other person information acquisition unit 15 in the other person information storage unit 17.
  • the other person information storage unit 17 is a database that stores the other person information acquired by the other person information acquisition unit 15.
  • the other person emotion estimation unit 18 includes past other person emotion information (also referred to as other person emotion history) stored in the other person emotion information storage unit 14 and other person information stored in the other person information storage unit 17. Based on (specifically, other person's action-related information), the future feelings of the other person are estimated. For example, the other person emotion estimation unit 18 performs trend estimation using a statistical method or the like, and estimates the future emotion of the other person from the situation indicated by the other person information.
  • other person emotion estimation unit 18 performs trend estimation using a statistical method or the like, and estimates the future emotion of the other person from the situation indicated by the other person information.
  • the other person's emotion estimation unit 18 generally has a bad mood at the time of “attendance to the meeting” and “delivery date” (which tends to be a feeling of tension and depression) ⁇ It is possible to guess the future feelings of others by making a guess that there is a general tendency to be in a good mood (prone to be happy and cheerful) during the period of “transfer bonus”. Also, when other person emotions and other person information are stored in association with each other in the other person emotion information storage unit 14, the other person emotion estimation unit 18 uses the past other person emotion history to tend to the emotions unique to the other person. It is also possible to guess other people's feelings.
  • the output control unit 19 performs output control from an output device (not shown) so as to notify the user of the other person's emotion recognized by the other person's emotion recognition unit 12.
  • the notification to the user may be a display notification or an audio notification.
  • the output control unit 19 controls to notify the user of the other person's emotion recognized by the other person's emotion recognition unit 12 in real time, so that the current emotion of the other person (the other party) who is currently with the user can be determined. Can inform the user. Further, the output control unit 19 may notify the user of the future other person's feeling estimated by the other person's feeling estimating unit 18.
  • the output device may be a transmissive display device corresponding to a lens portion positioned in front of the user's eyes when worn.
  • a speaker sometimes located near the user's ear may be used. By realizing the speaker with a directional speaker or a bone conduction speaker, it is possible to more reliably notify only the user of other person's feelings.
  • the output control unit 19 is not limited to the display device and the audio output device provided in the information processing apparatus 1-1, but includes an external device such as a display device and an audio output device provided in the mobile terminal owned by the user. Notification information may be transmitted to the device and output from the external device.
  • the output control unit 19 may display and notify the feelings of others as a chart.
  • an example will be described with reference to FIG.
  • FIG. 5 is a diagram showing an example of a graph representing the transition of others' feelings (pleasant / unpleasant) according to the present embodiment.
  • transitions according to the time series of past accumulated other emotions, current recognized others emotions, and future estimated others emotions are represented by graphs. From the graph shown in FIG. 5, the user can intuitively understand that the mood of the other person (the other party) is gradually improving and then gets worse.
  • the configuration of the information processing apparatus 1-1 according to the present embodiment has been specifically described above.
  • the configuration of the information processing apparatus 1-1 is not limited to the example illustrated in FIG. 2, and for example, at least a part thereof may be on a network (so-called cloud).
  • FIG. 6 is a flowchart showing another person emotion recognition processing according to the present embodiment.
  • the self-measurement sensor value acquisition unit 10 of the information processing apparatus 1-1 acquires user sensing data (also referred to as a self-measurement sensor value) from the self-measurement sensor.
  • the self-measuring sensor value acquisition unit 10 performs noise removal and resampling on the acquired data, and shapes the data to be easy to use in subsequent processing.
  • the other person measurement sensor value acquisition unit 11 acquires the other person's sensing data (also referred to as another person measurement sensor value) from the other person measurement sensor.
  • the other-party measurement sensor value acquisition unit 11 performs noise removal and resampling on the acquired data, and shapes the data into data that can be easily used in subsequent processing.
  • the other person is a partner who is interacting with the user, for example, a person who is conversing with the user.
  • the other person emotion recognition unit 12 extracts a feature amount of each data from the self measurement sensor value and the other person measurement sensor value.
  • the other person emotion recognition unit 12 has characteristics such as an LF / HF ratio obtained from a heart rate sensor or an SCL obtained from a sweat sensor with respect to a self-measuring sensor value, and a mouth angle or an eyebrow obtained from a camera with respect to another person measuring sensor. Extract the amount.
  • the other person emotion recognition unit 12 recognizes a target person (other person) who recognizes the emotion. Specifically, the other person emotion recognition unit 12 recognizes another person facing the user based on the feature quantity of the other person measurement sensor value obtained from the other person measurement sensor.
  • the recognition of the other person may be a determination of the presence or absence of the other person (whether the user is with someone) or a determination of whether the other person is an acquaintance of the user. May be.
  • the presence / absence of another person is determined based on, for example, a conversation recognition result based on whether or not the user is interacting. Further, in the flow shown in FIG.
  • the target person of the other person's emotion recognition is not limited to the user's acquaintance, but when the other person's emotion recognition is limited to the user's acquaintance, Or acquaintance based on whether the person corresponds to a friend registered on SNS or whether the person belongs to the same community such as a company or educational institution Is determined.
  • the other person emotion recognition unit 12 recognizes the current other person emotion. Specifically, the other person emotion recognition unit 12 recognizes in S112 using a machine learning method such as a neural network based on the feature quantity of the self-measurement sensor value and the feature quantity of the other person measurement sensor value. Recognize the feelings of others. For example, the other person's emotion recognition unit 12 recognizes the other person's emotion by mapping each feature amount to a feature space using the following equation (1). In formula 1, the total number of feature quantity is N, representative of each feature quantity as V 1, V 2 ... V N . Each feature may be given a predetermined weight.
  • the other person's emotion estimation unit 18 estimates the future emotion of the other person based on the history of the other person's emotion and the other person's information. For example, the other person's emotion estimation unit 18 applies the other person's emotion history to a statistical model such as an autoregressive model, and estimates the future feelings of the other person. At this time, the other person's emotion estimation unit 18 can improve the estimation accuracy of the other person's emotion by referring to information having a strong correlation with the emotion such as a physiological period from the other person information stored in the other person information storage unit 17. It is. The other person's emotion estimation unit 18 can also capture information such as the winning or losing of a sports team that the other person likes as a stimulus, and can increase the accuracy of estimating the other person's emotion.
  • step S121 the output control unit 19 performs control so that the recognized other person's emotion and the estimated other person's feeling are displayed and notified to the user. Further, the output control unit 19 notifies the user of the recognized current feeling of the other person in real time, so that the user can know the current emotion of the other party who is currently talking in real time.
  • the other person emotion recognition process according to this embodiment has been specifically described above.
  • the processing described above is an example, and the present embodiment is not limited to this.
  • the output control unit 19 compares the current other person's emotion recognized by the other person's emotion recognition unit 12 with the future other person's feeling estimated by the other person's emotion estimation unit 18, and the other person from the present time When it is predicted that the mood will change significantly, the change in mood may be notified to the user.
  • the output control unit 19 compares the average mood based on the other person's emotion history with the other person's feelings in the future, and determines that the mood of the other person is improved / deteriorated when a statistically significant difference occurs. The user may be notified of a change in mood. Further, the output control unit 19 may determine a change in mood based on a specific threshold criterion without using a statistical method.
  • FIG. 7 is a diagram showing an example of the display of other person's feelings by a graph combined with the other person's schedule information according to the present embodiment.
  • the graph shown in FIG. 7 is similar to the graph shown in FIG. 5 and shows the transition of the other person's feelings from the past to the future. Specifically, the solid line part is the past and the broken line part is the other person's feelings of the future. Indicates.
  • events that are strongly correlated with emotion are extracted from the other person information and displayed together with the graph. This makes it intuitive for users to feel better when others are “lunch” or “dining out” and worse when they “announce in front of their boss” (become nervous or depressed) Can grasp.
  • how much the other person's schedule is disclosed to the user may change according to the relationship between the user and the other person. For example, when the new density of the user and others is high (that is, the privacy level is low), the output control unit 19 makes the schedule to be displayed narrower and displays more (or the schedule satisfying the degree of disclosure according to the privacy level). indicate).
  • FIG. 8 is a diagram showing an example of display of other person's feelings in the mood forecast format according to the present embodiment.
  • emotions estimated by other person emotion estimation unit 18 based on other person information (schedule information, etc.) and other person emotion history are displayed in units of several hours. Thereby, the user can grasp
  • the mood forecast time, mood (very good-good-normal-bad-very bad), emotion (bright, happy, normal, tension, etc.), reliability, factors that influenced the forecast Is displayed for each time.
  • the “moment” is determined according to the emotion estimated by the other person emotion estimation unit 18.
  • “Emotion” may be displayed as text, or as a face image expressing emotion (for example, an avatar, an illustration, an edited face image of another person, etc.) as shown in FIG. May be.
  • the output control unit 19 displays the face image corresponding to the actually observed emotion of the other person as “observed facial expression”. Also good.
  • the other person's feeling is predicted to be “normal” from 0:00 to 6:00, it can be seen from the face image that the actually observed other person's feeling is also “normal”.
  • it was predicted that the emotion of others was “happy” from 6:00 to 12:00, it can be seen from the face image that the emotion of others actually observed was “normal”.
  • “not acquired” is displayed in the “observed facial expression” column.
  • the reliability of the forecast can be displayed in the mood forecast display.
  • the reliability of the forecast is, for example, the number of mothers in the other person's emotion history used when the other person's feeling estimation unit 18 guesses the other person's feeling, the presence or absence of an event (that is, a factor) having a strong correlation with the emotion included in the other person information And the strength of the correlation, the predictive predictive value so far, and the like.
  • factors that have affected the forecast can be displayed.
  • factors are events that are extracted from other person information and have a strong correlation with the emotions used to infer others' feelings, such as sleep time, meal time, meal content (whether it is a favorite dish, etc.), work Schedule (inside work, outside work, business trip, presentation, etc.), the degree of crowded trains during commuting, etc. are assumed.
  • the factor disclosed to the user may be determined to be displayed / hidden according to the relationship between the user and the other person.
  • the display example of the other person's feelings in the mood forecast format has been specifically described.
  • the example shown in FIG. 8 shows the mood forecast display for one day (every several hours), the present embodiment is not limited to this.
  • the present embodiment is not limited to this.
  • FIG. It may be a forecast display example.
  • FIG. 9 is a diagram showing another example of the display of other person's feelings in the mood forecast format according to the present embodiment.
  • the mood forecast of another person for example, Mr. A
  • the detailed contents of the displayed mood, emotion, observed facial expression, reliability, and factors affecting the forecast are the same as in the mood forecast example described with reference to FIG.
  • the facial expression indicating the actually observed emotion of the other person is displayed.
  • the present embodiment is not limited to this, and it is possible to provide feedback from the other person. Good.
  • the facial expression actually observed is different from the true emotion of the other person, so the other person's own person feeds back his / her own emotion to the system, and the true other person's feeling is fed back to the user.
  • the convenience of this system is improved.
  • the graph and the mood forecast image described above can be displayed on a display unit such as a user's smartphone, a mobile phone terminal, a tablet terminal, or a PC (Personal Computer). Further, when the information processing apparatus 1 is realized by smart eyeglasses, the output control unit 19 displays the graph and the image of the mood forecast on the transmission type display unit of the smart eyeglasses using AR (Augmented Reality) technology. May be.
  • AR Augmented Reality
  • FIG. 10 is a diagram showing an example of a display notification of other person's emotion using the AR technology.
  • a transmissive display unit is provided in a lens portion positioned in front of the user's eyes when the user is worn.
  • the information processing apparatus 1 recognizes and guesses the feeling of the other person by recognizing the other person in front of the user. For example, as shown in FIG. 10, control is performed so that a graph image 30 representing the transition of the other person's emotion corresponding to the other person P existing in the real space is superimposed and displayed in the real space.
  • the user can intuitively grasp the emotion of the other party who is interacting.
  • the timing for displaying the other person's emotion may be when the information processing apparatus 1 recognizes the other person P, or it is determined that the user is paying attention to the other person P based on the self-measurement sensor value. (For example, when the user's line of sight is detected and it is determined that the user is looking at the other person P).
  • the output control unit 19 may send a prediction announcement from a speaker (not shown) provided in the information processing apparatus 1 such that “Mr. A will be upset in the first half of the week and sometimes upset in the second half of the week”.
  • the output control unit 19 may notify the user of the recognized / estimated other person's feelings in cooperation with other services and systems.
  • the output control unit 19 can display a list of attendees' moods in cooperation with a company schedule management application.
  • FIG. 11 is a diagram showing an example of a display screen when the other person's emotion estimation result according to the present embodiment is output from the schedule management application.
  • the schedule screen 32 includes schedule information such as an organizer, a subject, a place, a start date and time, an end date and time, and attendees. These pieces of information are, for example, information input by the user (here, “Mr. AAA”) at the time of schedule generation.
  • the emotion estimation result of each attendee attending the meeting is displayed.
  • the emotion estimation result is obtained by estimating the feeling of each attendee at the meeting date and time by the other person's emotion estimation unit 18, and is represented by, for example, a character's expression as shown in FIG. Thereby, the user can know that the mood of the DDD manager and the FFF manager seems to be bad at the time of the meeting.
  • the schedule screen 32 not only the individual emotions of each attendee but also, for example, emotions as a group calculated by combining numerical values representing the emotions of each attendant by a method such as a linear sum may be displayed.
  • the productivity contribution ratio of each attendee is also calculated according to the estimated feeling of each attendee at the meeting, and as shown in FIG. Is displayed.
  • the evaluation of the total productivity as a group is also calculated based on the estimated feelings and productivity contribution ratios of the attendees, and is displayed as “total productivity evaluation” as shown in FIG. .
  • the user can determine whether to hold, cancel, or change the time with reference to the estimated feelings, productivity contribution rate, and total productivity evaluation of each attendee.
  • the information processing apparatus 1 when the user selects the “change time” button included in the schedule screen 32, the information processing apparatus 1 indicates the currently set conference date and time based on the estimation result of the other person's emotion estimation unit 18. Of the predetermined days before and after, a date with a high overall productivity evaluation may be searched and suggested to the user.
  • the following usage forms may be considered.
  • the information processing apparatus 1 when the information processing apparatus 1 is capable of controlling a music player, when the other person who is with the user is depressed, a song that reflects the emotions of the other person, such as playing a song that encourages others, When the person is relaxed, the playback mode is changed according to the emotions of others, such as setting the equalizer to pops mode.
  • the playback mode is changed according to the emotions of others, such as setting the equalizer to pops mode.
  • the information processing apparatus 1 can control the camera, shutter control according to the emotions of others (for example, when the user is in a good mood), parameter setting, shooting mode switching (for example, when the user is in good mood) May be overexposed).
  • the information processing apparatus 1 can control the game apparatus and the feeling of the other person playing the game with the user is “bored”, an event is generated in the game. An attempt may be made to maintain a high degree of concentration of another person's game.
  • the information processing device 1 can control the lighting of the room, when the other person is relaxed and enamored, the color temperature of the lighting is made warm, etc. Lighting control may be performed.
  • the information processing apparatus 1 performs control of music flowing in the room and lighting according to the emotion of the other person recognized / estimated without forcing the other person to wear the sensor device or the like. Can entertain. Further, the information processing apparatus 1 can perform appropriate camera control and game control according to the recognized / estimated emotion of the other person.
  • the information processing system can recognize the emotion of the other person using the sensing information of the user without forcing the other person to wear the sensor device. realizable.
  • the other person in addition to recognizing the current emotion of the other person in real time and notifying the user who is interacting with the other person immediately, the other person is based on the other person information and the other person's emotion history. It is also possible to estimate the future emotion and notify the user in advance.
  • the information processing system according to the present embodiment is not only used when the user actively uses the system, but continuously recognizes / guesses the feelings of others and the mood of others seems to be significantly improved / deteriorated. The user may be notified at any time.
  • the information processing system according to the first embodiment has been described above.
  • the self-measuring sensor is on the user side as shown in FIG. 1, but the present disclosure is not limited to this, and the self-measuring sensor may be on a person other than the user.
  • the self-measuring sensor is also arranged on the other person P side as shown in FIG.
  • the self-measuring sensor is also arranged on the third party P2 side, and the information processing apparatus 1 can perform emotion recognition of the other person P using the self-measuring sensor value acquired from the two types of self-measuring sensors and the other person measuring sensor value acquired from the other person measuring sensor on the user side. From the viewpoint that the emotion of the other person P1 also affects the emotion of the third person P2, it can be expected that the accuracy of the recognition of the other person's emotion is improved in this case as well.
  • FIG. 13 is a block diagram showing an example of the configuration of the information processing apparatus 1-2 according to the second embodiment.
  • the information processing apparatus 1-2 includes a first self-measurement sensor value acquisition unit 10a, a second self-measurement sensor value acquisition unit 10b, another person measurement sensor value acquisition unit 11, and other person emotion recognition.
  • Unit 12 emotion recognition management unit 13, others emotion information storage unit 14, others information acquisition unit 15, others information management unit 16, others information storage unit 17, others emotion estimation unit 18, and output control unit 19
  • the configuration of the information processing apparatus 1-2 includes the first self-measurement sensor value acquisition unit 10a and the second self-measurement sensor value acquisition unit 10b.
  • the information processing apparatus 1-1 described with reference to FIG. The configuration is different.
  • the first self-measuring sensor value acquisition unit 10 a acquires a sensor value from a self-measuring sensor that senses the user, and outputs the sensor value to the other person emotion recognition unit 12.
  • the second self-measuring sensor value acquisition unit 10 b acquires a sensor value from a self-measuring sensor that senses another person (the other party) or a third party, and outputs the sensor value to the other person emotion recognition unit 12.
  • a self-measuring sensor that senses another person or a third party is attached / owned by another person or a third party, and senses biometric information or activity amount information of the other person or the third party.
  • the other person's emotion recognition unit 12 detects the sensor value sensed by the user, the sensor value sensed by another person or a third party, and the other person's sensor sensed by the other person's measurement sensor worn / owned by the user. Recognize feelings of others using sensor values. In this embodiment, the recognition accuracy of other person's feeling improves by using the sensor value sensed from others or a third party in this way.
  • the other configuration of the information processing device 1-2 is the same as the configuration of the information processing device 1-1 described with reference to FIG. 2, and thus the description thereof is omitted here.
  • FIG. 14 is a block diagram showing an example of the configuration of the information processing apparatus 1-3 according to the third embodiment.
  • the information processing apparatus 1-3 includes a self-measurement sensor value acquisition unit 10, an other person emotion recognition unit 12, an emotion recognition management unit 13, an other person emotion information storage unit 14, and an other person information acquisition unit 15. , An other person information management unit 16, an other person information storage unit 17, an other person emotion estimation unit 18, and an output control unit 19.
  • the information processing apparatus 1-3 is different from the configuration of the information processing apparatus 1-1 described with reference to FIG. 2 in that it does not have the other person measurement sensor value acquisition unit 11.
  • the other person's emotion recognition unit 12 of the information processing apparatus 1-3 recognizes the other person's emotion based only on the sensor value output from the self-measurement sensor value acquisition unit 10 (that is, the sensor value sensed from the user by the self-measurement sensor). recognize.
  • the installation cost and the installation space of the other person measurement sensor become unnecessary, and the system Can contribute to cost reduction and space saving.
  • FIG. 15 is a block diagram showing an example of the configuration of the information processing apparatus 1-4 according to the fourth embodiment.
  • the information processing apparatus 1-4 includes a self-measurement sensor value acquisition unit 10, an other-person measurement sensor value acquisition unit 11, an other-person emotion recognition unit 12, an emotion recognition management unit 13, and an other-person emotion information storage.
  • Unit 14 other person information acquisition unit 15, other person information management unit 16, other person information storage unit 17, other person emotion estimation unit 18, output control unit 19, and action proposal unit 20.
  • the action proposing unit 20 includes the current other person's emotion recognized by the other person's emotion recognizing unit 12 or the other person's emotion estimated by the other person's emotion estimating unit 18 and other person information (other person's schedule information, ToDo list). , Position information, hobbies, preferences, etc.) and suggesting appropriate actions to the user.
  • the action proposing unit 20 sends text information indicating the proposed action to the output control unit 19, and the output control unit 19 clearly indicates the action to be proposed to the user together with the notification of the other person's emotion.
  • FIG. 16 is a diagram illustrating an example of an action proposal according to the fourth embodiment.
  • a new action may be proposed to the user together with a graph showing the transition of other person's feelings. More specifically, as shown in FIG. 16, for example, the mood of others becomes worse for the event “announced in front of the boss” held in the afternoon from the present time (that is, at lunch) (emotion: tense, Appropriate communication that encourages the other party is suggested, such as “Would you like to e-mail“ Do your best! ”? In addition, after the event “announced in front of the boss”, it is speculated that the mood will be improved (emotion: fun and brighten) at the time of “dining out”. Appropriate communication timing is proposed to ask.
  • the action proposing unit 20 is not limited to the new action proposal as described above, and may make a proposal to the user for the existing schedule according to the recognized / estimated other person's feeling. Specifically, the action proposing section 20 will postpone the existing schedule. “The consultation on the agenda Q from 10 o'clock today seems to be bad for the EEE chief. You may suggest to the user. In addition, the action proposing unit 20 may propose to the user to cancel the existing schedule, “Saturday's date with Mr. JJ seems to be annoying because Mr. JJ seems bad”.
  • the action proposing unit 20 may propose a new schedule to the user according to the recognized / estimated feeling of others. For example, the behavior proposing unit 20 suggests a friend such as “Please invite me to play because Mr. KK looks good after today's class.” In addition, the action suggestion unit 20 based on the content of the ToDo list and the estimation result of the feeling of others, “Mr. MM ’s mood is good tomorrow morning. You can suggest a task like "Try it tomorrow morning?"
  • the other-person emotion estimation unit 18 can estimate the future other-person emotion based on the other-person information and the other-person emotion history. Emotion estimation is used to notify the user of the emotions of others in remote locations. That is, since the future feelings of the other person can be estimated, even when the user is not with the other person, the current feeling of the other person can be estimated and notified to the user.
  • the configuration of the information processing apparatus 1-5 according to the fifth embodiment will be specifically described below with reference to FIG.
  • FIG. 17 is a block diagram showing an example of the configuration of the information processing apparatus 1-5 according to the fifth embodiment.
  • the information processing apparatus 1-5 includes a self-measuring sensor value acquisition unit 10, an other person emotion recognition unit 12, an emotion recognition management unit 13, an other person emotion information storage unit 14, and an other person information acquisition unit 15.
  • the facial expression conversion unit 21 converts the current emotion of the other person estimated by the other person emotion estimation unit 18 into an expression.
  • the conversion to a facial expression is realized, for example, by editing a facial expression in a face image (for example, an avatar, an illustration, an actual face image of the other person, etc.) corresponding to the other person.
  • the output control unit 19 notifies the user of the recognized / presumed emotion of the other person as in the above embodiments.
  • the output control unit 19 according to the present embodiment clearly indicates the emotion of the message source or the other party with the facial expression converted by the facial expression conversion unit 21 on the instant message screen displaying the instant message from the other party. It is also possible to notify the user.
  • an instant message screen will be described with reference to FIG.
  • FIG. 18 is a diagram for explaining an example of an instant message screen according to the fifth embodiment.
  • the instant message screen 34 shown in FIG. 18 the final messages with each partner are listed. When one of these is selected by the user, the instant message screen 34 changes to a message history screen with the selected partner.
  • each partner's face images 341 to 343 displayed on the instant message screen 34 are converted in real time into facial expressions corresponding to the current partner's emotion.
  • the other party's emotion can be estimated by the other person's emotion estimation unit 18 using the other person's emotion history and the other person's information. That is, when the other person is in a remote place and is not talking with the user, as described above, the other person's emotion recognition unit 12 using the self-measurement sensor value such as the user's biological information affected by the other person's feeling. Although it is difficult to recognize other person's feelings, it can be estimated by the other person's feeling estimation unit 18 based on the past other person's feeling history.
  • the facial expression conversion unit 21 converts the other person's emotion into a facial expression and notifies the user.
  • the present embodiment is not limited to this.
  • the other person's emotion is converted into text or color and the user May be notified.
  • texts such as “good mood” and “bad mood” and good / bad mood are shown in a predetermined color in association with the name of the other party and the profile image (icon, face image, etc.) (for example, If you ’re in good mood, use warm colors, and if you ’re in bad mood, use cool colors to show your name and display area.
  • FIG. 19 is an explanatory diagram illustrating a hardware configuration of the information processing apparatus 1 according to an embodiment of the present disclosure.
  • the information processing apparatus 1 includes a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, a bridge 104, an input unit 105, An output unit 106, a storage unit 107, a network I / F (interface) 108, and a wireless communication I / F 109 are provided.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 101 functions as an arithmetic processing unit, and cooperates with various programs to measure the self-measurement sensor value acquisition unit 10, the other-party measurement sensor value acquisition unit 11, the other-person emotion recognition unit 12, and the emotion recognition management in the information processing apparatus 1.
  • the operations of the unit 13, the other person information acquisition unit 15, the other person information management unit 16, the other person emotion estimation unit 18, the output control unit 19, the action proposal unit 20, and the facial expression conversion unit 21 are realized.
  • the CPU 101 may be a microprocessor.
  • the ROM 102 stores programs or calculation parameters used by the CPU 101.
  • the RAM 103 temporarily stores programs used in the execution of the CPU 101 or parameters that change as appropriate during the execution.
  • the ROM 102 and the RAM 103 implement part of the other person emotion information storage unit 14 and the other person information storage unit 17 in the information processing apparatus 1.
  • the CPU 101, the ROM 102, and the RAM 103 are connected to each other by an internal bus including a CPU bus.
  • the input unit 105 generates input signals based on input by the user, such as a mouse, a keyboard, a touch panel, buttons, a microphone, a camera, a switch, and a lever. It consists of a control circuit. A user of the information processing apparatus 1 can input various data or instruct a processing operation to the information processing apparatus 1 by operating the input unit 105.
  • the output unit 106 performs output to a display device such as a lens unit (an example of a transmissive display unit), a liquid crystal display (LCD) device, or an OLED (Organic Light Emitting Diode) device that performs display using a hologram optical technique, for example. . Furthermore, the output unit 106 may perform audio output from a speaker or headphones.
  • a display device such as a lens unit (an example of a transmissive display unit), a liquid crystal display (LCD) device, or an OLED (Organic Light Emitting Diode) device that performs display using a hologram optical technique, for example.
  • the output unit 106 may perform audio output from a speaker or headphones.
  • the storage unit 107 is a data storage device.
  • the storage unit 107 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage unit 107 stores programs executed by the CPU 101 and various data.
  • the network I / F 108 is a communication interface including communication devices for connecting to a network.
  • the network I / F 108 may be a wireless LAN (Local Area Network) compatible communication device or an LTE (Long Term Evolution) compatible communication device.
  • the network I / F 108 constitutes a part of the other person information acquisition unit 15, and the other person information acquisition unit 15 can acquire the other person information from a predetermined server on the network.
  • the wireless communication I / F 109 is a communication interface for connecting to an information processing device or a peripheral device outside the information processing device 1. Note that, here, the wireless communication I / F 109 is used as an example, but a communication interface connected to an external information processing apparatus or peripheral device by wired communication may be used.
  • the user when the user is having a conversation or the like with another person, the user performs a response in consideration of the other party's mood by notifying the user of the emotion of the other person in real time. be able to. Further, in the information processing system according to the present embodiment, the user can change the schedule or take action in consideration of the other party's mood by estimating the future feelings of others and notifying the user in advance. .
  • each step in the operation of the information processing apparatus 1 of the present specification does not necessarily have to be processed in time series in the order described as a flowchart.
  • each step in the operation of the information processing apparatus 1 may be processed in an order different from the order described as the flowchart, or may be processed in parallel.
  • step S103 and step S106 shown in FIG. 6 may be reversed or simultaneous, and step S115 and step S118 may be reversed or simultaneous.
  • this technique can also take the following structures.
  • An emotion recognition unit for recognizing the emotion of the other user based on information about the sensed user and information about the other user;
  • a notification control unit that controls to notify the user of information related to the emotions of the recognized other users;
  • An information processing apparatus comprising: (2)
  • the information regarding the user is the information processing apparatus according to (1), which is biometric information of the user.
  • the biological information includes a heart rate sensor value or a sweat sensor value, The information processing apparatus according to (2), wherein the emotion recognition unit recognizes an emotion of the other user based on a feature amount extracted from the biological information.
  • the emotion recognition unit recognizes an emotion that matches, resembles, or correlates with the emotion of the user recognized based on the feature amount extracted from the biological information, as the emotion of the other user (2) or (3)
  • the information processing apparatus according to any one of (2) to (4), wherein the information related to the user further includes activity amount information of the user.
  • the activity amount information includes an acceleration sensor value, an angular velocity sensor value, a pedometer value, or a geomagnetic sensor value.
  • the information processing apparatus according to any one of (2) to (6), wherein the information regarding the other user is facial expression information of the other user.
  • the expression information includes a mouth corner or eyebrow position based on a feature point extracted from a face image obtained by imaging the other user, The information processing apparatus according to (7), wherein the emotion recognition unit further recognizes the emotion of the other user based on a feature amount extracted from the facial expression information.
  • the information processing apparatus includes: The system further includes an emotion estimation unit that estimates the future emotion of the other user based on the other user emotion history extracted from the storage unit that accumulates information related to the emotion of the other user recognized by the emotion recognition unit.
  • the information processing apparatus according to any one of (11) to (11).
  • (13) 13 The information processing apparatus according to any one of (1) to (12), wherein the notification control unit controls to display a transition of emotions of the other user in time series.
  • the information processing apparatus includes: The information processing apparatus according to any one of (1) to (14), further including an action proposing unit that proposes a predetermined action to the user according to the emotion of the other user.
  • the emotion estimation unit estimates current emotions of other users, The information processing apparatus according to (12), wherein the notification control unit controls to notify the user of the estimated emotion of the other user in real time.

Abstract

【課題】ユーザのセンシング情報を用いて他ユーザの感情を認識することが可能な情報処理装置、制御方法、およびプログラムを提供する。【解決手段】センシングされたユーザに関する情報および他ユーザに関する情報に基づいて、前記他ユーザの感情を認識する感情認識部と、前記認識した他ユーザの感情に関する情報を前記ユーザに通知するよう制御する通知制御部と、を備える、情報処理装置。

Description

情報処理装置、制御方法、およびプログラム
　本開示は、情報処理装置、制御方法、およびプログラムに関する。
　近年、人の感情（心理状態）を生体情報に基づいて推定し、推定した生体情報に応じて装置を制御する技術が提案されている。
　例えば、下記特許文献１では、被写体となる人物の心理状態を反映した撮影パラメータを設定して撮像を行う撮像装置が提案されている。
特開２０１３－２３９９１４号公報
　上記特許文献１に記載の技術では、被写体に装着されたセンサ装置により測定した脈拍数、発汗量、呼吸数や、撮影者が所有する撮像装置によって撮像された撮像画像から解析された被写体の眼球運動や瞬き等に基づいて、被写体の心理状態を検出している。
　しかしながら、このような技術では、撮影を行う際に被写体である他者にセンサ装置の装着を強いるため、ユーザビリティが悪く、実用的ではないという問題があった。
　そこで、本開示では、ユーザのセンシング情報を用いて他ユーザの感情を認識することが可能な情報処理装置、制御方法、およびプログラムを提案する。
　本開示によれば、センシングされたユーザに関する情報および他ユーザに関する情報に基づいて、前記他ユーザの感情を認識する感情認識部と、前記認識した他ユーザの感情に関する情報を前記ユーザに通知するよう制御する通知制御部と、を備える、情報処理装置を提案する。
　本開示によれば、センシングされたユーザに関する情報および他ユーザに関する情報に基づいて、前記他ユーザの感情を認識することと、前記認識した他ユーザの感情に関する情報を前記ユーザに通知するよう通知制御部により制御することと、を含む、制御方法を提案する。
　本開示によれば、コンピュータを、センシングされたユーザに関する情報および他ユーザに関する情報に基づいて、前記他ユーザの感情を認識する感情認識部と、前記認識した他ユーザの感情に関する情報を前記ユーザに通知するよう制御する通知制御部と、として機能させるための、プログラムを提案する。
　以上説明したように本開示によれば、ユーザのセンシング情報を用いて他ユーザの感情を認識することが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要について説明する図である。 第１の実施形態による情報処理装置の構成の一例を示すブロック図である。 感情の２次元円環モデルを示す図である。 ２次元円環モデルにおけるユーザと他者の感情のマッピングが相似することを説明する図である。 本実施形態による他者感情（快－不快）の推移を表すグラフの一例を示す図である。 本実施形態による他者感情認識処理を示すフローチャートである。 本実施形態による他者スケジュール情報と併せたグラフによる他者感情の表示の一例を示す図である。 本実施形態による機嫌予報形式の他者感情の表示の一例を示す図である。 本実施形態による機嫌予報形式の他者感情の表示の他の例を示す図である。 ＡＲ技術を用いた他者感情の表示通知の一例を示す図である。 本実施形態による他者感情の推測結果をスケジュール管理アプリケーションから出力した場合の表示画面例を示す図である。 他者側にも自己測定センサが配置される場合について説明する図である。 第三者側にも自己測定センサが配置される場合について説明する図である。 第２の実施形態による情報処理装置の構成の一例を示すブロック図である。 第３の実施形態による情報処理装置の構成の一例を示すブロック図である。 第４の実施形態による情報処理装置の構成の一例を示すブロック図である。 第４の実施形態による行動提案の一例を示す図である。 第５の実施形態による情報処理装置の構成の一例を示すブロック図である。 第５の実施形態によるインタスタントメッセージ画面の一例について説明するための図である。 本開示の一実施形態に係る情報処理装置のハードウェア構成を示した説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態による情報処理システムの概要
　２．各実施形態
　　２－１．第１の実施形態
　　　２－１－１．構成
　　　２－１－２．動作
　　２－２．第２の実施形態
　　２－３．第３の実施形態
　　２－４．第４の実施形態
　　２－５．第５の実施形態
　３．情報処理装置１のハードウェア構成
　４．まとめ
　＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
　本開示の一実施形態による情報処理システムは、他者と交流しているユーザからセンシングしたセンサ値に基づいて他者の感情を認識することを可能とする。
　従来、他者の感情（心理状態）を認識するためには、他者にセンサ装置を装着したり、他者を撮像した撮像画像を解析したりする必要があった。しかしながら、他者の感情を知るために他者にセンサ装置の装着を強いるのは実用的ではなかった。また、他者が感情を偽るために意図的に顏の表情を変えている場合もあり、正確性に欠けていた。
　ここで、他者と交流している際、ユーザの感情は他者の影響を受けていることが想定される。例えば他者と対面して会話を行っている際のユーザの感情と当該他者の感情は相関性が高く、ユーザが喜びを感じている場合は他者も喜びを感じているというように二者の感情が一致する場合が多い。
　そこで、本開示による情報処理システムでは、ユーザからセンシングした生体情報等に基づいてユーザの感情を認識し、当該感情と一致、類似、または相関する感情を、ユーザと交流している他者（相手）の感情として認識する。これにより、本システムを用いて交流相手である他者の感情を認識する際には、ユーザが自ら所定のセンサ装置を装着（または所有）すればよく、他者にセンサ装置の装着を強いる必要がないため、実用的であって、利便性が向上する。以下、図１を参照してこのような本開示による情報処理システムの概要について説明する。
　図１は、本開示の一実施形態による情報処理システムの概要について説明する図である。図１に示すように、ユーザと他者Ｐが対面して会話を行っている際に、ユーザに装着された情報処理装置１は、自己測定センサによりセンシングされたユーザの生体情報等および他者測定センサによりセンシングされた他者Ｐの撮像画像等に基づいて、他者Ｐの感情を認識する。情報処理装置１は、例えば図１に示すような透過式メガネ型端末（スマートアイグラス）により実現され、認識した他者Ｐの感情をレンズ部分に表示したり音声出力したりしてユーザに通知する。これにより、ユーザは、他者Ｐと一緒にいる際に、他者Ｐにセンサ装置の装着を強いることなく、他者Ｐの感情をリアルタイムに知ることができる。
　また、他者Ｐの撮像画像を用いて他者Ｐの表情のみに基づいて他者感情を認識すると、上述したように他者が感情を偽るために意図的に顏の表情を変えている場合もあり正確性に欠けるが、本実施形態では他者Ｐの影響を受けているユーザの生体情報等も利用するため、より正確に他者Ｐの感情を認識することができる。
　また、自己測定センサおよび他者測定センサの少なくとも一部は、ユーザが装着する情報処理装置１に搭載されていてもよいし、ユーザが装着する他のウェアラブル装置（例えばスマートバンド、スマートウォッチ、首掛け型デバイス等）に搭載されていてもよい。また、自己測定センサおよび他者測定センサの少なくとも一部は、ユーザが所有するモバイル端末（例えば携帯電話端末、スマートフォン、タブレット端末等）に搭載されていてもよい。
　以上説明した本開示による情報処理システムについて、以下複数の実施形態を用いて具体的に説明する。
　＜＜２．各実施形態＞＞
　＜２－１．第１の実施形態＞
　まず、本開示の第１の実施形態について図２～図１１を参照して具体的に説明する。
　（２－１－１．構成）
　図２は、第１の実施形態による情報処理装置１－１の構成の一例を示すブロック図である。図２に示すように、情報処理装置１－１は、自己測定センサ値取得部１０、他者測定センサ値取得部１１、他者感情認識部１２、感情認識管理部１３、他者感情情報記憶部１４、他者情報取得部１５、他者情報管理部１６、他者情報記憶部１７、他者感情推測部１８、および出力制御部１９を有する。
　自己測定センサ値取得部１０は、ユーザに装着または所有された自己測定センサにより検知されたセンサ値を取得する。自己測定センサは、例えば脈波計や心電計などの心拍計、呼吸数計、発汗センサ、心弾動計、体温計、血圧計、血糖計、視線検出装置、または瞳孔計測装置等の生体情報を検知する生体センサにより実現されてもよい。また、自己測定センサは、例えば加速度センサ、角速度センサ、歩数計、または地磁気センサ等の活動量情報を検知する活動量センサにより実現されてもよい。また、これらの組合せとして実現されてもよい。
　各種自己測定センサは、ユーザに装着されるウェアラブルデバイス（例えばスマートアイグラスにより実現される情報処理装置１、スマートバンド、スマートウォッチ、または首掛け型デバイス等）に搭載されていてもよいし、ユーザのモバイル端末に搭載されていてもよい。情報処理装置１の外部装置として自己測定センサが存在する場合、自己測定センサ値取得部１０は、無線または有線通信により外部の自己測定センサからセンサ値を受信する。
　他者測定センサ値取得部１１は、他者をセンシングする他者測定センサにより検知されたセンサ値を取得する。他者測定センサは、例えばカメラ、マイクロホン、深度計、近接センサ、人感センサ、サーモグラフィ等により実現されてもよいし、これらの組合せとして実現されてもよい。また、他者測定センサは、ユーザに装着されるウェアラブルデバイスに搭載されていてもよいし、ユーザが所有するモバイル端末に搭載されていてもよい。また、他者測定センサは、他者の感情が第三者の感情にも影響するという観点から、一緒に居る第三者をセンシングすることも可能である。
　本明細書において、他者とは、本システムによる感情認識の対象者であって、ユーザと会話等により交流している相手（直接対面している相手、または電話等を介して直接対面はしていないが交流している相手）である。また、第三者とは、感情認識の対象者である相手以外の人物であって、ユーザおよび他者と会話等により交流している人物である。
　他者感情認識部１２は、自己測定センサ値取得部１０により取得された自己測定センサ値および他者測定センサ値取得部１１により取得された他者測定センサ値に基づいて、他者の感情を認識する。他者測定センサ値取得部１１により取得される他者測定センサ値は、他者に関するセンサ値の他、上述したように他者の感情が第三者の感情にも影響するという観点から、第三者をセンシングしたセンサ値であってもよい。また、人の感情の分類方法は様々提案されており、本実施形態では、例えばラッセル（Russell）による２次元円環モデルによる感情分類方法を用いる。図３は、感情の２次元円環モデルを示す図である。図３に示す２次元円環モデルでは、覚醒度の程度（覚醒－鎮静）と快感情の程度（快－不快）の二次元上の軸に各感情を円環上に配することで感情全体を包括している。なお他の例としては、例えばポール・エクマン（Paul Ekman）により提唱された、驚き、恐怖、怒り、嫌悪、悲しみ、幸福の六感情による分類が挙げられる。
　ここで、多くの場合、ユーザは交流している他者（相手）の影響を受け、ユーザの感情と他者の感情は、一致乃至は類似、若しくは相関することが多い。すなわち、一緒に居る二者の感情を２次元円環モデルにマッピングすると、図４に示すように、ユーザと他者の感情のマッピングが相似することが多い。
　そこで、本実施形態による他者感情認識部１２は、各センサ値に基づいてユーザの感情を認識し、当該感情と一致乃至は類似、若しくは相関する感情を他者の感情と認識する。なお相関する感情には、ユーザの感情と反する感情も含まれる。
　より具体的には、他者感情認識部１２は、自己測定センサ値から抽出した特徴量と、他者センサから抽出した特徴量とに基づいて、SVM（support vector machine）やディープ・ラーニング等の機械学習的手法および統計的手法等を用いて他者感情を認識することが可能である。
　自己測定センサ値から抽出される特徴量としては、例えば自己測定センサが脈波計の場合、R-R間隔、インタバルの平均値、二乗平均平方根、LF/HF比（低周波成分LF（Low Frequency）と高周波成分HF（High Frequency）の比）等が特徴量として抽出される。また、自己測定センサが呼吸数測定センサの場合、呼吸数の平均値、二乗平均平方根等が特徴量として抽出されてもよい。また、自己測定センサが発汗センサの場合、皮膚コンダクタンスレベル（SCL）等が特徴量として抽出されても。また、自己測定センサが加速度センサの場合、ピーク値、平均速度等が特徴量として抽出されてもよい。
　また、他者測定センサ値から抽出される特徴量としては、例えば他者測定センサがカメラの場合、撮像画像（静止画／動画）から濃淡値、勾配値、４方向面特徴、ＨＯＧ特徴、Haar-like特徴等が特徴量として抽出される。また、撮像画像から顔が検出できた場合、さらに口角、眉、唇、瞼の上がり・下がり具合や、口、目の開閉等の表情に関する情報が特徴量として抽出されてもよい。また、撮像画像から身体が検出できた場合、他者の姿勢や動きに関する情報が特徴量として抽出されてもよい。また、他者測定センサがサーモグラフィの場合、赤外線画像から他者の温度情報が特徴量として抽出されてもよい。また、他者測定センサがマイクロホンの場合、他者の声の基本周波数や音圧、発話速度、第１から第３までのフォルマントおよびその帯域幅等が特徴量として抽出されてもよい。
　他者感情認識部１２は、特に自己測定センサ値に関しては脈波計から得られるLF/HF比、発汗センサから得られるSCL、および他者測定センサ値に関してはカメラから得られる口角、眉の上がり・下がり具合等の特徴量を、機械学習的手法に基づく認識アルゴリズムに入力して他者感情を認識することが可能である。
　他者感情に用いる認識アルゴリズムは、例えば次に説明する４つのケースが考えられる。まず、ケース１として、ユーザと感情認識の対象者（他者）に依存しない汎用的なもの、つまり個人に特化されていない認識アルゴリズムが想定される。また、ケース２として、ユーザごとに生成されたもの、つまりユーザ個人に特化された認識アルゴリズムが想定される。また、ケース３として、感情認識の対象者（他者）ごとに生成されたもの、つまり他者個人に特化された認識アルゴリズムが想定される。また、ケース４として、ユーザと感情認識の対象者（他者）ごとに生成されたもの、つまりユーザと特定の他者との組み合わせに特化された認識アルゴリズムが想定される。上述したケース１の認識アルゴリズムは例えば予め情報処理装置１－１に格納され、また、上述したケース２～ケース４の認識アルゴリズムは他者感情認識部１２により生成されてもよい。
　感情認識管理部１３は、他者感情認識部１２による認識結果を他者感情情報記憶部１４で管理する機能を有する。具体的には、感情認識管理部１３は、他者感情認識部１２による認識結果を他者感情情報記憶部１４に記憶させる。この際、感情認識管理部１３は、他者感情認識時に他者情報取得部１５により取得した、他者感情と相関の高い他者情報（スケジュール情報、生理現象情報、または収支情報等の行為関連情報）を他者感情に関連付けて記憶させてもよい。
　他者感情情報記憶部１４は、他者感情認識部１２による認識結果を記憶するデータベースである。
　他者情報取得部１５は、ネットワーク上の所定サーバ等から、他者に関する各種情報を取得する。例えば他者情報取得部１５は、SNS（Social Networking Service）等のサービス、企業や教育機関などにあるデータベースなどから、他者に関する各種情報を取得する。他者に関する各種情報の具体例としては、生理現象関連（月経周期、食事、排泄、躁鬱、薬物の摂取など）、スケジュール関連（友人・知人との交友、会議への出席、納期、出張、出勤・退勤、登校・下校、受験、休暇など）、収支関連（給与・賞与の振込み、購買履歴、銀行口座からの引き出し・預け入れなど）、その他（贔屓のスポーツ・チームの勝敗、株価の変動など）が想定される。なお、取得される他者情報は、ユーザと他者との関係性に応じて制限されてもよい。例えば生理現象関連の他者情報の取得はユーザと他者が家族の場合に限定されてもよい。
　他者情報管理部１６は、他者情報取得部１５により取得された他者情報を他者情報記憶部１７で管理する機能を有する。具体的には、他者情報管理部１６は、他者情報取得部１５により取得された他者情報を他者情報記憶部１７に記憶させる。
　他者情報記憶部１７は、他者情報取得部１５により取得された他者情報を記憶するデータベースである。
　他者感情推測部１８は、他者感情情報記憶部１４に記憶されている過去の他者感情情報（他者感情履歴とも称する）と、他者情報記憶部１７に記憶されている他者情報（具体的には他者の行為関連情報）とに基づいて、他者の未来の感情を推測する。例えば他者感情推測部１８は、統計的手法などでトレンド推測を行い、他者情報で示される状況から他者の未来の感情を推測する。具体的には、他者感情推測部１８は、「会議への出席」「納期」の時期には一般的に機嫌が悪い傾向がある（緊張、憂鬱の感情になる傾向がある）、「給与・賞与の振込み」の時期には一般的に機嫌が良い傾向がある（嬉しい、明るい感情になる傾向がある）といった推測を行って他者の未来の感情を推測することが可能である。また、他者感情情報記憶部１４に他者感情と他者情報が関連付けて蓄積されている場合、他者感情推測部１８は、過去の他者感情履歴を用いて他者固有の感情の傾向を推測し、他者感情を推測することも可能である。
　出力制御部１９は、他者感情認識部１２により認識された他者感情をユーザに通知するよう出力装置（不図示）からの出力制御を行う。ユーザへの通知は、表示通知であってもよいし、音声通知であってもよい。また、出力制御部１９は、他者感情認識部１２により認識された他者感情をリアルタイムでユーザに通知するよう制御することで、ユーザと現在一緒にいる他者（相手）の現在の感情をユーザに知らせることができる。また、出力制御部１９は、他者感情推測部１８により推測された未来の他者感情をユーザに通知してもよい。出力装置（不図示）は、情報処理装置１－１がスマートアイグラスにより実現されている場合は装着時にユーザの眼前に位置するレンズ部分に相当する透過型表示装置であってもよいし、装着時にユーザの耳付近に位置するスピーカであってもよい。スピーカは指向性スピーカや骨伝導スピーカで実現することで他者感情をより確実にユーザのみに通知することができる。また、出力制御部１９は、情報処理装置１－１に設けられている表示装置や音声出力装置に限定されず、ユーザが所有するモバイル端末に設けられている表示装置や音声出力装置等、外部装置に通知情報を送信して外部装置から出力させてもよい。
　また、出力制御部１９は、他者感情を図表で表して表示通知してもよい。以下、図５に一例を示して説明する。
　図５は、本実施形態による他者感情（快－不快）の推移を表すグラフの一例を示す図である。図５では、過去の蓄積された他者感情、現在の認識された他者感情、および未来の推測された他者感情の時系列に応じた推移がグラフで表されている。図５に示すグラフにより、ユーザは他者（相手）の機嫌が徐々に良くなってきていて、この後悪くなることが直感的に把握できる。
　以上、本実施形態による情報処理装置１－１の構成について具体的に説明した。なお情報処理装置１－１の構成は図２に示す例に限定されず、例えば少なくとも一部がネットワーク上（所謂クラウド）にあってもよい。
　（２－１－２．動作）
　続いて、本実施形態による動作処理について図６を参照して説明する。図６は、本実施形態による他者感情認識処理を示すフローチャートである。図６に示すように、まず、ステップＳ１０３において、情報処理装置１－１の自己測定センサ値取得部１０は、自己測定センサからユーザのセンシングデータ（自己測定センサ値とも称す）を取得する。この際、自己測定センサ値取得部１０は、取得したデータに対してノイズ除去やリサンプリングを施し、後段の処理で利用し易いデータに整形する。
　次に、ステップＳ１０６において、他者測定センサ値取得部１１は、他者測定センサから他者のセンシングデータ（他者測定センサ値とも称す）を取得する。この際、他者測定センサ値取得部１１は、取得したデータに対してノイズ除去やリサンプリングを施し、後段の処理で利用し易いデータに整形する。また、本実施形態において他者とは、ユーザと交流している相手であって、例えばユーザと対面して会話を行っている人物が想定される。
　次いで、ステップＳ１０９において、他者感情認識部１２は、自己測定センサ値および他者測定センサ値から各データの特徴量を抽出する。例えば他者感情認識部１２は、自己測定センサ値に関しては、心拍センサから得られるLF/HF比や発汗センサから得られるSCL、他者測定センサに関しては、カメラから得られる口角、眉等の特徴量を抽出する。
　続いて、ステップＳ１１２において、他者感情認識部１２は、感情を認識する対象者（他者）の認識を行う。具体的には、他者感情認識部１２は、他者測定センサから得た他者測定センサ値の特徴量に基づいて、ユーザと対面している他者を認識する。他者の認識は、他者の存在有無（ユーザが誰かと一緒に居るか否か）の判別であってもよいし、他者がユーザの知人であるか否かの判別を行うものであってもよい。他者の存在有無の判別は、例えば会話認識結果に基づき、ユーザと対話しているか否かに応じて行われる。また、図６に示すフローでは他者感情認識の対象者をユーザの知人には限定していないが、他者感情認識をユーザの知人に限定する場合、他者感情認識部１２は、例えば他者の顔認識結果に基づいて、ＳＮＳ上で登録されている友人に該当するか、また、企業や教育機関など同一のコミュニティに所属している人物に該当するか否かに応じて知人か否かの判別を行う。
　次に、ステップＳ１１５において、他者感情認識部１２は、現在の他者感情を認識する。具体的には、他者感情認識部１２は、自己測定センサ値の特徴量と他者測定センサ値の特徴量とに基づいて、ニューラルネットワーク等の機械学習的手法を用いて、上記Ｓ１１２で認識した他者の感情を認識する。例えば他者感情認識部１２は、下記式１を用いて、各特徴量を特徴空間（feature space）にマッピングして他者の感情を認識する。下記式１において、特徴量の総数をＮとし、各特徴量をＶ１、Ｖ２…ＶＮと表す。また、各特徴量には所定の重み付けが行われてもよい。
Figure JPOXMLDOC01-appb-I000001
　次に、ステップＳ１１８において、他者感情推測部１８は、他者感情の履歴および他者情報に基づいて、他者の未来の感情を推測する。例えば他者感情推測部１８は、他者感情の履歴を自己回帰モデルなど統計的モデルに当てはめて、他者の未来の感情を推測する。この際、他者感情推測部１８は、他者情報記憶部１７に記憶されている他者情報から生理周期など感情と相関の強い情報を参照して他者感情の推測精度を高めることが可能である。また、他者感情推測部１８は、他者が好きなスポーツ・チームの勝敗などの情報を刺激として捉えて、他者感情の推測精度を高めることも可能である。
　そして、ステップＳ１２１において、出力制御部１９は、認識された他者感情や推測された他者感情を表示してユーザに通知するよう制御する。また、出力制御部１９は、認識された現在の他者感情をリアルタイムでユーザに通知することで、ユーザは現在会話している相手の現在の感情をリアルタイムに知ることができる。
　以上、本実施形態による他者感情認識処理について具体的に説明した。なお上述した処理は一例であって、本実施形態はこれに限定されない。例えば、出力制御部１９は、他者感情認識部１２により認識された現在の他者感情と、他者感情推測部１８により推測された未来の他者感情とを比較して、現時点から他者の機嫌が著しく変化することが予想される場合に、機嫌の変化をユーザに通知するようにしてもよい。
　また、出力制御部１９は、他者感情履歴に基づく平均的な機嫌と未来の他者感情を比較し、統計的に有意な差が生じる場合、他者の機嫌が改善／悪化すると判断して、機嫌の変化をユーザに通知してもよい。また、出力制御部１９は、統計的手法を用いず、特定の閾値基準に基づいて機嫌の変化を判断してもよい。
　（２－１－３．表示例）
　続いて、本実施形態の出力制御部１９による他者感情のユーザへの通知表示例について、図７～図１１を参照して具体的に説明する。
　図７は、本実施形態による他者スケジュール情報と併せたグラフによる他者感情の表示の一例を示す図である。図７に示すグラフは、図５に示すグラフと同様に、過去から未来への他者感情の推移を示すものであって、具体的には実線部分が過去、破線部分が未来の他者感情を示す。また、図７に示す例では、グラフと共に、他者情報から感情に強く相関するイベントが抽出され、表示される。これによりユーザは、他者が「ランチ」や「外食」の際は機嫌が良くなり、「上司の前で発表」の際は機嫌が悪くなる（緊張状態や憂鬱状態になる）ことが直感的に把握できる。なお他者のスケジュールをどの程度ユーザに公開するかは、ユーザと他者の関係性に応じて変化してもよい。出力制御部１９は、例えばユーザと他者の新密度が高い（すなわちプライバシーレベルが低い）場合、表示するスケジュールをより細く、また、多く表示する（若しくはプライバシーレベルに応じた公開度を満たすスケジュールを表示する）。
　図８は、本実施形態による機嫌予報形式の他者感情の表示の一例を示す図である。図８に示すように、機嫌予報では、他者感情推測部１８により他者情報（スケジュール情報等）と他者感情履歴に基づいて推測された感情が数時間単位で表示されている。これにより、ユーザは、他者の一日の機嫌の推移を把握することができる。
　具体的には、機嫌予報では、時間、機嫌（非常に良い－良い－普通－悪い－非常に悪い）、感情（明るい、嬉しい、平常、緊張等）、信頼度、予報に影響を及ぼした要因が、時刻毎に表示される。なお「機嫌」は、他者感情推測部１８により推測された感情に応じて判定されたものである。また、「感情」は、テキストで表示してもよいし、図８に示すように感情を表現する顔画像（例えばアバター、イラスト、実際の他者の顔画像を編集したもの等）で表示してもよい。
　また、機嫌予報の表示後、実際に他者の感情が観測できた場合、出力制御部１９は、実際に観測した他者の感情に応じた顔画像を「観測された表情」として表示してもよい。図８に示す例では、０時～６時において他者感情が「平常」と予報したところ、実際に観測された他者感情も「平常」であったことが顔画像から分かる。また、６時～１２時において他者感情が「嬉しい」と予報したところ、実際に観測された他者感情は「平常」であったことが顔画像から分かる。また、実際の他者感情が観測できなかった場合や、まだその時間が到達していない場合、「観測された表情」の欄には「未取得」と表示される。
　また、図８に示すように、機嫌予報表示では予報の信頼度も表示され得る。予報の信頼度は、例えば他者感情推測部１８が他者感情を推測した際に利用した他者感情履歴の母体数、他者情報に含まれる感情と相関の強いイベント（すなわち要因）の有無や相関の強さ、また、今までの予報的中率等に基づいて算出される。
　また、図８に示すように、機嫌予報表示では予報に影響を及ぼした要因も表示され得る。かかる要因は、他者情報から抽出され、他者感情の推測に利用された感情と相関の強いイベントであって、例えば睡眠時間、食事時間、食事内容（好みの料理であるか等）、仕事のスケジュール（内勤、外勤、出張、プレゼンテーション等）、通勤時における電車の混み具合等が想定される。ここでユーザに開示する要因は、ユーザと他者との関係性に応じて表示／非表示が決定されてもよい。
　以上、機嫌予報形式の他者感情の表示例について具体的に説明した。なお図８に示す例では一日（数時間単位毎）の機嫌予報表示例を示したが、本実施形態はこれに限定されず、図９に示すように例えば週間（日単位毎）の機嫌予報表示例であってもよい。
　図９は、本実施形態による機嫌予報形式の他者感情の表示の他の例を示す図である。図９に示すように、機嫌週間予報では、月曜から日曜の他者（例えばＡさん）の機嫌予報が表示されている。表示されている機嫌、感情、観測された表情、信頼度、および予報に影響を及ぼした要因についての詳細な内容は、図８を参照して説明した機嫌予報の例と同様である。
　なお図８、図９に示す例では、実際に観測された他者の感情を示す表情を表示しているが、本実施形態はこれに限定されず、他者本人からのフィードバックを可能としてもよい。例えば実際に観測された表情と、他者の本当の感情が異なる場合も想定されるため、他者本人が自身の感情を本システムにフィードバックすることで、ユーザに本当の他者感情がフィードバックされたり、他者感情推測の精度向上に利用されたりして、本システムの利便性が向上する。
　以上説明したグラフや機嫌予報の画像は、ユーザのスマートフォンや携帯電話端末、タブレット端末、ＰＣ（Personal Computer）等の表示部に表示され得る。また、情報処理装置１がスマートアイグラスにより実現されている場合、出力制御部１９は、スマートアイグラスの透過型表示部にＡＲ（Augmented Reality）技術を用いて上記グラフや機嫌予報の画像を表示してもよい。以下、図１０を参照して説明する。
　図１０は、ＡＲ技術を用いた他者感情の表示通知の一例を示す図である。図１０に示すように、情報処理装置１がスマートアイグラスにより実現されている際、ユーザ装着時にユーザの眼前に位置するレンズ部分には透過型表示部が設けられている。ここで、ユーザが情報処理装置１を装着した状態で他者と対話している際、情報処理装置１は、ユーザの目の前に居る他者を認識して他者感情を認識・推測し、例えば図１０に示すように、実空間に存在する他者Ｐに対応して他者感情の推移を表すグラフ画像３０を実空間に重畳表示するよう制御する。これによりユーザは、対話している相手の感情を直感的に把握することができる。
　なお他者感情の表示を行うタイミングは、情報処理装置１が他者Ｐを認識した時であってもよいし、自己測定センサ値に基づいてユーザが他者Ｐに注目していると判断された時（例えばユーザの視線検出を行ってユーザが他者Ｐを見ていると判断された時等）であってもよい。
　また、上述した他者感情推移のグラフや機嫌予報は、音声によりユーザに通知することも可能である。例えば出力制御部１９は、情報処理装置１に設けられているスピーカ（不図示）から、「Ａさんは、週の前半は上機嫌、後半は時々不機嫌でしょう」といった予報アナウンスを流してもよい。
　また、本実施形態による出力制御部１９は、認識・推測された他者感情を、他のサービスやシステムと連携してユーザへ通知してもよい。例えば出力制御部１９は、会社のスケジュール管理アプリケーションと連携して会議の出席者の機嫌を一覧表示することが可能である。以下、図１１を参照して具体的に説明する。
　図１１は、本実施形態による他者感情の推測結果をスケジュール管理アプリケーションから出力した場合の表示画面例を示す図である。図１１に示すように、スケジュール画面３２は、開催者、件名、場所、開始日時、終了日時、および出席者といったスケジュール情報を含む。これらの情報は、例えば予定生成時にユーザ（ここでは「ＡＡＡさん」）が入力した情報である。
　さらに本実施形態では、図１１に示すように、会議に出席する各出席者の感情推測結果が表示される。かかる感情推測結果は、会議日時における各出席者の感情を他者感情推測部１８で推測したものであって、例えば図１１に示すようにキャラクターの表情で表される。これによりユーザは、会議時にＤＤＤ部長とＦＦＦ係長の機嫌が悪そうであることを知ることができる。また、スケジュール画面３２では、各出席者の個々の感情のみではなく、例えば各出席者の感情を表す数値を線形和などの方法で組み合わせて算出した集団としての感情が表示されてもよい。
　また、本実施形態では、推測された各出席者の会議時の感情に応じて各出席者の生産性寄与比も算出され、図１１に示すように、各出席者の感情を表すキャラクターに対応付けて表示される。また、本実施形態では、各出席者の推測感情および生産性寄与比に基づいて、集団としての総合生産性の評価も算出され、図１１に示すように「総合生産性評価」として表示される。ユーザは、これら各出席者の推測感情や生産性寄与率、および総合生産性評価を参照して、会議の開催、中止、または時間変更を決定することができる。
　ここで、情報処理装置１は、ユーザがスケジュール画面３２に含まれる「時間変更」のボタンを選択した際、他者感情推測部１８の推測結果に基づいて、現在設定されている会議開催日時の前後所定日間のうち、総合生産性評価が高い日時を探してユーザに提案してもよい。
　また、本実施形態では、認識・推測された他者感情を他のサービスやシステムと連携して利用する例として、次のような利用形態も考え得る。例えば情報処理装置１が音楽プレイヤの制御が可能である場合に、ユーザと一緒に居る他者が落ち込んでいる時は勇気付ける曲を再生するなど他者の感情を反映した選曲を行ったり、他者がリラックスしている時はイコライザをポップスモードにするなど他者の感情に応じた再生モードの変更を行ったりする。これにより、例えばユーザの部屋に訪れた他者に音楽によるおもてなしを行うことができる。
　また、情報処理装置１がカメラの制御が可能である場合に、他者の感情に応じたシャッタ制御（例えば機嫌の良い時にシャッタを切る等）、パラメータ設定、撮影モード切替（例えば機嫌の良い時は、露出オーバにする等）を行ってもよい。
　また、情報処理装置１がゲーム装置の制御が可能である場合に、ユーザと一緒にゲームを行っている他者の感情が「退屈」状態である時は、ゲーム内でイベントを起こすなどして他者のゲームに対する集中度を高く維持させる試みを行ってもよい。
　また、情報処理装置１が部屋の照明制御が可能である場合に、他者がリラックスしてうっとりしている時は、照明の色温度を温かみのあるものにするなど、他者感情に応じた照明制御を行ってもよい。
　このように、本実施形態による情報処理装置１は、他者にセンサ装置等の装着を強いることなく認識/推測した他者の感情に応じて、部屋で流れる音楽や照明の制御を行い、他者をおもてなしすることができる。また、情報処理装置１は、認識/推測した他者の感情に応じて適切なカメラ制御やゲーム制御を行うことができる。
　以上説明したように、本実施形態による情報処理システムでは、他者にセンサ装置の装着を強いることなく、ユーザのセンシング情報を用いて他者の感情を認識することができ、実用的なシステムを実現できる。また、本実施形態による情報処理システムでは、リアルタイムで現在の他者の感情を認識して当該他者と交流中のユーザに即時通知する他、他者情報および他者感情履歴に基づいて他者の未来の感情を推測し、予めユーザに通知することも可能である。
　なお本実施形態による情報処理システムは、ユーザが主体的に本システムを利用した時だけではなく、継続的に他者の感情の認識・推測を行い、他者の機嫌が有意に改善/悪化しそうな時にユーザに通知してもよい。以上、第１の実施形態による情報処理システムについて説明した。
　＜２－２．第２の実施形態＞
　続いて、本開示の第２の実施形態による情報処理システムについて図１２～図１３を参照して説明する。上述した第１の実施形態では、図１に示すように、自己測定センサがユーザ側にあったが、本開示はこれに限定されず、自己測定センサがユーザ以外の者にあってもよい。例えば感情認識の対象者である他者Ｐが、自己測定センサの装着に同意してくれた場合、図１２Ａに示すように、他者Ｐ側にも自己測定センサが配置され、情報処理装置１は、２種類の自己測定センサから取得した自己測定センサ値と、ユーザ側の他者測定センサから取得した他者測定センサ値とを用いて、他者Ｐの感情認識を行うことができる。この場合、他者感情認識の精度が向上することが期待できる。
　また、図１２Ｂのように、ユーザと他者Ｐ１以外の第三者Ｐ２が自己測定センサの装着に同意してくれた場合、第三者Ｐ２側にも自己測定センサが配置され、情報処理装置１は、２種類の自己測定センサから取得した自己測定センサ値と、ユーザ側の他者測定センサから取得した他者測定センサ値とを用いて、他者Ｐの感情認識を行うことができる。他者Ｐ１の感情は第三者Ｐ２の感情にも影響するといった観点から、この場合も他者感情認識の精度が向上することが期待できる。
　以上説明したような２種類の自己測定センサを用いる場合の本実施形態による情報処理装置１－２の構成について図１３を参照して説明する。
　図１３は、第２の実施形態による情報処理装置１－２の構成の一例を示すブロック図である。図１３に示すように、情報処理装置１－２は、第１の自己測定センサ値取得部１０ａ、第２の自己測定センサ値取得部１０ｂ、他者測定センサ値取得部１１、他者感情認識部１２、感情認識管理部１３、他者感情情報記憶部１４、他者情報取得部１５、他者情報管理部１６、他者情報記憶部１７、他者感情推測部１８、および出力制御部１９を有する。
　情報処理装置１－２の構成は、第１の自己測定センサ値取得部１０ａおよび第２の自己測定センサ値取得部１０ｂを有する点が、図２を参照して説明した情報処理装置１－１の構成と異なる。第１の自己測定センサ値取得部１０ａは、ユーザをセンシングする自己測定センサからのセンサ値を取得し、他者感情認識部１２に出力する。また、第２の自己測定センサ値取得部１０ｂは、他者（相手）または第三者をセンシングする自己測定センサからのセンサ値を取得し、他者感情認識部１２に出力する。他者または第三者をセンシングする自己測定センサは、他者または第三者に装着／所有され、他者または第三者の生体情報や活動量情報をセンシングする。
　そして、他者感情認識部１２は、ユーザからセンシングされたセンサ値、他者または第三者からセンシングされたセンサ値、およびユーザに装着／所有された他者測定センサによりセンシングされた他者のセンサ値を用いて、他者感情を認識する。本実施形態では、このように他者または第三者からセンシングされたセンサ値を用いることで、他者感情の認識精度が向上する。
　なお情報処理装置１－２の他の構成は、図２を参照して説明した情報処理装置１－１の同名称の構成と同様であるため、ここでの説明を省略する。
　以上、自己測定センサが他者や第三者側にも装着／所有された場合における第２の実施形態による情報処理システムについて説明した。
　＜２－３．第３の実施形態＞
　次に、本開示の第３の実施形態による情報処理システムについて説明する。上述した第１の実施形態では、自己測定センサによりセンシングされるセンサ値と、他者測定センサによりセンシングされるセンサ値とに基づいて他者感情の認識を行ったが、本開示はこれに限定されない。例えば本開示による情報処理システムでは、他者測定センサによりセンシングされるセンサ値を用いずに他者感情を認識することが可能である。以下、図１４を参照してこのような第３の実施形態による情報処理装置１－３の構成について具体的に説明する。
　図１４は、第３の実施形態による情報処理装置１－３の構成の一例を示すブロック図である。図１４に示すように、情報処理装置１－３は、自己測定センサ値取得部１０、他者感情認識部１２、感情認識管理部１３、他者感情情報記憶部１４、他者情報取得部１５、他者情報管理部１６、他者情報記憶部１７、他者感情推測部１８、および出力制御部１９を有する。
　情報処理装置１－３は、図２を参照して説明した情報処理装置１－１の構成と比較して、他者測定センサ値取得部１１を有していない点が異なる。情報処理装置１－３の他者感情認識部１２は、自己測定センサ値取得部１０から出力されたセンサ値（すなわち自己測定センサによりユーザからセンシングしたセンサ値）のみに基づいて、他者感情を認識する。
　なお情報処理装置１－３の他の構成は、図２を参照して説明した情報処理装置１－１の同名称の構成と同様であるため、ここでの説明を省略する。
　このように、第３の実施形態による情報処理装置１－３では、他者測定センサ値を用いずに他者感情を認識するため、他者測定センサの搭載コストや搭載スペースが不要となり、システムのコスト削減や省スペース化に貢献することができる。
　＜２－４．第４の実施形態＞
　続いて、本開示の第４の実施形態による情報処理システムについて図１５および図１６を参照して説明する。上述した各実施形態では、認識・推測した他者感情を出力制御部１９によりユーザに通知する旨を説明したが、本開示はこれに限定されず、例えば認識・推測した他者感情に応じた行動をユーザに提案してもよい。このような第４の実施形態による情報処理装置１－４の構成について以下図１５を参照して説明する。
　図１５は、第４の実施形態による情報処理装置１－４の構成の一例を示すブロック図である。図１５に示すように、情報処理装置１－４は、自己測定センサ値取得部１０、他者測定センサ値取得部１１、他者感情認識部１２、感情認識管理部１３、他者感情情報記憶部１４、他者情報取得部１５、他者情報管理部１６、他者情報記憶部１７、他者感情推測部１８、出力制御部１９、および行動提案部２０を有する。
　行動提案部２０は、他者感情認識部１２により認識された現在の他者感情、または他者感情推測部１８により推測された他者感情と、他者情報（他者のスケジュール情報、ToDoリスト、位置情報、趣味、嗜好など）に基づいて、ユーザに適切な行動を提案する。行動提案部２０は、提案する行動を示すテキスト情報等を出力制御部１９に送り、出力制御部１９は、他者感情の通知と共に、ユーザに提案する行動を明示する。
　ここで、行動提案部２０により提案される行動の一例について図１６を参照して説明する。図１６は、第４の実施形態による行動提案の一例を示す図である。図１６に示すように、例えば他者感情の推移を示すグラフと共に、ユーザに新たな行動が提案されてもよい。より具体的には、図１６に示すように、例えば現時点（つまりランチ時）から午後に行われる「上司の前で発表」というイベントに向けて他者の機嫌が悪くなる（感情：緊張する、憂鬱になる）ことが推測されるため、「『発表頑張れ！』とメールしてみては？」といった相手を元気付ける適切なコミュニケーションが提案される。また、「上司の前で発表」というイベント後、「外食」の時には機嫌が良くなる（感情：楽しくなる、明るくなる）ことが推測されるため、「連絡してみては？」といった相手の様子を伺うための適切なコミュニケーションタイミングが提案される。
　また、行動提案部２０は、上述したような新たな行動の提案に限定されず、例えば認識/推測された他者感情に応じてユーザに既存の予定に対する提案を行ってもよい。具体的には、行動提案部２０は、既存の予定を延期するよう、「本日１０時からの議題Ｑについての相談は、ＥＥＥ係長の機嫌が悪そうなので、ＥＥＥ係長の機嫌が良い１７時に延期しよう」とユーザに提案してもよい。また、行動提案部２０は、既存の予定を中止するよう、「土曜日のＪＪさんとのデートは、ＪＪさんの機嫌が悪そうなので中止しよう」とユーザに提案してもよい。
　また、行動提案部２０は、認識/推測された他者感情に応じてユーザに新たな予定を提案してもよい。例えば行動提案部２０は、ユーザの友人の感情推測結果に基づいて、「今日の授業の後はＫＫさんの機嫌が良さそうなので、遊びに誘ってみては？」といった交友を提案する。また、行動提案部２０は、ＴｏＤｏリストの内容と他者感情の推測結果に基づいて、「明日の午前中はＭＭさんの機嫌が良いので、ＭＭさんと一緒に行うＺ室の掃除業務は、明日の午前中にやってみては？」といったタスクを提案してもよい。
　＜２－５．第５の実施形態＞
　次に、本開示による第５の実施形態による情報処理システムについて説明する。上述した各実施形態では、他者情報と他者感情履歴に基づいて、他者感情推測部１８により未来の他者感情が推測可能である旨を説明したが、本実施形態では、当該他者感情の推測を利用して遠隔地に居る他者の感情をユーザに通知する。すなわち、他者の未来の感情を推測できることから、ユーザが他者と一緒に居ない場合であっても他者の現在の感情を推測してユーザに通知することが可能となる。以下、図１７を参照してこのような第５の実施形態による情報処理装置１－５の構成について具体的に説明する。
　図１７は、第５の実施形態による情報処理装置１－５の構成の一例を示すブロック図である。図１７に示すように、情報処理装置１－５は、自己測定センサ値取得部１０、他者感情認識部１２、感情認識管理部１３、他者感情情報記憶部１４、他者情報取得部１５、他者情報管理部１６、他者情報記憶部１７、他者感情推測部１８、出力制御部１９、および表情変換部２１を有する。
　表情変換部２１は、他者感情推測部１８により推測された他者の現在の感情を表情に変換する。表情への変換は、例えば当該他者に対応する顔画像（例えばアバター、イラスト、実際の他者の顔画像等）における表情を編集することで実現される。
　出力制御部１９は、上記各実施形態と同様に、認識/推測された他者の感情をユーザに通知する。また、本実施形態による出力制御部１９は、他者からのインスタントメッセージを表示するインスタントメッセージ画面において、メッセージ発信元または発信先の他者の感情を、表情変換部２１で変換された表情で明示し、ユーザに通知することも可能である。以下、図１８を参照してこのようなインタスタントメッセージ画面について説明する。
　図１８は、第５の実施形態によるインタスタントメッセージ画面の一例について説明するための図である。図１８に示すインタスタントメッセージ画面３４では、各相手との最終メッセージが列挙されている。これらのうち一の相手がユーザにより選択されると、インタスタントメッセージ画面３４は、選択された相手とのメッセージ履歴画面に遷移する。
　また、インタスタントメッセージ画面３４では、各相手との最終メッセージと共に、各相手の名前、顔画像、最終メッセージ送受信の時刻（すなわち最終会話時間）が表示されている。ここで、インタスタントメッセージ画面３４に表示されている各相手の顔画像３４１～３４３は、現在の相手の感情に応じた表情にリアルタイムで変換される。現在の相手の感情は、他者感情推測部１８により他者感情履歴および他者情報を用いて推測され得る。すなわち、他者が遠隔地に居てユーザとは会話を行っていない場合、上述したように他者感情の影響を受けるユーザの生体情報等の自己測定センサ値を用いた他者感情認識部１２による他者感情の認識は困難であるが、過去の他者感情履歴に基づいて他者感情推測部１８により推測することは可能である。
　これにより、例えば「ママ」との最終メッセージ「今日は夕飯食べる？」に返信を行う際、現在の「ママ」の感情が顔画像３４１に反映され、ユーザは現在の相手の機嫌を知ることができる。図１８に示す例では、「ママ」の現在の機嫌が悪いこと（感情：悲しい、憂鬱）が推測されるので、ユーザはメッセージの返信タイミングを延期したり、相手の機嫌が悪いことを考慮した返信メッセージ（例えば「遅くなってごめん。夕飯お願いします。」等）を送ったりすることができる。
　このように、本実施形態によれば、ユーザと会話を行っていない遠隔地に居る他者の現在の感情を推測してユーザに通知することができ、ユーザは相手の感情を把握した上で最適なメッセージを送ることができる。
　なお本実施形態では表情変換部２１により他者感情を表情に変換してユーザに通知しているが、本実施形態はこれに限定されず、例えば他者感情をテキストや色に変換してユーザに通知してもよい。例えば、インタスタントメッセージ画面において、相手の名前やプロフィール画像（アイコンや顔画像等）に対応付けて、「機嫌良し」「機嫌悪い」といったテキストや、機嫌の良し悪しを所定の色合いで示す（例えば機嫌が良い時は暖色系、機嫌が悪い時は寒色系で相手の名前や表示領域を表す等）。
　　＜＜３．情報処理装置１のハードウェア構成＞＞
　以上、本開示の各実施形態に係る情報処理装置１－１～１－５について説明した。上述した情報処理装置１－１～１－５の各機能は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
　図１９は、本開示の一実施形態に係る情報処理装置１のハードウェア構成を示した説明図である。図１９に示したように、情報処理装置１は、ＣＰＵ（Central　Processing　Unit）１０１と、ＲＯＭ（Read　Only　Memory）１０２と、ＲＡＭ（Random　Access　Memory）１０３と、ブリッジ１０４と、入力部１０５と、出力部１０６と、ストレージ部１０７と、ネットワークＩ／Ｆ（interface）１０８と、無線通信Ｉ／Ｆ１０９とを備える。
　ＣＰＵ１０１は、演算処理装置として機能し、各種プログラムと協働して情報処理装置１内の自己測定センサ値取得部１０、他者測定センサ値取得部１１、他者感情認識部１２、感情認識管理部１３、他者情報取得部１５、他者情報管理部１６、他者感情推測部１８、出力制御部１９、行動提案部２０、および表情変換部２１の動作を実現する。また、ＣＰＵ１０１は、マイクロプロセッサであってもよい。ＲＯＭ１０２は、ＣＰＵ１０１が使用するプログラムまたは演算パラメータ等を記憶する。ＲＡＭ１０３は、ＣＰＵ１０１の実行において使用するプログラムまたは実行において適宜変化するパラメータ等を一時記憶する。ＲＯＭ１０２およびＲＡＭ１０３により、情報処理装置１内の他者感情情報記憶部１４および他者情報記憶部１７の一部を実現する。ＣＰＵ１０１、ＲＯＭ１０２およびＲＡＭ１０３は、ＣＰＵバスなどから構成される内部バスにより相互に接続されている。
　入力部１０５は、マウス、キーボード、タッチパネル、ボタン、マイクロホン、カメラ、スイッチおよびレバーなどユーザが情報を入力するための入力手段、およびユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１０１に出力する入力制御回路などから構成されている。情報処理装置１のユーザは、入力部１０５を操作することにより、情報処理装置１に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力部１０６は、例えばホログラム光学技術を用いて表示を行うレンズ部（透過型表示部の一例）、液晶ディスプレイ（LCD）装置、ＯＬＥＤ（Organic　Light　Emitting　Diode）装置などの表示装置への出力を行う。さらに、出力部１０６は、スピーカやヘッドフォンからの音声出力を行ってもよい。
　ストレージ部１０７は、データ格納用の装置である。ストレージ部１０７は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されるデータを削除する削除装置等を含んでもよい。ストレージ部１０７は、ＣＰＵ１０１が実行するプログラムや各種データを格納する。
　ネットワークＩ／Ｆ１０８は、ネットワークに接続するための通信デバイスで構成される通信インターフェースである。また、ネットワークＩ／Ｆ１０８は、無線ＬＡＮ（Local　Area　Network）対応通信装置であってもよいし、ＬＴＥ（Long　Term　Evolution）対応通信装置であってもよい。ネットワークＩ／Ｆ１０８は、他者情報取得部１５の一部を構成し、他者情報取得部１５は、ネットワーク上の所定サーバから他者情報を取得することが可能である。
　無線通信Ｉ／Ｆ１０９は、情報処理装置１の外部の情報処理装置または周辺機器と接続するため通信インターフェースである。なおここでは一例として無線通信Ｉ／Ｆ１０９を有する構成としたが、有線通信によりの外部の情報処理装置または周辺機器と接続する通信インターフェースであってもよい。
　　＜＜４．まとめ＞＞
　上述したように、本開示の実施形態による情報処理システムでは、ユーザのセンシング情報を用いて他ユーザ（他者）の感情を認識することが可能となる。これにより、他者の感情を認識する際に他者にセンサ装置の装着を強いることがなく、より実用的なシステムを実現でき、利便性が向上する。
　また、本実施形態による情報処理システムでは、ユーザが他者と会話等を行っている際に、他者の感情をリアルタイムでユーザに通知することで、ユーザは相手の機嫌を考慮した対応を行うことができる。また、本実施形態による情報処理システムでは、未来の他者感情を推測して予めユーザに通知することで、ユーザは相手の機嫌を考慮して予定を変更したり行動を起こしたりすることができる。
　また、本実施形態による情報処理システムでは、現在の他者の感情や未来の他者の感情をユーザに通知すると共に、ユーザに他者感情に応じた適切な行動提案を行うことも可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上述した情報処理装置１に内蔵されるＣＰＵ１０１、ＲＯＭ１０２、およびＲＡＭ１０３等のハードウェアに、情報処理装置１の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
　また、本明細書の情報処理装置１の動作における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理装置１の動作における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。具体的には、図６に示すステップＳ１０３およびステップＳ１０６は逆または同時であってもよいし、ステップＳ１１５およびステップＳ１１８は逆または同時であってもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　センシングされたユーザに関する情報および他ユーザに関する情報に基づいて、前記他ユーザの感情を認識する感情認識部と、
　前記認識した他ユーザの感情に関する情報を前記ユーザに通知するよう制御する通知制御部と、
を備える、情報処理装置。
（２）
　前記ユーザに関する情報は、前記ユーザの生体情報である、前記（１）に記載の情報処理装置。
（３）
　前記生体情報は、心拍センサ値または発汗センサ値を含み、
　前記感情認識部は、前記生体情報から抽出した特徴量に基づいて、前記他ユーザの感情を認識する、前記（２）に記載の情報処理装置。
（４）
　前記感情認識部は、前記生体情報から抽出した特徴量に基づいて認識した前記ユーザの感情と一致、類似、または相関する感情を前記他ユーザの感情として認識する、前記（２）または（３）に記載の情報処理装置。
（５）
　前記ユーザに関する情報は、さらに前記ユーザの活動量情報を含む、前記（２）～（４）のいずれか１項に記載の情報処理装置。
（６）
　前記活動量情報は、加速度センサ値、角速度センサ値、歩数計値、または地磁気センサ値を含む、前記（５）に記載の情報処理装置。
（７）
　前記他ユーザに関する情報は、前記他ユーザの表情情報である、前記（２）～（６）のいずれか１項に記載の情報処理装置。
（８）
　前記表情情報は、前記他ユーザを撮像した顔画像から抽出された特徴点に基づく口角または眉の位置を含み、
　前記感情認識部は、さらに前記表情情報から抽出した特徴量に基づいて、前記他ユーザの感情を認識する、前記（７）に記載の情報処理装置。
（９）
　前記他ユーザに関する情報は、収音された前記他ユーザの音声情報、検知された姿勢情報、または赤外線画像から取得された温度情報を含む、前記（７）または（８）に記載の情報処理装置。
（１０）
　前記ユーザに関する情報および前記他ユーザに関する情報は、前記ユーザが所持するセンサ装置から得られる、前記（２）～（９）のいずれか１項に記載の情報処理装置。
（１１）
　前記感情認識部は、センシングされた第三者の生体情報を参照して前記他ユーザの感情を認識する、前記（２）～（１０）のいずれか１項に記載の情報処理装置。
（１２）
　前記情報処理装置は、
　前記感情認識部により認識された他ユーザの感情に関する情報を蓄積する記憶部から抽出した他ユーザ感情履歴に基づいて、前記他ユーザの未来の感情を推測する感情推測部をさらに備える、前記（１）～（１１）のいずれか１項に記載の情報処理装置。
（１３）
　前記通知制御部は、前記他ユーザの感情の推移を時系列で表示するよう制御する、前記（１）～１２をいずれか１項に記載の情報処理装置。
（１４）
　前記通知制御部は、前記感情推測部の推測結果に基づいて、前記他ユーザの感情予報を表示するよう制御する、前記（１２）に記載の情報処理装置。
（１５）
　前記情報処理装置は、
　前記他ユーザの感情に応じて所定の行動をユーザに提案する行動提案部をさらに備える、前記（１）～（１４）のいずれか１項に記載の情報処理装置。
（１６）
　前記感情推測部は、現在の他ユーザの感情を推測し、
　前記通知制御部は、前記推測された他ユーザの感情をリアルタイムでユーザに通知するよう制御する、前記（１２）に記載の情報処理装置。
（１７）
　前記感情推測部は、前記他ユーザ感情履歴と、前記他ユーザの行為関連情報とに基づいて、前記他ユーザの感情を推測する、前記（１２）または（１６）に記載の情報処理装置。
（１８）
　センシングされたユーザに関する情報および他ユーザに関する情報に基づいて、前記他ユーザの感情を認識することと、
　前記認識した他ユーザの感情に関する情報を前記ユーザに通知するよう通知制御部により制御することと、
を含む、制御方法。
（１９）
　コンピュータを、
　センシングされたユーザに関する情報および他ユーザに関する情報に基づいて、前記他ユーザの感情を認識する感情認識部と、
　前記認識した他ユーザの感情に関する情報を前記ユーザに通知するよう制御する通知制御部と、
として機能させるための、プログラム。
　１、１－１～１－５　　情報処理装置
　１０　　自己測定センサ値取得部
　１０ａ　　第１の自己測定センサ値取得部
　１０ｂ　　第２の自己測定センサ値取得部
　１１　　他者測定センサ値取得部
　１２　　他者感情認識部
　１３　　感情認識管理部
　１４　　他者感情情報記憶部
　１５　　他者情報取得部
　１６　　他者情報管理部
　１７　　他者情報記憶部
　１８　　他者感情推測部
　１９　　出力制御部
　２０　　行動提案部
　２１　　表情変換部
　Ｐ、Ｐ１　　他者
　Ｐ２　　第三者

Claims (19)

  1. 　センシングされたユーザに関する情報および他ユーザに関する情報に基づいて、前記他ユーザの感情を認識する感情認識部と、
    　前記認識した他ユーザの感情に関する情報を前記ユーザに通知するよう制御する通知制御部と、
    を備える、情報処理装置。
  2. 　前記ユーザに関する情報は、前記ユーザの生体情報である、請求項１に記載の情報処理装置。
  3. 　前記生体情報は、心拍センサ値、または発汗センサ値を含み、
    　前記感情認識部は、前記生体情報から抽出した特徴量に基づいて、前記他ユーザの感情を認識する、請求項２に記載の情報処理装置。
  4. 　前記感情認識部は、前記生体情報から抽出した特徴量に基づいて認識した前記ユーザの感情と一致、類似、または相関する感情を前記他ユーザの感情として認識する、請求項２に記載の情報処理装置。
  5. 　前記ユーザに関する情報は、さらに前記ユーザの活動量情報を含む、請求項２に記載の情報処理装置。
  6. 　前記活動量情報は、加速度センサ値、角速度センサ値、歩数計値、または地磁気センサ値を含む、請求項５に記載の情報処理装置。
  7. 　前記他ユーザに関する情報は、前記他ユーザの表情情報である、請求項２に記載の情報処理装置。
  8. 　前記表情情報は、前記他ユーザを撮像した顔画像から抽出された特徴点に基づく口角または眉の位置を含み、
    　前記感情認識部は、さらに前記表情情報から抽出した特徴量に基づいて、前記他ユーザの感情を認識する、請求項７に記載の情報処理装置。
  9. 　前記他ユーザに関する情報は、収音された前記他ユーザの音声情報、検知された姿勢情報、または赤外線画像から取得された温度情報を含む、請求項７に記載の情報処理装置。
  10. 　前記ユーザに関する情報および前記他ユーザに関する情報は、前記ユーザが所持するセンサ装置から得られる、請求項２に記載の情報処理装置。
  11. 　前記感情認識部は、センシングされた第三者の生体情報を参照して前記他ユーザの感情を認識する、請求項２に記載の情報処理装置。
  12. 　前記情報処理装置は、
    　前記感情認識部により認識された他ユーザの感情に関する情報を蓄積する記憶部から抽出した他ユーザ感情履歴に基づいて、前記他ユーザの未来の感情を推測する感情推測部をさらに備える、請求項１に記載の情報処理装置。
  13. 　前記通知制御部は、前記他ユーザの感情の推移を時系列で表示するよう制御する、請求項１に記載の情報処理装置。
  14. 　前記通知制御部は、前記感情推測部の推測結果に基づいて、前記他ユーザの感情予報を表示するよう制御する、請求項１２に記載の情報処理装置。
  15. 　前記情報処理装置は、
    　前記他ユーザの感情に応じて所定の行動をユーザに提案する行動提案部をさらに備える、請求項１に記載の情報処理装置。
  16. 　前記感情推測部は、現在の他ユーザの感情を推測し、
    　前記通知制御部は、前記推測された他ユーザの感情をリアルタイムでユーザに通知するよう制御する、請求項１２に記載の情報処理装置。
  17. 　前記感情推測部は、前記他ユーザ感情履歴と、前記他ユーザの行為関連情報とに基づいて、前記他ユーザの感情を推測する、請求項１２に記載の情報処理装置。
  18. 　センシングされたユーザに関する情報および他ユーザに関する情報に基づいて、前記他ユーザの感情を認識することと、
    　前記認識した他ユーザの感情に関する情報を前記ユーザに通知するよう通知制御部により制御することと、
    を含む、制御方法。
  19. 　コンピュータを、
    　センシングされたユーザに関する情報および他ユーザに関する情報に基づいて、前記他ユーザの感情を認識する感情認識部と、
    　前記認識した他ユーザの感情に関する情報を前記ユーザに通知するよう制御する通知制御部と、
    として機能させるための、プログラム。
PCT/JP2016/051735 2015-04-23 2016-01-21 情報処理装置、制御方法、およびプログラム WO2016170810A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017513986A JP6610661B2 (ja) 2015-04-23 2016-01-21 情報処理装置、制御方法、およびプログラム
CN201680017804.XA CN107405120B (zh) 2015-04-23 2016-01-21 信息处理装置、控制方法和程序
EP16782832.6A EP3287075A4 (en) 2015-04-23 2016-01-21 Information processing device, control method, and program
US15/560,230 US11160479B2 (en) 2015-04-23 2016-01-21 Information processing device and control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-088170 2015-04-23
JP2015088170 2015-04-23

Publications (1)

Publication Number Publication Date
WO2016170810A1 true WO2016170810A1 (ja) 2016-10-27

Family

ID=57143867

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/051735 WO2016170810A1 (ja) 2015-04-23 2016-01-21 情報処理装置、制御方法、およびプログラム

Country Status (5)

Country Link
US (1) US11160479B2 (ja)
EP (1) EP3287075A4 (ja)
JP (1) JP6610661B2 (ja)
CN (1) CN107405120B (ja)
WO (1) WO2016170810A1 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018170714A (ja) * 2017-03-30 2018-11-01 日本電気株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
WO2018230654A1 (ja) * 2017-06-16 2018-12-20 本田技研工業株式会社 インタラクション装置、インタラクション方法、およびプログラム
CN109599127A (zh) * 2017-09-29 2019-04-09 松下知识产权经营株式会社 信息处理方法、信息处理装置以及信息处理程序
JP2019072371A (ja) * 2017-10-18 2019-05-16 株式会社日立製作所 システム及び意思疎通を図るために行うアクションの評価方法
JP2019191824A (ja) * 2018-04-23 2019-10-31 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP2020137895A (ja) * 2019-02-28 2020-09-03 パナソニックＩｐマネジメント株式会社 表示方法、プログラム、及び表示システム
US10952658B2 (en) 2018-04-03 2021-03-23 Panasonic Intellectual Property Corporation Of America Information processing method, information processing device, and information processing system
WO2021060544A1 (ja) * 2019-09-25 2021-04-01 西村　勉 情報提供装置、情報提供方法及びプログラム
JP2021078964A (ja) * 2019-11-21 2021-05-27 パナソニックＩｐマネジメント株式会社 環境制御システム、環境制御方法及びプログラム
WO2022108057A1 (ko) * 2020-11-20 2022-05-27 오로라월드 주식회사 멀티-모달 기반의 감정 분류장치 및 방법
WO2022201264A1 (ja) * 2021-03-22 2022-09-29 株式会社I’mbesideyou 動画像分析プログラム
WO2022209499A1 (ja) * 2021-03-29 2022-10-06 ソニーグループ株式会社 情動情報を表示する情報処理システム
JP7306439B2 (ja) 2017-03-30 2023-07-11 日本電気株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
JP7435965B2 (ja) 2022-02-28 2024-02-21 株式会社Ｃｓイノベーション 情報処理装置、情報処理方法、学習モデルの生成方法、及びプログラム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644189B (zh) * 2016-07-20 2021-02-02 腾讯科技（深圳）有限公司 一种生物特征识别的方法及装置
US10768425B2 (en) * 2017-02-14 2020-09-08 Securiport Llc Augmented reality monitoring of border control systems
JP6713490B2 (ja) * 2018-02-07 2020-06-24 本田技研工業株式会社 情報提供装置及び情報提供方法
JP7005112B2 (ja) * 2018-03-05 2022-01-21 矢崎総業株式会社 表示システム、及び、車載システム
EP3864575A4 (en) * 2018-10-09 2021-12-01 Magic Leap, Inc. VIRTUAL AND AUGMENTED REALITY SYSTEMS AND PROCESSES
JP7384558B2 (ja) * 2019-01-31 2023-11-21 株式会社日立システムズ 有害行為検出システムおよび方法
US11132511B2 (en) * 2019-02-05 2021-09-28 International Business Machines Corporation System for fine-grained affective states understanding and prediction
JP7172705B2 (ja) * 2019-02-18 2022-11-16 沖電気工業株式会社 感情推定装置、感情推定方法、プログラム、及び感情推定システム
CN111407243B (zh) * 2020-03-23 2021-05-14 华南理工大学 一种基于深度学习的脉搏信号压力识别方法
WO2021261123A1 (ja) * 2020-06-25 2021-12-30 ソニーグループ株式会社 コンテンツ提示システム、コンテンツ提示装置、及びコンテンツ提示方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010094493A (ja) * 2008-09-22 2010-04-30 Koichi Kikuchi 視認情景に対する視認者情感判定装置
JP2013029928A (ja) * 2011-07-27 2013-02-07 Nec Casio Mobile Communications Ltd 情報端末装置、そのデータ加工方法及びプログラム
JP2013052049A (ja) * 2011-09-02 2013-03-21 National Institute Of Information & Communication Technology 対人コミュニケーションにおける同調性検出装置
JP2015046070A (ja) * 2013-08-28 2015-03-12 ヤフー株式会社 情報処理装置、判定方法および判定プログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5676138A (en) * 1996-03-15 1997-10-14 Zawilinski; Kenneth Michael Emotional response analyzer system with multimedia display
EP1395176B1 (en) * 2001-06-13 2008-10-15 Compumedics Limited Method for monitoring consciousness
JP2005253791A (ja) * 2004-03-12 2005-09-22 Brother Ind Ltd 推論情報作成装置、推論情報作成システム及び推論情報作成プログラム
WO2006090371A2 (en) * 2005-02-22 2006-08-31 Health-Smart Limited Methods and systems for physiological and psycho-physiological monitoring and uses thereof
CN100451924C (zh) * 2005-12-30 2009-01-14 财团法人工业技术研究院 情绪感知互动娱乐装置
US20070238934A1 (en) * 2006-03-31 2007-10-11 Tarun Viswanathan Dynamically responsive mood sensing environments
US8442832B2 (en) * 2008-12-08 2013-05-14 Electronics And Telecommunications Research Institute Apparatus for context awareness and method using the same
BR112012030903A2 (pt) * 2010-06-07 2019-09-24 Affectiva Inc método imnplantado por computador para analisar estados mentais, produto de programa de computador e sistema para analisar estados mentais
WO2011158010A1 (en) * 2010-06-15 2011-12-22 Jonathan Edward Bishop Assisting human interaction
US8438590B2 (en) * 2010-09-22 2013-05-07 General Instrument Corporation System and method for measuring audience reaction to media content
CN102176222B (zh) * 2011-03-18 2013-05-01 北京科技大学 多传感器信息采集分析系统及自闭症儿童监护辅助系统
WO2012143834A1 (en) * 2011-04-21 2012-10-26 Koninklijke Philips Electronics N.V. Emotion guidance device and method
US8911087B2 (en) * 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
JP2013239914A (ja) 2012-05-15 2013-11-28 Nikon Corp 撮像装置
JP6238083B2 (ja) * 2012-07-17 2017-11-29 ソニー株式会社 情報処理装置、サーバ、情報処理方法、および情報処理システム
EP2698685A3 (en) * 2012-08-16 2015-03-25 Samsung Electronics Co., Ltd Using physical sensory input to determine human response to multimedia content displayed on a mobile device
US9418390B2 (en) * 2012-09-24 2016-08-16 Intel Corporation Determining and communicating user's emotional state related to user's physiological and non-physiological data
US9019174B2 (en) * 2012-10-31 2015-04-28 Microsoft Technology Licensing, Llc Wearable emotion detection and feedback system
CN104248442A (zh) * 2013-06-28 2014-12-31 昆山研达电脑科技有限公司 婴儿情绪分析装置及其实现方法
US20150118663A1 (en) * 2013-10-28 2015-04-30 Revnc, Inc. System and Method for Predicting and Communicating Data Relating to a Partner's Mood and Sensitivity
CN104434142B (zh) * 2014-11-14 2018-08-21 惠州Tcl移动通信有限公司 可穿戴设备以及情绪提醒的方法
US10133918B1 (en) * 2015-04-20 2018-11-20 Snap Inc. Generating a mood log based on user images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010094493A (ja) * 2008-09-22 2010-04-30 Koichi Kikuchi 視認情景に対する視認者情感判定装置
JP2013029928A (ja) * 2011-07-27 2013-02-07 Nec Casio Mobile Communications Ltd 情報端末装置、そのデータ加工方法及びプログラム
JP2013052049A (ja) * 2011-09-02 2013-03-21 National Institute Of Information & Communication Technology 対人コミュニケーションにおける同調性検出装置
JP2015046070A (ja) * 2013-08-28 2015-03-12 ヤフー株式会社 情報処理装置、判定方法および判定プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3287075A4 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11227148B2 (en) 2017-03-30 2022-01-18 Nec Corporation Information processing apparatus, information processing method, information processing program, and information processing system
JP2018170714A (ja) * 2017-03-30 2018-11-01 日本電気株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
JP7306439B2 (ja) 2017-03-30 2023-07-11 日本電気株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
WO2018230654A1 (ja) * 2017-06-16 2018-12-20 本田技研工業株式会社 インタラクション装置、インタラクション方法、およびプログラム
JP2020077000A (ja) * 2017-06-16 2020-05-21 本田技研工業株式会社 インタラクション装置、インタラクション方法、プログラム、および車両制御方法
JP7222938B2 (ja) 2017-06-16 2023-02-15 本田技研工業株式会社 インタラクション装置、インタラクション方法、およびプログラム
CN109599127A (zh) * 2017-09-29 2019-04-09 松下知识产权经营株式会社 信息处理方法、信息处理装置以及信息处理程序
JP2019068153A (ja) * 2017-09-29 2019-04-25 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理装置及び情報処理プログラム
JP2019072371A (ja) * 2017-10-18 2019-05-16 株式会社日立製作所 システム及び意思疎通を図るために行うアクションの評価方法
US10952658B2 (en) 2018-04-03 2021-03-23 Panasonic Intellectual Property Corporation Of America Information processing method, information processing device, and information processing system
JP2019191824A (ja) * 2018-04-23 2019-10-31 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP2020137895A (ja) * 2019-02-28 2020-09-03 パナソニックＩｐマネジメント株式会社 表示方法、プログラム、及び表示システム
JP7352789B2 (ja) 2019-02-28 2023-09-29 パナソニックＩｐマネジメント株式会社 表示方法、プログラム、及び表示システム
WO2021060544A1 (ja) * 2019-09-25 2021-04-01 西村　勉 情報提供装置、情報提供方法及びプログラム
JP2021078964A (ja) * 2019-11-21 2021-05-27 パナソニックＩｐマネジメント株式会社 環境制御システム、環境制御方法及びプログラム
JP7365637B2 (ja) 2019-11-21 2023-10-20 パナソニックＩｐマネジメント株式会社 環境制御システム、環境制御方法及びプログラム
WO2022108057A1 (ko) * 2020-11-20 2022-05-27 오로라월드 주식회사 멀티-모달 기반의 감정 분류장치 및 방법
WO2022201264A1 (ja) * 2021-03-22 2022-09-29 株式会社I’mbesideyou 動画像分析プログラム
WO2022209499A1 (ja) * 2021-03-29 2022-10-06 ソニーグループ株式会社 情動情報を表示する情報処理システム
JP7435965B2 (ja) 2022-02-28 2024-02-21 株式会社Ｃｓイノベーション 情報処理装置、情報処理方法、学習モデルの生成方法、及びプログラム

Also Published As

Publication number Publication date
US20180184959A1 (en) 2018-07-05
JPWO2016170810A1 (ja) 2018-02-15
JP6610661B2 (ja) 2019-11-27
US11160479B2 (en) 2021-11-02
CN107405120A (zh) 2017-11-28
CN107405120B (zh) 2021-10-29
EP3287075A1 (en) 2018-02-28
EP3287075A4 (en) 2018-12-05

Similar Documents

Publication Publication Date Title
JP6610661B2 (ja) 情報処理装置、制御方法、およびプログラム
JP7247308B2 (ja) 身体活動及びトレーニングモニタ
JP6630856B2 (ja) 呼吸シーケンスユーザインターフェース
US9955902B2 (en) Notifying a user about a cause of emotional imbalance
US10198505B2 (en) Personalized experience scores based on measurements of affective response
US9313634B2 (en) Information processing device, control method, and a non-transitory computer readable storage medium
US9741147B2 (en) System and method to modify avatar characteristics based on inferred conditions
US8380658B2 (en) Determination of extent of congruity between observation of authoring user and observation of receiving user
WO2019207896A1 (ja) 情報処理システム、情報処理方法、および記録媒体
US9101263B2 (en) Acquisition and association of data indicative of an inferred mental state of an authoring user
US8055591B2 (en) Acquisition and association of data indicative of an inferred mental state of an authoring user
US11723568B2 (en) Mental state monitoring system
GB2478034A (en) Systems for inducing change in a human physiological characteristic representative of an emotional state
JP4609475B2 (ja) 情報処理装置及び情報処理方法、並びに記録媒体
US9161715B2 (en) Determination of extent of congruity between observation of authoring user and observation of receiving user
US9679109B2 (en) Interview system, server system, server device, information terminal, interview method, information processing method, and program
Budner et al. " Making you happy makes me happy"--Measuring Individual Mood with Smartwatches
Dávila-Montero et al. Review and challenges of technologies for real-time human behavior monitoring
JP2021157609A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2021128350A (ja) 情報処理システム、情報処理方法、および記録媒体
CN109426411A (zh) 信息处理方法、信息处理装置以及信息处理程序
JP2023065808A (ja) 情報提供装置、情報提供方法及びコンピュータプログラム
US20210334522A1 (en) Therapeutic smile detection systems
US20220137992A1 (en) Virtual agent team
WO2023176537A1 (ja) 推定装置、推定方法および推定プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16782832

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017513986

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2016782832

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE