WO2019021653A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2019021653A1
WO2019021653A1 PCT/JP2018/022165 JP2018022165W WO2019021653A1 WO 2019021653 A1 WO2019021653 A1 WO 2019021653A1 JP 2018022165 W JP2018022165 W JP 2018022165W WO 2019021653 A1 WO2019021653 A1 WO 2019021653A1
Authority
WO
WIPO (PCT)
Prior art keywords
target user
information processing
processing apparatus
sensing data
user
Prior art date
Application number
PCT/JP2018/022165
Other languages
English (en)
French (fr)
Inventor
耕太 相澤
脇田　能宏
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2019532424A priority Critical patent/JPWO2019021653A1/ja
Priority to EP18838660.1A priority patent/EP3660702A4/en
Priority to US16/632,715 priority patent/US20210161482A1/en
Priority to CN201880048040.XA priority patent/CN110945541A/zh
Publication of WO2019021653A1 publication Critical patent/WO2019021653A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9035—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4261—Evaluating exocrine secretion production
    • A61B5/4266—Evaluating exocrine secretion production sweat secretion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • Patent Document 1 discloses an information processing apparatus that estimates states of a plurality of users based on sensing data obtained from a plurality of users and generates information indicating the estimated states of the plurality of users. ing.
  • Patent Document 1 basically, the user's state is estimated based on sensing data, and the estimated result is only output to the user, and the user may occur in the estimated state. Did not address the needs of
  • the present disclosure proposes a new and improved information processing apparatus, information processing method, and program capable of coping with the needs that may arise in the estimated user state.
  • an information processing apparatus includes an estimation unit that estimates the state of one or more target users based on sensing data, and an output control unit that performs an output corresponding to the estimation result. Be done.
  • an information processing method includes estimating a state of one or more target users based on sensing data, and performing an output corresponding to the estimation result. Ru.
  • a program causing a computer to execute a function of estimating the state of one or more target users based on sensing data, and a function of outputting an output corresponding to the estimation result.
  • composition of an information processing system 1 concerning an embodiment of this indication.
  • FIG. 1 is an explanatory diagram for explaining a configuration example of the information processing system 1 according to the present embodiment.
  • the information processing system 1 includes a wearable device 10, a server 30, and a terminal 50, which are communicably connected to each other via a network 70.
  • the wearable device 10, the server 30, and the terminal 50 are connected to the network 70 via a base station (not shown) or the like (for example, a base station of a mobile phone, an access point of a wireless LAN, etc.).
  • a base station not shown
  • any communication method can be applied to the network 70 regardless of wired or wireless (for example, WiFi (registered trademark), Bluetooth (registered trademark), etc.), stable operation is maintained. It is desirable to use a communication scheme that can
  • the wearable device 10 can be a device that can be attached to a part of the user's body (earlobe, neck, arms, wrist, ankle, etc.) or an implant device (implant terminal) inserted into the user's body. More specifically, the wearable device 10 is an HMD (Head Mounted Display) type, a glasses type, an ear device type, an anklet type, a wrist band type, a collar type, an eyewear type, a pad type, a batch type, clothes It can be a wearable device of various types such as a type.
  • HMD Head Mounted Display
  • the wearable device 10 has a sensor unit 120 including sensors such as a PPG (Photo Plethysmo Graphy) sensor unit 122 that detects a pulse wave signal due to the pulse of the user (see FIG. 2).
  • a sensor unit 120 including sensors such as a PPG (Photo Plethysmo Graphy) sensor unit 122 that detects a pulse wave signal due to the pulse of the user (see FIG. 2).
  • the physical condition and the mental condition of the user in the following description, the physical condition and the mental condition of the user are Call, motion state, current position, etc. can be estimated.
  • the user's consumed energy, the number of steps, the amount of exercise, the sleep state, and the like may be estimated based on sensing data acquired by the sensor unit 120 of the wearable device 10.
  • the wearable device 10 is a wristband-type wearable device. Further, details of the wearable device 10 will be described later.
  • the server 30 is configured by, for example, a computer.
  • the server 30 processes, for example, sensing data acquired by the wearable device 10, and outputs information obtained by the processing to another device (for example, the terminal 50).
  • another device for example, the terminal 50. The details of the server 30 will be described later.
  • the terminal 50 is a terminal used by the user or installed near the user for outputting the information obtained by the server 30 to the user. Moreover, the terminal 50 may receive the information input from the user, and may output the received information to the server 30 as sensing data.
  • the terminal 50 can be a device such as a tablet PC (Personal Computer), a smartphone, a mobile phone, a laptop PC, a notebook PC, an HMD, or the like.
  • the terminal 50 includes a display unit (not shown) for displaying to the user, an operation unit (not shown) for receiving an operation from the user, a speaker (not shown) for audio output to the user, A microphone (not shown) for acquiring the voice of
  • the terminal 50 is not limited to the above-described PC, and may be any device that can output information to the user or can be controlled for the user, for example , An indicator light 700 (see FIG. 16) or an air conditioner 602 (see FIG. 28).
  • the terminal 50 may be provided with the sensor unit 120 of the wearable device 10 described above, or the sensor unit 120 may be separate from the wearable device 10 or the terminal 50. It may be provided as a thing.
  • the information processing system 1 which concerns on this embodiment is shown as what contains the one wearable device 10 and the terminal 50, in this embodiment, it is not limited to this.
  • the information processing system 1 according to the present embodiment may include a plurality of wearable devices 10 and terminals 50.
  • the information processing system 1 according to the present embodiment may include, for example, another communication device or the like such as a relay device when transmitting information from the wearable device 10 to the server 30.
  • the information processing system 1 according to the present embodiment may not include the wearable device 10.
  • the terminal 50 functions as the wearable device 10, and the sensing acquired by the terminal 50 The data is output to the server 30.
  • sensing data refers only to data from a measuring device that measures a specific phenomenon by detecting electromagnetic, optical, mechanical, thermal, etc. characteristics. Furthermore, it is assumed that context information (schedule, information such as gender and age) regarding the user is included.
  • the information processing system which estimates the user's emotion and the like based on various sensing data acquired by the sensor unit provided in the wearable device worn by the user. For example, when the sensor unit is a sensor that detects the pulse of the user, the information processing system estimates the user's exercise amount and the like based on the detected pulse, and notifies the user of the estimation result to the user. Do. Then, with reference to the notified estimation result, the user manages his / her physical condition and the like. That is, in the above information processing system, the state of the user is estimated based on the sensing data, and the estimated result is only output to the user.
  • the above information processing system estimates the state of each user who belongs to the work, and the result of the estimation is Or it only notified other users in the workplace.
  • the present inventors have intensively studied about enhancing the convenience of the information processing system while recognizing the convenience of the information processing system. In such a study, the present inventors not only estimate the state of the user but also improve the convenience of the information processing system by responding to the needs of the user that may occur in the estimated state. I thought that I could do
  • the present inventors have come to create an embodiment according to the present disclosure, taking the above idea as a point of attention. That is, according to the embodiment according to the present disclosure described below, it is possible to provide the information processing system 1 capable of coping with the needs that may occur in the estimated state of the user. Hereinafter, the details of the embodiment according to the present disclosure will be sequentially described.
  • the user means all users who use the information processing system 1 according to the embodiment of the present disclosure
  • the target user is the sensor unit of the wearable device 10 among the users.
  • 120, etc. it means a subject whose status etc. is to be detected.
  • the user includes the target user.
  • the information processing system 1 estimates the state of the target user based on the sensing data, and controls the terminal 50 or the like used by the user according to the estimation result. More specifically, in the present embodiment, the emotion (concentration degree) of the target user is estimated based on sensing data by the sensor unit 120 of the wearable device 10 worn by the target user, and the estimation is performed according to the estimation result. The smart phone (terminal 50) used by the target user is controlled.
  • a state of high concentration means a mental state in which a person is paying attention to one thing.
  • the information processing system 1 includes the wearable device 10, the server 30, and the terminal 50.
  • FIG. 2 is a block diagram showing an example of the configuration of the wearable device 10 according to the present embodiment
  • FIG. 3 is an explanatory view for explaining the PPG sensor unit 122 according to the present embodiment
  • FIG. 4 is explanatory drawing which shows an example of the pulse wave signal obtained by the PPG sensor part 122 which concerns on this embodiment
  • FIG. 5 is explanatory drawing which shows an example of the external appearance of the wearable device 10 which concerns on this embodiment. It is.
  • the wearable device 10 mainly includes an input unit 100, an output unit 110, a sensor unit 120, a control unit 130, a communication unit 150, and a storage unit 160, as shown in FIG. The details of each functional unit of the wearable device 10 will be described below.
  • the input unit 100 receives an input of data and a command from a target user to the wearable device 10. More specifically, the input unit 100 is realized by a touch panel, a button, a microphone or the like.
  • the output unit 110 is a device for presenting information to a target user.
  • the output unit 110 outputs various types of information to the target user by image, voice, light, vibration, or the like. More specifically, the output unit 110 can notify the target user of the reception of an e-mail or the like, and can display the information provided from the server 30 described later on a screen.
  • the output unit 110 is realized by a display, a speaker, an earphone, a light emitting element (for example, a light emitting diode (LED)), a vibration module, and the like.
  • a part of the functions of the output unit 110 may be provided by the terminal 50.
  • the sensor unit 120 is provided in the wearable device 10 attached to the body of the target user, and includes various sensors that detect the state of the target user. Specifically, the sensor unit 120 detects the pulse or heart rate of the target user, and acquires a heart rate or pulse time-series data (pulse wave signal) 122, or the target user It has a motion sensor unit 124 and the like for detecting movement.
  • the PPG sensor unit 122 is a biological sensor attached to a part (for example, both arms, a wrist, an ankle, etc.) of the target user's skin or the like to detect a pulse wave signal of the target user.
  • a pulse wave signal means that blood is sent to the whole body through an artery by contraction of a heart muscle at a constant rhythm (beat, the number of beats in a unit time heart is referred to as a heart rate).
  • a heart rate the number of beats in a unit time heart
  • a change in pressure occurs on the inner wall of the artery, which is a waveform due to the pulsation of the artery appearing on the body surface or the like. As shown in FIG.
  • the PPG sensor unit 122 applies light to the blood vessel 202 in the measurement site 200 of the target user such as the hand, arm, or leg, and the blood vessel of the target user. It detects light scattered by substances moving through and stationary living tissue. Since the irradiated light is absorbed by the red blood cells in the blood vessel 202, the amount of light absorbed is proportional to the amount of blood flowing to the blood vessel 202 in the measurement site 200. Therefore, the PPG sensor unit 122 can know the change in the amount of blood flowing by detecting the intensity of the scattered light. Furthermore, from this change in blood flow, it is possible to detect a pulse waveform, that is, a pulse wave signal as shown in FIG. Such a method is called photoplethysmography (PPG) method.
  • PPG photoplethysmography
  • the PPG sensor unit 122 incorporates a small-sized laser, an LED (Light Emitting Diode) (not shown), etc. which can emit coherent light, for example, light having a predetermined wavelength such as around 850 nm. Irradiate. In the present embodiment, the wavelength of the light emitted by the PPG sensor unit 122 can be appropriately selected. Furthermore, the PPG sensor unit 122 incorporates, for example, a photodiode (Photo Detector: PD), and acquires a pulse wave signal by converting the intensity of the detected light into an electrical signal.
  • the PPG sensor unit 122 may incorporate a charge coupled device (CCD) sensor, a complementary metal oxide semiconductor (CMOS) sensor, or the like instead of the PD.
  • the PPG sensor unit 122 may include an optical system mechanism such as a lens or a filter to detect light from the measurement site 200 of the user.
  • the PPG sensor unit 122 can detect a pulse wave signal as time series data having a plurality of peaks as shown in FIG.
  • peak intervals of a plurality of peaks appearing in a pulse wave signal as shown in FIG. 4 will be referred to as pulse rate intervals (PPI).
  • PPI pulse rate intervals
  • the value of PPI can be acquired by processing the pulse wave signal detected by the PPG sensor unit 122. It is known that each PPI value fluctuates with time, but is approximately normally distributed while the target user's state is maintained constant. Therefore, it is possible to calculate various HRV (Heart Rate Variability) indicators that are indicators of the physical condition of the target user by statistically processing the data group of PPI values (for example, calculating the standard deviation of the PPI values). it can. The details of the various HRV indicators will be described later.
  • the sensor unit 120 may detect a pulse wave using a laser Doppler blood flow measurement method.
  • the said laser Doppler blood flow measurement method is a method of measuring a blood flow using the following phenomena. Specifically, when the laser light is applied to the measurement site 200 of the target user, the scattering substance (mainly red blood cells) present in the blood vessel 202 of the target user is moved, which causes a Doppler shift. Scattered light is produced.
  • the said laser Doppler blood flow measurement method can measure a blood flow by analyzing the intensity
  • the sensor unit 120 of the wearable device 10 is provided with a PPG sensor unit 122 using the above-described PPG method.
  • an ECG (Electrocardiographic) sensor unit (not shown) that detects an electrocardiogram of the subject user via an electrode (not shown) attached to the subject user's body. ) May be provided.
  • an RR interval (RRI)
  • an HRV index which is a physical index indicating the physical condition of the target user, is calculated from time series data of RRI values. be able to.
  • the sensor unit 120 may be provided with a sweat sensor unit (not shown) instead of the PPG sensor unit 122 or together with the PPG sensor unit 122.
  • thermal sweating is sweating performed for thermoregulation.
  • mental sweating is sweating that occurs due to human emotion such as tension and emotion, and is sweating that occurs instantaneously and in a small amount on warm palms and feet, etc., compared with thermal sweating at normal temperature.
  • mental sweating refers to sweating or the like caused by tension when giving a presentation. Such mental sweating is known to often occur during sympathetic dominance, and is generally considered to be an indicator of emotion.
  • the perspiration sensor unit is attached to the skin of the target user and detects a voltage or resistance between two points on the skin that changes due to perspiration. Then, in the present embodiment, the emotion of the target user can be estimated by acquiring information such as the amount of sweating, the frequency of sweating, and the change in the amount of sweating based on the sensing data acquired by the perspiration sensor unit. .
  • the sensor unit 120 may include an imaging device (not shown) that captures an expression of a target user instead of the PPG sensor unit 122 or together with the PPG sensor unit 122.
  • the imaging device detects, for example, eye movement of the target user, size of pupil diameter, fixation time, and the like.
  • the muscles that control human pupil diameter are said to be affected by sympathetic nerve / parasympathetic nerve. Therefore, in the present embodiment, by detecting the diameter of the pupil of the target user with the imaging device, it is possible to estimate the state of the sympathetic nerve / parasympathetic nerve of the target user, that is, the emotion of the target user.
  • the imaging device may detect the posture of the target user. Posture is said to affect the depth of breathing etc. Furthermore, it is said that the depth of respiration is highly related to the state of tension (degree of tension) of a person. Therefore, in the present embodiment, the posture of the target user can be detected by the imaging device, and the degree of tension or the like of the target user can be estimated from the detected posture. Note that the imaging device as described above may be installed around the target user as a separate device from the wearable device 10.
  • the sensor unit 120 may include other various biometric sensors (not shown) instead of the PPG sensor unit 122 or together with the PPG sensor unit 122.
  • the various biosensors are directly or indirectly attached to a part of the target user's body, and include one or more sensors that measure brain waves, respiration, myoelectric potential, skin temperature, etc. of the target user. be able to.
  • sensing data obtained by an electroencephalogram sensor unit (not shown) for measuring the electroencephalogram of the target user is analyzed to determine the type of the electroencephalogram (for example, alpha wave, beta wave, etc. By detecting (type of), it is possible to estimate the emotional state of the target user (for example, the mood of the target user).
  • the sensor unit 120 may include a motion sensor unit 124 for detecting a motion of the target user, that is, a motion state.
  • the motion sensor unit 124 detects an exercise state of the target user by acquiring sensing data indicating a change in acceleration generated with the operation of the target user.
  • the motion state of the target user acquired by the motion sensor unit 124 can be used when estimating the emotion of the target user.
  • the motion sensor unit 124 includes an acceleration sensor, a gyro sensor, a geomagnetic sensor, and the like (not shown).
  • the motion sensor unit 124 may be an imaging device (not shown) for imaging the target user. In this case, since it is possible to capture the operation or the like of the target user based on the image captured by the imaging device, it is possible to detect the exercise state of the target user by the imaging device. Furthermore, the motion sensor unit 124 may include an infrared sensor, an ultrasonic sensor, or the like (not shown) capable of detecting the operation of the target user. In addition, such an imaging device, an infrared sensor, etc. may be installed as an apparatus separate from the wearable device 10 around a target user.
  • the sensor unit 120 may include a positioning sensor (not shown) instead of the motion sensor unit 124 or together with the motion sensor unit 124.
  • the positioning sensor is a sensor that detects the position of a target user wearing the wearable device 10, and specifically, may be a GNSS (Global Navigation Satellite System) receiver or the like. In this case, the positioning sensor can generate sensing data indicating the latitude and longitude of the current location of the target user based on the signal from the GNSS satellite. Also, in the present embodiment, since it is possible to detect the relative positional relationship of the user from, for example, information of RFID (Radio Frequency Identification), Wi-Fi access point, wireless base station, etc. It is also possible to use a communication device as the above-mentioned positioning sensor.
  • RFID Radio Frequency Identification
  • the sensor unit 120 may use a sound sensor (not shown) for detecting the voice of the target user or the sound generated around the target user instead of the motion sensor unit 124 or together with the motion sensor unit 124. May be included.
  • the extraction result obtained by extracting a specific voice (for example, a specific word spoken by the target user) from the sound detected from the sound sensor is the emotion of the target user. It may be used when estimating.
  • the sensor unit 120 may include a pressure sensor provided on a device (for example, a keyboard, a chair, etc.) used by the target user.
  • a device for example, a keyboard, a chair, etc.
  • the emotion of the target user may be estimated using sensing data (frequency of typing on a keyboard, sitting time, etc.) acquired by the pressure sensor.
  • the pressure sensor as described above is installed as an apparatus separate from the wearable device 10.
  • the sensor unit 120 can include various sensors. Furthermore, the sensor unit 120 may incorporate a clock mechanism (not shown) for grasping the accurate time, and may link the time when the sensing data is acquired to the acquired sensing data. Further, as described above, the various sensors may not be provided in the sensor unit 120 of the wearable device 10, and may be provided separately from the wearable device 10, for example. It may be provided in a device or the like used by the user.
  • Control unit 130 The control unit 130 is provided in the wearable device 10, and controls each functional unit of the wearable device 10, and obtains PPI time-series data from the pulse wave signal output from the PPG sensor unit 122 described above. Can.
  • the control unit 130 is realized by, for example, hardware such as a central processing unit (CPU), a read only memory (ROM), and a random access memory (RAM). Note that part of the functions of the control unit 130 may be provided by a server 30 described later.
  • the communication unit 150 is provided in the wearable device 10, and can transmit and receive information with an external device such as the server 30 and the terminal 50.
  • the communication unit 150 can be said to be a communication interface having a function of transmitting and receiving data.
  • the communication unit 150 is realized by communication devices such as a communication antenna, a transmission / reception circuit, and a port.
  • the storage unit 160 is provided in the wearable device 10, and stores programs, information, and the like for the control unit 130 described above to execute various processes, and information obtained by the processes.
  • the storage unit 160 is realized by, for example, a non-volatile memory such as a flash memory.
  • FIG. 5 shows an example of the appearance of the wearable device 10 according to the present embodiment.
  • the wearable device 10 is a bracelet type wearable device attached to the wrist of a target user.
  • the wearable device 10 has a belt-like band 12 and a control unit 14.
  • the band portion 12 is, for example, worn around a wrist of a target user, and is formed of a material such as soft silicone gel so as to be in a ring shape in accordance with the shape of the wrist.
  • the control unit 14 is a portion where the above-described sensor unit 120, control unit 130, and the like are provided. Furthermore, when the wearable device 10 is attached to a part of the body of the target user, the sensor unit 120 is provided at a position such that the sensor unit 120 contacts or faces the body of the target user.
  • FIG. 6 is a block diagram showing an example of the configuration of the server 30 according to the present embodiment.
  • the server 30 includes, for example, a computer.
  • the server 30 mainly includes an input unit 300, an output unit 310, a control unit 330, a communication unit 350, and a storage unit 360. The details of each functional unit of the server 30 will be described below.
  • the input unit 300 receives input of data and commands from the user to the server 30. More specifically, the input unit 300 is realized by a touch panel, a keyboard or the like.
  • the output unit 310 includes, for example, a display, a speaker, a video output terminal, an audio output terminal, and the like, and outputs various types of information to the user by an image, audio, or the like.
  • Control unit 330 The control unit 330 is provided in the server 30, and can control each block of the server 30. Specifically, the control unit 330 controls various processes performed in the server 30, such as estimation of the emotion of the target user and control according to the estimation result.
  • the control unit 330 is realized by, for example, hardware such as a CPU, a ROM, and a RAM.
  • the control unit 330 may execute part of the functions of the control unit 130 of the wearable device 10. The details of the control unit 330 will be described later.
  • the communication unit 350 is provided in the server 30, and can transmit and receive information with an external device such as the wearable device 10 or the terminal 50.
  • the communication unit 350 is realized by a communication device such as a communication antenna, a transmission / reception circuit, or a port.
  • the storage unit 360 is provided in the server 30, and stores programs and the like for the control unit 330 described above to execute various processes, and information obtained by the processes. More specifically, the storage unit 360 can store sensing data and the like acquired from the wearable device 10 attached to a plurality of target users.
  • the storage unit 360 is realized by, for example, a magnetic recording medium such as a hard disk (Hard Disk: HD) or a non-volatile memory.
  • FIG. 6 to FIG. 7 and 8 are explanatory diagrams showing an example of the HRV index obtained by the estimation unit 340 according to the present embodiment, and FIGS. 9 and 10 illustrate an example of machine learning by the learning unit 342 according to the present embodiment. It is an explanatory view for explaining.
  • control unit 330 mainly includes a sensing data acquisition unit 332, a processing unit 334, an output control unit 336, and an evaluation acquisition unit 338.
  • sensing data acquisition unit 332 the control unit 330 mainly includes
  • sensing data acquisition unit 332 acquires sensing data output from the wearable device 10 or the like, and outputs the acquired sensing data to a processing unit 334 described later.
  • the processing unit 334 processes the sensing data output from the sensing data acquisition unit 332, and estimates the state (emotion) of the target user. Furthermore, the processing unit 334 can also estimate the state (emotion) of the target user after the time when the sensing data is acquired. Specifically, the processing unit 334 functions as an estimation unit 340 and a learning unit 342 in order to realize the above-described functions.
  • the estimation unit 340 estimates, for example, the state (emotion) of the target user based on the sensing data acquired from the wearable device 10.
  • the estimation unit 340 estimates, for example, the current degree of excitement, the degree of tension, the degree of concentration, the degree of relaxation, the awakening, the drowsiness, etc. of the target user based on the sensing data, that is, biological signals such as pulse and sweat. Do.
  • the estimation unit 340 obtains time-series data of PPI values, which are intervals of peaks, from the pulse wave signal as shown in FIG. 4. Furthermore, the estimation unit 340 performs statistical processing using PPI time-series data to calculate various HRV indicators. Examples of the HRV indicator include Root Mean Square Success Difference (RMSSD), Standard Deviation of Normal to Normal Interval (SDNN), and LF / HF. These HRV indicators can be treated as indicators that indicate the emotions of the target user, as described above.
  • RMSSD Root Mean Square Success Difference
  • SDNN Standard Deviation of Normal to Normal Interval
  • LF / HF LF / HF.
  • RMSSD is the square root of the average of the squares of the differences between adjacent PPI values on a PPI time series.
  • the RMSSD is considered to be an indicator of the state of tension of the vagus nerve which is one of the cranial nerves.
  • SDNN is the standard deviation of the data set of PPI values within a given time period.
  • the SDNN is considered to be an indicator of the activity of the autonomic nervous system including both sympathetic and parasympathetic nerves.
  • LF / HF is the ratio of the power spectrum of the low frequency component (eg, 0.04 to 0.15 Hz) to the power spectrum of the high frequency component (eg, 0.15 to 0.4 Hz) of the PPI time series data.
  • the high frequency component (HF) is said to correspond to the respiratory fluctuation
  • the low frequency component (LF) is said to correspond to the meyer wave which is the blood pressure fluctuation.
  • the high frequency components that correspond to respiratory fluctuations reflect the parasympathetic nerve while the low frequency components reflect the sympathetic nerve.
  • LF / HF is considered to be an index indicating the balance between the sympathetic nerve and the parasympathetic nerve, and indicates the balance between the sympathetic nerve and the parasympathetic nerve, that is, the state of the autonomic nerve, more specifically, It can be considered that it indicates the user's concentration (tension) / relaxation.
  • the estimation unit 340 can obtain, for example, time-series data of the HRV indicator as shown in FIG.
  • the threshold A shown in FIG. 7 is a threshold that can be estimated that the target user is in a high concentration state, that is, when the HRV index is higher than the threshold A, the target user is It can be estimated that the degree of concentration is high.
  • threshold B shown in FIG. 7 is a threshold that can be estimated that the target user is in a relaxed state, that is, when the HRV index is lower than threshold B, the target user is relaxed. It can be estimated that it is in the state. Therefore, in the present embodiment, the estimation unit 340 can estimate, for example, the concentration degree of the target user by comparing the obtained HRV index with the thresholds A and B.
  • the estimation unit 340 determines which of the sympathetic activity and the parasympathetic activity is dominant by comparing the high frequency component and the low frequency component described above, for example, the concentration degree of the target user You may estimate
  • the estimation unit 340 may perform estimation using sensing data indicating the operation of the target user by the motion sensor unit 124 of the sensor unit 120.
  • the estimation unit 340 has acquired time-series data of the HRV indicator as shown in FIG.
  • the threshold C shown in FIG. 8 is a threshold that can be estimated that the target user is in a high concentration state. Therefore, the estimation unit 340 can estimate that the target user is in a state of high concentration during the periods D and E having the HRV index higher than the threshold C shown in FIG. 8.
  • the estimation unit 340 can detect that the target user is performing intense exercise from the sensing data by the motion sensor unit 124 in the period D, the concentration degree of the target user is high. I do not estimate.
  • the sympathetic nerve is usually active when doing intense exercise. Therefore, in the present embodiment, when the execution of the intense exercise can be detected based on the sensing data by the motion sensor unit 124, the estimation unit 340 estimates that the HRV index has become high due to the exercise, and the estimation unit 340 It is not estimated that the degree of concentration is high. On the other hand, when the estimation unit 340 can detect that the target user is in the resting state from the sensing data by the motion sensor unit 124 during the period E, it estimates that the HRV index has become high due to concentration, that is, It is estimated that the concentration of the target user is high.
  • the estimation unit 340 is not limited to the estimation based on the HRV index from the pulse wave signal as described above, and the pulse rate that can be acquired from the pulse wave signal can be used. Emotions of the target user may be estimated. For example, when the estimation unit 340 can detect from the sensing data that the pulse rate has increased more than usual (the pulse interval is shorter than normal) even though the target user is at rest In the target user, it is estimated that sympathetic nerve is dominant and tension is high. On the other hand, when the estimation unit 340 can detect from the sensing data that the pulse rate of the target user has decreased even during normal operation (the pulse interval has become longer than normal), the parasympathetic activity of the target user is Presume that she is superior and sleepy.
  • the estimation unit 340 uses sensing data indicating the posture and motion of the target user detected by the other various sensors of the sensor unit 120, for example, an imaging device (not shown).
  • the emotion of the target user may be estimated. More specifically, when it is detected by the imaging device that the target user is seated in the front position, the estimation unit 340 may estimate that the target user is concentrated. .
  • the estimation unit 340 It may be estimated that the target user is not concentrated or moody.
  • the estimation unit 340 may estimate that the target user is tired or depressed. .
  • the estimation unit 340 detects the posture or the motion of the target user in the same manner as described above, using sensing data acquired by a pressure sensor (not shown) provided in a chair or the like used by the target user.
  • the emotion of the target user may be estimated.
  • the estimation unit 340 may estimate emotions of one or more target users using sensing data by a sound sensor (not shown) of the sensor unit 120. More specifically, when the sound sensor detects that the frequency of conversation is high, the estimation unit 340 estimates that members of a group including a plurality of users are concentrated. When the sound sensor detects that the frequency of conversation is low, yawning, and the like, the estimation unit 340 determines that a person who is bored or sleepy is a member of a group including a plurality of users. It is estimated that it exists and has a low degree of concentration. In the present embodiment, the emotion of the target user may be estimated based on the speech volume of the target user obtained by the sensing data by the sound sensor or the content of the speech.
  • the estimation unit 340 may estimate the state (emotional) of the target user based on the state trend (emotional tendency) of the target user obtained by learning of the learning unit 342 described later. Since the tendency of the human state (emotion) is different for each individual, using the sensing data of the target user by the learning unit 342, information on the state trend of the target user is acquired in advance and acquired The estimation based on the estimation can further improve the estimation accuracy. Furthermore, the estimation unit 340 may estimate the future state of the target user based on the state tendency obtained by the learning unit 342.
  • the learning unit 342 learns the state tendency (emotional tendency) of the target user using the sensing data acquired in the past. Then, the state tendency of the target user obtained by the learning of the learning unit 342 can be used for the estimation of the state (emotion) of the target user by the estimation unit 340 described above.
  • the degree of concentration of the target user can be objectively estimated by comparison with a threshold, there may be a difference from the subjectivity of the target user is there. More specifically, it is assumed that estimation unit 340 has acquired time-series data of the HRV indicator as shown in FIG.
  • the threshold F shown in FIG. 9 is a threshold that can be estimated that the target user is in a state of high concentration. Therefore, since the HRV index is higher than the threshold F, it can be objectively estimated that the target user is concentrated in the period G of FIG. However, in practice, the target user may feel concentrated in the period H of FIG. 9 which is different from the period G. Therefore, in the present embodiment, the concentration state of the target user can be estimated more accurately by adjusting the deviation between such objective estimation by the HRV index and the subjectivity of the target user.
  • the user wears the wearable device 10 and has the user wear a game in which concentration of a puzzle game or the like is likely to occur.
  • the sensing data acquisition unit 332 detects the pulse wave of the target user as sensing data. Get a signal.
  • the target user evaluates the degree of concentration of the user, and the evaluation is acquired by the evaluation acquisition unit 338 described later.
  • the learning unit 342 can estimate that the target user is concentrated based on the HRV index obtained by processing the sensing data, and a period in which the target user is evaluated to be concentrated Determine if they match.
  • the learning unit 342 changes the value of the threshold F which can be estimated that the target user is in the state of high concentration so as to match when the two periods do not match.
  • the concentration state of the target user can be estimated more accurately by adjusting the deviation between the objective estimation based on the HRV index and the subjectivity of the target user. .
  • it does not limit to changing the value of the threshold value F, For example, you may select other methods, such as providing a time offset.
  • it does not limit to acquiring evaluation of the degree of concentration by a target user, for example, timing instructions of control of a device which a target user desires (for example, control of a device is based on HRV index). And the like may be acquired earlier or later than the concentration period estimated.
  • the output control unit 336 to be described later performs output control based on the instruction, and more preferable control for the target user is performed.
  • the learning unit 342 may be a supervised learning device such as support vector regression or deep neural network.
  • the sensing data acquired in the past from the wearable device 10 and the evaluation (degree of concentration etc.) by the target user when the sensing data is acquired are the teacher signal and the input, respectively. It is input as a signal.
  • the learning unit 342 performs machine learning on the relationship between these signals according to a predetermined rule.
  • the learning unit 342 can construct a database (DB) 362 storing relationship information indicating the relationship (emotional trend etc.) between the sensing data and the evaluation by the target user.
  • DB database
  • the estimation unit 340 described above estimates the emotion or the like of the target user using the DB 362 obtained by the above-described machine learning.
  • the learning unit 342 may be a semi-supervised learning device or a weakly-supervised learning device.
  • the learning unit 342 may learn the tendency of the duration of the emotion of the target user based on the sensing data or the like, and construct the above-described DB 362. Then, when the sensing data is acquired next time using the DB 362 as described above, the estimation unit 340 predicts future emotions of the target user after the time when the sensing data is acquired. It is also good. For example, when it is estimated that the target user has concentrated once, the learning unit 342 learns a tendency of duration that can continuously maintain the concentration based on a plurality of sensing data. Then, when the concentration of the target user is estimated as the current state based on the tendency of the duration time learned by the learning unit 342, the estimation unit 340 can continue the concentration of the target user after this time Predict time.
  • the output control unit 336 performs an output corresponding to the estimation result by the estimation unit 340. More specifically, the output control unit 336 controls, as an output corresponding to the estimation result, a terminal 50 described later, and outputs information corresponding to the estimation result to the terminal 50.
  • evaluation acquisition unit 338 acquires an evaluation or the like of the subject user's own state (emotion), and outputs the acquired evaluation or the like to the processing unit 334, as described above. Further, the evaluation acquisition unit 338 may acquire the evaluation of the target user with respect to the estimation result by the estimation unit 340.
  • the server 30 may have a context acquisition unit (not shown) for acquiring target user's schedule, attribute information such as gender, age, and the like.
  • a context acquisition unit for acquiring target user's schedule, attribute information such as gender, age, and the like.
  • FIG. 11 is a block diagram showing an example of the configuration of the terminal 50 according to the present embodiment.
  • the terminal 50 is a device such as a tablet, a smartphone, a mobile phone, a laptop PC, a laptop PC, and an HMD.
  • the terminal 50 mainly includes an input unit 500, an output unit 510, a control unit 530, a communication unit 550, and a storage unit 560.
  • each function part is as common as the function part with the same name of the server 30, description of these each function parts is abbreviate
  • FIG. 12 is a flowchart for explaining an example of the information processing method according to the present embodiment
  • FIG. 13 is an explanatory view showing an example of the setting screen 800 of the terminal 50 according to the present embodiment.
  • the information processing method according to the present embodiment includes a plurality of steps from step S101 to step S107.
  • the details of each step included in the information processing method according to the present embodiment will be described below.
  • Step S101 The server 30 acquires setting information regarding the setting of the terminal 50 that is a smartphone used by the target user. Specifically, when the degree of concentration of the target user is increased, the target user sets in advance a desired operation for the smartphone used by the target user. For example, the target user sets the alarm operation of the smartphone when the degree of concentration of the user increases, on the setting screen 800 displayed on the display unit (not shown) of the smartphone as illustrated in FIG. . On the setting screen 800, as shown in FIG. 13, an option to ring an alarm when a notification is always received, an option to ring an alarm when only an important notification is received, and an option to not always alarm when a notification is received Three choices are displayed.
  • the target user can perform the setting of the operation of the alarm of the smartphone when the degree of concentration of the user is increased by performing the selection operation on any of these options.
  • the target user has selected an option to sound an alarm when only an important notification arrives.
  • Step S103 the target user wears the wearable device 10 according to the above-described embodiment, and the wearable device 10 acquires a pulse wave signal for the target user as sensing data, and outputs the pulse wave signal to the server 30. Furthermore, the server 30 acquires the sensing data from the wearable device 10.
  • Step S105 The server 30 estimates the emotion of the target user, here the degree of concentration, based on the acquired sensing data.
  • the degree of concentration the degree of concentration of the target user.
  • Step S107 when the server 30 estimates that the target user is in a state of high concentration, it controls the smartphone, and when a notification other than an important notification is received, the alarm of the smartphone does not sound.
  • the server 30 controls the smart phone and always sounds an alarm when a notification is received.
  • the setting of the smartphone is not limited to the setting as described above.
  • the smartphone may be set to a manner mode in which a voice is not output even when a notification is received and the smartphone vibrates, or an in-flight communication system of the smartphone is turned off It may be set to the mode.
  • the target user when it is estimated that the target user is in a high concentration state, control is performed so that an alarm does not sound when a smartphone (terminal 50) used by the target user is received. Do.
  • the target user can concentrate and continue work, and the performance of the target user can be improved. That is, in the present embodiment, in addition to estimating the emotion of the target user, the needs of the target user are identified according to the estimated emotion, and the terminal 50 is controlled to meet the identified needs. Therefore, according to the present embodiment, the target user can create a preferable situation for the target user without taking any particular action.
  • the server 30 acquires the target user's schedule, attribute information such as gender, age, etc., and uses such information in estimation in the estimation unit 340 and learning in the learning unit 342. By doing this, it is possible to further improve the estimation accuracy of the emotion of the target user. So, below, with reference to Drawing 14, an example which acquires a schedule of an object user as modification 1 of this embodiment, and improves accuracy of presumption of an emotion of the object user concerned more is explained.
  • FIG. 14 is an explanatory view for explaining a modification 1 of the embodiment.
  • the threshold value I shown in FIG. 14 is assumed to be a threshold value that can estimate that the target user is in a state of high concentration. Further, it is assumed that the server 30 has acquired in advance information (schedule) indicating that the target user is scheduled to create a material in a period J shown in FIG. 14. In such a case, the server 30 determines that the HRV index is higher than the threshold I, and the period of time K in FIG. In, it is estimated that the target user is concentrated. Thus, in the present modification, estimation of the user's emotion can be further improved by referring to the target user's schedule as well as the HRV index.
  • the server 30 estimates that the target user is in a state in which the degree of concentration tends to increase in the period J, and the value of the threshold I can be estimated in the state in which the degree of concentration is high in the period J It may be lowered to make it easier to estimate that the target user is concentrated. In this way, if the target user is concentrated at all, the smart phone used by the target user is likely to be controlled not to sound an alarm upon an incoming call, and the target user is more concentrated It will be possible to continue work.
  • the target user can create a preferable situation for the target user without taking any particular action.
  • the terminal 50 used by the target user is controlled according to the estimated target user's emotion, but in the present embodiment, the other terminal 50 is controlled.
  • the other terminal 50 a display lamp 700 (see FIG. 16) installed near the target user and a PC used by another user included in a group to which the target user belongs can be mentioned. Therefore, an example of such control of the terminal 50 will be described as a second modification assuming use in an office or the like.
  • the indicator light 700 is controlled to notify other users of recommended actions recommended as a response to the target user.
  • the target user can create a preferable environment for the target user without taking any particular action.
  • FIG. 15 is a flow chart for explaining an example of the information processing method of the modification 2 of the present embodiment.
  • 16 is an explanatory view showing an example of a display lamp 700 according to a second modification of the embodiment
  • FIG. 17 is an explanatory view showing an example of a display screen 802 according to the second modification of the embodiment. is there.
  • the information processing method according to the present modification includes a plurality of steps from step S201 to step S205.
  • step S201 and step S203 of FIG. 15 in this modification are the same as step S103 and step S105 shown by FIG. 12, description of step S201 and step S203 is omitted here, and only step S205 is described. explain.
  • Step S205 When the server 30 estimates that the target user is in a state of high concentration, the server 30 controls and lights a display lamp 700 installed near the target user as shown in FIG. For example, words such as “Don't speak because you are taking in” are written in the display lamp 700, and by turning on, the target user can be directed to other users who approach the target user. Notify recommended action recommended as a response to the target user. As a result, when the target users are concentrated, the lighting of the indicator lamp 700 prevents the other users from making calls to the target users, so the target users continue to work more concentratedly. can do.
  • a display lamp 700 installed near the target user as shown in FIG. For example, words such as “Don't speak because you are taking in” are written in the display lamp 700, and by turning on, the target user can be directed to other users who approach the target user. Notify recommended action recommended as a response to the target user.
  • the lighting of the indicator lamp 700 prevents the other users from making calls to the target users, so the target users continue to work more concentrated
  • the display is not limited to the display by the display screen 802 of the call application, and may be the display screen of the application for schedule management, and the target user may be another user via e-mail. It may be notified that it is "in loading”.
  • the degree of concentration is estimated as the emotion of the target user.
  • the degree of concentration not only the degree of concentration but also the degree of fatigue or sleepiness of the target user may be estimated. Therefore, with respect to an example in which the degree of fatigue or sleepiness of the target user is estimated, and notification according to the estimation result is directed to another user, a modification assuming use in an office or the like with reference to FIGS. 18 and 19. It will be described as Example 3.
  • FIG. 18 is an explanatory view showing an example of a display screen 804 according to the third modification of the embodiment
  • FIG. 19 is an explanatory view showing an example of the display screen 806 according to the third modification of the embodiment. is there.
  • the server 30 estimates the degree of concentration and fatigue of the target user, and estimates the result toward the terminal 50 such as a PC used by a manager (user) who performs work management of the target user. At the same time, the recommended action recommended as a response to the target user is notified. More specifically, the server 30 displays a display screen 804 as shown in FIG. 18 on a display unit (not shown) of a PC used by the administrator. On the display screen 804, the estimated emotion of the target user (Mr. A in FIG. 18) is indicated by a marker 850 on the XY coordinates.
  • the X axis of the XY coordinates indicates the mood of the target user, and for example, the better on the right side of the figure, and the worse on the left side of the figure.
  • the Y axis of the XY coordinates indicates the degree of concentration and fatigue of the target user. For example, the higher the figure is, the higher the degree of concentration, and the lower the figure, the higher the degree of fatigue. ing.
  • the manager can easily grasp the emotion of the target user.
  • the mood of the target user can be estimated, for example, by analyzing sensing data by an electroencephalogram sensor included in the sensor unit 120 of the wearable device 10.
  • the server 30 not only displays the estimated emotion of the target user on the display screen 804, but also displays the recommended action recommended as a response to the target user according to the estimation result as a comment 860.
  • the server 30 in response to the estimation that the target user is concentrated, words such as “Let's not say a voice” are displayed as the comment 860. Therefore, based on the comment 860, the manager can grasp the recommended action recommended as the response to the target user, and perform the response such as not speaking to the target user.
  • the server 30 when it is estimated that the target user has a high degree of fatigue, the server 30 "Let's give a voice to the manager's PC.” You may display words such as “Let's take consultation” and “Let's adjust the amount of work.”
  • the server 30 may predict the emotion of the target user after the current time and notify the prediction result to the manager or the like. More specifically, the server 30 displays a display screen 806 as shown in FIG. 19 on the display unit (not shown) of the PC used by the administrator. On the display screen 806, the estimated degree of concentration, the degree of fatigue, and the sleepiness of the target user (Mr. A in FIG. 19) are shown as three bar graphs. Specifically, from the left side of the figure, each bar graph corresponds to the degree of concentration, the degree of fatigue, and the sleepiness.
  • the degree of concentration / fatigue / sleepiness of the target user is shown in chronological order.
  • this modification it is not limited to notifying a recommendation action to PC etc. which a manager uses, For example, the terminal 50 which other users, family members, etc. who exist around a target user use The above recommended action may be notified.
  • the emotion of the target user is estimated, and the estimated result is visualized and displayed, or notification or control is performed according to the estimated result.
  • the surroundings of the target user Another user can recognize the state of the target user and can take appropriate action on the target user.
  • the manager of the office knows the sign and takes appropriate action before each employee is seriously exhausted. Can manage the mental health of each employee well.
  • Second embodiment the emotion of each target user is estimated.
  • the embodiment of the present disclosure is not limited to such estimation, and emotions of a plurality of target users, that is, emotions of a group may be estimated. Therefore, in the second embodiment of the present disclosure described below, the emotion of a group including a plurality of target users is estimated, and an output according to the estimation result is performed.
  • the concentration degree of at least a part of target users constituting a group in brainstorming is estimated using the above-described information processing system 1, and the concentration of the group is estimated based on the estimation result. Estimate the degree. Furthermore, in the present embodiment, based on the estimation result, whether or not to continue the brainstorming is notified to the brainstorming facilitator, for example. So far, based on the content of brainstorming, etc., it has been subjectively judged whether the facilitator should continue brainstorming. On the other hand, in the present embodiment, it is possible to estimate the degree of concentration of a group to be brainstormed, and to objectively judge whether or not to continue the brainstorming according to the estimation result. As a result, the facilitator can appropriately proceed with brainstorming and can maximize the brainstorming effect. The details of the present embodiment will be described below.
  • the configurations of the information processing system 1, the wearable device 10, the server 30, and the terminal 50 are the same as those in the first embodiment, and the description of these configurations in the first embodiment can be referred to. . Therefore, the description of the detailed configurations of the information processing system 1, the wearable device 10, the server 30, and the terminal 50 is omitted here.
  • a group performing brainstorming includes two target users and further includes another user. In the present embodiment, the group is not particularly limited as long as at least two target users are included, and three or more target users may be included. Only the target user may be included, and other users may not be included.
  • FIG. 20 is a flowchart for explaining an example of the information processing method according to the present embodiment
  • FIGS. 21 and 22 are explanatory views for explaining an example of information processing according to the present embodiment.
  • FIGS. 21 and 22 show time-series data of HRV indicators of a target user (in the figure, Mr. A and Mr. B) during brainstorming.
  • time series data of HRV index of Mr. A is shown in the upper part in the figure
  • time series data of HRV index of Mr. B is shown in the lower part in the figure.
  • each HRV index is higher than these thresholds N and O. Is high, it can be estimated that each target user is concentrated.
  • the information processing method according to the present embodiment includes a plurality of steps from step S301 to step S307.
  • the details of each step included in the information processing method according to the present embodiment will be described below.
  • Step S301 The wearable device 10 described above is attached to a target user who participates in brainstorming, and each wearable device 10 acquires a pulse wave signal or the like of each target user as sensing data, and outputs it to the server 30. Furthermore, the server 30 acquires sensing data from each wearable device 10.
  • Step S303 The server 30 estimates the degree of concentration of each target user based on the acquired sensing data. In addition, since the estimation method of the degree of concentration was described above, the detailed description is omitted here.
  • Step S305 First, as shown in FIG. 21, it was possible to estimate that Mr. A was concentrated in period L during brainstorming, and similarly it was possible to estimate that Mr. B was also concentrated in period M. Explain the case. In such a case, since the server 30 can estimate that any target user is concentrated, it estimates that other users participating in the brainstorming are also concentrated, and effective brainstorming Judge that it is being done. Furthermore, based on the above-described determination, the server 30 selects to notify the facilitator of proposing continuation of brainstorming.
  • Mr. A and Mr. B are concentrated in periods P and Q during brainstorming
  • Mr. B is not concentrated in period R, or sleepy
  • the server 30 estimates that there is a person with a low degree of concentration among the other users who have participated.
  • the server 30 chooses to notify the facilitator of a proposal to discontinue or suspend the brainstorming on the assumption that it is difficult to proceed with effective brainstorming in the future. It should be noted that if the presence of a person presumed to be extremely excited among the target users is detected, the server 30 may be expected to generate a habit of excitement etc. You may choose to make a notification suggesting to stop or stop brainstorming.
  • Step S307 In accordance with the selection in step S305 described above, the server 30 controls, for example, the terminal 50 used by the facilitator to display a notification of proposing continuation, cancellation, or interruption of brainstorming on the screen.
  • the degree of concentration of a plurality of target users is estimated, and the degree of concentration of the group is estimated based on the estimation result. Furthermore, in the present embodiment, in accordance with the estimation result, whether or not to continue the brainstorming is notified to, for example, the brainstorming facilitator. Therefore, according to the present embodiment, it is possible to objectively judge whether or not to continue the brainstorming, not the subjectivity such as the above-mentioned leading role. As a result, the facilitator can appropriately proceed with brainstorming and can maximize the brainstorming effect.
  • the server 30 proposes that the current progress contents be continued to the event facilitator, assuming that each participant is enjoying the event.
  • the server 30 proposes that the content of the event be changed to the event facilitator, assuming that each participant does not enjoy the event.
  • the content can be changed according to the emotion of each participant of the event, so that it is possible to provide more enjoyable events to the participants.
  • the server 30 may propose to the facilitator to guide the participant to another room.
  • the facilitator guides the participant to a separate room and urges a break to prevent confusion of the event caused by extreme excitement.
  • FIGS. 23 and 24 are explanatory diagrams for explaining an example of the information processing according to the first modification of the present embodiment.
  • FIGS. 23 and 24 show time-series data of HRV indexes of target users (in the figure, Mr. A and Mr. B) predicted during brainstorming and after the current time.
  • FIGS. 23 and 24 show time-series data of HRV index of Mr. A in the upper part of FIGS. 23 and 24 as in FIG. 21 and FIG. Time series data of HRV indicators are shown.
  • the server 30 determines that the concentration of the target user can be maintained even after the current time, and selects to notify the facilitator that the continuation of brainstorming is proposed.
  • FIG. 24 it is possible to estimate that Mr. A is concentrated in the period AA during brainstorming, and it is further predicted to be concentrated in the period AB after the current time.
  • Mr. B is concentrated in the first period AC during brainstorming
  • the server 30 is expected to have low concentration in the future among the other users who have participated, since it is expected that the concentration of Mr. B who has participated in the brainstorming will be low in the future.
  • the server 30 chooses to notify the facilitator of a proposal to discontinue or suspend brainstorming on the assumption that it is difficult to proceed with effective brainstorming in the future.
  • the degree of concentration of the target user in the future can also be predicted, it is possible to select, for example, whether or not to continue the brainstorming, based on the above prediction. Therefore, according to this modification, it can be objectively judged whether or not to continue the brainstorming, and the facilitator can appropriately proceed with the brainstorming and maximize the brainstorming effect. it can.
  • the server 30 can also predict the duration of concentration of target users in the future, the duration or end of brainstorming is recommended based on the predicted duration. Specifically, the facilitator may be notified of the time that has been done. Further, in the present modification, the server 30 can also predict the tendency of concentration of target users in the future, for example, whether or not concentration of the target users is restored by holding a break to a certain extent, etc. From this point, it may be possible to specifically propose a break time in which recovery of concentration is expected to the facilitator.
  • the emotion of the group which performs brainstorming is estimated using the above-mentioned information processing system 1, and the presence or absence of the synergy effect based on an estimation result, ie, member composition ( Objectively evaluate the combination and compatibility. And in this modification, based on evaluation about member composition, it proposes about the member in the next brainstorming.
  • the said proposal can be performed by displaying the name of the member to propose on screen, for example to PC (terminal 50) which the facilitator of the next brainstorming uses.
  • the server 30 performs the brainstorming.
  • the combination of Mr. A and Mr. B who participated in is evaluated as compatible.
  • the server 30 proposes to combine Mr. A and Mr. B, which are evaluated as having good compatibility, when performing brainstorming next time.
  • the server 30 determines the brain Mr. A and Mr. B who participated in the storming are evaluated as incompatible. In such a case, when performing brainstorming next time, the server 30 proposes not to combine Mr. A and Mr. B, which are evaluated as having poor compatibility.
  • sensing data obtained by a sound sensor (not shown) included in the sensor unit 120 may also be used.
  • the server 30 performs brainstorming next time. It is proposed to remove the above user.
  • the server 30 may store information to that effect in a database or the like for a user who is determined to have a high tendency to speak to lower the concentration level of other target users in multiple times of brainstorming.
  • the evaluation of the combination may be performed with reference to, for example, the evaluation of the brainstorming product, as well as the emotion of each target user.
  • the server 30 evaluates that the combination in the brainstorming is good when the degree of concentration of the target users who participated is all high and the evaluation of the product is high.
  • the server 30 evaluates that the combination of the brainstorming is not good.
  • the number of ideas, the number of utterances, etc. may be used as an indicator, and by having the outcome (report) etc. evaluated from people who have not participated in the brainstorming. You may get it.
  • users who have participated in brainstorming may be polled after completion of brainstorming, and the outcome of brainstorming may be evaluated based on the result of the questionnaire.
  • FIGS. 25 and 26 are explanatory diagrams for explaining an example of the information processing according to the third modification of the present embodiment.
  • time-series data of HRV indicators of a target user in the figure, Mr. A, Mr. C, and Mr. D is shown. .
  • the server 30 similarly replaces Mr. D with a tendency similar to A, instead of C having a tendency similar to A, Suggest as a new member in the next brainstorming.
  • the proposal can be made, for example, by displaying the name of the new member to be proposed on the screen on the PC (terminal 50) used by the facilitator of the next brainstorming.
  • target users having similar tendencies can be extracted, and the extracted target users can be objectively proposed as new members in the next brainstorming. Therefore, according to this modification, the next brainstorming can be enlivened by making new members join based on such a proposal.
  • the emotion of the group which performs a council etc. is estimated using the above-mentioned information processing system 1, and each member concentrates on the basis of an estimation result, and calmness, fairness, and objective Evaluate whether they are working on it and present the evaluation results to facilitators such as the council.
  • facilitators such as the council.
  • the facilitator can select an appropriate means such as a break based on the above notification so that the member becomes calm.
  • the emotion of the object user was mainly estimated based on the sensing data by various living body sensors and output was performed according to the result of estimation
  • the embodiment of the present disclosure is limited to this is not.
  • the state of a group for example, the use status etc.
  • the output may be performed according to the estimated result. Therefore, in the third embodiment to be described next, information on the usage status of a plurality of users is acquired, the states of the plurality of users are estimated based on the acquired information, and the user's surroundings are estimated based on the estimation results. Control equipment etc. That is, according to the present embodiment described below, it is possible to cope with the needs that may occur in the states of a plurality of estimated users.
  • the server 30 estimates the state of the spectator, and controls the air conditioner 602 according to the estimation result to make the spectator comfortable. Space can be provided.
  • the configurations of the information processing system 1, the wearable device 10, the server 30, and the terminal 50 are the same as those in the first embodiment, and the description of these configurations in the first embodiment can be referred to. . Therefore, the description of the detailed configurations of the information processing system 1, the wearable device 10, the server 30, and the terminal 50 is omitted here. In the present embodiment, the wearable device 10 may not be included in the information processing system 1.
  • FIG. 27 is a flowchart illustrating an example of the information processing method according to the present embodiment.
  • FIG. 28 is an explanatory view for explaining an example of the information processing according to the present embodiment, and in detail, schematically shows a hall 600 such as a cinema and the like, and an air conditioner 602 for adjusting the air conditioning in the hall. .
  • the information processing method according to the present embodiment includes a plurality of steps from step S401 to step S405.
  • the details of each step included in the information processing method according to the present embodiment will be described below.
  • Step S401 The server 30 acquires reservation information input from each user via the terminal 50 as sensing data. Specifically, from each user, information such as a movie theater desired to be watched, a show movie, seating, etc. is input as the advance reservation of the seat.
  • Step S403 The server 30 estimates the degree of congestion of the movie theater from the acquired reservation information.
  • Step S405 The server 30 controls the air conditioner 602 in the hall 600 of the movie theater according to the estimation result. Specifically, when it is estimated that congestion occurs in the above-described step S405, the server 30 controls the air conditioning facility 602 to cool the hall 600. On the other hand, when it is estimated that it is not crowded in the above-mentioned step S405, the server 30 controls the air conditioner 602 so that the hall 600 is not cooled much.
  • the server 30 may predict the sex ratio of the audience, etc. in consideration of the screening date and the screening content. More specifically, depending on the screening time and the content of the screening, there is a tendency such as when there is a family gap or there are more one. Therefore, the server 30 can predict the number of spectators and the gender ratio in advance by referring to the information such as the screening date and time. And since men and women differ in suitable temperature, server 30 controls air-conditioning equipment 602 according to a predicted gender composition ratio. In addition, the server 30 may grasp the gender composition ratio of the audience in advance by using a seat reservation. Furthermore, the server 30 may also refer to information in other movie theaters to improve the accuracy of the above estimation.
  • the congestion degree of the movie theater is estimated based on reservation information acquired in advance, not only the congestion degree of the movie theater is estimated but also, for example, a pressure sensor (not shown) installed in a seat provided in the hall 600
  • the congestion degree of the movie theater may be estimated based on the obtained sensing data.
  • the degree of congestion of the movie theater may be estimated by analyzing a captured image as sensing data obtained by an imaging device (not shown) provided in the hall 600. .
  • a sweat sensor included in the sensor unit 120 of the wearable device 10 worn by the audience, how the audience watching the movie feels the temperature in the hall 600. It may be estimated by sensing data obtained by
  • the present embodiment it is possible to estimate the degree of crowding of a movie theater spectator and to control the air conditioner 602 and the like in the hall 600 according to the estimation result. That is, in the present embodiment, not only the state of the audience (user) is estimated, but also the needs of the audience are identified according to the estimated state, and the air conditioner 602 is controlled to meet the identified needs. Therefore, according to the present embodiment, the spectator can create a favorable situation for the spectator without taking any particular action.
  • the present invention is not limited to only controlling the air conditioner 602 in the hall 600.
  • the server 30 proposes clothes and belongings to the audience in advance according to the estimation result. Notification may be sent by e-mail or the like. More specifically, in the present embodiment, for example, since men tend to be hot, the air conditioner 602 may be controlled so that cooling becomes stronger when the ratio of male spectators is high. . Therefore, in such a case, the server 30 proposes to bring possessions capable of performing temperature control such as stalls and cardigans to a female spectator who is likely to have a cold tendency. The e-mail is sent in advance to a smartphone (terminal 50) or the like used by the audience. Further, in the above-described case, the server 30 may notify the screening staff at the movie theater to propose to prepare extra blankets, warm drinks and snacks provided in the hall 600, and the like.
  • the audience may be asked a questionnaire for air conditioning in the hall 600 to obtain an evaluation, and the evaluation may be reflected in the control of the air conditioner 602 in the next screening. By doing this, a more comfortable situation can be provided to the audience.
  • this embodiment can be used also except a movie theater, for example, a museum, a museum, a hotel, a restaurant, etc. It can be used in public places where people gather.
  • the present embodiment can also be used in the air conditioner 602 of a vehicle such as a bus or a taxi.
  • the server 30 acquires the position and time of the vehicle as sensing data. Specifically, it is estimated that the utilization rate of the vehicle is high in the morning and evening hours on weekdays, which corresponds to commuting time and school hours, if it is near an office district or a school. In addition, in a downtown area where there are large-scale commercial facilities and the like, it is estimated that the usage rate of vehicles will be high on holidays. Therefore, the server 30 estimates the usage rate at the position and date and time of the vehicle acquired as the sensing data based on the above-described tendency, and controls the air conditioner 602 of the vehicle according to the estimation result. In addition, the server 30 may acquire the temperature in the vehicle and the expected utilization rate, and provide the company temperature and the utilization rate to users who intend to use these vehicles.
  • the server 30 may acquire bus or taxi reservation information input from each user via the terminal 50 as sensing data. At this time, the server 30 may acquire the preference of the air conditioning of each user (like the colder, likes the hotter, etc.) together with the reservation information, and utilize the acquired information for control of the air conditioner 602 of the vehicle. .
  • the frequency of use is estimated, and the facility manager can be cleaned by proposing an appropriate cleaning timing and the like according to the estimation result. While maintaining it, the cost of cleaning can be reduced.
  • the server 30 may make suggestions regarding the number of persons, equipment, and solvents to be cleaned in accordance with the estimation result.
  • the said proposal can be performed by displaying cleaning date, a number of persons, etc. on screen on PC (terminal 50) which a facility pipeline person uses, for example.
  • the server 30 estimates the usage frequency of the equipment of the target user based on sensing data obtained by a positioning sensor (not shown) or the like included in the sensor unit 120 of the wearable device 10 attached to the target user. Specifically, the server 30 estimates the frequency of use by grasping the number of target users staying in the corresponding facility in a predetermined period using the sensing data. When the facility is a toilet, the server 30 acquires the number of times of opening and closing of the door of the individual room from the sensing data obtained by the opening and closing sensor (not shown) installed in the individual room door and estimates the use frequency. Good. Similarly, the server 30 may estimate the usage frequency based on the number of times the water flows, the number of times the light is turned on, or the like.
  • the server 30 can hold down the cost concerning cleaning while maintaining the facilities clean by proposing the timing of cleaning etc. to the facility manager according to the estimated usage frequency. Also, if the facility is a toilet, the server 30 tries to use the toilet but it is extremely dirty, even though the number of times the door is flushed is extremely small despite the fact that the door is opened and closed many times. Therefore, it is presumed that there is a person who has discontinued use, and the facility manager is proposed to clean up as soon as possible.
  • the frequency of use of the facility is estimated, and the timing of cleaning etc. is suggested to the facility manager according to the estimation result, thereby maintaining the facility clean. Cost can be reduced. That is, in this modification, not only the user's (user's) state is estimated, but also the user's needs are identified according to the estimated state, and the facility manager is proposed to meet the identified needs. be able to.
  • server 30 presumes the degree of congestion of public facilities like the above-mentioned modification, and further, the use situation of the present locker from the opening-and-closing sensor (illustration omitted) etc. provided in the locker To get Then, the server 30 predicts the future use status of the locker from the estimated congestion degree and the obtained usage situation. Furthermore, based on the above prediction result, the server 30 directs the user of the public facility who may try to use the locker from now on, the presence of the locker available, the time zone in which the locker can be used, etc.
  • the server 30 may notify the locker administrator of the prediction result, and in this case, the administrator may use the number of lockers installed according to the use situation, and the locker use fee to adjust the use situation. You may suggest changes.
  • the server 30 estimates the position and congestion status of the customer based on sensing data obtained by a positioning sensor (not shown) or the like included in the sensor unit 120 of the wearable device 10 attached to the user (target user). be able to. Then, the server 30 casts a facility manager to dispatch a person in charge or entertain the user, as it is highly likely that the user's dissatisfaction will increase due to the congestion, particularly when a position with a high degree of congestion is detected. Suggest dispatching
  • the information processing system 1 capable of coping with the needs of the target user that may occur in the estimated state as well as estimating the state of the target user is provided. can do.
  • the target user can create a preferable situation for the target user without taking any particular action.
  • FIG. 29 is an explanatory diagram showing an example of the hardware configuration of the information processing apparatus 900 according to the present embodiment.
  • the information processing apparatus 900 shows an example of the hardware configuration of the server 30 described above.
  • the information processing apparatus 900 includes, for example, a CPU 950, a ROM 952, a RAM 954, a recording medium 956, an input / output interface 958, and an operation input device 960.
  • the information processing apparatus 900 further includes a display device 962 and a communication interface 968. Further, the information processing apparatus 900 connects the respective constituent elements by, for example, a bus 970 as a data transmission path.
  • the CPU 950 includes, for example, one or more processors including an arithmetic circuit such as a CPU, and various processing circuits, and functions as a control unit that controls the entire information processing apparatus 900. Specifically, in the information processing apparatus 900, the CPU 950 functions as, for example, the control unit 330 described above.
  • the ROM 952 stores programs used by the CPU 950, control data such as calculation parameters, and the like.
  • the RAM 954 temporarily stores, for example, a program or the like executed by the CPU 950.
  • the recording medium 956 functions as the storage unit 360 described above, and stores, for example, data related to the information processing method according to the present embodiment, various data such as various applications, and the like.
  • the recording medium 956 may be removable from the information processing apparatus 900.
  • the input / output interface 958 connects, for example, the operation input device 960, the display device 962, and the like.
  • Examples of the input / output interface 958 include a Universal Serial Bus (USB) terminal, a Digital Visual Interface (DVI) terminal, a High-Definition Multimedia Interface (HDMI) (registered trademark) terminal, various processing circuits, and the like.
  • USB Universal Serial Bus
  • DVI Digital Visual Interface
  • HDMI High-Definition Multimedia Interface
  • the operation input device 960 functions as, for example, the above-described input unit 300, and is connected to the input / output interface 958 inside the information processing apparatus 900.
  • the display device 962 functions as, for example, the output unit 310 described above, is provided on the information processing apparatus 900, and is connected to the input / output interface 958 inside the information processing apparatus 900.
  • Examples of the display device 962 include a liquid crystal display and an organic electro-luminescence display.
  • the input / output interface 958 can also be connected to an external device such as an external operation input device (for example, a keyboard or a mouse) of the information processing apparatus 900 or an external display device.
  • an external operation input device for example, a keyboard or a mouse
  • the input / output interface 958 may be connected to a drive (not shown).
  • the drive is a reader / writer for a removable recording medium such as a magnetic disk, an optical disk, or a semiconductor memory, and is built in or externally attached to the information processing apparatus 900.
  • the drive reads out the information recorded in the mounted removable recording medium and outputs it to the RAM 954.
  • the drive can also write a record on the attached removable recording medium.
  • the communication interface 968 functions as a communication unit 350 for performing wireless or wired communication with an external device such as the server 30 via (or directly) the above-described network 70, for example.
  • a communication antenna and an RF (Radio Frequency) circuit wireless communication
  • an IEEE 802.15.1 port and a transmitting / receiving circuit wireless communication
  • an IEEE 802.11 port and a transmitting / receiving circuit wireless communication
  • a LAN (Local Area Network) terminal and a transmission / reception circuit wireless communication
  • each component described above may be configured using a general-purpose member, or may be configured by hardware specialized to the function of each component. Such configuration may be changed as appropriate depending on the level of technology to be implemented.
  • the information processing apparatus 900 according to the present embodiment is applied to a system including a plurality of apparatuses on the premise of connection to a network (or communication between respective apparatuses), such as cloud computing, for example. Good. That is, the information processing apparatus 900 according to the present embodiment described above can be realized, for example, as an information processing system 1 that performs processing according to the information processing method according to the present embodiment by a plurality of devices.
  • the embodiment of the present disclosure described above may include, for example, a program for causing a computer to function as the information processing apparatus according to the present embodiment, and a non-temporary tangible medium in which the program is recorded. Also, the program may be distributed via a communication line (including wireless communication) such as the Internet.
  • each step in the process of each embodiment described above may not necessarily be processed in the order described.
  • each step may be processed in an appropriate order.
  • each step may be processed partially in parallel or individually instead of being processed chronologically.
  • the processing method of each step may not necessarily be processed along the described method, for example, may be processed in another manner by another functional unit.
  • An information processing apparatus comprising: an estimation unit configured to estimate a state of one or more target users based on sensing data; and an output control unit configured to output a result corresponding to the estimation result.
  • the estimation unit estimates an emotion of the target user based on sensing data by a biological sensor attached to the target user.
  • the estimation unit estimates an emotion of the target user after a time when the sensing data is acquired.
  • the information processing apparatus further including: an evaluation acquisition unit that acquires an evaluation of the target user with respect to the content of the output, and the learning unit learns an emotional tendency of the target user based on the evaluation.
  • Information processing equipment (6)
  • the output control unit controls, as the output, a device used by the target user or a device installed in the vicinity of the target user.
  • the output control unit according to any one of (2) to (5), which controls, as the output, a device used by a user included in a group to which the target user belongs.
  • Information processing device (8) The information processing apparatus according to (6) or (7), wherein the output control unit controls the device to display a recommended action according to an estimation result.
  • the information processing apparatus (9) The information processing apparatus according to (2), wherein the estimation unit estimates an emotion of a group including a plurality of the target users. (10) The information according to (9), wherein the output control unit controls, as the output, a recommended action according to an estimation result for a device used by a user included in the group. Processing unit. (11) The information processing apparatus according to (9) or (10), wherein the output control unit performs combination evaluation on a combination of the target users included in the group based on the estimation result. (12) The information according to (11), further including: an evaluation acquisition unit that acquires a product evaluation on a product by the group, wherein the output control unit performs the combined evaluation based on the product evaluation. Processing unit.
  • the sensing data is acquired from a sensor which is directly attached to a part of the target user's body and detects at least one of blood pressure, brain waves, respiration, myoelectric potential and skin temperature.
  • the information processing apparatus according to any one of (2) to (13).
  • the estimation unit estimates the state of a group of a plurality of target users based on sensing data input from a plurality of the target users.
  • the output control unit controls, as the output, devices installed around the group.
  • An information processing method including: estimating a state of one or more target users based on sensing data; and performing an output corresponding to the estimation result.
  • a program that causes a computer to execute a function of estimating the state of one or more target users based on sensing data, and a function of outputting an output corresponding to the estimation result.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Psychiatry (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Developmental Disabilities (AREA)
  • General Engineering & Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)

Abstract

【課題】推定されたユーザの状態において生じ得るニーズに対応することが可能な、情報処理装置、情報処理方法及びプログラムを提供する。 【解決手段】センシングデータに基づいて、１人又は複数人の対象ユーザの状態を推定する推定部と、推定結果に対応する出力を行う出力制御部と、を備える、情報処理装置を提供する。

Description

情報処理装置、情報処理方法及びプログラム
　本開示は、情報処理装置、情報処理方法及びプログラムに関する。
　近年、ユーザの生体情報等のセンシングデータを検出し、検出したセンシングデータに基づき推定されたユーザの状態に関する情報を提供する技術が開発されている。例えば、下記特許文献１には、複数のユーザから得られたセンシングデータに基づいて、複数のユーザの状態を推定し、推定した複数のユーザの状態を示す情報を生成する情報処理装置が開示されている。
特開２０１４－１３４９２２号公報
　上記特許文献１に開示された技術においては、基本的に、センシングデータに基づいてユーザの状態を推定し、推定した結果をユーザに向けて出力するだけであり、推定された状態において生じ得るユーザのニーズに対応するものではなかった。
　そこで、本開示では、推定されたユーザの状態において生じ得るニーズに対応することが可能な、新規且つ改良された情報処理装置、情報処理方法及びプログラムを提案する。
　本開示によれば、センシングデータに基づいて、１人又は複数人の対象ユーザの状態を推定する推定部と、推定結果に対応する出力を行う出力制御部と、を備える、情報処理装置が提供される。
　また、本開示によれば、センシングデータに基づいて、１人又は複数人の対象ユーザの状態を推定することと、推定結果に対応する出力を行うことと、を含む、情報処理方法が提供される。
　さらに、本開示によれば、コンピュータに、センシングデータに基づいて、１人又は複数人の対象ユーザの状態を推定する機能と、推定結果に対応する出力を行う機能と、を実行させる、プログラムが提供される。
　以上説明したように本開示によれば推定されたユーザの状態において生じ得るニーズに対応することが可能な、情報処理装置、情報処理方法及びプログラムを提供することができる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係る情報処理システム１の構成例を説明する説明図である。 第１の実施形態に係るウェアラブルデバイス１０の構成の一例を示すブロック図である。 同実施形態に係るＰＰＧセンサ部１２２を説明する説明図である。 同実施形態に係るＰＰＧセンサ部１２２により得られる脈波信号の一例を示す説明図である。 同実施形態に係るウェアラブルデバイス１０の外観の一例を示す説明図である。 同実施形態に係るサーバ３０の構成の一例を示すブロック図である。 同実施形態に係る推定部３４０により得られるＨＲＶ指標の一例を示す説明図（その１）である。 同実施形態に係る推定部３４０により得られるＨＲＶ指標の一例を示す説明図（その２）である。 同実施形態に係る学習部３４２による機械学習の一例を説明するための説明図（その１）である。 同実施形態に係る学習部３４２による機械学習の一例を説明するための説明図（その２）である。 同実施形態に係る端末５０の構成の一例を示すブロック図である。 同実施形態に係る情報処理方法の一例を説明するフローチャートである。 同実施形態に係る端末５０の設定画面８００の一例を示す説明図である。 同実施形態の変形例１を説明する説明図である。 同実施形態の変形例２の情報処理方法の一例を説明するフローチャートである。 同実施形態の変形例２に係る表示灯７００の一例を示す説明図である。 同実施形態の変形例２に係る表示画面８０２の一例を示す説明図である。 同実施形態の変形例３に係る表示画面８０４の一例を示す説明図である。 同実施形態の変形例３に係る表示画面８０６の一例を示す説明図である。 本開示の第２の実施形態に係る情報処理方法の一例を説明するフローチャートである。 同実施形態に係る情報処理の一例を説明する説明図（その１）である。 同実施形態に係る情報処理の一例を説明する説明図（その２）である。 同実施形態の変形例１に係る情報処理の一例を説明する説明図（その１）である。 同実施形態の変形例１に係る情報処理の一例を説明する説明図（その２）である。 同実施形態の変形例３に係る情報処理の一例を説明する説明図（その１）である。 同実施形態の変形例３に係る情報処理の一例を説明する説明図（その２）である。 本開示の第３の実施形態に係る情報処理方法の一例を説明するフローチャートである。 同実施形態に係る情報処理の一例を説明する説明図である。 本開示の一実施形態に係る情報処理装置９００のハードウェア構成の一例を示したブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　　１．　本開示の実施形態に係る情報処理システム１の概要
　　２．　本開示に係る実施形態を創作するに至るまでの技術的背景
　　３．　第１の実施形態
　　　　３．１　ウェアラブルデバイス１０の詳細構成
　　　　３．２　サーバ３０の詳細構成
　　　　３．３　制御部３３０の詳細構成
　　　　３．４　端末５０の詳細構成
　　　　３．５　情報処理方法
　　　　３．６　変形例１
　　　　３．７　変形例２
　　　　３．８　変形例３
　　４．　第２の実施形態
　　　　４．１　情報処理方法
　　　　４．２　変形例１
　　　　４．３　変形例２
　　　　４．４　変形例３
　　　　４．５　変形例４
　　５．　第３の実施形態
　　　　５．１　情報処理方法
　　　　５．２　変形例１
　　　　５．３　変形例２
　　６．まとめ
　　７．ハードウェア構成について
　　８．補足
　＜＜１．　本開示の実施形態に係る情報処理システム１の概要＞＞
　まずは、本開示の実施形態に係る情報処理システム１の概略について、図１を参照して説明する。図１は、本実施形態に係る情報処理システム１の構成例を説明する説明図である。
　図１に示すように、本実施形態に係る情報処理システム１は、ウェアラブルデバイス１０、サーバ３０、及び端末５０を含み、これらは互いにネットワーク７０を介して通信可能に接続される。詳細には、ウェアラブルデバイス１０、サーバ３０、及び端末５０は、図示しない基地局等（例えば、携帯電話機の基地局、無線ＬＡＮのアクセスポイント等）を介してネットワーク７０に接続される。なお、ネットワーク７０で用いられる通信方式は、有線又は無線（例えば、ＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等）を問わず任意の方式を適用することができるが、安定した動作を維持することができる通信方式を用いることが望ましい。
　（ウェアラブルデバイス１０）
　ウェアラブルデバイス１０は、ユーザの身体の一部（耳たぶ、首、腕、手首、足首等）に装着可能なデバイス、もしくは、ユーザの身体に挿入されたインプラントデバイス（インプラント端末）であることができる。より具体的には、ウェアラブルデバイス１０は、ＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）型、眼鏡型、イヤーデバイス型、アンクレット型、腕輪（リストバンド）型、首輪型、アイウェア型、パッド型、バッチ型、衣服型等の各種の方式のウェアラブルデバイスであることができる。さらに、ウェアラブルデバイス１０は、例えば、ユーザの脈拍による脈波信号を検出するＰＰＧ（Ｐｈｏｔｏ　Ｐｌｅｔｈｙｓｍｏ　Ｇｒａｐｈｙ）センサ部１２２等のセンサ類を内蔵するセンサ部１２０を有する（図２　参照）。本実施形態においては、このようなセンサ部１２０により取得されたセンシングデータに基づいて、ユーザの身体状態や精神状態（以下の説明においては、ユーザの身体状態及び精神状態を併せて「情動」と呼ぶ）や、運動状態、現在位置等を推定することができる。また、本実施形態においては、ウェアラブルデバイス１０の有するセンサ部１２０により取得されたセンシングデータに基づいて、ユーザの消費エネルギー、歩数、運動量、睡眠状態等を推定してもよい。なお、以下の説明においては、ウェアラブルデバイス１０は、腕輪（リストバンド）型ウェアラブルデバイスであるものとする。また、ウェアラブルデバイス１０の詳細については後述する。
　（サーバ３０）
　サーバ３０は、例えば、コンピュータ等により構成される。サーバ３０は、例えば、ウェアラブルデバイス１０で取得したセンシングデータを処理したり、当該処理により得られた情報を他のデバイス（例えば、端末５０）に出力したりする。なお、サーバ３０の詳細については後述する。
　（端末５０）
　端末５０は、ユーザによって使用され、もしくは、ユーザの近傍に設置され、サーバ３０により得られた情報をユーザに向けて出力するための端末である。また、端末５０は、ユーザからの入力された情報を受け付け、受け付けた当該情報をセンシングデータとしてサーバ３０へ出力してもよい。例えば、端末５０は、タブレット型ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、スマートフォン、携帯電話、ラップトップ型ＰＣ、ノート型ＰＣ、ＨＭＤ等のデバイスであることができる。さらに、端末５０は、ユーザに向けて表示を行う表示部（図示省略）や、ユーザからの操作を受け付ける操作部（図示省略）や、ユーザに向けて音声出力を行うスピーカ（図示省略）、周囲の音声を取得するマイクロフォン（図示省略）等を有する。また、本実施形態においては、端末５０は、上述のようなＰＣに限定されるものではなく、ユーザに情報を出力したり、ユーザのために制御されることができるデバイスであれば良く、例えば、表示灯７００（図１６　参照）や空調設備６０２（図２８　参照）であってもよい。
　なお、本実施形態においては、端末５０に、上述のウェアラブルデバイス１０の有するセンサ部１２０が設けられていてもよく、もしくは、上記センサ部１２０は、ウェアラブルデバイス１０や端末５０等とは別体のものとして設けられていてもよい。
　なお、図１においては、本実施形態に係る情報処理システム１は、１つのウェアラブルデバイス１０及び端末５０を含むものとして示されているが、本実施形態においてはこれに限定されるものではない。例えば、本実施形態に係る情報処理システム１は、複数のウェアラブルデバイス１０及び端末５０を含んでもよい。さらに、本実施形態に係る情報処理システム１は、例えば、ウェアラブルデバイス１０からサーバ３０へ情報を送信する際の中継装置のような他の通信装置等を含んでもよい。また、本実施形態に係る情報処理システム１は、ウェアラブルデバイス１０を含んでいなくてもよく、このような場合、例えば、端末５０がウェアラブルデバイス１０のように機能し、端末５０で取得したセンシングデータがサーバ３０に出力される。なお、以下の説明においては、センシングデータとは、電磁気的、光学的、機械的、熱的等の特性を検出することにより特定の現象を測定する測定装置からのデータのことを意味するだけでなく、さらに、ユーザに関するコンテキスト情報（スケジュール、性別や年齢等の情報）を含むものとする。
　＜＜２．　本開示に係る実施形態を創作するに至るまでの技術的背景＞＞
　以上、本開示の実施形態に係る情報処理システム１、当該情報処理システム１に含まれるウェアラブルデバイス１０、サーバ３０、及び端末５０の概要について説明した。次に、本開示に係る各実施形態の詳細を説明する前に、本発明者らが本開示に係る実施形態を創作するに至るまでの技術的背景について説明する。
　これまでも、ユーザに装着されたウェアラブルデバイスに設けられたセンサ部で取得された各種センシングデータに基づいて、ユーザの情動等を推定する情報処理システムは存在した。例えば、上記センサ部がユーザの脈拍を検出するセンサであった場合には、上記情報処理システムは、検出した脈拍に基づいて、ユーザの運動量等を推定し、推定した結果をユーザに向けて通知する。そして、通知された推定結果を参照して、ユーザは、自身の体調等を管理したりする。すなわち、上記情報処理システムにおいては、センシングデータに基づいてユーザの状態を推定し、推定した結果をユーザに向けて出力するだけであった。
　また、職場等の複数のユーザからなる集団において上記情報処理システムが使用される場合であっても、上記情報処理システムは、当該職場に属する各ユーザの状態を推定し、推定した結果を、本人もしくは当該職場の他のユーザに通知するだけであった。
　このような状況において、本発明者らは、上記情報処理システムの利便性を認めつつも、より情報処理システムの利便性を高めることについて鋭意検討を重ねてきた。そのような検討の中で、本発明者らは、ユーザの状態を推定するだけでなく、推定された状態において生じ得るユーザのニーズに対応することにより、情報処理システムの利便性をより高めることができることに想到した。
　そこで、本発明者らは、上記想到を一着眼点として、本開示に係る実施形態を創作するに至った。すなわち、以下に説明する本開示に係る実施形態によれば、推定されたユーザの状態において生じ得るニーズに対応することが可能な情報処理システム１を提供することができる。以下、このような本開示に係る実施形態の詳細を順次説明する。
　なお、以下の説明においては、ユーザとは、本開示の実施形態に係る情報処理システム１を利用する利用者全般のことを意味し、対象ユーザとは、ユーザのうち、ウェアラブルデバイス１０のセンサ部１２０等により、状態等を検知される対象者のことを意味する。また、上記ユーザには、上記対象ユーザが含まれるものとする。
　＜＜３．　第１の実施形態＞＞
　まずは、本開示に係る第１の実施形態について説明する。本実施形態においては、情報処理システム１は、センシングデータに基づいて、対象ユーザの状態を推定し、推定結果に応じて、ユーザが使用する端末５０等を制御する。より詳細には、本実施形態においては、対象ユーザに装着されたウェアラブルデバイス１０のセンサ部１２０によるセンシングデータに基づき、当該対象ユーザの情動（集中度）を推定し、推定結果に応じて、当該対象ユーザの使用するスマートフォン（端末５０）を制御する。
　より具体的には、対象ユーザが、オフィス内において作業を開始し、集中度が高い状態にある場合を考える。このような場合、当該対象ユーザは、作業の中断の原因になることから、自身が使用するスマートフォン（端末５０）が着信によりアラームが鳴動することを不快に感じることが多い。そこで、本実施形態においては、対象ユーザが集中度の高い状態にあることが推定された場合には、当該対象ユーザのスマートフォンが着信によりアラームが鳴動しないように制御する。その結果、当該対象ユーザは、集中して作業を継続することができ、当該対象ユーザのパフォーマンスを向上させることができる。すなわち、本実施形態においては、対象ユーザの情動を推定するだけでなく、推定した情動に応じて対象ユーザのニーズを特定し、特定したニーズに対応するように端末５０等を制御する。従って、本実施形態によれば、当該対象ユーザは特に何かしらの行動を起こすことなく、当該対象ユーザにとって好ましい状況を作り出すことができる。なお、以下の説明においては、集中度が高い状態とは、人が１つの物事に気を向けて取り組んでいる精神状態のことを意味する。
　まずは、本実施形態に係る情報処理システム１に含まれる各装置の詳細を説明する。詳細には、先に説明したように、本実施形態に係る情報処理システム１は、ウェアラブルデバイス１０と、サーバ３０と、端末５０とを含む。
　　＜３．１　ウェアラブルデバイス１０の詳細構成＞
　まずは、本開示の実施形態に係るウェアラブルデバイス１０の詳細構成について、図２から図５を参照して説明する。図２は、本実施形態に係るウェアラブルデバイス１０の構成の一例を示すブロック図であり、図３は、本実施形態に係るＰＰＧセンサ部１２２を説明する説明図である。また、図４は、本実施形態に係るＰＰＧセンサ部１２２により得られる脈波信号の一例を示す説明図であり、図５は、本実施形態に係るウェアラブルデバイス１０の外観の一例を示す説明図である。
　ウェアラブルデバイス１０は、図２に示すように、入力部１００と、出力部１１０と、センサ部１２０と、制御部１３０と、通信部１５０と、記憶部１６０とを主に有する。以下に、ウェアラブルデバイス１０の各機能部の詳細について説明する。
　（入力部１００）
　入力部１００は、ウェアラブルデバイス１０への対象ユーザからのデータ、コマンドの入力を受け付ける。より具体的には、当該入力部１００は、タッチパネル、ボタン、マイクロフォン等により実現される。
　（出力部１１０）
　出力部１１０は、対象ユーザに対して情報を提示するためのデバイスであり、例えば、対象ユーザに向けて、画像、音声、光、又は、振動等により各種の情報を出力する。より具体的には、出力部１１０は、対象ユーザにメール等の受信を通知したり、後述するサーバ３０から提供される情報を画面表示したりすることができる。当該出力部１１０は、ディスプレイ、スピーカ、イヤフォン、発光素子（例えば、Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ（ＬＥＤ））、振動モジュール等により実現される。なお、出力部１１０の機能の一部は、端末５０により提供されてもよい。
　（センサ部１２０）
　センサ部１２０は、対象ユーザの身体に装着されたウェアラブルデバイス１０内に設けられ、対象ユーザの状態を検出する各種センサを有する。詳細には、当該センサ部１２０は、対象ユーザの脈拍又は心拍を検出して、心拍又は脈拍の時系列データ（脈波信号）を取得するＰＰＧセンサ部（拍動センサ）１２２や、対象ユーザの動きを検出するモーションセンサ部１２４等を有する。
　－ＰＰＧセンサ部１２２－
　ＰＰＧセンサ部１２２は、対象ユーザの脈波信号を検出するために、当該対象ユーザの皮膚等の身体の一部（例えば、両腕、手首、足首等）に装着される生体センサである。ここで、脈波信号とは、心臓の筋肉が一定のリズムで収縮すること（拍動、なお、単位時間の心臓における拍動回数を心拍数と呼ぶ）により、動脈を通じ全身に血液が送られることにより、動脈内壁に圧力の変化が生じ、体表面等に現れる動脈の拍動による波形のことである。図３に示すように、ＰＰＧセンサ部１２２は、脈波信号を取得するために、手や腕、脚等の対象ユーザの測定部位２００内の血管２０２に光を照射し、当該対象ユーザの血管中を移動する物質や静止している生体組織で散乱された光を検出する。照射した光は血管２０２中の赤血球により吸収されることから、光の吸収量は、測定部位２００内の血管２０２に流れる血液量に比例する。従って、ＰＰＧセンサ部１２２は、散乱された光の強度を検出することにより流れる血液量の変化を知ることができる。さらに、この血流量の変化から、拍動の波形、すなわち、図４に示すような脈波信号を検出することができる。なお、このような方法は、光電容積脈波（ＰｈｏｔｏＰｌｅｔｈｙｓｍｏＧｒａｐｈｙ；ＰＰＧ）法と呼ばれる。
　詳細には、ＰＰＧセンサ部１２２は、コヒーレント光を照射することができる、小型レーザやＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）（図示省略）等を内蔵し、例えば８５０ｎｍ前後のような所定の波長を持つ光を照射する。なお、本実施形態においては、ＰＰＧセンサ部１２２が照射する光の波長は、適宜選択することが可能である。さらに、ＰＰＧセンサ部１２２は、例えばフォトダイオード（Ｐｈｏｔｏ　Ｄｅｔｅｃｔｏｒ：ＰＤ）を内蔵し、検出した光の強度を電気信号に変換することにより、脈波信号を取得する。なお、ＰＰＧセンサ部１２２は、ＰＤの代わりに、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅｓ）型センサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型センサ等を内蔵してもよい。また、ＰＰＧセンサ部１２２には、ユーザの測定部位２００からの光を検出するために、レンズやフィルタ等の光学系機構が含まれていてもよい。
　そして、ＰＰＧセンサ部１２２により、図４に示されるような複数のピークを有する時系列データとして脈波信号を検出することができる。以下の説明において、図４に示されるような脈波信号に現れる複数のピークのピーク間隔を、脈拍間隔（Ｐｕｌｓｅ　Ｒａｔｅ　Ｉｎｔｅｒｖａｌ：ＰＰＩ）と呼ぶ。ＰＰＩの値は、ＰＰＧセンサ部１２２により検出された脈波信号を処理することにより、取得することができる。各ＰＰＩの値は、時間とともに変動するものの、対象ユーザの状態が一定に維持されている間においては、ほぼ正規分布することが知られている。そこで、ＰＰＩ値のデータ群を統計的に処理する（例えば、ＰＰＩ値の標準偏差を算出する）ことにより、対象ユーザの身体状態の指標となる各種ＨＲＶ（Ｈｅａｒｔ　Ｒａｔｅ　Ｖａｒｉａｂｉｌｉｔｙ）指標を算出することができる。なお、各種ＨＲＶ指標の詳細については後述する。
　本実施形態においては、上述のＰＰＧ法を利用して脈波信号を取得することに限定されるものではなく、他の方法によっても脈波信号を取得してもよい。例えば、本実施形態においては、センサ部１２０は、レーザドップラー血流計測法を用いて脈波を検出してもよい。当該レーザドップラー血流計測法は、以下のような現象を利用して血流を測定する方法である。詳細には、レーザ光を対象ユーザの測定部位２００に照射した際には、当該対象ユーザの血管２０２内に存在する散乱物質（主に赤血球）が移動していることにより、ドップラーシフトを伴った散乱光が生じる。そして、当該ドップラーシフトを伴った散乱光が、対象ユーザの測定部位２００に存在する、移動しない組織による散乱光と干渉し、ビート状の強度変化が観測されることとなる。そこで、当該レーザドップラー血流計測法は、ビート信号の強度と周波数を解析することにより、血流を測定することができる。
　なお、以下の説明においては、ウェアラブルデバイス１０のセンサ部１２０には、上述のＰＰＧ法を利用するＰＰＧセンサ部１２２が設けられるものとして説明する。また、本実施形態においては、ＰＰＧセンサ部１２２の代わりに、対象ユーザの身体に貼り付けられた電極（図示省略）を介して当該対象ユーザの心電図を検出するＥＣＧ（Ｅｌｅｃｔｒｏｃａｒｄｉｏｇｒａｍ）センサ部（図示省略）が設けられていてもよい。この場合、検出した心電図から、心臓の拍動間隔であるＲ－Ｒ間隔（ＲＲＩ）を取得し、ＲＲＩ値の時系列データから対象ユーザの身体の状態を示す身体指標であるＨＲＶ指標を算出することができる。
　また、本実施形態においては、センサ部１２０には、ＰＰＧセンサ部１２２の代わりに、もしくは、ＰＰＧセンサ部１２２と共に、発汗センサ部（図示省略）が設けられていてもよい。
　詳細には、人間に生じる発汗には、温熱性発汗と精神性発汗との主に２種類の発汗があると一般的にいわれている。温熱性発汗は、体温調節のために行われる発汗である。一方、精神性発汗は、緊張や喜怒哀楽等の人間の情動によって生じる発汗であり、常温において、掌や足裏等上で、温熱性発汗に比べて瞬時、且つ、微量に生じる発汗である。例えば、精神性発汗は、プレゼンテーションを行う際に緊張によって生じる発汗等のことである。このような精神性発汗は、交感神経優位時に多く出ることが知られており、情動を示す指標になり得ると一般的に考えられている。
　そこで、上記発汗センサ部は、対象ユーザの皮膚に装着され、発汗により変化する当該皮膚上の２点間の電圧又は抵抗を検出する。そして、本実施形態においては、発汗センサ部によって取得されたセンシングデータに基づいて、発汗量、発汗頻度、発汗量の変化等の情報を取得することにより、対象ユーザの情動を推定することができる。
　さらに、本実施形態においては、センサ部１２０は、ＰＰＧセンサ部１２２の代わりに、もしくは、ＰＰＧセンサ部１２２と共に、対象ユーザの表情を捉える撮像装置（図示省略）を含んでいてもよい。この場合、当該撮像装置は、例えば、対象ユーザの眼球運動、瞳孔径の大きさ、凝視時間等を検出する。人間の瞳孔径を支配する筋は、交感神経／副交感神経から影響を受けているといわれている。従って、本実施形態においては、上記撮像装置により対象ユーザの瞳孔径を検知することにより、当該対象ユーザの交感神経／副交感神経の状態等、すなわち、当該対象ユーザの情動を推定することができる。
　また、上記撮像装置は、対象ユーザの姿勢を検出してもよい。姿勢は呼吸の深さ等に影響を与えると言われ、さらに、呼吸の深さは、人の緊張状態（緊張度）と関連性が高いと言われている。そこで、本実施形態においては、上記撮像装置により対象ユーザの姿勢を検出し、検出した姿勢から、対象ユーザの緊張度等を推定することができる。なお、上述のような撮像装置は、対象ユーザの周囲に、ウェアラブルデバイス１０とは別体の装置として設置されていてもよい。
　また、本実施形態においては、センサ部１２０は、ＰＰＧセンサ部１２２の代わりに、もしくは、ＰＰＧセンサ部１２２と共に、他の各種生体センサ（図示省略）を含んでいてもよい。例えば、当該各種生体センサは、対象ユーザの身体の一部に直接的又は間接的に装着され、当該対象ユーザの脳波、呼吸、筋電位、皮膚温度等を測定する１つ又は複数のセンサを含むことができる。より具体的には、本実施形態においては、対象ユーザの脳波を測定する脳波センサ部（図示省略）により得られたセンシングデータを解析して、当該脳波の種類（例えば、α波、β波等の種類）を検出することにより、対象ユーザの感情状態（例えば、対象ユーザの機嫌等）を推定することができる。
　－モーションセンサ部１２４－
　また、センサ部１２０は、対象ユーザの動き、すなわち運動状態を検出するためのモーションセンサ部１２４を含んでもよい。モーションセンサ部１２４は、対象ユーザの動作に伴って発生する加速度の変化を示すセンシングデータを取得することにより、当該対象ユーザの運動状態を検出する。当該モーションセンサ部１２４により取得された対象ユーザの運動状態は、当該対象ユーザの情動を推定する際に用いることができる。具体的には、モーションセンサ部１２４は、加速度センサ、ジャイロセンサ、地磁気センサ等（図示省略）を含む。
　また、当該モーションセンサ部１２４は、対象ユーザを撮像する撮像装置（図示省略）であってもよい。この場合、上記撮像装置によって撮像される画像によって、当該対象ユーザの動作等がキャプチャすることが可能であることから、当該撮像装置により、対象ユーザの運動状態を検出することができる。さらに、当該モーションセンサ部１２４は、対象ユーザの動作を検出することができる赤外線センサ、超音波センサ等（図示省略）を含んでいてもよい。なお、このような撮像装置及び赤外線センサ等は、対象ユーザの周囲に、ウェアラブルデバイス１０とは別体の装置として設置されていてもよい。
　また、センサ部１２０は、モーションセンサ部１２４の代わりに、もしくは、モーションセンサ部１２４と共に、測位センサ（図示省略）を含んでいてもよい。当該測位センサは、ウェアラブルデバイス１０を装着した対象ユーザの位置を検出するセンサであり、具体的には、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）受信機等であることができる。この場合、測位センサは、ＧＮＳＳ衛星からの信号に基づいて、対象ユーザの現在地の緯度・経度を示すセンシングデータを生成することができる。また、本実施形態においては、例えば、ＲＦＩＤ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ　Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、Ｗｉ－Ｆｉのアクセスポイント、無線基地局の情報等からユーザの相対的な位置関係を検出することが可能なため、このような通信装置を上記測位センサとして利用することも可能である。
　そして、センサ部１２０は、モーションセンサ部１２４の代わりに、もしくは、モーションセンサ部１２４と共に、対象ユーザの発話音声、又は、当該対象ユーザの周囲で発生した音を検出するサウンドセンサ（図示省略）を含んでいてもよい。例えば、本実施形態においては、当該サウンドセンサから検出された音から特定の音声（例えば、対象ユーザが発話した特定の文言）を抽出することによって得られた抽出結果を、当該対象ユーザの情動を推定する際に用いてもよい。
　さらに、センサ部１２０は、対象ユーザが使用するデバイス（例えば、キーボード、椅子等）に設けられた圧力センサを含んでいてもよい。例えば、本実施形態においては、当該圧力センサにより取得されたセンシングデータ（キーボードに対するタイピングの頻度、着席時間等）を用いて、当該対象ユーザの情動を推定してもよい。なお、上述のような圧力センサは、ウェアラブルデバイス１０とは別体の装置として設置されることとなる。
　以上のように、本実施形態においては、センサ部１２０は各種センサを含むことができる。さらに、センサ部１２０は、正確な時刻を把握する時計機構（図示省略）を内蔵し、取得したセンシングデータに当該センシングデータを取得した時刻を紐づけてもよい。また、各種センサは、先に説明したように、ウェアラブルデバイス１０のセンサ部１２０内に設けられていなくてもよく、例えば、ウェアラブルデバイス１０とは別体のものとして設けられていてもよく、対象ユーザが使用するデバイス等に設けられていてもよい。
　（制御部１３０）
　制御部１３０は、ウェアラブルデバイス１０内に設けられ、ウェアラブルデバイス１０の各機能部を制御したり、上述したＰＰＧセンサ部１２２から出力された脈波信号からＰＰＩの時系列データを取得したりすることができる。当該制御部１３０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等のハードウェアにより実現される。なお、制御部１３０の機能の一部は、後述するサーバ３０により提供されてもよい。
　（通信部１５０）
　通信部１５０は、ウェアラブルデバイス１０内に設けられ、サーバ３０、端末５０等の外部装置との間で情報の送受信を行うことができる。言い換えると、通信部１５０は、データの送受信を行う機能を有する通信インタフェースと言える。なお、通信部１５０は、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。
　（記憶部１６０）
　記憶部１６０は、ウェアラブルデバイス１０内に設けられ、上述した制御部１３０が各種処理を実行するためのプログラム、情報等や、処理によって得た情報を格納する。なお、記憶部１６０は、例えば、フラッシュメモリ（ｆｌａｓｈ　ｍｅｍｏｒｙ）等の不揮発性メモリ（ｎｏｎｖｏｌａｔｉｌｅ　ｍｅｍｏｒｙ）等により実現される。
　先に説明したように、ウェアラブルデバイス１０としては、腕輪型、ＨＭＤ型等の各種の方式のウェアラブルデバイスを採用することができる。図５に、本実施形態に係るウェアラブルデバイス１０の外観の一例を示す。図５に示すように、当該ウェアラブルデバイス１０は、対象ユーザの手首に装着される腕輪型のウェアラブルデバイスである。
　詳細には、図５に示すように、ウェアラブルデバイス１０は、ベルト状のバンド部１２と、制御ユニット１４とを有する。バンド部１２は、例えば対象ユーザの手首に巻きつけるように装着されることから、手首の形状に合わせてリング状の形態になるように、柔らかいシリコンゲル等の材料で形成されている。また、制御ユニット１４は、上述のセンサ部１２０、制御部１３０等が設けられる部分である。さらに、センサ部１２０は、ウェアラブルデバイス１０が対象ユーザの身体の一部に装着された際に、当該対象ユーザの身体に接する、又は、対向するような位置に設けられている。
　　＜３．２　サーバ３０の詳細構成＞
　次に、本実施形態に係るサーバ３０の構成について、図６を参照して説明する。図６は、本実施形態に係るサーバ３０の構成の一例を示すブロック図である。先に説明したように、サーバ３０は、例えばコンピュータ等により構成される。図６に示すように、サーバ３０は、入力部３００と、出力部３１０と、制御部３３０と、通信部３５０と、記憶部３６０とを主に有する。以下に、サーバ３０の各機能部の詳細について説明する。
　（入力部３００）
　入力部３００は、サーバ３０へのユーザからのデータ、コマンドの入力を受け付ける。より具体的には、当該入力部３００は、タッチパネル、キーボード等により実現される。
　（出力部３１０）
　出力部３１０は、例えば、ディスプレイ、スピーカ、映像出力端子、音声出力端子等により構成され、画像又は音声等により各種の情報をユーザに向けて出力する。
　（制御部３３０）
　制御部３３０は、サーバ３０内に設けられ、サーバ３０の各ブロックを制御することができる。具体的には、制御部３３０は、サーバ３０内で行われる、対象ユーザの情動の推定や推定結果に応じた制御といった各種処理を制御する。当該制御部３３０は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェアにより実現される。なお、制御部３３０は、ウェアラブルデバイス１０の制御部１３０の機能の一部を実行してもよい。また、制御部３３０の詳細については後述する。
　（通信部３５０）
　通信部３５０は、サーバ３０内に設けられ、ウェアラブルデバイス１０や端末５０等の外部装置との間で情報の送受信を行うことができる。なお、通信部３５０は、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。
　（記憶部３６０）
　記憶部３６０は、サーバ３０内に設けられ、上述した制御部３３０が各種処理を実行するためのプログラム等や、処理によって得た情報を格納する。より具体的には、記憶部３６０は、複数の対象ユーザに装着されたウェアラブルデバイス１０から取得されたセンシングデータ等を格納することができる。なお、記憶部３６０は、例えば、ハードディスク（Ｈａｒｄ　Ｄｉｓｋ：ＨＤ）等の磁気記録媒体や、不揮発性メモリ等により実現される。
　　＜３．３　制御部３３０の詳細構成＞
　次に、本実施形態に係る制御部３３０の詳細構成について、図６から図１０を参照して説明する。図７及び図８は、本実施形態に係る推定部３４０により得られるＨＲＶ指標の一例を示す説明図であり、図９及び図１０は、本実施形態に係る学習部３４２による機械学習の一例を説明するための説明図である。
　図６に示すように、制御部３３０は、センシングデータ取得部３３２と、処理部３３４と、出力制御部３３６と、評価取得部３３８とを主に有する。以下に、制御部３３０の各機能部の詳細について説明する。
　（センシングデータ取得部３３２）
　センシングデータ取得部３３２は、ウェアラブルデバイス１０等から出力されたセンシングデータを取得し、取得したセンシングデータを後述する処理部３３４へ出力する。
　（処理部３３４）
　処理部３３４は、センシングデータ取得部３３２から出力されたセンシングデータを処理し、対象ユーザの状態（情動）を推定する。さらに、処理部３３４は、センシングデータが取得された時点より後の対象ユーザの状態（情動）等を推定することもできる。詳細には、処理部３３４は、上述したこれら機能を実現するために、推定部３４０及び学習部３４２として機能する。
　－推定部３４０－
　推定部３４０は、ウェアラブルデバイス１０から取得したセンシングデータに基づいて、例えば、対象ユーザの状態（情動）を推定する。詳細には、推定部３４０は、例えば、上記センシングデータ、すなわち、脈拍、発汗等の生体信号に基づき、対象ユーザの現在の興奮度、緊張度、集中度、リラックス度、覚醒、眠気等を推定する。
　より具体的には、推定部３４０は、図４に示されるような脈波信号から、ピークの間隔であるＰＰＩ値の時系列データを取得する。さらに、推定部３４０は、ＰＰＩの時系列データを用いて統計処理を行うことにより、各種ＨＲＶ指標を算出する。ＨＲＶ指標としては、ＲＭＳＳＤ（Ｒｏｏｔ　Ｍｅａｎ　Ｓｑｕａｒｅ　Ｓｕｃｃｅｓｓｉｖｅ　Ｄｉｆｆｅｒｅｎｃｅ）、ＳＤＮＮ（Ｓｔａｎｄａｒｄ　Ｄｅｖｉａｔｉｏｎ　ｏｆ　ｔｈｅ　Ｎｏｒｍａｌ　ｔｏ　Ｎｏｒｍａｌ　Ｉｎｔｅｒｖａｌ)、ＬＦ／ＨＦ等を挙げることができる。これらＨＲＶ指標は、先に説明したように、対象ユーザの情動を示す指標として取り扱うことができる。
　詳細には、ＲＭＳＳＤは、ＰＰＩの時系列上で互いに隣接するＰＰＩ値の差分の二乗の平均値の平方根である。当該ＲＭＳＳＤは、脳神経の１つである迷走神経の緊張状態を示す指標になると考えられている。
　ＳＤＮＮは、所定の期間内でのＰＰＩ値のデータ群の標準偏差である。当該ＳＤＮＮは、交感神経及び副交感神経の両方を含む自律神経系の活動状況を示す指標になると考えられている。
　ＬＦ／ＨＦは、ＰＰＩの時系列データの高周波成分（例えば、０．１５～０．４Ｈｚ）のパワースペクトルに対する低周波成分（例えば、０．０４～０．１５Ｈｚ）のパワースペクトルの割合である。なお、高周波成分（ＨＦ）は呼吸変動に対応し、低周波成分（ＬＦ）は、血圧変動であるメイヤー波に対応するといわれている。さらに、呼吸変動に対応する高周波成分は、副交感神経を反映すると考えられ、一方、低周波成分は、交感神経を反映すると考えられている。従って、ＬＦ／ＨＦは、交感神経と副交感神経とのバランスを示す指標となると考えられており、交感神経と副交感神経とのバランス、すなわち、自律神経の状態を示し、より具体的には、対象ユーザの集中度（緊張）／リラックス度を示していると考えることができる。
　以下に、上記推定部３４０によって、ＨＲＶ指標としてＬＦ／ＨＦの時系列データを取得した場合を説明する。この場合、推定部３４０は、例えば、図７に示されるようなＨＲＶ指標の時系列データを得ることができる。なお、図７に示される閾値Ａは、対象ユーザが、集中度が高い状態にあると推定することができる閾値であり、すなわち、ＨＲＶ指標が閾値Ａに比べて高い場合には、対象ユーザは集中度が高い状態にあると推定することができる。一方、図７に示される閾値Ｂは、対象ユーザが、リラックスした状態にあると推定することができる閾値であり、すなわち、ＨＲＶ指標が閾値Ｂに比べて低い場合には、対象ユーザはリラックスした状態にあると推定することができる。従って、本実施形態においては、上記推定部３４０は、例えば、得られたＨＲＶ指標を閾値Ａ、Ｂと比較することにより、対象ユーザの集中度等を推定することができる。
　また、推定部３４０は、上述の高周波成分と低周波成分とを対比させることにより、交感神経の活性度と副交感神経活性度とのどちらが優位であるかを判断し、例えば、対象ユーザの集中度を推定してもよい。
　この際、推定部３４０は、センサ部１２０の有するモーションセンサ部１２４による対象ユーザの動作を示すセンシングデータを利用して、推定を行ってもよい。例えば、推定部３４０は、図８に示されるようなＨＲＶ指標の時系列データを取得したとする。なお、図８に示される閾値Ｃは、対象ユーザが、集中度が高い状態にあると推定することができる閾値であるとする。従って、推定部３４０は、図８に示される閾値Ｃよりも高いＨＲＶ指標を有する期間Ｄ及び期間Ｅにおいては、対象ユーザは集中度が高い状態にあると推定することができる。しかしながら、推定部３４０は、上記期間Ｄにおいて、モーションセンサ部１２４によるセンシングデータから、対象ユーザが激しい運動を行っていることが検出できた場合には、対象ユーザの集中度が高い状態であると推定しない。詳細には、通常、激しい運動を行っている場合には交感神経が活発となる。そこで、本実施形態においては、推定部３４０は、モーションセンサ部１２４によるセンシングデータに基づいて激しい運動の実施が検出できた場合には、上記運動によってＨＲＶ指標が高くなったと推測し、対象ユーザの集中度が高いとは推定しない。一方、推定部３４０は、上記期間Ｅにおいて、モーションセンサ部１２４によるセンシングデータから対象ユーザが安静状態にあることが検出できた場合には、集中によりＨＲＶ指標が高くなったと推測し、すなわち、当該対象ユーザの集中度が高いと推定する。
　また、本実施形態においては、推定部３４０は、上述のように脈波信号からのＨＲＶ指標による推定を行うことに限定されるものではなく、脈波信号から取得することができる脈拍数によって、対象ユーザの情動を推定してもよい。例えば、推定部３４０は、対象ユーザが安静状態にあるにもかかわらず、脈拍数が平常時によりも増加した（脈拍の間隔が平常時よりも短くなった）ことがセンシングデータから検出できた場合には、対象ユーザにおいては、交感神経が優位であり、緊張が高い状態にあると推定する。一方、推定部３４０は、対象ユーザの脈拍数が平常時によりも減少した（脈拍の間隔が平常時よりも長くなった）ことがセンシングデータから検出できた場合には、対象ユーザにおいては副交感神経が優位であり、眠気が高い状態にあると推定する。
　さらに、本実施形態においては、推定部３４０は、センサ部１２０の有する他の各種センサ、例えば、撮像装置（図示省略）によって検出された対象ユーザの姿勢や動きを示すセンシングデータを利用して、当該対象ユーザの情動を推定してもよい。より具体的には、上記撮像装置により、対象ユーザが前のめりの姿勢で着席していることが検出された場合には、推定部３４０は、当該対象ユーザは集中していると推定してもよい。また、上記撮像装置により、対象ユーザが貧乏ゆすり（着席した状態で、脚等の身体の一部を定期的に揺らす動作）を行っていることを検出した場合には、推定部３４０は、当該対象ユーザは集中していない、もしくは不機嫌であると推定してもよい。さらに、上記撮像装置により、対象ユーザが長時間身体の動きがないことを検出した場合には、推定部３４０は、当該対象ユーザは疲労している、もしくは鬱状態であると推定してもよい。
　さらに、推定部３４０は、対象ユーザが利用する椅子等に設けられた圧力センサ（図示省略）によって取得したセンシングデータを利用して、上述と同様に、当該対象ユーザの姿勢や動きを検出し、当該対象ユーザの情動を推定してもよい。
　推定部３４０は、センサ部１２０の有するサウンドセンサ（図示省略）によるセンシングデータを利用して、一人又は複数人の対象ユーザの情動を推定してもよい。より具体的には、上記サウンドセンサにより、会話の頻度が多いことが検出された場合には、推定部３４０は、複数のユーザを含む集団のメンバーが集中していると推定する。また、上記サウンドセンサにより、会話の頻度が低いことや、あくび等が検出された場合には、推定部３４０は、複数のユーザを含む集団のメンバーに退屈している者や眠気がある者が存在し、集中度が低い状態にあると推定する。なお、本実施形態においては、サウンドセンサによるセンシングデータによって得られた対象ユーザの発話音量や、発話した内容に基づいて、対象ユーザの情動を推定してもよい。
　また、推定部３４０は、後述する学習部３４２の学習によって得られた対象ユーザの状態傾向（情動傾向）に基づいて、当該対象ユーザの状態（情動）を推定してもよい。人間の状態（情動）の傾向は個人ごとに異なっていることから、学習部３４２により対象ユーザのセンシングデータを用いて、当該対象ユーザの状態傾向の情報を事前に取得し、取得した状態傾向に基づいて推定を行うことにより、推定の精度をより向上させることができる。さらに、推定部３４０は、学習部３４２によって得られた上記状態傾向を基づいて、対象ユーザの将来的な状態を推定してもよい。
　－学習部３４２－
　学習部３４２は、先に説明したように、過去に取得されたセンシングデータを用いて、対象ユーザの状態傾向（情動傾向）を学習する。そして、学習部３４２の学習によって得られた対象ユーザの状態傾向は、上述の推定部３４０による、当該対象ユーザの状態（情動）の推定に用いることができる。
　例えば、上述のようなＨＲＶ指標による対象ユーザの集中度の推定においては、閾値との比較により客観的に対象ユーザの集中度を推定することができるものの、対象ユーザの主観とはずれが生じることがある。より具体的には、推定部３４０は、図９に示されるようなＨＲＶ指標の時系列データを取得したとする。なお、図９に示される閾値Ｆは、対象ユーザが、集中度が高い状態にあると推定することができる閾値であるとする。従って、ＨＲＶ指標が閾値Ｆよりも高いことから、図９の期間Ｇにおいては、対象ユーザが集中していると客観的に推定することができる。しかしながら、実際には、当該対象ユーザは、上記期間Ｇとはずれている、図９の期間Ｈにおいて集中していると感じていることがある。そこで、本実施形態においては、このようなＨＲＶ指標による客観的な推定と、対象ユーザの主観とのずれを調整することで、より精度よく、対象ユーザの集中状態を推定することができる。
　詳細には、対象ユーザにウェアラブルデバイス１０を装着し、装着した状態において、パズルゲーム等の集中が起きやすいゲームを行ってもらい、その間、センシングデータ取得部３３２は、センシングデータとして対象ユーザの脈波信号を取得する。この際、対象ユーザにより、自身の集中度に対して評価を行ってもらい、当該評価を後述する評価取得部３３８により取得する。そして、学習部３４２は、センシングデータを処理して得られたＨＲＶ指標に基づいて対象ユーザが集中していると推定することができる期間と、対象ユーザが集中していると評価する期間とが一致しているかを判断する。さらに、学習部３４２は、上記２つの期間が一致していない場合には、一致するように、対象ユーザが、集中度が高い状態にあると推定することができる閾値Ｆの値を変更する。このようにすることで、本実施形態においては、ＨＲＶ指標による客観的な推定と、対象ユーザの主観とのずれを調整することで、より精度よく、対象ユーザの集中状態を推定することができる。なお、本実施形態においては、閾値Ｆの値を変更することに限定するものではなく、例えば、時間的なオフセットを設ける等、他の方法を選択してもよい。また、本実施形態においては、対象ユーザによる集中度の評価を取得することに限定するものではなく、例えば、対象ユーザが所望するデバイスの制御のタイミング指示（例えば、デバイスの制御をＨＲＶ指標に基づいて推定された集中期間よりも早く行う、または遅く行う等の指示）を取得してもよい。この場合、上記指示に基づき、後述する出力制御部３３６は出力の制御を行うこととなり、より対象ユーザにとって好ましい制御が行われることとなる。
　また、学習部３４２は、サポートベクターレグレッションやディープニューラルネットワーク等の教師付き学習器であってもよい。学習部３４２に、図１０に示すように、ウェアラブルデバイス１０から過去に取得されたセンシングデータと、当該センシングデータが取得された際の対象ユーザによる評価（集中度等）とがそれぞれ教師信号及び入力信号として入力される。そして、当該学習部３４２は、所定の規則に従ってこれら信号の間の関係について機械学習を行うこととなる。その結果、学習部３４２は、センシングデータと対象ユーザによる評価との関係（情動傾向等）を示す関係情報を格納したデータベース（ＤＢ）３６２を構築することができる。さらに、上述した推定部３４０は、上述のような機械学習によって得られたＤＢ３６２を利用して、対象ユーザの情動等を推定する。なお、本実施形態においては、学習部３４２は、半教師付き学習器や弱教師付き学習器であってもよい。
　また、学習部３４２は、センシングデータ等に基づいて、対象ユーザの情動の継続時間の傾向を学習し、上述のＤＢ３６２を構築してもよい。そして、上述した推定部３４０は、このようなＤＢ３６２を利用して、次回センシングデータが取得された際に、当該センシングデータが取得された時点より後の対象ユーザの将来的な情動を予想してもよい。例えば、学習部３４２は、対象ユーザが一度集中したと推定された場合に、継続して集中を維持することができる継続時間の傾向を複数のセンシングデータに基づいて学習する。そして、推定部３４０は、学習部３４２によって学習された継続時間の傾向に基づいて、現時点の状態として対象ユーザの集中が推定された際に、この時点後に対象ユーザが集中を継続することができる時間を予測する。
　（出力制御部３３６）
　出力制御部３３６は、上記推定部３４０による推定結果に対応する出力を行う。より具体的には、出力制御部３３６は、推定結果に対応する出力として、後述する端末５０を制御したり、端末５０に推定結果に対応する情報を出力したりする。
　（評価取得部３３８）
　評価取得部３３８は、先に説明したように、対象ユーザによる自身の状態（情動）に対する評価等を取得し、取得した評価等を処理部３３４へ出力する。また、評価取得部３３８は、推定部３４０による推定結果に対する対象ユーザの評価を取得してもよい。
　また、サーバ３０は、対象ユーザのスケジュールや、性別、年齢等の属性情報等を取得するコンテキスト取得部（図示省略）を有していてもよい。上述のような情報を、推定部３４０における推定や、学習部３４２における学習の際に利用することにより、ユーザの状態（情動）の推定の精度をより向上させることができる。
　　＜３．４　端末５０の詳細構成＞
　次に、本実施形態に係る端末５０の構成について、図１１を参照して説明する。図１１は、本実施形態に係る端末５０の構成の一例を示すブロック図である。先に説明したように、端末５０は、タブレット、スマートフォン、携帯電話、ラップトップ型ＰＣ、ノート型ＰＣ、ＨＭＤ等のデバイスである。図１１に示すように、端末５０は、入力部５００と、出力部５１０と、制御部５３０と、通信部５５０と、記憶部５６０とを主に有する。なお、端末５０においては、上述の各機能部は、サーバ３０の同一名称を持つ機能部と共通するため、ここでは、これらの各機能部の説明を省略する。
　　＜３．５．　情報処理方法＞
　以上、本実施形態に係るウェアラブルデバイス１０、サーバ３０及び端末５０の詳細構成について説明した。次に、本実施形態に係る情報処理方法について、図１２及び図１３を参照して説明する。図１２は、本実施形態に係る情報処理方法の一例を説明するフローチャートであり、図１３は、本実施形態に係る端末５０の設定画面８００の一例を示す説明図である。
　図１２に示すように、本実施形態に係る情報処理方法には、ステップＳ１０１からステップＳ１０７までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法に含まれる各ステップの詳細を説明する。
　（ステップＳ１０１）
　サーバ３０は、対象ユーザの使用するスマートフォンである端末５０の設定に関する設定情報を取得する。詳細には、対象ユーザは、自身の集中度が高まった際に、自身の使用するスマートフォンに対して所望する動作を事前に設定する。例えば、対象ユーザは、図１３に示すようなスマートフォンの表示部（図示省略）に表示された設定画面８００に対して、自身の集中度が高まった際のスマートフォンのアラームの動作についての設定を行う。設定画面８００においては、図１３に示すように、常に通知を着信したらアラームを鳴動させる選択肢、重要な通知のみ着信したらアラームを鳴動させる選択肢、及び、通知を着信しても常にアラームを鳴動させない選択肢の３つの選択肢が表示されている。対象ユーザは、このいずれかの選択肢に対して選択操作を行うことにより、自身の集中度が高まった際のスマートフォンのアラームの動作の設定を行うことができる。以下の説明においては、対象ユーザは、重要な通知のみ着信したらアラームを鳴動させる選択肢を選択したものとして説明する。
　（ステップＳ１０３）
　次に、対象ユーザは、上述した本実施形態に係るウェアラブルデバイス１０を装着し、ウェアラブルデバイス１０は、センシングデータとして、当該対象ユーザに対する脈波信号を取得し、サーバ３０へ出力する。さらに、サーバ３０は、ウェアラブルデバイス１０から上記センシングデータを取得する。
　（ステップＳ１０５）
　サーバ３０は、取得したセンシングデータに基づき、対象ユーザの情動、ここでは集中度を推定する。なお、対象ユーザの情動を推定の方法については上述したため、ここでは、詳細な説明を省略する。
　（ステップＳ１０７）
　そして、サーバ３０は、当該対象ユーザが高い集中度の状態にあると推定した場合には、スマートフォンを制御して、重要な通知以外の通知を受信した際、当該スマートフォンのアラームが鳴動しないように設定する。
　なお、この後、サーバ３０は、ウェアラブルデバイス１０から取得したセンシングデータによって、当該対象ユーザの集中度が低下したと推定した場合には、スマートフォンを制御して、通知を着信したら常にアラームを鳴動させるように設定を変更する。なお、本実施形態においては、スマートフォンの設定は、上述のような設定に限定されるものではない。例えば、本実施形態においては、上記スマートフォンを、通知を着信しても音声が出力されず当該スマートフォンが振動するようなマナーモードに設定してもよく、もしくは、当該スマートフォンの通信機能をオフする機内モードに設定してもよい。
　以上のように、本実施形態においては、対象ユーザが高い集中の状態にあることが推定された場合には、当該対象ユーザの使用するスマートフォン（端末５０）が着信によりアラームが鳴動しないように制御する。その結果、当該対象ユーザは、集中して作業を継続することができ、当該対象ユーザのパフォーマンスを向上させることができる。すなわち、本実施形態においては、対象ユーザの情動を推定するだけでなく、推定した情動に応じて対象ユーザのニーズを特定し、特定したニーズに対応するように端末５０を制御する。従って、本実施形態によれば、当該対象ユーザは特に何かしらの行動を起こすことなく、当該対象ユーザにとって好ましい状況を作り出すことができる。
　＜３．６　変形例１＞
　先に説明したように、サーバ３０は、対象ユーザのスケジュールや、性別、年齢等の属性情報を取得し、このような情報を、推定部３４０における推定や、学習部３４２における学習の際に利用することにより、当該対象ユーザの情動の推定の精度をより向上させることができる。そこで、以下においては、図１４を参照して、本実施形態の変形例１として、対象ユーザのスケジュールを取得し、当該対象ユーザの情動の推定の精度をより向上させる例を説明する。図１４は、実施形態の変形例１を説明する説明図である。
　より具体的には、サーバ３０は、図１４に示されるような、対象ユーザのＨＲＶ指標の時系列データを取得したとする。なお、図１４に示される閾値Ｉは、対象ユーザが、集中度が高い状態にあると推定することができる閾値であるとする。さらに、サーバ３０は、図１４に示される期間Ｊにおいて、当該対象ユーザが資料の作成を行うことが予定されている旨の情報（スケジュール）を予め取得しているものとする。このような場合、サーバ３０は、ＨＲＶ指標が閾値Ｉよりも高く、且つ、対象ユーザの集中度が高まるであろう資料作成が期間Ｊにおいて予定されていることに基づいて、図１４の期間Ｋにおいては、対象ユーザが集中していると推定する。このように、本変形例においては、ＨＲＶ指標だけでなく、対象ユーザのスケジュールを参照することにより、ユーザの情動の推定をより向上させることができる。
　また、本変形例においては、対象ユーザのスケジュールを、当該対象ユーザの情動の推定に用いるだけでなく、対象ユーザのスケジュールに応じて情動を推定する際に用いる閾値を制御してもよい。具体的には、図１４に示す期間Ｊにおいては、対象ユーザが資料の作成を行うことが予定されている。そこで、サーバ３０は、期間Ｊにおいては、当該対象ユーザは集中度が高まりやすい状態にあると推測し、期間Ｊにおいては、集中度が高い状態にあると推定することができる閾値Ｉの値を下げて、上記対象ユーザが集中しているとより推定されやすくしてもよい。このようにすることで、対象ユーザが少しでも集中している場合には、当該対象ユーザの使用するスマートフォンが着信によりアラームが鳴動しないように制御されやすくなり、当該対象ユーザは、より集中して作業を継続することができることとなる。
　以上のように、本変形例においては、対象ユーザのスケジュール等の情報を利用することにより、対象ユーザの情動の推定の精度や制御をより向上させることができる。その結果、本変形例においても、対象ユーザは特に何かしらの行動を起こすことなく、当該対象ユーザにとって好ましい状況を作り出すことができる。
　＜３．７　変形例２＞
　上述の第１の実施形態においては、推定された対象ユーザの情動に応じて、当該対象ユーザの使用する端末５０（スマートフォン）を制御したが、本実施形態においては、他の端末５０を制御してもよい。例えば、他の端末５０としては、対象ユーザの近傍に設置された表示灯７００（図１６　参照）や、対象ユーザが属する集団に含まれる他のユーザが使用するＰＣを挙げることができる。そこで、このような端末５０の制御の一例について、オフィス等での使用を想定した変形例２として説明する。
　例えば、作業等を行い、集中度が高まっている対象ユーザにとっては、作業を中断する原因となることから、他のユーザから声をかけられる等を不快に感じることが多い。そこで、本変形例においては、対象ユーザの集中度が高まった場合には、表示灯７００を制御して、他のユーザに対して、当該対象ユーザへの対応として推奨される推奨行動等を通知する。すなわち、本変形例においては、対象ユーザの情動を推定するだけでなく、推定した情動に応じて対象ユーザのニーズを特定し、特定したニーズに対応するように、他のユーザに向けて出力を行う。従って、本変形例によれば、対象ユーザは、特に何かしらの行動を起こすことなく、当該対象ユーザにとって好ましい環境を作り出すことができる。
　以下に、本変形例の詳細を、図１５から図１７を参照して説明する。図１５は、本実施形態の変形例２の情報処理方法の一例を説明するフローチャートである。また、図１６は、本実施形態の変形例２に係る表示灯７００の一例を示す説明図であり、図１７は、本実施形態の変形例２に係る表示画面８０２の一例を示す説明図である。
　図１５に示すように、本変形例に係る情報処理方法には、ステップＳ２０１からステップＳ２０５までの複数のステップが含まれている。なお、本変形例における図１５のステップＳ２０１及びステップＳ２０３は、図１２に示されるステップＳ１０３及びステップＳ１０５と同様であるため、ここでは、ステップＳ２０１及びステップＳ２０３の説明を省略し、ステップＳ２０５のみを説明する。
　（ステップＳ２０５）
　サーバ３０は、対象ユーザが集中度の高い状態にあると推定した場合には、図１６に示すような当該対象ユーザの近傍に設置された表示灯７００を制御して点灯させる。当該表示灯７００には、例えば、「取り込み中のため、声をかけないで」等の文言が書かれており、点灯することにより、対象ユーザに近寄った他のユーザに向けて、当該対象ユーザに声をかけない等、対象ユーザへの対応として推奨される推奨行動を通知する。その結果、対象ユーザが集中している場合には、上記表示灯７００の点灯によって他のユーザが当該対象ユーザに声をかけることがなくなることから、当該対象ユーザは、より集中して作業を継続することができる。
　以上のように、本変形例によれば、推定された対象ユーザの情動に応じて、表示灯７００を制御することにより、当該対象ユーザにとって好ましい状況を作り出すことができる。
　また、本変形例においては、上述したような表示灯７００を制御することに限定されるものではなく、例えば、対象ユーザが属する集団に含まれる他のユーザが使用するＰＣ（端末５０）を制御してもよい。このような場合、例えば、図１７に示すように、各ユーザが使用するＰＣの表示部（図示省略）に表示された通話アプリの表示画面８０２上に、対象ユーザ（図１７では「Ａさん」）が集中していると推定されたことに応じて、当該対象ユーザが「取り込み中」である旨を表示する。また、本変形例においては、通話アプリの表示画面８０２による表示に限定されるものではなく、スケジュール管理用のアプリの表示画面であってもよく、電子メールを介して他のユーザに対象ユーザが「取り込み中」である旨を通知してもよい。
　＜３．８　変形例３＞
　上述の第１の実施形態においては、対象ユーザの情動として集中度を推定していた。しかしながら、本実施形態においては、集中度を推定するだけでなく、対象ユーザの疲労度や眠気等を推定してもよい。そこで、対象ユーザの疲労度や眠気を推定して、推定結果に応じた通知を他のユーザに向けて行う例について、図１８及び図１９を参照して、オフィス等での使用を想定した変形例３として説明する。なお、図１８は、本実施形態の変形例３に係る表示画面８０４の一例を示す説明図であり、図１９は、本実施形態の変形例３に係る表示画面８０６の一例を示す説明図である。
　例えば、本変形例においては、サーバ３０は、対象ユーザの集中度や疲労度を推定し、当該対象ユーザを勤務管理する管理者（ユーザ）の使用するＰＣ等の端末５０に向けて、推定結果とともに、当該対象ユーザへの対応として推奨される推奨行動を通知する。より具体的には、サーバ３０は、図１８に示すような表示画面８０４を、管理者の使用するＰＣの表示部（図示省略）に表示させる。当該表示画面８０４上には、対象ユーザ（図１８においてはＡさん）の推定される情動がＸＹ座標上のマーカ８５０で示されている。詳細には、当該ＸＹ座標のＸ軸は、対象ユーザの機嫌を示しており、例えば、図の右側にいくほど機嫌が良く、図の左側に行くほど機嫌が悪いことを示している。また、当該ＸＹ座標のＹ軸は、対象ユーザの集中度及び疲労度を示しており、例えば、図の上側に行くほど集中度が高く、図の下側に行くほど疲労度が高いことを示している。このようなＸＹ座標上に、推定される対象ユーザの情動をマーカ８５０として表示することにより、上記管理者は、対象ユーザの情動を容易に把握することができる。なお、先に説明したように、対象ユーザの機嫌は、例えば、ウェアラブルデバイス１０のセンサ部１２０に含まれる脳波センサによるセンシングデータを解析することにより、推定することができる。
　さらに、サーバ３０は、当該表示画面８０４上に、対象ユーザの推定される情動を表示させるだけでなく、推定結果に応じた当該対象ユーザへの対応として推奨される推奨行動をコメント８６０として表示させる。例えば、図１８においては、対象ユーザが集中していると推定されたことに対応して、コメント８６０として「声をかけないであげましょう」等の文言が表示されている。従って、上記管理者は、当該コメント８６０に基づいて、当該対象ユーザへの対応として推奨される推奨行動を把握し、当該対象ユーザに声をかけない等の対応を行うことができる。
　また、サーバ３０は、例えば、対象ユーザの疲労度が高いことが推定される場合には、上記管理者のＰＣに対して、「声をかけてあげましょう。」「休憩を進めましょう。」「相談にのってあげましょう。」「仕事量を調整しましょう。」等の文言を表示してもよい。
　また、サーバ３０は、現時点での対象ユーザの情動を推定するだけでなく、現時点以降の対象ユーザの情動を予測し、予測結果を上記管理者等に向けて通知してもよい。より具体的には、サーバ３０は、図１９に示すような表示画面８０６を、上記管理者の使用するＰＣの表示部（図示省略）に表示させる。当該表示画面８０６上には、対象ユーザ（図１９においてはＡさん）の推定された集中度、疲労度、眠気が、３つの棒グラフとして示されている。詳細には、図の左側から、各棒グラフは、集中度、疲労度、眠気にそれぞれ対応している。さらに、表示画面８０６上には、図の左側から、３時間前の対象ユーザの集中度／疲労度／眠気、現時点での対象ユーザの集中度／疲労度／眠気、及び、予想される今後の対象ユーザの集中度／疲労度／眠気が時系列順に示されている。なお、図１９においては、棒グラフが高いほど、集中度／疲労度／眠気が高いことを示している。このような表示画面８０６を確認することで、上記管理者は、対象ユーザの過去、現在、及び今後の情動を容易に把握することができる。さらに、上記管理者は、このような対象ユーザの過去、現在、及び今後の情動を参照することにより、サーバ３０から通知された当該対象ユーザへの対応として推奨される推奨行動が適切な行動であることに納得することができる。
　なお、本変形例においては、管理者の使用するＰＣ等へ推奨行動を通知することに限定されるものではなく、例えば、対象ユーザの周囲に存在する他のユーザや家族等の使用する端末５０へ上記推奨行動を通知してもよい。
　以上のように、本実施形態及び変形例によれば、対象ユーザの情動を推定して、推定した結果を可視化して表示したり、推定した結果に応じて通知や制御を行ったりすることにより、当該対象ユーザにとって好ましい状況を作り出すことができる。例えば、対象ユーザが、自身の状態（情動）に対して無自覚であったり、当該状態を他人へ伝えることが難しい場合であったりしても、本実施形態によれば、当該対象ユーザの周囲の他のユーザは、対象ユーザの状態を認識し、対象ユーザに対して適切な行動を行うことができる。特に、近年、人手不足により、仕事量が大幅に増加していることに起因して、オフィスにおける社員のメンタルヘルスの管理が難しくなっている。このような状況において、本実施形態に係る情報処理システム１を用いることにより、当該オフィスの管理者は、各社員が本格的に疲弊してしまう前に、その予兆を知り適切な行動をとることができることから、各社員のメンタルヘルスを良好に管理することができる。
　＜＜４．　第２の実施形態＞＞
　上述の第１の実施形態においては、各対象ユーザの情動を推定していた。しかしながら、本開示の実施形態においては、このような推定に限定されるものではなく、複数の対象ユーザの情動、すなわち、集団の情動を推定してもよい。そこで、以下に説明する本開示の第２の実施形態においては、複数の対象ユーザが含まれる集団の情動を推定して、推定結果に応じた出力を行う。
　ところで、ビジネス等の重要な場面では、複数のメンバーによって協働して作業が行われることが多い。しかしながら、このような複数のメンバーからなる集団の状態を評価する場合、客観的に行うことが難しい。具体的には、複数のメンバーによって行われるブレインストーミングにおいては、効果的にブレインストーミングが行われたか否かは発言数等に基づいて評価することが可能なものの、メンバー構成によるシナジー効果等については検証することは難しかった。特に、ブレインストーミングの良し悪しは、メンバー個人の能力だけでなく、メンバーの構成に依存する場合が多い。具体的には、良いブレインストーミングを行うためには、一般的には、他のメンバーに気兼ねせずにアイディアを出せるような雰囲気作りが重要であるといわれている。従って、このような雰囲気を作り出すためには、メンバーの構成が重要であるといえる。そこで、以下に説明する本実施形態においては、集団のシナジー効果によって生じるブレインストーミングにおける集団の情動を推定し、推定結果に応じて今後のブレインストーミングの進行に関する通知を出力する。なお、以下の説明においては、ブレインストーミングとは、集団でアイディアを出し合うことにより、メンバー相互の連鎖作用による新たなアイディアの誘発を期待して行われる話し合いのことを意味する。
　詳細には、本実施形態においては、上述の情報処理システム１を利用して、ブレインストーミングにおいて集団を構成する少なくも一部の対象ユーザの集中度を推定し、推定結果に基づき上記集団の集中度を推定する。さらに、本実施形態においては、推定結果に基づき、上記ブレインストーミングを継続するか否かを、例えば上記ブレインストーミングの進行役に通知する。これまでは、ブレインストーミングの内容等に基づいて、進行役がブレインストーミングを継続すべきか否かを主観的に判断していた。それに対して、本実施形態においては、ブレインストーミングを行う集団の集中度を推定し、推定結果に応じて、上記ブレインストーミングを継続するか否かを客観的に判断することができる。その結果、進行役は、適切にブレインストーミングを進行することができ、ブレインストーミングの効果を最大限に引き出すことができる。以下に、本実施形態の詳細について説明する。
　なお、本実施形態においては、情報処理システム１、ウェアラブルデバイス１０、サーバ３０、端末５０の構成は、第１の実施形態と共通であり、第１の実施形態のこれら構成の説明を参照し得る。従って、ここでは、情報処理システム１、ウェアラブルデバイス１０、サーバ３０、端末５０の詳細構成の説明を省略する。また、以下の説明においては、ブレインストーミングを行う集団には、２人の対象ユーザが含まれており、さらに、他のユーザが含まれているものとする。なお、本実施形態においては、上記集団には、少なくとも２人の対象ユーザが含まれていれば特に限定されるものではなく、３人以上の対象ユーザが含まれていてもよく、２人の対象ユーザしか含まれず、且つ、他のユーザが含まれていなくてもよい。
　＜４．１　情報処理方法＞
　次に、本実施形態に係る情報処理方法について、図２０から図２２を参照して説明する。図２０は、本実施形態に係る情報処理方法の一例を説明するフローチャートであり、図２１及び図２２は、本実施形態に係る情報処理の一例を説明する説明図である。なお、図２１及び図２２においては、ブレインストーミング中の対象ユーザ（図中では、Ａさん及びＢさん）のＨＲＶ指標の時系列データを示している。詳細には、図中の上段には、ＡさんのＨＲＶ指標の時系列データが示され、図中の下段には、ＢさんのＨＲＶ指標の時系列データが示されている。さらに、各ＨＲＶ指標の時系列データには、対象ユーザが集中していると推定することができる基準となる閾値Ｎ及び閾値Ｏが示されおり、すなわち、これら閾値Ｎ、Ｏよりも各ＨＲＶ指標が高い場合には、各対象ユーザが集中していると推定することができる。
　図２０に示すように、本実施形態に係る情報処理方法には、ステップＳ３０１からステップＳ３０７までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法に含まれる各ステップの詳細を説明する。
　（ステップＳ３０１）
　ブレインストーミングに参加する対象ユーザに、上述のウェアラブルデバイス１０を装着し、各ウェアラブルデバイス１０は、センシングデータとして、各対象ユーザの脈波信号等を取得し、サーバ３０へ出力する。さらに、サーバ３０は、各ウェアラブルデバイス１０からセンシングデータを取得する。
　（ステップＳ３０３）
　サーバ３０は、取得したセンシングデータに基づき、各対象ユーザの集中度を推定する。なお、集中度の推定方法については上述したため、ここでは、詳細な説明を省略する。
　（ステップＳ３０５）
　まずは、図２１に示すように、ブレインストーミング中の期間ＬにおいてＡさんが集中していると推定することができ、同様に、期間ＭにおいてＢさんも集中していると推定することができた場合を説明する。このような場合、サーバ３０は、いずれの対象ユーザも集中していると推定することができることから、当該ブレインストーミングに参加する他のユーザも集中していると推測し、効果的なブレインストーミングが行われていると判断する。さらに、サーバ３０は、上述のような判断に基づき、進行役にブレインストーミングの継続を提案する通知を行うことを選択する。
　次に、図２２に示すように、ブレインストーミング中の期間Ｐ及び期間ＱにおいてＡさん及びＢさんが集中いると推定することができるものの、期間ＲにおいてＢさんが集中していない、もしくは、眠い状態にあると推定することができた場合を説明する。このような場合、サーバ３０は、上記ブレインストーミングに参加したＢさんの集中度が低いことから、参加した他のユーザの中にも集中度が低い者が存在すると推測する。さらに、サーバ３０は、上述の推測に基づき、今後、効果的なブレインストーミングを進行することが難しいとして、進行役にブレインストーミングの中止又は中断を提案する通知を行うことを選択する。なお、サーバ３０は、対象ユーザの中に極度に興奮状態にあると推定される者の存在が検出された場合には、興奮による喧嘩等の発生が予期されることもあるため、進行役にブレインストーミングの中止又は中断を提案する通知を行うことを選択してもよい。
　（ステップＳ３０７）
　サーバ３０は、上述のステップＳ３０５における選択に従って、例えば、進行役が使用する端末５０に対して、ブレインストーミングの継続、中止、又は中断を提案する通知を画面表示するように制御を行う。
　以上のように、本実施形態においては、ブレインストーミングにおいて、複数の対象ユーザの集中度を推定し、推定結果に基づき上記集団の集中度を推定する。さらに、本実施形態においては、推定結果に応じて、上記ブレインストーミングを継続するか否かを、例えば上記ブレインストーミングの進行役に通知する。従って、本実施形態によれば、ブレインストーミングを継続するか否かを、上記進行役等の主観ではなく、客観的に判断することができる。その結果、進行役は、適切にブレインストーミングを進行することができ、ブレインストーミングの効果を最大限に引き出すことができる。
　なお、本実施形態においては、ブレインストーミングで用いることに限定されるものではなく、例えば、イベント会場で用いてもよい。詳細には、イベントの参加者に、上述のウェアラブルデバイス１０を装着してもらい、各参加者の情動を推定する。各参加者が適度に興奮している場合には、各参加者がイベントを楽しんでいるとして、サーバ３０は、現状の進行内容を継続することをイベントの進行役に提案する。一方、各参加者が興奮していない場合には、各参加者がイベントを楽しんでいないとして、サーバ３０は、イベントの内容を変更することをイベントの進行役に提案する。このように、本実施形態によれば、イベントの各参加者の情動に応じて内容を変更したりすることができることから、参加者に対して、より楽しめるイベントの提供が可能になる。また、サーバ３０は、極度の興奮状態にある参加者を検出した場合には、例えば、当該参加者を別室に誘導する等を進行役に提案してもよい。この提案に応じて、進行役が上記参加者を別室に誘導し、休憩を促すことにより、極度の興奮によって生じるイベントの混乱を未然に防ぐことができる。
　＜４．２　変形例１＞
　また、サーバ３０は、センシングデータに基づいて、将来的な対象ユーザの集中度を予測することもできることから、以下に説明する本実施形態に係る変形例１においては、上記予測に基づき、上記ブレインストーミングを継続するか否かを選択してもよい。以下に、図２３及び図２４を参照して、本変形例について説明する。図２３及び図２４は、本実施形態の変形例１に係る情報処理の一例を説明する説明図である。なお、図２３及び図２４は、ブレインストーミング中の、及び、現時点以降の予測される対象ユーザ（図中では、Ａさん及びＢさん）のＨＲＶ指標の時系列データを示している。詳細には、図２３及び図２４は、図２１及び図２３と同様に、図２３及び図２４の上段には、ＡさんのＨＲＶ指標の時系列データが示され、下段には、ＢさんのＨＲＶ指標の時系列データが示されている。
　まず、図２３に示すように、ブレインストーミング中の期間Ｓ及び期間Ｕにおいて、Ａさん及びＢさんが集中していると推定することができ、さらに、現時点以降の期間Ｔ及び期間ＶにおいてもＡさん及びＢさんが集中していると予想することができる場合を説明する。このような場合、サーバ３０は、現時点以降も対象ユーザの集中が維持することができると判断し、進行役にブレインストーミングの継続を提案する通知を行うことを選択する。
　次に、図２４に示す場合を説明する。図２４においては、Ａさんについては、ブレインストーミング中の期間ＡＡにおいて集中していると推定することができ、さらに、現時点以降の期間ＡＢにおいても、集中していると予想されている。しかしながら、Ｂさんにおいては、ブレインストーミング中の最初の期間ＡＣにおいて集中していると推定することができるものの、次の期間ＡＤにおいては、集中していない、もしくは、眠い状態にあると推定することができる。さらに、Ｂさんについては、期間ＡＣ及び期間ＡＤの傾向に基づき、現時点以降の期間ＡＥにおいては、集中していない、もしくは、眠い状態にあると予測される。このような場合、サーバ３０は、上記ブレインストーミングに参加したＢさんの集中度が将来的に低くなることが予想されることから、参加した他のユーザの中にも集中度が将来的に低くなる者が存在すると予測する。さらに、サーバ３０は、上述の予想に基づき、今後、効果的なブレインストーミングを進行することが難しいとして、進行役にブレインストーミングの中止又は中断を提案する通知を行うことを選択する。
　以上のように、本変形例においては、将来的な対象ユーザの集中度を予測することもできることから、上記予測に基づき、例えば、上記ブレインストーミングを継続するか否かを選択することができる。従って、本変形例によれば、ブレインストーミングを継続するか否かを客観的に判断することができ、進行役は、適切にブレインストーミングを進行し、ブレインストーミングの効果を最大限に引き出すことができる。
　なお、本変形例においては、サーバ３０は、将来的な対象ユーザの集中の継続時間も予測することもできることから、予測された継続時間に基づいて、ブレインストーミングの継続時間、もしくは、終了が推奨される時間を具体的に進行役に通知してもよい。また、本変形例においては、サーバ３０は、将来的な対象ユーザの集中の傾向、例えば、どの程度の休憩をはさむことで、対象ユーザの集中が回復するか否か等を予測することもできることから、進行役に集中の回復が見込まれる休憩時間を具体的に提案してもよい。
　＜４．３　変形例２＞
　先に説明したように、これまで、ブレインストーミングにおいては、その良し悪しがメンバーの構成に依存する場合が多いにも関わらず、メンバー構成によるシナジー効果、すなわち、相性について検証することが難しかった。例えば、ブレインストーミングに参加するメンバーの一人が、当該ブレインストーミングをリードし、良い成果等を生んだ場合には、成果が良いことから、当該ブレインストーミングの良かったと判断されやすい。しかしながら、当該ブレインストーミングにおいて、他のメンバーが積極的に取り組んでいない状況があった場合には、実際には上記シナジー効果は得られておらず、良いブレインストーミングであったとは言い難い。
　そこで、本実施形態に係る変形例２においては、上述の情報処理システム１を利用して、ブレインストーミングを行う集団の情動を推定し、推定結果に基づき、シナジー効果の有無、すなわち、メンバー構成（組み合わせ、相性）についての評価を客観的に行う。そして、本変形例においては、メンバー構成についての評価に基づき、次回のブレインストーミングにおけるメンバーについて提案を行う。なお、当該提案は、例えば、次回のブレインストーミングの進行役の使用するＰＣ（端末５０）に、提案するメンバーの名前を画面表示させることにより行うことができる。
　例えば、先に説明した図２１のように、ブレインストーミング中において、いずれの対象ユーザ（Ａさん及びＢさん）も集中していると推定することができる場合には、サーバ３０は、当該ブレインストーミングに参加したＡさん及びＢさんの組み合わせは相性が良いと評価する。このような場合、サーバ３０は、次回ブレインストーミングを行う際にも、相性が良いと評価されたＡさんとＢさんとを組み合わせることを提案する。
　一方、先に説明した図２２のように、ブレインストーミング中において、Ａさんが集中しているものの、Ｂさんが、集中していないと推定することができる場合には、サーバ３０は、当該ブレインストーミングに参加したＡさん及びＢさんは相性が悪いと評価する。このような場合、サーバ３０は、次回ブレインストーミングを行う際には、相性が悪いと評価されたＡさんとＢさんとを組み合わせないようにすることを提案する。
　以上のように、本変形例によれば、ブレインストーミングを行う集団の情動を推定し、推定結果に基づき、組み合わせについて客観的に評価することができる。さらに、本変形例によれば、このようにして得られた組み合わせの評価に基づき、相性がよいと推定されるブレインストーミングの組み合わせを提案することができる。従って、本変形例によれば、このような提案を参照してブレインストーミングを行うことにより、より効果的にブレインストーミングを行うことができる。
　さらに、本変形例においては、センサ部１２０の含むサウンドセンサ（図示省略）によって得られたセンシングデータも利用してもよい。例えば、サウンドセンサによって得られたセンシングデータによって、ブレインストーミング中の発言により他の対象ユーザの集中度を下げているユーザの存在を検出した場合には、サーバ３０は、次回ブレインストーミングを行う際に上記ユーザを外すことを提案する。さらに、サーバ３０は、複数回のブレインストーミングにおいて他の対象ユーザの集中度を下げる発言を行う傾向が高いと判断されたユーザについては、その旨の情報をデータベース等に格納してもよい。
　また、本変形例においては、組み合わせの評価については、各対象ユーザの情動だけでなく、例えば、ブレインストーミングの成果物に対する評価等を参照して行ってもよい。この場合、サーバ３０は、参加した対象ユーザの集中度がいずれも高く、且つ、上記成果物の評価が高い場合には、当該ブレインストーミングにおける組み合わせは良かったと評価する。また、上記成果物の評価が高い場合であっても、参加したいずれかの対象ユーザの集中度が低い場合には、サーバ３０は、当該ブレインストーミングの組み合わせは良くなかったと評価する。
　なお、ブレインストーミングの成果物の評価としては、アイディアの数や発言回数等を指標にしてもよく、成果物（レポート）等を当該ブレインストーミングに参加していない人等から評価してもらうことによって得てもよい。また、ブレインストーミングに参加したユーザに、ブレインストーミング終了後にアンケートを行い、当該アンケート結果にも基づいて、ブレインストーミングの成果物の評価を行ってもよい。
　＜４．４　変形例３＞
　ところで、同じメンバーにおいてブレインストーミングを行っていると、徐々に新鮮味が薄れて、ブレインストーミングが盛り上がらないことがある。従って、このような場合、ブレインストーミングを盛り上げ、さらに新しい知見を得るためにも、次回のブレインストーミングに新たなメンバーを入れることは効果的であると考えられる。一般的には、ブレインストーミングにおいては、参加する各メンバーの背景等が異なっているほうがより良い成果が上がるとは言われている。しかしながら、集中や興奮の傾向が異なるメンバーでブレインストーミングを行うと、上記傾向が異なっていることから、議論がかみ合わず、ブレインストーミングが盛り上がらないことがある。言い換えると、集中や興奮の傾向が類似するメンバーで構成する場合の方が、ブレインストーミングが盛り上がることが多い。
　そこで、本変形例においては、過去のブレインストーミング中における各対象ユーザの情動の傾向に基づき、類似の傾向を持つ対象ユーザを抽出し、抽出した対象ユーザを、次回のブレインストーミングにおける、新たなメンバー、もしくは交代メンバー（候補者）として提案する。以下に、このような変形例を、図２５及び図２６を参照して説明する。図２５及び図２６は、本実施形態の変形例３に係る情報処理の一例を説明する説明図である。なお、図２５及び図２６においては、図２１及び図２２と同様に、ブレインストーミング中の対象ユーザ（図中では、Ａさん、Ｃさん及びＤさん）のＨＲＶ指標の時系列データを示している。
　例えば、図２５に示す場合には、ブレインストーミング中の期間ＢＡにおいて、ＨＲＶ指標が閾値Ｎよりも高いことから、Ａさんについては、集中していると推定することができる。同様に、上記ブレインストーミング中の期間ＢＢにおいて、ＨＲＶ指標が閾値Ｗよりも高いことから、Ｃさんについても、集中していると推定することができる。このような場合、サーバ３０は、同じブレインストーミング中に、同様の傾向を持って集中していることから、ＡさんとＣさんとは、類似する集中の傾向を持っていると判断する。
　また、図２６に示す場合には、ブレインストーミング中の期間ＣＡにおいて、ＨＲＶ指標が閾値Ｎよりも高いことから、Ａさんについては、集中していると推定することができる。同様に、上記期間ＣＡに比べて短いものの、上記ブレインストーミング中の期間ＣＢにおいて、ＨＲＶ指標が閾値Ｘよりも高いことから、Ｄさんについても、集中していると推定することができる。このような場合、サーバ３０は、同じブレインストーミング中に、ほぼ同様の傾向を持って集中していることから、ＡさんとＤさんとは、類似する集中の傾向を持っていると判断する。
　そして、サーバ３０は、図２５及び図２６に示されるような集中の傾向に基づき、Ａさんに類似する傾向を持つＣさんの代わりとして、同様にＡさんに類似する傾向を持つＤさんを、次回のブレインストーミングにおける新たなメンバーとして提案する。なお、当該提案は、例えば、次回のブレインストーミングの進行役の使用するＰＣ（端末５０）に、提案する新たなメンバーの名前を画面表示させることにより行うことができる。
　以上のように、本変形例においては、類似の傾向を持つ対象ユーザを抽出し、抽出した対象ユーザを、次回のブレインストーミングにおける、新たなメンバーとして客観的に提案することができる。従って、本変形例によれば、このような提案に基づいて新たなメンバーを参加させることにより、次回のブレインストーミングを盛り上げることができる。
　＜４．５　変形例４＞
　また、これまで説明した本実施形態及び変形例においては、ブレインストーミングで用いることとして説明したが、これらはブレインストーミングでの利用に限定されるものではなく、審議会や品評会で用いてもよい。審議会や品評会は、一般的に、複数のメンバーにおいて物事の審査や評価を行う際に実施され、各メンバーが、集中して、冷静、公平、且つ、客観的に取り組むことが求められる。
　そこで、本変形例においては、上述の情報処理システム１を利用して、審議会等を行う集団の情動を推定し、推定結果に基づき、各メンバーが集中して、冷静、公平、且つ、客観的に取り組んでいるかを評価し、評価結果を審議会等の進行役に提示する。具体的には、審議会等において互いに対立する意見が存在する際に、対立するメンバーの相性が悪いことから、メンバーの一部が、興奮し、批判的な態度をとる場合がある。このような場合、興奮等することで、冷静な思考や判断が停止されることもあることから、適切に審議会を進行することが難しい。そこで、本変形例においては、上述の情報処理システム１を利用して、興奮等の状態にあるメンバーが存在するかを推定し、もし、このようなメンバーが存在する場合には、審議会等の進行役に通知する。そして、このような場合、進行役は、上記通知に基づいて、メンバーが冷静になるように、休憩等の適切な手段を選択することができる。
　また、メンバーの一部が集中しておらず、眠気が高い中で行われた審議会等は、一部のメンバーの審査対象への興味や観察が不足していることを意味していることから、公平な審議が行われたとはいえない場合がある。そこで、本変形例においては、上述の情報処理システム１を利用して、審議会等を行う集団の情動を推定し、推定結果に基づき、各メンバーが集中しているかを評価し、評価結果を審議会等の進行役に提示する。より具体的には、上述の情報処理システム１により、審議会等を行う集団において集中度が欠けていると推定され、集中度が欠けていると通知された場合には、進行役は当該通知に基づき、審議会等の休憩や中断を提案することができる。
　以上のように、本変形例においては、集団の情動を客観的に推定し、推定結果を進行役等に通知することができることから、当該進行役は、各メンバーが、集中して、冷静、公平、且つ、客観的に取り組むことが求められる審議会等を適切に進行することができる。
　＜＜５．　第３の実施形態＞＞
　上述の実施形態においては、主に各種生体センサによるセンシングデータに基づき対象ユーザの情動を推定し、推定した結果に応じて出力を行ってきたが、本開示の実施形態はこれに限定されるものではない。例えば、本開示の実施形態においては、複数の対象ユーザが含まれる集団の状態（例えば、利用状況等）を推定し、推定した結果に応じて出力を行ってもよい。そこで、次に説明する第３の実施形態においては、複数のユーザの利用状況に関する情報を取得し、取得した情報に基づき、複数のユーザの状態を推定し、推定結果に基づき、ユーザの周囲の設備等に対して制御を行う。すなわち、以下に説明する本実施形態によれば、推定された複数のユーザの状態において生じ得るニーズに対応することができる。
　より具体的には、本実施形態においては、映画館における空調設備６０２（図２８　参照）（端末５０）の制御に適用した場合を説明する。これまで、映画館等においては、観客（ユーザ）の利用状況等に応じて空調設備６０２等が制御できていない場合が多い。そこで、本実施形態においては、上述の情報処理システム１を利用することにより、サーバ３０は、観客の状態を推定し、推定結果に応じて、空調設備６０２の制御を行うことにより、観客に快適な空間を提供することができる。
　なお、本実施形態においては、情報処理システム１、ウェアラブルデバイス１０、サーバ３０、端末５０の構成は、第１の実施形態と共通であり、第１の実施形態のこれら構成の説明を参照し得る。従って、ここでは、情報処理システム１、ウェアラブルデバイス１０、サーバ３０、端末５０の詳細構成の説明を省略する。なお、本実施形態においては、情報処理システム１にウェアラブルデバイス１０が含まれていなくてもよい。
　＜５．１　情報処理方法＞
　本実施形態に係る情報処理方法について、図２７及び図２８を参照して説明する。図２７は、本実施形態に係る情報処理方法の一例を説明するフローチャートである。さらに、図２８は、本実施形態に係る情報処理の一例を説明する説明図であり、詳細には、映画館等の館内６００と、館内の空調を調整する空調設備６０２とを模式的に示す。
　図２７に示すように、本実施形態に係る情報処理方法には、ステップＳ４０１からステップＳ４０５までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法に含まれる各ステップの詳細を説明する。
　（ステップＳ４０１）
　サーバ３０は、センシングデータとして、各ユーザから端末５０を介して入力された予約情報を取得する。具体的には、各ユーザから、座席の事前予約として、鑑賞を所望する映画館、上映映画、座席する等の情報が入力される。
　（ステップＳ４０３）
　サーバ３０は、取得した予約情報から、映画館の混雑度を推定する。
　（ステップＳ４０５）
　サーバ３０は、推定結果に応じて、映画館の館内６００の空調設備６０２を制御する。具体的には、上述のステップＳ４０５において混雑していると推定される場合には、サーバ３０は、空調設備６０２を制御して、館内６００を冷やすようにする。一方、上述のステップＳ４０５において混雑していないと推定される場合には、サーバ３０は、空調設備６０２を制御して、館内６００をあまり冷やさないようにする。
　また、サーバ３０は、上記混雑度を推定する際には、上映日時や上映内容を加味して、観客の男女比等を予想してもよい。より具体的には、上映時間や上映内容に応じて、家族ずれが多い場合や、一人が多い場合等の傾向がある。そこで、サーバ３０は、上映日時等の情報を参照することにより、事前に観客の人数や男女比を予測することができる。そして、男性と女性とは適温が異なるため、予測された男女構成比に応じて、サーバ３０は、空調設備６０２を制御する。また、サーバ３０は、座席予約を利用して、観客の男女構成比を事前に把握してもよい。さらに、サーバ３０は、他の映画館での情報をも参照して、上記推定の精度を上げてもよい。
　さらに、本実施形態においては、事前に取得した予約情報に基づいて、映画館の混雑度を推定するだけでなく、例えば、館内６００に設けられた座席に設置された圧力センサ（図示省略）によって得られたセンシングデータに基づいて、映画館の混雑度を推定してもよい。また、例えば、本実施形態においては、上記館内６００に設けられた撮像装置（図示省略）によって得られたセンシングデータとしての撮像画像を解析することにより、映画館の混雑度を推定してもよい。
　また、本実施形態においては、映画を観賞する観客が、館内６００の気温をどのように感じているかを、例えば、観客が装着するウェアラブルデバイス１０のセンサ部１２０が有する発汗センサ（図示省略）等によって得られたセンシングデータによって推定してもよい。
　以上のように、本実施形態においては、映画館の観客の混雑度を推定し、推定結果に応じて、館内６００の空調設備６０２等を制御することができる。すなわち、本実施形態においては、観客（ユーザ）の状態を推定するだけでなく、推定した状態に応じて観客のニーズを特定し、特定したニーズに対応するように空調設備６０２を制御する。従って、本実施形態によれば、観客は特に何かしらの行動を起こすことなく、当該観客にとって好ましい状況を作り出すことができる。
　また、本実施形態においては、館内６００の空調設備６０２を制御するだけに限定されるものではなく、サーバ３０は、例えば、推定結果に応じて、事前に観客に対して、服装や持ち物を提案する通知をメール等で送信してもよい。より具体的には、本実施形態においては、例えば、男性は暑がりの傾向が高いことから、男性の観客の比率が高い場合には、冷房が強くなるように空調設備６０２を制御する場合がある。そこで、このような場合には、サーバ３０は、寒がりの傾向を持つ可能性の高い女性の観客に向けて、ストールやカーディガン等の温度調節を行うことができる持ち物を持参するように提案するメールを、観客の使用するスマートフォン（端末５０）等に事前に送付する。また、上述の場合には、サーバ３０は、映画館の上映担当者に、館内６００で提供する毛布や温かい飲み物やスナックを多めに準備する等を提案する通知を行ってもよい。
　また、本実施形態においては、映画の上映終了後に、観客に館内６００の空調等に対するアンケートを行って評価を取得し、当該評価を、次回上映における空調設備６０２の制御に反映させてもよい。このようにすることで、より観客に快適な状況を提供することができる。
　また、上述の説明においては、映画館の館内６００での利用の場合を説明したが、本実施形態は、映画館以外でも用いることができ、例えば、博物館、美術館、ホテル、レストラン等、様々な人が集まる公共の場で用いることができる。
　また、本実施形態は、バスやタクシー等の乗り物の空調設備６０２でも用いることができる。この場合、サーバ３０は、センシングデータとして、上記乗り物の位置や時間を取得する。具体的には、オフィス街や学校等の近くであれば、通勤、通学時間にあたる平日の朝夕の時間帯において乗り物の利用率が高くなることが推定される。また、大規模商業施設等のある繁華街においては、休日において乗り物の利用率が高くなることが推定される。そこで、サーバ３０は、上述のような傾向に基づいて、センシングデータとして取得した乗り物の位置や日時における利用率を推定し、推定結果に応じて、乗り物の空調設備６０２を制御する。また、サーバ３０は、上記乗り物内の温度や予想される利用率を取得し、これら乗り物を利用しようとするユーザに社内温度や利用率を提供してもよい。
　さらに上述のような場合、サーバ３０は、センシングデータとして、各ユーザから端末５０を介して入力された、バスやタクシーの予約情報を取得してもよい。この際、サーバ３０は、各ユーザの空調の好み（寒い方が好き、暑い方が好き等）を予約情報共に取得して、取得した情報を乗り物の空調設備６０２の制御に活用してもよい。
　＜５．２　変形例１＞
　上述した第３の実施形態においては、映画館における混雑度を推定していたが、本実施形態はこれに限定されるものではなく、公共施設における施設の利用頻度を推定し、推定結果に応じて、掃除等の回数等を施設管理者に行ってもよい。以下にこのような例を、第３の実施形態に係る変形例１として説明する。
　例えば、公共施設のトイレ等の設備については、その利用頻度に応じて清掃を行うのではなく、定期的に決められた日時に清掃を行うことが一般的である。このようにすることで、設備を常に清潔に維持することができる一方、清掃を行うコスト等を抑えることが難しい。そこで、本実施形態に係る情報処理システム１を利用することで、利用頻度を推定し、推定結果に応じて適切な清掃のタイミング等を施設管理者に対して提案することにより、設備を清潔に維持しつつ、清掃に係るコストを抑えることができる。また、本変形例においては、サーバ３０は、推定結果に応じて、掃除を行う人数や機材や溶剤についての提案を行ってもよい。なお、当該提案は、例えば、施設管路者の使用するＰＣ（端末５０）に、清掃日時や人数等を画面表示させることにより行うことができる。
　詳細には、サーバ３０は、対象ユーザに装着したウェアラブルデバイス１０のセンサ部１２０が有する測位センサ（図示省略）等によって得られたセンシングデータによって、対象ユーザの設備の利用頻度を推定する。具体的には、サーバ３０は、所定の期間において該当する設備に滞在する対象ユーザの数を、上記センシングデータによって把握することにより、利用頻度を推定する。また、設備がトイレである場合には、サーバ３０は、個室ドアに設置された開閉センサ（図示省略）によって得られるセンシングデータから個室のドアの開閉回数を取得し、利用頻度を推定してもよい。同様に、サーバ３０は、水を流す回数や、照明が点灯した回数等により、利用頻度を推定してもよい。そして、サーバ３０は、推定した利用頻度に応じて清掃のタイミング等を施設管理者に対して提案することにより、設備を清潔に維持しつつ、清掃に係るコストを抑えることができる。また、設備がトイレであった場合、ドアの開閉回数が多いにもかかわらず、水を流す回数が極端に少ない場合には、サーバ３０は、トイレを使用しようとしたものの、極端に汚れていることから使用を中止した人が存在すると推定し、至急清掃するように設備管理者に提案を行う。
　以上のように、本変形例によれば、施設の利用頻度を推定し、推定結果に応じて清掃のタイミング等を施設管理者に対して提案することにより、設備を清潔に維持しつつ、清掃に係るコストを抑えることができる。すなわち、本変形例においては、利用者（ユーザ）の状態を推定するだけでなく、推定した状態に応じて利用者のニーズを特定し、特定したニーズに対応するように施設管理者に提案することができる。
　＜５．３　変形例２＞
　また、上述のサーバ３０のよる公共施設の混雑度や利用頻度の推定を利用して、例えば、当該公共施設に設置されたロッカーの利用状況を推定し、公共施設の利用者に通知してもよい。より具体的には、本変形例においては、鉄道駅、空港、劇場、銭湯等に設置されたロッカーの利用状況の推定に適用する。
　通常、上記の公共施設の利用者の数と、ロッカーの利用者の数とは必ずしも一致しないことが多い。そこで、本変形例においては、サーバ３０は、上述の変形例と同様に、公共施設の混雑度を推定し、さらに、ロッカーに設けられた開閉センサ（図示省略）等から現在のロッカーの使用状況を取得する。そして、サーバ３０は、推定した混雑度と取得した使用状況とから、今後のロッカーの使用状況を予測する。さらに、サーバ３０は、上記予測結果に基づき、上記ロッカーをこれから利用しようとする可能性のある上記公共施設の利用者に向けて、利用可能なロッカーの存在や、ロッカーを使用可能な時間帯等を、公共施設に設置された表示装置（端末５０）等（図示省略）に表示する。当該利用者は、上記表示に基づいて、ロッカーの使用を再検討したり、利用しようとする時間をずらしたりすることができる。また、サーバ３０は、予測結果をロッカーの管理者に通知してもよく、この場合、当該管理者に、利用状況に応じたロッカー設置数や、利用状況を調整するためにロッカーの利用料の変更を提案してもよい。
　また、本変形例においては、ロッカーでの利用の場合を説明したが、このような利用に限定されるものではなく、例えば、アミューズメントパークでも用いることができる。この場合、サーバ３０は、利用者（対象ユーザ）に装着したウェアラブルデバイス１０のセンサ部１２０が有する測位センサ（図示省略）等によって得られたセンシングデータによって、利用客の位置や混雑状況を推定することができる。そして、サーバ３０は、特に混雑度が高い位置が検出された場合には、混雑によって利用者の不満が高まる可能性が高いとして、施設管理者に、係員の派遣や、利用者を楽しませるキャストの派遣等を提案する。
　＜＜６．まとめ＞＞
　以上説明したように、本開示の実施形態によれば、対象ユーザの状態を推定するだけでなく、推定された状態において生じ得る当該対象ユーザのニーズに対応することができる情報処理システム１を提供することができる。その結果、本実施形態によれば、当該対象ユーザは特に何かしらの行動を起こすことなく、当該対象ユーザにとって好ましい状況を作り出すことができる。
　＜＜７．　ハードウェア構成について＞＞
　図２９は、本実施形態に係る情報処理装置９００のハードウェア構成の一例を示す説明図である。図２９では、情報処理装置９００は、上述のサーバ３０のハードウェア構成の一例を示している。
　情報処理装置９００は、例えば、ＣＰＵ９５０と、ＲＯＭ９５２と、ＲＡＭ９５４と、記録媒体９５６と、入出力インタフェース９５８と、操作入力デバイス９６０とを有する。さらに、情報処理装置９００は、表示デバイス９６２と、通信インタフェース９６８とを有する。また、情報処理装置９００は、例えば、データの伝送路としてのバス９７０で各構成要素間を接続する。
　（ＣＰＵ９５０）
　ＣＰＵ９５０は、例えば、ＣＰＵ等の演算回路で構成される、１または２以上のプロセッサや、各種処理回路等で構成され、情報処理装置９００全体を制御する制御部として機能する。具体的には、ＣＰＵ９５０は、情報処理装置９００において、例えば、上述の制御部３３０等の機能を果たす。
　（ＲＯＭ９５２及びＲＡＭ９５４）
　ＲＯＭ９５２は、ＣＰＵ９５０が使用するプログラムや演算パラメータ等の制御用データ等を記憶する。ＲＡＭ９５４は、例えば、ＣＰＵ９５０により実行されるプログラム等を一時的に記憶する。
　（記録媒体９５６）
　記録媒体９５６は、上述の記憶部３６０として機能し、例えば、本実施形態に係る情報処理方法に係るデータや、各種アプリケーション等様々なデータを記憶する。ここで、記録媒体９５６としては、例えば、ハードディスク等の磁気記録媒体や、フラッシュメモリ等の不揮発性メモリが挙げられる。また、記録媒体９５６は、情報処理装置９００から着脱可能であってもよい。
　（入出力インタフェース９５８、操作入力デバイス９６０、及び表示デバイス９６２）
　入出力インタフェース９５８は、例えば、操作入力デバイス９６０や、表示デバイス９６２等を接続する。入出力インタフェース９５８としては、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）端子や、ＤＶＩ（Ｄｉｇｉｔａｌ　Ｖｉｓｕａｌ　Ｉｎｔｅｒｆａｃｅ）端子、ＨＤＭＩ（Ｈｉｇｈ-Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）（登録商標）端子、各種処理回路等が挙げられる。
　操作入力デバイス９６０は、例えば上述の入力部３００として機能し、情報処理装置９００の内部で入出力インタフェース９５８と接続される。
　表示デバイス９６２は、例えば上述の出力部３１０として機能し、情報処理装置９００上に備えられ、情報処理装置９００の内部で入出力インタフェース９５８と接続される。表示デバイス９６２としては、例えば、液晶ディスプレイや有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ-Ｌｕｍｉｎｅｓｃｅｎｃｅ　Ｄｉｓｐｌａｙ）等が挙げられる。
　なお、入出力インタフェース９５８が、情報処理装置９００の外部の操作入力デバイス（例えば、キーボードやマウス等）や外部の表示デバイス等の、外部デバイスと接続することも可能であることは、言うまでもない。
　また、入出力インタフェース９５８は、ドライブ（図示省略）と接続されていてもよい。当該ドライブは、磁気ディスク、光ディスク、又は半導体メモリなどのリムーバブル記録媒体のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。当該ドライブは、装着されているリムーバブル記録媒体に記録されている情報を読み出して、ＲＡＭ９５４に出力する。また、当該ドライブは、装着されているリムーバブル記録媒体に記録を書き込むこともできる。
　（通信インタフェース９６８）
　通信インタフェース９６８は、例えば上述のネットワーク７０を介して（あるいは、直接的に）、サーバ３０等の外部装置と、無線または有線で通信を行うための通信部３５０として機能する。ここで、通信インタフェース９６８としては、例えば、通信アンテナ及びＲＦ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポート及び送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポート及び送受信回路（無線通信）、あるいはＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）端子及び送受信回路（有線通信）等が挙げられる。
　以上、情報処理装置９００のハードウェア構成の一例を示した。なお、情報処理装置９００のハードウェア構成は、図２９に示す構成に限られない。詳細には、上記の各構成要素は、汎用的な部材を用いて構成してもよいし、各構成要素の機能に特化したハードウェアにより構成してもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
　また、本実施形態に係る情報処理装置９００は、例えばクラウドコンピューティング等のように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置９００は、例えば、複数の装置により本実施形態に係る情報処理方法に係る処理を行う情報処理システム１として実現することも可能である。
　＜＜８．　補足＞＞
　なお、先に説明した本開示の実施形態は、例えば、コンピュータを本実施形態に係る情報処理装置として機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含みうる。また、プログラムをインターネット等の通信回線（無線通信も含む）を介して頒布してもよい。
　また、上述した各実施形態の処理における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理方法についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能部によって他の方法で処理されていてもよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）センシングデータに基づいて、１人又は複数人の対象ユーザの状態を推定する推定部と、推定結果に対応する出力を行う出力制御部と、を備える、情報処理装置。
（２）前記推定部は、前記対象ユーザに装着された生体センサによるセンシングデータに基づいて、前記対象ユーザの情動を推定する、上記（１）に記載の情報処理装置。
（３）前記推定部は、前記センシングデータが取得された時点より後の前記対象ユーザの情動を推定する、上記（２）に記載の情報処理装置。
（４）過去に取得された前記センシングデータを用いて、前記対象ユーザの情動傾向を学習する学習部をさらに備える、上記（２）又は（３）に記載の情報処理装置。
（５）前記出力の内容に対する前記対象ユーザの評価を取得する評価取得部をさらに備え、前記学習部は、前記評価に基づいて、前記対象ユーザの情動傾向を学習する、上記（４）に記載の情報処理装置。
（６）前記出力制御部は、前記出力として、前記対象ユーザが使用するデバイス又は前記対象ユーザの近傍に設置されたデバイスに対して制御を行う、上記（２）～（５）のいずれか１つに記載の情報処理装置。
（７）前記出力制御部は、前記出力として、前記対象ユーザの属する集団に含まれるユーザが使用するデバイスに対して制御を行う、上記（２）～（５）のいずれか１つに記載の情報処理装置。
（８）前記出力制御部は、前記デバイスに対して、推定結果に応じた推奨行動を表示するように制御する、上記（６）又は（７）に記載の情報処理装置。
（９）前記推定部は、複数の前記対象ユーザからなる集団の情動を推定する、上記（２）に記載の情報処理装置。
（１０）前記出力制御部は、前記出力として、前記集団に含まれるユーザの使用するデバイスに対して、推定結果に応じた推奨行動を表示するように制御する、上記（９）に記載の情報処理装置。
（１１）前記出力制御部は、前記推定結果に基づいて、前記集団に含まれる前記対象ユーザの組み合わせに対する組み合わせ評価を行う、上記（９）又は（１０）に記載の情報処理装置。
（１２）前記集団による成果物に対する成果物評価を取得する評価取得部をさらに備え、前記出力制御部は、前記成果物評価に基づいて、前記組み合わせ評価を行う、上記（１１）に記載の情報処理装置。
（１３）前記出力制御部は、前記組み合わせ評価に基づいて、次回に組み合わせる前記対象ユーザの候補を出力する、上記（１２）に記載の情報処理装置。
（１４）前記センシングデータは、前記対象ユーザの身体の一部に直接的に装着されて心拍又は脈拍を検出する拍動センサによって取得される、上記（２）～（１３）のいずれか１つに記載の情報処理装置。
（１５）前記センシングデータは、前記対象ユーザの身体の一部に直接的に装着されて発汗を検出する発汗センサから取得される、上記（２）～（１３）のいずれか１つに記載の情報処理装置。
（１６）前記センシングデータは、前記対象ユーザの身体の一部に直接的に装着されて血圧、脳波、呼吸、筋電位、皮膚温度のうちの少なくとも１つを検出するセンサから取得される、上記（２）～（１３）のいずれか１つに記載の情報処理装置。
（１７）前記推定部は、複数人の前記対象ユーザから入力されたセンシングデータに基づいて、複数の前記対象ユーザからなる集団の状態を推定する、
　上記（１）に記載の情報処理装置。
（１８）前記出力制御部は、前記出力として、前記集団の周囲に設置されたデバイスに対して制御を行う、上記（１７）に記載の情報処理装置。
（１９）センシングデータに基づいて、１人又は複数人の対象ユーザの状態を推定することと、推定結果に対応する出力を行うことと、を含む、情報処理方法。
（２０）コンピュータに、センシングデータに基づいて、１人又は複数人の対象ユーザの状態を推定する機能と、推定結果に対応する出力を行う機能と、を実行させる、プログラム。
　　１　　情報処理システム
　　１０　　ウェアラブルデバイス
　　１２　　バンド部
　　１４　　制御ユニット
　　３０　　サーバ
　　５０　　端末
　　７０　　ネットワーク
　　１００、３００、５００　　入力部
　　１１０、３１０、５１０　　出力部
　　１２０　　センサ部
　　１２２　　ＰＰＧセンサ部
　　１２４　　モーションセンサ部
　　１３０、３３０、５３０　　制御部
　　１５０、３５０、５５０　　通信部
　　１６０、３６０、５６０　　記憶部
　　２００　　測定部位
　　２０２　　血管
　　３３２　　センシングデータ取得部
　　３３４　　処理部
　　３３６　　出力制御部
　　３３８　　評価取得部
　　３４０　　推定部
　　３４２　　学習部
　　３６２　　ＤＢ
　　６００　　館内
　　６０２　　空調設備
　　７００　　表示灯
　　８００、８０２、８０４、８０６　　画面
　　８５０　　マーカ
　　８６０　　コメント
　　９００　　情報処理装置
　　９５０　　ＣＰＵ
　　９５２　　ＲＯＭ
　　９５４　　ＲＡＭ
　　９５６　　記録媒体
　　９５８　　入出力インタフェース
　　９６０　　操作入力デバイス
　　９６２　　表示デバイス
　　９６８　　通信インタフェース
　　９７０　　バス

Claims (20)

  1. 　センシングデータに基づいて、１人又は複数人の対象ユーザの状態を推定する推定部と、
    　推定結果に対応する出力を行う出力制御部と、
    　を備える、情報処理装置。
  2. 　前記推定部は、前記対象ユーザに装着された生体センサによるセンシングデータに基づいて、前記対象ユーザの情動を推定する、
    　請求項１に記載の情報処理装置。
  3. 　前記推定部は、前記センシングデータが取得された時点より後の前記対象ユーザの情動を推定する、請求項２に記載の情報処理装置。
  4. 　過去に取得された前記センシングデータを用いて、前記対象ユーザの情動傾向を学習する学習部をさらに備える、請求項２に記載の情報処理装置。
  5. 　前記出力の内容に対する前記対象ユーザの評価を取得する評価取得部をさらに備え、
    　前記学習部は、前記評価に基づいて、前記対象ユーザの情動傾向を学習する、
    　請求項４に記載の情報処理装置。
  6. 　前記出力制御部は、前記出力として、前記対象ユーザが使用するデバイス又は前記対象ユーザの近傍に設置されたデバイスに対して制御を行う、請求項２に記載の情報処理装置。
  7. 　前記出力制御部は、前記出力として、前記対象ユーザの属する集団に含まれるユーザが使用するデバイスに対して制御を行う、請求項２に記載の情報処理装置。
  8. 　前記出力制御部は、前記デバイスに対して、推定結果に応じた推奨行動を表示するように制御する、請求項６に記載の情報処理装置。
  9. 　前記推定部は、複数の前記対象ユーザからなる集団の情動を推定する、請求項２に記載の情報処理装置。
  10. 　前記出力制御部は、前記出力として、前記集団に含まれるユーザの使用するデバイスに対して、推定結果に応じた推奨行動を表示するように制御する、請求項９に記載の情報処理装置。
  11. 　前記出力制御部は、前記推定結果に基づいて、前記集団に含まれる前記対象ユーザの組み合わせに対する組み合わせ評価を行う、請求項９に記載の情報処理装置。
  12. 　前記集団による成果物に対する成果物評価を取得する評価取得部をさらに備え、
    　前記出力制御部は、前記成果物評価に基づいて、前記組み合わせ評価を行う、請求項１１に記載の情報処理装置。
  13. 　前記出力制御部は、前記組み合わせ評価に基づいて、次回に組み合わせる前記対象ユーザの候補を出力する、請求項１２に記載の情報処理装置。
  14. 　前記センシングデータは、前記対象ユーザの身体の一部に直接的に装着されて心拍又は脈拍を検出する拍動センサによって取得される、請求項２に記載の情報処理装置。
  15. 　前記センシングデータは、前記対象ユーザの身体の一部に直接的に装着されて発汗を検出する発汗センサから取得される、請求項２に記載の情報処理装置。
  16. 　前記センシングデータは、前記対象ユーザの身体の一部に直接的に装着されて血圧、脳波、呼吸、筋電位、皮膚温度のうちの少なくとも１つを検出するセンサから取得される、請求項２に記載の情報処理装置。
  17. 　前記推定部は、複数人の前記対象ユーザから入力されたセンシングデータに基づいて、複数の前記対象ユーザからなる集団の状態を推定する、
    　請求項１に記載の情報処理装置。
  18. 　前記出力制御部は、前記出力として、前記集団の周囲に設置されたデバイスに対して制御を行う、請求項１７に記載の情報処理装置。
  19. 　センシングデータに基づいて、１人又は複数人の対象ユーザの状態を推定することと、
    　推定結果に対応する出力を行うことと、
    を含む、情報処理方法。
  20. 　コンピュータに、
    　センシングデータに基づいて、１人又は複数人の対象ユーザの状態を推定する機能と、
    　推定結果に対応する出力を行う機能と、
    　を実行させる、プログラム。
PCT/JP2018/022165 2017-07-28 2018-06-11 情報処理装置、情報処理方法及びプログラム WO2019021653A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019532424A JPWO2019021653A1 (ja) 2017-07-28 2018-06-11 情報処理装置、情報処理方法及びプログラム
EP18838660.1A EP3660702A4 (en) 2017-07-28 2018-06-11 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
US16/632,715 US20210161482A1 (en) 2017-07-28 2018-06-11 Information processing device, information processing method, and computer program
CN201880048040.XA CN110945541A (zh) 2017-07-28 2018-06-11 信息处理装置、信息处理方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017146012 2017-07-28
JP2017-146012 2017-07-28

Publications (1)

Publication Number Publication Date
WO2019021653A1 true WO2019021653A1 (ja) 2019-01-31

Family

ID=65040543

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/022165 WO2019021653A1 (ja) 2017-07-28 2018-06-11 情報処理装置、情報処理方法及びプログラム

Country Status (5)

Country Link
US (1) US20210161482A1 (ja)
EP (1) EP3660702A4 (ja)
JP (1) JPWO2019021653A1 (ja)
CN (1) CN110945541A (ja)
WO (1) WO2019021653A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020194267A (ja) * 2019-05-27 2020-12-03 ヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム
WO2020261613A1 (ja) * 2019-06-25 2020-12-30 株式会社疲労科学研究所 情報処理装置、情報処理方法及びプログラム
JP2021026594A (ja) * 2019-08-07 2021-02-22 パナソニックＩｐマネジメント株式会社 入場者ガイド方法および入場者ガイドシステム
WO2022124014A1 (ja) * 2020-12-07 2022-06-16 ソニーグループ株式会社 情報処理装置、データの生成方法、グループ化モデルの生成方法、グループ化モデルの学習方法、情動推定モデルの生成方法及びグループ化用ユーザ情報の生成方法
US20220344041A1 (en) * 2019-09-13 2022-10-27 Sony Group Corporation Information processing device, information processing method, and program
WO2023248814A1 (ja) * 2022-06-23 2023-12-28 ソニーグループ株式会社 情報処理装置
WO2024003993A1 (ja) * 2022-06-27 2024-01-04 日本電信電話株式会社 内観予測装置、内観予測方法および内観予測プログラム
JP7435821B2 (ja) 2020-11-12 2024-02-21 日本電信電話株式会社 学習装置、心理状態系列予測装置、学習方法、心理状態系列予測方法、及びプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11250356B2 (en) * 2019-03-27 2022-02-15 Panasonic Intellectual Property Management Co., Ltd. Method and system for apportioning tasks to persons in environment
JP2021101846A (ja) * 2019-12-25 2021-07-15 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
CN115054248B (zh) * 2021-12-10 2023-10-20 荣耀终端有限公司 情绪监测方法和情绪监测装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005198086A (ja) * 2004-01-08 2005-07-21 Nippon Telegr & Teleph Corp <Ntt> 会議状態検出方法、装置、および会議状態検出プログラム
JP2012063885A (ja) * 2010-09-14 2012-03-29 Canon Electronics Inc 情報分析装置、情報分析方法、情報分析システムおよびプログラム
JP2014134922A (ja) 2013-01-09 2014-07-24 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2015505702A (ja) * 2011-12-16 2015-02-26 コーニンクレッカ フィリップス エヌ ヴェ ユーザの行動及び関連する感情状態の履歴記録
JP2016091490A (ja) * 2014-11-11 2016-05-23 パナソニックＩｐマネジメント株式会社 会議システムおよび会議システム用プログラム
JP2016126623A (ja) * 2015-01-06 2016-07-11 株式会社Ｎｔｔドコモ 行動支援装置、行動支援システム、行動支援方法及びプログラム
US20160220163A1 (en) * 2015-01-30 2016-08-04 Panasonic Corporation Stimulus presenting system, stimulus presenting method, computer, and control method
JP2016137203A (ja) * 2015-01-29 2016-08-04 マツダ株式会社 車両用乗員感情対応制御装置
JP2017021454A (ja) * 2015-07-07 2017-01-26 富士通株式会社 スケジューリング方法、情報処理装置およびスケジューリングプログラム
JP2017050803A (ja) * 2015-09-04 2017-03-09 株式会社東芝 電子機器及び方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013537435A (ja) * 2010-06-07 2013-10-03 アフェクティヴァ，インコーポレイテッド ウェブサービスを用いた心理状態分析
US20150339363A1 (en) * 2012-06-01 2015-11-26 Next Integrative Mind Life Sciences Holding Inc. Method, system and interface to facilitate change of an emotional state of a user and concurrent users
US20150338917A1 (en) * 2012-12-26 2015-11-26 Sia Technology Ltd. Device, system, and method of controlling electronic devices via thought
KR102354943B1 (ko) * 2015-05-20 2022-01-25 삼성전자주식회사 전자 장치가 외부 기기를 제어하는 방법 및 상기 전자 장치

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005198086A (ja) * 2004-01-08 2005-07-21 Nippon Telegr & Teleph Corp <Ntt> 会議状態検出方法、装置、および会議状態検出プログラム
JP2012063885A (ja) * 2010-09-14 2012-03-29 Canon Electronics Inc 情報分析装置、情報分析方法、情報分析システムおよびプログラム
JP2015505702A (ja) * 2011-12-16 2015-02-26 コーニンクレッカ フィリップス エヌ ヴェ ユーザの行動及び関連する感情状態の履歴記録
JP2014134922A (ja) 2013-01-09 2014-07-24 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2016091490A (ja) * 2014-11-11 2016-05-23 パナソニックＩｐマネジメント株式会社 会議システムおよび会議システム用プログラム
JP2016126623A (ja) * 2015-01-06 2016-07-11 株式会社Ｎｔｔドコモ 行動支援装置、行動支援システム、行動支援方法及びプログラム
JP2016137203A (ja) * 2015-01-29 2016-08-04 マツダ株式会社 車両用乗員感情対応制御装置
US20160220163A1 (en) * 2015-01-30 2016-08-04 Panasonic Corporation Stimulus presenting system, stimulus presenting method, computer, and control method
CN105844072A (zh) * 2015-01-30 2016-08-10 松下电器产业株式会社 刺激提示系统、刺激提示方法、计算机以及控制方法
JP2016146173A (ja) * 2015-01-30 2016-08-12 パナソニック株式会社 刺激提示システム、刺激提示方法、コンピュータ、および制御方法
JP2017021454A (ja) * 2015-07-07 2017-01-26 富士通株式会社 スケジューリング方法、情報処理装置およびスケジューリングプログラム
JP2017050803A (ja) * 2015-09-04 2017-03-09 株式会社東芝 電子機器及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3660702A4

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020194267A (ja) * 2019-05-27 2020-12-03 ヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム
WO2020261613A1 (ja) * 2019-06-25 2020-12-30 株式会社疲労科学研究所 情報処理装置、情報処理方法及びプログラム
JP2021026594A (ja) * 2019-08-07 2021-02-22 パナソニックＩｐマネジメント株式会社 入場者ガイド方法および入場者ガイドシステム
US20220344041A1 (en) * 2019-09-13 2022-10-27 Sony Group Corporation Information processing device, information processing method, and program
JP7435821B2 (ja) 2020-11-12 2024-02-21 日本電信電話株式会社 学習装置、心理状態系列予測装置、学習方法、心理状態系列予測方法、及びプログラム
WO2022124014A1 (ja) * 2020-12-07 2022-06-16 ソニーグループ株式会社 情報処理装置、データの生成方法、グループ化モデルの生成方法、グループ化モデルの学習方法、情動推定モデルの生成方法及びグループ化用ユーザ情報の生成方法
WO2023248814A1 (ja) * 2022-06-23 2023-12-28 ソニーグループ株式会社 情報処理装置
WO2024003993A1 (ja) * 2022-06-27 2024-01-04 日本電信電話株式会社 内観予測装置、内観予測方法および内観予測プログラム

Also Published As

Publication number Publication date
EP3660702A1 (en) 2020-06-03
CN110945541A (zh) 2020-03-31
JPWO2019021653A1 (ja) 2020-05-28
EP3660702A4 (en) 2020-06-03
US20210161482A1 (en) 2021-06-03

Similar Documents

Publication Publication Date Title
WO2019021653A1 (ja) 情報処理装置、情報処理方法及びプログラム
US11839473B2 (en) Systems and methods for estimating and predicting emotional states and affects and providing real time feedback
US11937943B2 (en) Detection of physical abuse or neglect using data from ear-wearable devices
US10901509B2 (en) Wearable computing apparatus and method
US11045102B2 (en) Low noise sensing circuit with cascaded reference
JP6268193B2 (ja) 脈波測定装置、携帯機器、医療機器システム、及び生体情報コミュニケーションシステム
US20170042439A1 (en) System, device and methods for brainwave-based technologies
US11986300B2 (en) Systems and methods for estimating and predicting emotional states and affects and providing real time feedback
US20210118323A1 (en) Method and apparatus for interactive monitoring of emotion during teletherapy
JP2011138530A (ja) 情報表示システム
CN109313729A (zh) 传感器隐私设置控制
US20160293043A1 (en) Device, system and method for providing feedback to a user relating to a behavior of the user
US11051707B2 (en) Low noise subsurface spectrogram with cascaded reference circuit
Bekele et al. Responses during facial emotional expression recognition tasks using virtual reality and static IAPS pictures for adults with schizophrenia
Garzotto et al. Exploiting the integration of wearable virtual reality and bio-sensors for persons with neurodevelopmental disorders
Taj-Eldin et al. A review of wearable tracking and emotional monitoring solutions for individuals with autism and intellectual disability
Drijfhout Improving eSports performance: conducting stress measurements during Fifa gameplay
WO2023167061A1 (ja) 情報処理方法、情報処理装置及び情報処理システム
HUYNH Multimodal mobile sensing systems for physiological and psychological assessment
Lahiri Virtual-reality based gaze-sensitive adaptive response technology for children with autism spectrum disorder

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18838660

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019532424

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018838660

Country of ref document: EP