WO2023199839A1 - 内面状態推定装置、内面状態推定方法及び記憶媒体 - Google Patents

内面状態推定装置、内面状態推定方法及び記憶媒体 Download PDF

Info

Publication number
WO2023199839A1
WO2023199839A1 PCT/JP2023/014240 JP2023014240W WO2023199839A1 WO 2023199839 A1 WO2023199839 A1 WO 2023199839A1 JP 2023014240 W JP2023014240 W JP 2023014240W WO 2023199839 A1 WO2023199839 A1 WO 2023199839A1
Authority
WO
WIPO (PCT)
Prior art keywords
state
estimation
observation data
data
subject
Prior art date
Application number
PCT/JP2023/014240
Other languages
English (en)
French (fr)
Inventor
旭美 梅松
剛範 辻川
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Publication of WO2023199839A1 publication Critical patent/WO2023199839A1/ja

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Definitions

  • the present disclosure relates to the technical field of an internal state estimation device, an internal state estimation method, and a storage medium that perform processing related to estimation of an internal state.
  • Patent Document 1 discloses a system that can determine the concentration level of a person in an image from image data by learning the relationship between user image data and the user's concentration level. .
  • the subjective values used as correct data include bias. It is difficult to prepare a large amount of correct answer data for such subjective values, and there is a problem that sufficient learning cannot be performed with a small amount of data, and desired estimation accuracy cannot be obtained.
  • one of the objects of the present disclosure is to provide an inner state estimation device, an inner state estimation method, and a storage medium that can accurately estimate an inner state.
  • One aspect of the internal state estimation device is observation data acquisition means for acquiring observation data obtained by observing a subject; a first internal state acquisition means for acquiring an estimation result of the first internal state of the subject; a second internal state estimating means for estimating a second internal state of the subject, which is an internal state that has a correlation with the first internal state, based on the observed data and the estimation result;
  • An internal state estimation device comprising:
  • the computer is Obtain observation data of the target person, obtaining an estimation result of a first inner state of the subject; estimating a second internal state of the subject, which is an internal state that has a correlation with the first internal state, based on the observation data and the estimation result; This is an internal state estimation method.
  • the "computer” includes any electronic device (which may be a processor included in the electronic device), and may be composed of a plurality of electronic devices.
  • One aspect of the storage medium is Obtain observation data of the target person, obtaining an estimation result of a first inner state of the subject;
  • a storage medium storing a program that causes a computer to execute a process of estimating a second inner state of the subject, which is an inner state having a correlation with the first inner state, based on the observation data and the estimation result. It is.
  • the internal state of the subject can be estimated with high accuracy.
  • FIG. 1 shows a schematic configuration of an inner surface state estimation system according to a first embodiment.
  • the hardware configuration of the information processing device is shown.
  • a distribution diagram of the second inner state centered on the first inner state of sleepiness when the first inner state is sleepiness and the second inner state is concentration.
  • B shows a distribution diagram of the second inner state based on the tension of the first inner state when the first inner state is tension and the second inner state is pleasure or displeasure.
  • FIG. 3 is an example of a flowchart illustrating a processing procedure regarding estimation of an inner surface state of the inner surface state estimation device according to the first embodiment.
  • 7 is an example of detailed functional blocks of the second learning section according to Modification 1.
  • FIG. 7 is an example of a detailed functional block of the second inner surface state estimation unit according to Modification 1.
  • FIG. 3 shows a schematic configuration of an inner surface state estimation system according to a second embodiment. It is a block diagram of an inner surface state estimating device in a 3rd embodiment. It is an example of the flowchart which an inner surface state estimation apparatus performs in 3rd Embodiment.
  • FIG. 1 shows a schematic configuration of an inner surface state estimation system 100 according to the first embodiment.
  • the internal state estimation system 100 highly accurately estimates the internal state of a subject, such as concentration level, which cannot be accurately determined by others just by looking at the subject, and presents the estimation results.
  • the "target person” may be a person whose internal state is managed by an organization, or may be an individual user.
  • the inner surface state estimation system 100 mainly includes an inner surface state estimation device 1 , an input device 2 , an output device 3 , a storage device 4 , and a sensor 5 .
  • the internal state estimation device 1 performs data communication with the input device 2, the output device 3, and the sensor 5 via a communication network or by direct wireless or wired communication. Based on the input signal “S1” supplied from the input device 2, the sensor (detection) signal “S3” supplied from the sensor 5, and the information stored in the storage device 4, the inner surface state estimation device 1 Estimate the subject's internal state. At this time, the inner state estimating device 1 estimates the second inner state with high accuracy based on the estimation result of the inner state in which the manifestation of the physiological phenomenon of the subject is observed (also referred to as the "first inner state"). presume.
  • “Second inner state” is an inner state in which the expression of the subject's physiological phenomena is observed and the state in which the expression of the subject's physiological phenomena is not observed, and it is a state in which the expression of the subject's physiological phenomena is not observed. It is an internal state that cannot be determined or is difficult to determine (in other words, it can only be determined by an expert). Specific examples of the first inner surface state and the second inner surface state will be described later.
  • the inner state estimating device 1 generates an output signal “S2” regarding the estimation result of the second inner state of the subject, and supplies the generated output signal S2 to the output device 3.
  • the inner state estimating device 1 may also perform processing related to learning of an inner state estimation model, which will be described later.
  • the input device 2 is a user interface that accepts manual input (external input) of information regarding each target person.
  • the user who inputs information using the input device 2 may be the subject himself or herself, or may be a person who manages or supervises the subject's activities.
  • the input device 2 may be, for example, various user input interfaces such as a touch panel, buttons, keyboard, mouse, and voice input device.
  • the input device 2 supplies the generated input signal S1 to the inner surface state estimation device 1.
  • the output device 3 displays predetermined information or outputs sound based on the output signal S2 supplied from the inner surface state estimation device 1.
  • the output device 3 is, for example, a display, a projector, a speaker, or the like.
  • the sensor 5 measures the biological signals and the like of the subject and supplies the measured biological signals and the like to the internal state estimation device 1 as the sensor signal S3.
  • the sensor signal S3 may be any biological information such as the subject's heartbeat, brain waves, pulse waves, perspiration amount (electrodermal activity), hormone secretion amount, cerebral blood flow, blood pressure, body temperature, electromyography, respiratory rate, acceleration, etc. It may also be a signal (including vital information).
  • the sensor 5 may be a device that analyzes blood collected from a subject and outputs a sensor signal S3 indicating the analysis result.
  • the senor 5 may be a wearable terminal worn by the subject, a camera that photographs the subject, a microphone that generates an audio signal of the subject's utterances, or a personal computer operated by the subject. It may be a terminal such as a computer or a smartphone.
  • the above-mentioned wearable terminal includes, for example, a GNSS (Global Navigation Satellite System) receiver, an acceleration sensor, and other sensors that detect biological signals, and outputs the output signals of each of these sensors as a sensor signal S3.
  • the sensor 5 may supply information corresponding to the amount of operation of a personal computer, a smartphone, etc. to the inner surface state estimation device 1 as a sensor signal S3. Further, the sensor 5 may output a sensor signal S3 representing biological data (including sleeping time) from the subject while the subject is sleeping.
  • GNSS Global Navigation Satellite System
  • the storage device 4 is a memory that stores various information necessary for the processing executed by the internal state estimation device 1.
  • the storage device 4 may be an external storage device such as a hard disk connected to or built in the internal state estimation device 1, or may be a storage medium such as a flash memory.
  • the storage device 4 may be a server device that performs data communication with the internal state estimation device 1.
  • the storage device 4 may be composed of a plurality of devices.
  • the storage device 4 includes a first estimated model information storage section 41 and a second estimated model information storage section 42.
  • the first estimated model information storage unit 41 stores information regarding the first estimated model, which is a model for estimating the first inner state.
  • the first estimation model generates a first inner state that represents the estimation result of the first inner state of the subject when data (for example, a feature vector) expressed in a predetermined tensor format that expresses the observation result of the subject is input.
  • This is a model that outputs state estimates.
  • This model is, for example, a model based on arbitrary machine learning such as a neural network or a support vector machine (including a statistical model, the same applies hereinafter), and the parameters necessary for the model are stored in the first estimated model information storage unit 41. remembered.
  • the first estimated model information storage unit 41 stores the layer structure, the neuron structure of each layer, the number of filters and filter size in each layer, Information on various parameters such as the weight of each element of each filter is stored.
  • the first inner state estimated value does not need to be a scalar value, and may be a vector value including a plurality of values.
  • the second estimated model information storage unit 42 stores information regarding the second estimated model, which is a model for estimating the second internal state.
  • the second estimation model generates a second inner state that represents the estimation result of the second inner state of the subject when data (for example, a feature vector) expressed in a predetermined tensor format representing the observation result of the subject is input.
  • This is a model that outputs state estimates.
  • This model is, for example, a model based on arbitrary machine learning such as a neural network or a support vector machine, and parameters necessary for the model are stored in the second estimated model information storage section 42.
  • the data input to the second estimation model includes the first inner state estimated value output by the first estimation model.
  • the second inner state estimated value does not need to be a scalar value, and may be a vector value including a plurality of values.
  • the data input to the first estimation model and the second estimation model is not limited to data based on the observation results of the subject at a certain time, but also data based on the observation results of the subject over a predetermined period.
  • the data may be based on
  • training data necessary for learning the first estimation model and/or the second estimation model is further stored in the storage device. It is stored in 4. This training data will be described later.
  • the configuration of the inner surface state estimation system 100 shown in FIG. 1 is an example, and various changes may be made to the configuration.
  • the input device 2 and the output device 3 may be configured as one unit.
  • the input device 2 and the output device 3 may be configured as a tablet terminal that is integrated with or separate from the inner surface state estimation device 1.
  • the input device 2 and the sensor 5 may be configured as one unit.
  • the inner surface state estimation device 1 may be composed of a plurality of devices. In this case, the plurality of devices constituting the internal state estimation device 1 exchange information necessary for executing pre-assigned processing between these plurality of devices. In this case, the internal state estimation device 1 functions as a system.
  • FIG. 2 shows the hardware configuration of the inner surface state estimation device 1.
  • the internal state estimation device 1 includes a processor 11, a memory 12, and an interface 13 as hardware.
  • Processor 11, memory 12, and interface 13 are connected via data bus 10.
  • the processor 11 functions as a controller (arithmetic device) that controls the entire internal state estimation device 1 by executing a program stored in the memory 12.
  • the processor 11 is, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or a TPU (Tensor Processing Unit).
  • Processor 11 may be composed of multiple processors.
  • Processor 11 is an example of a computer.
  • the memory 12 is comprised of various types of volatile memory and nonvolatile memory, such as RAM (Random Access Memory), ROM (Read Only Memory), and flash memory. Further, the memory 12 stores a program for executing the processing executed by the internal state estimation device 1. Note that part of the information stored in the memory 12 may be stored in one or more external storage devices that can communicate with the inner surface state estimation device 1, and may be stored in a storage medium that is detachable from the inner surface state estimation device 1. May be stored.
  • RAM Random Access Memory
  • ROM Read Only Memory
  • flash memory stores a program for executing the processing executed by the internal state estimation device 1. Note that part of the information stored in the memory 12 may be stored in one or more external storage devices that can communicate with the inner surface state estimation device 1, and may be stored in a storage medium that is detachable from the inner surface state estimation device 1. May be stored.
  • the interface 13 is an interface for electrically connecting the inner surface state estimation device 1 and other devices.
  • These interfaces may be wireless interfaces such as network adapters for wirelessly transmitting and receiving data to and from other devices, or may be hardware interfaces for connecting to other devices via cables or the like.
  • the hardware configuration of the inner surface state estimation device 1 is not limited to the configuration shown in FIG. 2.
  • the inner surface state estimation device 1 may include at least one of the input device 2 and the output device 3.
  • the inner surface state estimating device 1 may be connected to or built in a sound output device such as a speaker.
  • the first inner surface state and the second inner surface state have a correlation.
  • the first inner state is the expressed inner state that can be seen by others
  • the second inner state is the expressed inner state that can be seen and seen by others, and the inner state that can only be understood subjectively by the person. This is a state of confusion between the two states.
  • FIGS. 3(A) and 3(B) are diagrams conceptually showing the relationship between the first inner surface state and the second inner surface state.
  • Figure 3 (A) shows the distribution of the second internal state with the first internal state of “drowsiness” as the axis when the first internal state is “drowsiness” and the second internal state is “concentration level”. Show the diagram.
  • FIG. 3(B) shows that when the first inner state is "tension” and the second inner state is "pleasure and displeasure", the second inner state is centered around the "tension” of the first inner state.
  • a distribution diagram of the internal state is shown.
  • the state of being concentrated occurs with less sleepiness, while the state of not concentrating (i.e., the state of low concentration) is caused by the drowsiness of the first internal state. It is widely distributed along the axis. As a result, in a state of little sleepiness, states of concentration and states of not concentrating coexist.
  • the state of discomfort occurs in a state of tension (that is, the state of high tension), while the state of pleasure occurs in the state of tension in the first inner state. It is widely distributed along the axis. As a result, in a state of high tension, a state of pleasure and a state of discomfort coexist.
  • the first inner surface state and the second inner surface state have a correlation
  • the second inner surface state includes all or a part of the first inner surface state.
  • the first inner state when the degree of concentration is estimated as the second inner state will be described.
  • the first inner state may be "drowsiness".
  • the first estimation model is a model that estimates drowsiness, and outputs a NEDO index (drowsiness label) as the first inner state estimated value.
  • the first internal state may be "emotion.”
  • the first estimation model is a model that estimates emotions of happiness, anger, sadness, and happiness, and outputs an index value indicating happiness, anger, sadness, and happiness as the first inner state estimated value.
  • the first internal state may be a combination of "arousal” and “pleasure and displeasure.”
  • the first estimation model outputs, for example, an index value based on Russell's circular model as the first inner state estimation value.
  • first inner state when the first inner state is “tension”, the second inner state is “pleasure and displeasure”.
  • first internal state is “sleepiness”
  • second internal state when the first internal state is "sleepiness”, the second internal state is one of "alertness level”, “tension level”, “health level”, “activity level”, and “anxiety level”. It is.
  • first inner state when the first inner state is “emotion”, the second inner state is "level of health", “activity”, or “mood”.
  • the first internal state when the first internal state is "pleasure and displeasure", the second internal state is either “mood” or "emotion”.
  • FIG. 4 is an example of functional blocks of the inner surface state estimation device 1.
  • the processor 11 of the inner surface state estimation device 1 functionally includes an observation data acquisition section 15, a first inner surface state estimation section 16, a second inner surface state estimation section 17, and an output control section 18. Note that although blocks in which data is exchanged are connected by solid lines in FIG. 4, the combinations of blocks in which data is exchanged are not limited to those shown in FIG. The same applies to other functional block diagrams to be described later.
  • the observation data acquisition unit 15 receives a sensor signal S3 from the sensor 5 via the interface 13, which is obtained by observing the subject at a time point or a period targeted for estimation of the inner state of the subject, and performs observation based on the received sensor signal S3. Get data.
  • the above-mentioned estimation target time point or estimation target period may be the latest time point or period at each predetermined time interval, or may be a prespecified time point or period.
  • the observation data may be the sensor signal S3 itself, or may be data obtained by performing predetermined signal processing on the sensor signal S3. Then, the observation data acquisition unit 15 extracts data used for estimating the first inner state (also referred to as “first observation data”) from the observation data, and supplies the first observation data to the first inner state estimation unit 16. do.
  • observation data acquisition unit 15 extracts data used for estimating the second internal state (also referred to as “second observation data”) from the observation data, and supplies the second observation data to the second internal state estimation unit 17. do.
  • the observation data acquisition unit 15 may generate observation data using the input signal S1 supplied from the input device 2 in addition to the sensor signal S3 supplied from the sensor 5.
  • the first observation data is data used to estimate the first inner state, and is, for example, physiological information representing an index value related to an observed physiological phenomenon of the subject, such as heartbeat or sweating.
  • the first observation data is various data obtained from a sensor that is not in contact with the subject (non-contact sensor data).
  • the first observation data is face data that is information about the subject's face (for example, video data showing the subject's face or index values such as facial expressions and eyelid opening degree calculated from the data).
  • the information may be audio data (including an index value calculated from the audio signal) representing the audio uttered by the subject.
  • the first observation data may be motion data regarding the movement of the subject.
  • the second observation data is data used to estimate the second inner state, and is, for example, physiological information regarding the subject, non-contact sensor data such as face data and voice data, motion data, or a combination thereof.
  • the second observation data may be any type of observation data used to estimate the second inner state to be estimated. Note that when the second observation data is a predetermined index value, the observation data acquisition unit 15 generates the second observation data from the sensor signal S3 based on a program stored in the memory 12 or the storage device 4. Perform processing.
  • first observation data and the second observation data may be partially overlapping data, or may be different data.
  • first observation data is the eyelid opening degree and blink information based on the subject's facial image
  • second The observation data includes eyelid opening degree, blink information, facial expression information, and gaze information based on the subject's facial image.
  • the first inner state estimation unit 16 estimates the first inner state of the subject based on the first observation data supplied from the observation data acquisition unit 15, and the first inner state estimation unit 16 estimates the first inner state of the subject based on the first observation data supplied from the observation data acquisition unit 15.
  • the estimated inner surface state value is supplied to the second inner surface state estimator 17.
  • the first inner state estimation unit 16 adds the first observation data or a feature quantity (a feature quantity vector) based on the first observation data to the first estimation model configured with reference to the first estimation model information storage unit 41. (the same applies hereinafter) is input, and the first estimated inner state value outputted by the first estimation model in accordance with the input is obtained.
  • the output control unit 18 outputs information regarding the estimation result of the subject's internal state. For example, the output control unit 18 displays the estimation result of the subject's internal state (more specifically, the second internal state) by the second internal state estimating unit 17 on the display unit of the output device 3, or The sound output section outputs audio. In this case, the output control unit 18 may output the estimation result of the first inner surface state as well as the estimation result of the second inner surface state.
  • the output control unit 18 may, for example, compare the estimation result of the inner state with a reference value for determining the presence or absence of an abnormality in the inner state, and send a predetermined notification to the subject or his/her manager based on the comparison result. It's okay.
  • the output control unit 18 may output predetermined warning information or information regarding advice when the estimation result of the inner state is a numerical value less preferable than the reference value.
  • FIG. 5 is an example of a detailed functional block diagram of the first inner surface state estimation section 16 and the second inner surface state estimation section 17.
  • the first inner surface state estimation section 16 functionally includes a first observation data acquisition section 61, a first feature quantity generation section 62, and a first estimation model application section 63.
  • the second inner surface state estimation section 17 functionally includes a second observation data acquisition section 71, a second feature quantity generation section 72, and a second estimation model application section 73.
  • the first observation data acquisition unit 61 acquires first observation data from the observation data acquisition unit 15 and supplies the acquired first observation data to the first feature value generation unit 62.
  • the first feature amount generation unit 62 generates a first feature amount that is a feature amount input to the first estimation model.
  • the first feature amount generation unit 62 generates the feature amount of the first observation data acquired by the first observation data acquisition unit 61 as the first feature amount.
  • the first feature amount is data in a predetermined tensor format, which is the input format of the first estimation model used by the first estimation model application unit 63.
  • the feature extraction process executed by the first feature generation unit 62 may be a process based on any feature extraction technique.
  • the feature extraction process executed by the first feature generation unit 62 may be a process of calculating statistics such as the average and variance of index values included in the first observation data, based on deep learning or the like.
  • the process may also be a process of inputting the first observed data to a learned feature extraction model to obtain the feature output from the model.
  • the first estimated model application unit 63 inputs the first feature quantity supplied from the first feature quantity generation unit 62 to the first estimated model configured with reference to the first estimated model information storage unit 41, and A first inner state estimated value output by the first estimation model in accordance with is obtained. Then, the first estimation model application unit 63 supplies the acquired first inner surface state estimation value to the second feature amount generation unit 72.
  • the second observation data acquisition unit 71 acquires second observation data from the observation data acquisition unit 15 and supplies the acquired second observation data to the second feature generation unit 72.
  • the second feature amount generation unit 72 generates a second feature amount that is a feature amount input to the second estimation model.
  • the second feature generation unit 72 generates a feature of the second observation data acquired by the second observation data acquisition unit 71.
  • the second feature quantity generation unit 72 generates a feature quantity obtained by adding the first inner surface state estimated value supplied from the first estimation model application unit 63 to the generated feature quantity, as a second feature quantity.
  • the second feature amount is data in a predetermined tensor format that matches the input format of the second estimation model used by the second estimation model application unit 73.
  • the feature extraction process that the second feature generation unit 72 performs on the second observation data may be a process based on any feature extraction technique.
  • the second estimated model application unit 73 inputs the second feature amount supplied from the second feature amount generation unit 72 to the second estimated model configured with reference to the second estimated model information storage unit 42, and A second inner state estimated value output by the second estimation model in accordance with the second estimation model is obtained. Then, the second estimation model application unit 73 supplies the acquired second inner surface state estimated value to the output control unit 18.
  • the inner state estimating device 1 estimates the second inner state of the subject with high accuracy based on the observation data of the subject and the estimation result of the first inner state. becomes possible.
  • the internal state estimating device 1 then outputs the estimation results of the second internal state, such as concentration level, estimated simply and with high precision in this way, thereby providing the subject with self-management aimed at improving productivity, etc. This can be appropriately encouraged.
  • each component of the observation data acquisition part 15, the 1st inner surface state estimation part 16, the 2nd inner surface state estimation part 17, and the output control part 18 which were demonstrated in FIG.
  • each component may be realized by recording necessary programs in an arbitrary non-volatile storage medium and installing them as necessary.
  • at least a part of each of these components is not limited to being realized by software based on a program, but may be realized by a combination of hardware, firmware, and software.
  • at least a portion of each of these components may be realized using a user-programmable integrated circuit, such as a field-programmable gate array (FPGA) or a microcontroller. In this case, this integrated circuit may be used to implement a program made up of the above-mentioned components.
  • FPGA field-programmable gate array
  • each component may be configured by an ASSP (Application Specific Standard Produce), an ASIC (Application Specific Integrated Circuit), or a quantum processor (Quantum Computer Control Chip). Good.
  • ASSP Application Specific Standard Produce
  • ASIC Application Specific Integrated Circuit
  • quantum processor Quantum Computer Control Chip
  • the inner state estimation device 1 learns the first estimation model and the second estimation model, but a device other than the inner state estimation device 1 learns the first estimation model and the second estimation model. You can also study. Further, learning of the first estimated model and learning of the second estimated model may be performed by separate devices, respectively.
  • the internal state estimation device 1 may refer to the parameters of the first estimation model that has already been learned by another device and perform learning of the second estimation model (i.e., the processing of the second learning unit 22 described later). good.
  • a person who is an observation target in the generation of training data will also be referred to as a "subject.” There may be a plurality of subjects, and the subject may or may not include the subject.
  • FIG. 6 is an example of functional blocks of the processor 11 of the internal state estimation device 1 regarding learning of the first estimation model and the second estimation model.
  • the processor 11 functionally includes a first learning section 21 and a second learning section 22.
  • first training data 31 and second training data 32 are stored in the storage device 4 and the like.
  • the first training data 31 is training data used for learning the first estimation model, and includes input data 311 and correct answer data 312.
  • the input data 311 corresponds to a predetermined number of first observation data prepared in advance
  • the correct answer data 312 corresponds to the first correct answer that the first estimation model should output for each of the predetermined number of input data 311.
  • the correct answer data 312 is obtained by annotation work performed by a third party other than the subject of the input data 311. is being generated.
  • the correct answer data 312 is data generated based on objective evaluation, and indicates the objective evaluation value of the first inner state of the subject at the time of observation of each input data 311.
  • the first learning unit 21 learns the first estimated model based on the input data 311 and the correct data 312, and stores the parameters of the first estimated model obtained through learning in the first estimated model information storage unit 41. In this case, the first learning unit 21 determines that when the selected piece of input data 311 or its feature quantity (i.e., the feature quantity corresponding to the first feature quantity) is input to the first estimation model, the first estimation model is Obtain the first estimated inner state value to be output. The first learning unit 21 then minimizes the error (loss) between the first inner state estimated value output by the first estimation model and the correct answer indicated by the correct answer data 312 corresponding to the input data 311 used. , updates the parameters of the first estimated model.
  • the first learning unit 21 then executes this process on all input data 311 or until a predetermined learning end condition is met.
  • the algorithm for determining the above-mentioned parameters so as to minimize the loss may be any learning algorithm used in machine learning, such as gradient descent or error backpropagation.
  • the initial parameters of the first estimated model may be stored in the first estimated model information storage unit 41 before learning of the first estimated model.
  • the second training data 32 is training data used for learning the second estimation model, and includes first input data 321, second input data 322, and correct answer data 323.
  • the first input data 321 corresponds to a predetermined number of first observation data prepared in advance.
  • the second input data 322 corresponds to a predetermined number of second observation data prepared in advance, and each is data obtained by observing the same subject at the same timing (ie, the same time) as the first input data 321.
  • the correct answer data 323 is a correct second inner state estimated value that the second estimation model should output for each set of the first input data 321 and the second input data 322 for which the subject and observation timing are the same. show.
  • the correct answer data 323 is the subject's internal state of the first input data 321 and the second input data 322. It is generated by annotation work (for example, questionnaire results, etc.) by In other words, the correct answer data 323 is data generated based on a subjective evaluation, and is a subjective evaluation of the subject's second inner state at the time of observation of each set of the first input data 321 and the second input data 322. It shows the value.
  • the second learning unit 22 learns the second estimated model based on the learned parameters of the first estimated model stored in the first estimated model information storage unit 41 and the second training data 32, and performs learning.
  • the obtained parameters of the second estimated model are stored in the second estimated model information storage section 42.
  • FIG. 7 is an example of detailed functional blocks of the second learning section 22.
  • the second learning unit 22 shown in FIG. 7 functionally includes a first input data acquisition unit 221, a first feature generation unit 222, a first estimation model application unit 223, and a second input data acquisition unit 224. , a second feature generation section 225 , and a second estimation model learning section 226 .
  • the first input data acquisition unit 221 extracts an arbitrary piece of first input data 321 to which the first estimation model is applied from the second training data 32.
  • the first feature amount generation unit 222 generates a first feature amount that matches the input format of the first estimation model from one piece of first input data 321 acquired by the first input data acquisition unit 221.
  • the feature extraction process executed by the first feature generation unit 222 uses the same algorithm as the feature extraction process executed by the first feature generation unit 62.
  • the first estimated model application unit 223 adds the first estimated model generated by the first feature generation unit 222 to the first estimated model configured based on the learned first estimated model parameters stored in the first estimated model information storage unit 41. Input the first feature amount.
  • the first estimated model application unit 223 supplies the second feature amount generation unit 225 with the first inner state estimated value output by the first estimated model into which the first feature amount has been input.
  • the second input data acquisition unit 224 acquires second input data 322 that corresponds to one piece of first input data 321 acquired by the first input data acquisition unit 221 (that is, the subject and observation timing are the same). get.
  • the second feature generation unit 225 generates a second estimation based on the second input data 322 acquired by the second input data acquisition unit 224 and the first inner surface state estimate supplied from the first estimation model application unit 223. A second feature matching the input format of the model is generated.
  • the feature extraction process executed by the second feature generation unit 225 is the same algorithm as the feature extraction process executed by the second feature generation unit 72.
  • the second estimated model learning unit 226 inputs the second feature amount generated by the second feature amount generation unit 225 to the second estimated model configured based on the parameters stored in the second estimated model information storage unit 42, A second inner state estimated value output by the second estimation model is obtained. Then, the second estimation model learning unit 226 calculates the correct answer corresponding to the second inner state estimated value acquired by the second estimation model and the first input data 321 and second input data 322 used to generate the second feature amount. The parameters of the second estimation model are updated so that the error (loss) from the correct answer indicated by the data 323 is minimized. Then, the second learning unit 22 executes this process for all sets of the first input data 321 and the second input data 322 or until a predetermined learning end condition is satisfied.
  • the algorithm for determining the above-mentioned parameters so as to minimize the loss may be any learning algorithm used in machine learning, such as gradient descent or error backpropagation.
  • the initial parameters of the second estimated model may be stored in the second estimated model information storage unit 42 before learning of the second estimated model.
  • the internal state estimation device 1 learns based on the first training data 31 that can be generated (that is, obtained in a relatively large amount) through objective evaluation by a third party other than the subject.
  • the output of the first estimated model is used as part of the input to the second estimated model.
  • the internal state estimation device 1 uses the second training data 32 that requires subjective evaluation by the subject (that is, a relatively small amount) to create a second estimation model that estimates the second internal state with high accuracy. can be learned.
  • FIG. 8 is an example of a flowchart showing a processing procedure regarding estimation of the inner state of the inner state estimation device 1, which is executed after learning the first estimation model and the second estimation model.
  • the inner surface state estimating device 1 determines that it is time to estimate the inner surface state when a predetermined inner state estimation execution condition is met, and executes the process of the flowchart in FIG. 8 .
  • the inner surface state estimating device 1 determines that the above-mentioned estimation execution condition is satisfied, for example, when receiving the input signal S1 from the input device 2 that instructs to execute the inner surface state estimation process.
  • the internal state estimating device 1 may refer to estimation execution conditions stored in advance in the storage device 4 or the like to determine whether or not the estimation execution conditions are satisfied. It may be determined that the estimation execution condition is satisfied when the predetermined time of .
  • the inner surface state estimating device 1 may determine that the estimation execution condition is satisfied when the sensor signal S3 for generating observation data necessary for estimating the inner surface state is acquired.
  • the inner state estimating device 1 acquires observation data obtained by observing the subject at the above-mentioned inner state estimation timing (step S11).
  • the inner surface state estimating device 1 obtains observation data based on the sensor signal S3 obtained from the sensor 5 via the interface 13.
  • the internal state estimation device 1 extracts the observation data used for the first estimation model as the first observation data from among the obtained observation data, and extracts the observation data used for the second estimation model as the second observation data. Note that the first observation data and the second observation data may overlap.
  • the inner surface state estimating device 1 calculates a first inner surface state estimated value based on the first observation data acquired in step S11 (step S12). In this case, the inner surface state estimating device 1 estimates the first inner surface based on the first estimated model configured with reference to learned parameters stored in the first estimated model information storage section 41 and the first observed data. Calculate the state estimate.
  • the inner surface state estimating device 1 calculates a second inner surface state estimated value based on the second observation data acquired in step S11 and the first inner surface state estimated value calculated in step S12 (step S13).
  • the inner state estimating device 1 uses the second estimated model constructed by referring to the learned parameters stored in the second estimated model information storage unit 42, the second observation data, and the first inner state estimated value.
  • a second inner state estimated value is calculated based on.
  • the inner surface state estimating device 1 outputs the estimated result of the inner surface state (step S14).
  • the estimation result of the inner surface state is not limited to the second inner state estimated value, but may include the first inner state estimated value.
  • the inner surface state estimating device 1 supplies the output signal S2 to the output device 3 so that the output device 3 displays or outputs audio representing the estimation result of the inner surface state.
  • the output control unit 18 compares the estimation result of the inner state with a predetermined reference value, and based on the comparison result, notifies the subject or his/her manager regarding the estimation result of the inner state. You may.
  • the internal state estimating device 1 can suitably present information regarding the estimation result of the internal state of the subject to the subject or his/her manager.
  • the internal state estimation device 1 may output whether the task performed by the subject was a task performed with concentration.
  • the internal state estimation device 1 treats tasks performed with a concentration level lower than a predetermined level differently from tasks performed with a concentration level higher than a predetermined level (for example, if the task is a test, the test result You may also take measures such as disabling the
  • the inner state estimating device 1 may use the correct data 312 of the first training data 31 as part of the input to the second estimation model instead of using the first inner state estimate output from the first estimation model. good.
  • FIG. 9 is an example of a detailed functional block of the second learning section 22 according to the first modification.
  • the second learning section 22 according to the first modification functionally includes a second input data acquisition section 224, a second feature generation section 225, and a second estimation model learning section 226.
  • the second input data 322 corresponds to second observation data observed from the same subject at the same timing as the correct state indicated by the correct answer data 312.
  • the second input data acquisition unit 224 extracts one piece of second input data 322 to be input to the second estimation model from the second training data 32.
  • the second feature generation unit 225 generates the second input data 322 acquired by the second input data acquisition unit 224 and correct data indicating the correct value of the first inner state at the same time as the observation of the second input data 322.
  • a second feature quantity is generated based on 312 and .
  • the second estimated model learning section 226 inputs the second feature amount generated by the second feature amount generation section 225 into the second estimated model configured based on the parameters stored in the second estimated model information storage section 42 .
  • the second estimation model learning unit 226 uses the second inner state estimated value outputted by the second estimation model and the correct answer indicated by the correct answer data 323 corresponding to the second input data 322 used to generate the second feature amount.
  • the parameters of the second estimation model are updated so that the error (loss) of is minimized.
  • the internal state estimating device 1 preferably estimates the internal state of the subject using the same value as when observing the second observation data, instead of using the first estimated internal state value output by the first estimation model.
  • the second inner state may be estimated using correct answer data 312 indicating the correct answer for the first inner state of the subject at the time.
  • FIG. 10 is an example of a detailed functional block of the second inner surface state estimation unit 17 according to Modification 1.
  • the second inner surface state estimation unit 17 according to the first modification functionally includes a second observation data acquisition unit 71, a second feature quantity generation unit 72, and a second estimation model application unit 73.
  • the second observation data acquisition unit 71 acquires second observation data from the observation data acquisition unit 15 and supplies the acquired second observation data to the second feature generation unit 72.
  • this second observation data is data obtained by observing the subject in the past, and is data observed at the same time as the first inner state of the subject indicated by the correct data 312.
  • the second feature generation unit 72 generates a second feature by adding the correct value of the first inner state indicated by the correct data 312 to the feature extracted from the second observation data acquired by the second observation data acquisition unit 71. generate.
  • the second estimated model application unit 73 inputs the second feature amount supplied from the second feature amount generation unit 72 to the second estimated model configured with reference to the second estimated model information storage unit 42, and A second inner state estimated value output by the second estimation model in accordance with the second estimation model is obtained. Then, the second estimation model application unit 73 supplies the acquired second inner surface state estimated value to the output control unit 18.
  • the correct value of the first inner state indicated by the correct answer data 312 is an example of the estimation result of the first inner state of the subject.
  • the inner surface state estimating device 1 according to the first modification can suitably perform learning of the second estimation model and estimation of the second inner surface state using the correct data 312.
  • the first inner surface state and the second inner surface state may be inner states expressed by the same index.
  • both the first internal state and the second internal state are expressed by indicators related to happiness, anger, sadness, and happiness; the first internal state is the expressed state of happiness, anger, sadness, and happiness, and the second internal state is the expressed state of happiness, anger, sadness, and happiness. It is a state of joy, anger, sadness and happiness.
  • the first inner state estimating unit 16 regards the inner state to be estimated as the expressed first inner state that can be seen and seen by others, and uses the objective evaluation value as the correct answer data to learn the first estimation model.
  • a first inner state estimated value is calculated based on.
  • the second internal state estimating unit 17 considers the estimated internal state to be a second internal state of the subject that cannot be accurately determined just by looking at it, and uses the subjective evaluation value as the correct data to learn A second inner state estimated value is calculated based on the second estimation model.
  • the first learning unit 21 performs learning of the first estimation model using correct data indicating objective evaluation values
  • the second learning unit 22 performs learning of the first estimation model using correct data indicating objective evaluation values.
  • a second estimation model is trained using the correct data. As a result, a second estimation model that estimates the second inner surface state with high accuracy is learned.
  • the inner surface state estimating device 1 can calculate the second inner surface state estimated value that highly accurately represents the inner surface state to be estimated.
  • FIG. 11 shows a schematic configuration of an inner surface state estimation system 100A in the second embodiment.
  • the internal state estimation system 100A according to the second embodiment is a server-client model system, and the internal state estimation device 1A functioning as a server device performs the processing of the internal state estimation device 1 in the first embodiment.
  • the same components as those in the first embodiment will be given the same reference numerals as appropriate, and the description thereof will be omitted.
  • the internal state estimation system 100A mainly includes an internal state estimation device 1A that functions as a server, a storage device 4 that stores the same data as in the first embodiment, and a terminal device 8 that functions as a client.
  • the inner state estimation device 1A and the terminal device 8 perform data communication via the network 7.
  • the terminal device 8 is a terminal that has an input function, a display function, and a communication function, and functions as the input device 2 and output device 3 shown in FIG.
  • the terminal device 8 may be, for example, a personal computer, a tablet terminal, a PDA (Personal Digital Assistant), or the like.
  • the terminal device 8 transmits a biological signal output from a sensor (not shown) or an input signal based on user input to the inner surface state estimation device 1A.
  • the inner surface state estimating device 1A has, for example, the same hardware configuration and functional configuration as the inner surface state estimating device 1.
  • the inner surface state estimating device 1A receives information, etc. that the inner surface state estimating device 1 shown in FIG. 1 acquires from the input device 2 and the sensor 5 from the terminal device 8 via the network 7, and based on the received information, Estimate the subject's internal state.
  • the internal state estimation device 1A transmits an output signal indicating information regarding the above estimation result to the terminal device 8 via the network 7 based on a request from the terminal device 8. That is, in this case, the terminal device 8 functions as the output device 3 in the first embodiment.
  • the inner state estimating device 1A suitably presents information regarding the estimation result of the inner state to the user of the terminal device 8.
  • FIG. 12 is a block diagram of an inner surface state estimation device 1X in the third embodiment.
  • the inner surface state estimation device 1X mainly includes observation data acquisition means 15X, first inner surface state acquisition means 16X, and second inner surface state estimation means 17X. Note that the inner surface state estimating device 1X may be composed of a plurality of devices.
  • the observation data acquisition means 15X acquires observation data obtained by observing the subject.
  • the observation data acquisition means can be, for example, the observation data acquisition unit 15 in the first embodiment (including modifications, the same applies hereinafter) or the second embodiment.
  • the first inner state acquisition means 16X obtains the estimation result of the first inner state of the subject.
  • the first inner surface state acquisition means 16X can be, for example, the first inner surface state estimation section 16 in the first embodiment (excluding modification 1) or the second embodiment. Further, the first inner surface state acquisition means 16X can be the second inner surface state estimator 17 that obtains the correct data 312 as the estimation result of the first inner surface state in the first modification of the first embodiment.
  • the second inner state estimating means 17X estimates the second inner state of the subject, which is an inner state that has a correlation with the first inner state, based on the observation data and the estimation result of the first inner state.
  • the second inner surface state estimating means 17X can be, for example, the second inner surface state estimating section 17 in the first embodiment or the second embodiment.
  • FIG. 13 is an example of a flowchart executed by the inner surface state estimation device 1X in the third embodiment.
  • the observation data acquisition means 15X acquires observation data obtained by observing the subject (step S21).
  • the first inner state acquisition means 16X obtains the estimation result of the first inner state of the subject (step S22).
  • the second internal state estimating means 17X estimates the second internal state of the subject, which is an internal state that has a correlation with the first internal state, based on the observation data and the estimation result of the first internal state (step S23 ).
  • the inner state estimating device 1X can accurately estimate the second inner state of the subject based on the estimation result of the first inner state.
  • the administrator is, for example, a medical professional.
  • the output control unit 18 provides the administrator with advice-related information on how to deal with the subject based on the estimation result of the subject's internal state (first internal state and/or second internal state). Information indicating the law may also be output.
  • the output control The unit 18 determines how to deal with the subject by referring to the information indicating the corresponding relationship, and outputs information indicating the determined coping method through the output device 3.
  • the "coping method” is a treatment method or other treatment method for the subject according to the estimated internal state (including actions performed by the subject himself), and "information indicating the coping method” is, for example, , any information (name, identification number, content description, combination thereof, etc.) for specifying a countermeasure.
  • the output control unit 18 is configured based on the model generated by machine learning of the correspondence between the estimation result of the inner state and the coping method, and the estimation result of the subject's inner state.
  • a countermeasure may be determined based on the information provided, and information indicating the determined countermeasure may be output.
  • the learned parameters of the above-described model are stored in the memory 12, the storage device 4, or a device other than the inner state estimation device 1 (not shown). Then, when the estimation result of the inner state is obtained, the output control unit 18 inputs the estimation result of the inner state to a model to which the learned parameters are applied, and takes a countermeasure based on the information output by the model. is determined, and the output device 3 outputs information indicating the determined countermeasure.
  • the method for determining a countermeasure is not limited to the method described above. According to the present embodiment, it is possible to provide information for optimizing the actions of the administrator who manages the condition of the subject, and for example, it is possible to improve the condition of the subject.
  • the output control unit 18 also outputs observation data (first observation data or/and second observation data) may be outputted by the output device 3.
  • observation data first observation data or/and second observation data
  • the output control unit 18 outputs, through the output device 3, observation data corresponding to the feature quantity for which the coefficient outputted by the attention mechanism is equal to or greater than a predetermined value, as observation data that influenced the estimation result of the inner state.
  • the administrator can influence the estimation result of the first internal state and/or the estimation result of the second internal state output by the output device 3. Refer to the observation data that caused the Thereby, the administrator can take action to improve the measurement state of the biological signal of the sensor 5 related to the observation data, based on the referenced observation data.
  • Non-transitory computer-readable media include various types of tangible storage media.
  • Examples of non-transitory computer-readable media include magnetic storage media (e.g., flexible disks, magnetic tape, hard disk drives), magneto-optical storage media (e.g., magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, CD-R/W, semiconductor memory (eg, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)).
  • the program may also be supplied to the computer via various types of transitory computer readable media.
  • transitory computer-readable media include electrical signals, optical signals, and electromagnetic waves.
  • the temporary computer-readable medium can provide the program to the computer via wired communication channels, such as electrical wires and fiber optics, or wireless communication channels.
  • observation data acquisition means for acquiring observation data obtained by observing a subject; a first internal state acquisition means for acquiring an estimation result of the first internal state of the subject; a second internal state estimating means for estimating a second internal state of the subject, which is an internal state that has a correlation with the first internal state, based on the observed data and the estimation result;
  • An internal state estimation device comprising: [Additional note 2] The inner state estimating device according to supplementary note 1, wherein the first inner state is an inner state in which an expression of a physiological phenomenon of the subject is observed.
  • the first inner state obtaining means calculates the estimation result based on first observation data that is at least a part of the observation data and a first estimation model,
  • the first estimation model outputs an estimation result of the first internal state when the first observation data is observed, when the first observation data or the feature amount of the first observation data is input.
  • the internal state estimation device according to Supplementary Note 1.
  • the inner state estimating device according to appendix 3 wherein the first estimation model is a model learned based on training data including correct answer data of the first inner state generated based on objective evaluation.
  • the estimation result is the correct data
  • the inner surface state estimating device according to supplementary note 4 wherein the second inner surface state estimating means estimates the second inner surface state based on the observed data and the correct data.
  • the second inner state estimating means estimates the second inner state based on second observation data that is at least a part of the observation data, the estimation result, and a second estimation model,
  • the second estimation model is configured to calculate the second inner surface when the second observation data is observed when the second observation data or the feature amount of the second observation data and the estimation result are input.
  • the inner surface state estimation device according to supplementary note 1, which outputs a state estimation result.
  • the first inner surface state acquisition means calculates the estimation result based on first observation data that is at least a part of the observation data
  • the second inner state estimating means estimates the second inner state based on second observation data that is at least a part of the observation data and the estimation result
  • the inner surface state estimation device according to supplementary note 1, wherein the second observation data includes the first observation data.
  • the inner state estimating device according to supplementary note 1, wherein the second inner state estimating means estimates a degree of concentration as the second inner state.
  • the inner surface state estimating device according to supplementary note 1, wherein the first inner surface state and the second inner surface state are inner states expressed by the same index.
  • the inner surface state estimating device according to supplementary note 1, further comprising an output control means for outputting information regarding the second inner surface state.
  • the output control means provides at least one of a coping method based on the first internal state and a coping method based on the second internal state, for optimizing the behavior of at least one of the target person and the administrator of the target person. output, The internal state estimation device according to appendix 12.
  • the computer is Obtain observation data of the target person, obtaining an estimation result of a first inner state of the subject; estimating a second internal state of the subject, which is an internal state that has a correlation with the first internal state, based on the observation data and the estimation result; Internal state estimation method.
  • a storage medium storing a program that causes a computer to execute a process of estimating a second inner state of the subject, which is an inner state having a correlation with the first inner state, based on the observation data and the estimation result.
  • it is used for services related to management (including self-management) based on internal states.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Databases & Information Systems (AREA)
  • Child & Adolescent Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Cardiology (AREA)
  • Dentistry (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

内面状態推定装置(1X)は、対象者を観測した観測データを取得する観測データ取得手段(15X)と、前記対象者の第1内面状態の推定結果を取得する第1内面状態取得手段(16X)と、前記観測データと、前記推定結果とに基づき、前記第1内面状態と相関関係がある内面状態である前記対象者の第2内面状態を推定する第2内面状態推定手段(17X)とを備える。

Description

内面状態推定装置、内面状態推定方法及び記憶媒体
　本開示は、内面状態の推定に関する処理を行う内面状態推定装置、内面状態推定方法及び記憶媒体の技術分野に関する。
　対象者の内面状態を推定する装置又はシステムが知られている。例えば、特許文献１には、ユーザの画像データとそのユーザの集中度との関係を学習することで、画像データから画像内の人物の集中度を判別することが可能なシステムが開示されている。
特開２０２２－０１４４７３号公報
　人が感じる主観値を正解にして集中度などの内面状態の学習及び推定を行う場合、正解データとする主観値にはバイアスが含まれている。このような主観値の正解データは、大量に用意することが難しく、かつ、少量のデータでは十分な学習が行えずに所望の推定精度が得られないという問題がある。
　本開示は、上述した課題を鑑み、内面状態を精度よく推定することが可能な内面状態推定装置、内面状態推定方法及び記憶媒体を提供することを目的の１つとする。
　内面状態推定装置の一の態様は、
　対象者を観測した観測データを取得する観測データ取得手段と、
　前記対象者の第１内面状態の推定結果を取得する第１内面状態取得手段と、
　前記観測データと、前記推定結果とに基づき、前記第1内面状態と相関関係がある内面状態である前記対象者の第２内面状態を推定する第２内面状態推定手段と、
を備える、内面状態推定装置である。
　内面状態推定方法の一の態様は、
　コンピュータが、
　対象者を観測した観測データを取得し、
　前記対象者の第１内面状態の推定結果を取得し、
　前記観測データと、前記推定結果とに基づき、前記第1内面状態と相関関係がある内面状態である前記対象者の第２内面状態を推定する、
内面状態推定方法である。なお、「コンピュータ」は、あらゆる電子機器（電子機器に含まれるプロセッサであってもよい）を含み、かつ、複数の電子機器により構成されてもよい。
　記憶媒体の一の態様は、
　対象者を観測した観測データを取得し、
　前記対象者の第１内面状態の推定結果を取得し、
　前記観測データと、前記推定結果とに基づき、前記第1内面状態と相関関係がある内面状態である前記対象者の第２内面状態を推定する処理をコンピュータに実行させるプログラムが格納された記憶媒体である。
　本開示によれば、対象者の内面状態を精度よく推定することができる。
第１実施形態に係る内面状態推定システムの概略構成を示す。 情報処理装置のハードウェア構成を示す。 （Ａ）第１内面状態が眠気であり、第２内面状態が集中度である場合に、第１内面状態の眠気を軸とした第２内面状態の分布図を示す。（Ｂ）第１内面状態が緊張度であり、第２内面状態が快不快である場合に、第１内面状態の緊張度を軸とした第２内面状態の分布図を示す。 内面状態推定装置の機能ブロックの一例である。 第１内面状態推定部及び第２内面状態推定部の詳細な機能ブロック図の一例である。 推定モデルの学習に関する内面状態推定装置のプロセッサの機能ブロックの一例である。 第２学習部の詳細な機能ブロックの一例である。 第１実施形態に係る内面状態推定装置の内面状態の推定に関する処理手順を示すフローチャートの一例である。 変形例１に係る第２学習部の詳細な機能ブロックの一例である。 変形例１に係る第２内面状態推定部の詳細な機能ブロックの一例である。 第２実施形態に係る内面状態推定システムの概略構成を示す。 第３実施形態における内面状態推定装置のブロック図である。 第３実施形態において内面状態推定装置が実行するフローチャートの一例である。
　以下、図面を参照しながら、内面状態推定装置、内面状態推定方法及び記憶媒体の実施形態について説明する。
　＜第１実施形態＞
　（１）システム構成
　図１は、第１実施形態に係る内面状態推定システム１００の概略構成を示す。内面状態推定システム１００は、他者が見ただけでは正確に判別できない集中度などの対象者の内面状態を高精度に推定し、その推定結果の提示を行う。ここで、「対象者」は、組織により内面状態の管理が行われる者であってもよく、個人のユーザであってもよい。
　内面状態推定システム１００は、主に、内面状態推定装置１と、入力装置２と、出力装置３と、記憶装置４と、センサ５とを備える。
　内面状態推定装置１は、通信網を介し、又は、無線若しくは有線による直接通信により、入力装置２、出力装置３、及びセンサ５とデータ通信を行う。そして、内面状態推定装置１は、入力装置２から供給される入力信号「Ｓ１」、センサ５から供給されるセンサ（検出）信号「Ｓ３」、及び記憶装置４に記憶された情報に基づいて、対象者の内面状態の推定を行う。このとき、内面状態推定装置１は、対象者の生理現象の表出が観測される内面状態（「第１内面状態」とも呼ぶ。）の推定結果に基づいて、第２内面状態を高精度に推定する。「第２内面状態」は、対象者の生理現象の表出が観測される状態と対象者の生理現象の表出が観測されない状態とが混同した内面状態であり、他者が観測しただけでは判定できないもしくは判定が難しい（言い換えると、専門家でないと判定ができない）内面状態である。第１内面状態と第２内面状態の具体例について後述する。内面状態推定装置１は、対象者の第２内面状態の推定結果に関する出力信号「Ｓ２」を生成し、生成した出力信号Ｓ２を出力装置３に供給する。また、内面状態推定装置１は、後述する内面状態の推定モデルの学習に関する処理を実行してもよい。
　入力装置２は、各対象者に関する情報の手入力（外部入力）を受け付けるユーザインターフェースである。なお、入力装置２を用いて情報の入力を行うユーザは、対象者本人であってもよく、対象者の活動を管理又は監督する者であってもよい。入力装置２は、例えば、タッチパネル、ボタン、キーボード、マウス、音声入力装置などの種々のユーザ入力用インターフェースであってもよい。入力装置２は、生成した入力信号Ｓ１を、内面状態推定装置１へ供給する。出力装置３は、内面状態推定装置１から供給される出力信号Ｓ２に基づき、所定の情報を表示又は音出力する。出力装置３は、例えば、ディスプレイ、プロジェクタ、スピーカ等である。
　センサ５は、対象者の生体信号等を測定し、測定した生体信号等を、センサ信号Ｓ３として内面状態推定装置１へ供給する。この場合、センサ信号Ｓ３は、対象者の心拍、脳波、脈波、発汗量（皮膚電気活動）、ホルモン分泌量、脳血流、血圧、体温、筋電、呼吸数、加速度などの任意の生体信号（バイタル情報を含む）であってもよい。また、センサ５は、対象者から採取された血液を分析し、その分析結果を示すセンサ信号Ｓ３を出力する装置であってもよい。また、センサ５は、対象者が装着するウェアラブル端末であってもよく、対象者を撮影するカメラ又は対象者の発話の音声信号を生成するマイク等であってもよく、対象者が操作するパーソナルコンピュータやスマートフォンなどの端末であってもよい。上述のウェアラブル端末は、例えば、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）受信機、加速度センサ、その他生体信号を検出するセンサ等を含んでおり、これらの各センサの出力信号をセンサ信号Ｓ３として出力する。また、センサ５は、パーソナルコンピュータやスマートフォンなどの操作量に相当する情報をセンサ信号Ｓ３として内面状態推定装置１に供給してもよい。また、センサ５は、対象者の睡眠中に対象者から生体データ（睡眠時間を含む）を表すセンサ信号Ｓ３を出力するものであってもよい。
　記憶装置４は、内面状態推定装置１が実行する処理に必要な各種情報を記憶するメモリである。記憶装置４は、内面状態推定装置１に接続又は内蔵されたハードディスクなどの外部記憶装置であってもよく、フラッシュメモリなどの記憶媒体であってもよい。また、記憶装置４は、内面状態推定装置１とデータ通信を行うサーバ装置であってもよい。また、記憶装置４は、複数の装置から構成されてもよい。
　記憶装置４は、機能的には、第１推定モデル情報記憶部４１と、第２推定モデル情報記憶部４２とを有している。
　第１推定モデル情報記憶部４１は、第１内面状態を推定するモデルである第１推定モデルに関する情報を記憶している。第１推定モデルは、対象者の観測結果を表す所定のテンソル形式により表されたデータ（例えば特徴ベクトル）が入力された場合に、当該対象者の第１内面状態の推定結果を表す第１内面状態推定値を出力するモデルである。このモデルは、例えば、ニューラルネットワークやサポートベクターマシーンなどの任意の機械学習に基づくモデル（統計モデルを含む、以下同じ。）であり、当該モデルに必要なパラメータが第１推定モデル情報記憶部４１に記憶されている。例えば、上述の第１推定モデルが畳み込みニューラルネットワークなどのニューラルネットワークに基づくモデルである場合、第１推定モデル情報記憶部４１は、層構造、各層のニューロン構造、各層におけるフィルタ数及びフィルタサイズ、並びに各フィルタの各要素の重みなどの各種パラメータの情報を記憶する。なお、第１内面状態推定値は、スカラー値である必要はなく、複数の値を含むベクトル値であってもよい。
　第２推定モデル情報記憶部４２は、第２内面状態を推定するモデルである第２推定モデルに関する情報を記憶している。第２推定モデルは、対象者の観測結果を表す所定のテンソル形式により表されたデータ（例えば特徴ベクトル）が入力された場合に、当該対象者の第２内面状態の推定結果を表す第２内面状態推定値を出力するモデルである。このモデルは、例えば、ニューラルネットワークやサポートベクターマシーンなどの任意の機械学習に基づくモデルであり、当該モデルに必要なパラメータが第２推定モデル情報記憶部４２に記憶されている。ここで、第２推定モデルに入力されるデータには、第１推定モデルが出力する第１内面状態推定値が含まれる。なお、第２内面状態推定値は、スカラー値である必要はなく、複数の値を含むベクトル値であってもよい。
　なお、第１推定モデルと第２推定モデルとに入力されるデータは、ある時刻での対象者の観測結果に基づくデータであることに限らず、所定期間での対象者の時系列の観測結果に基づくデータであってもよい。
　また、内面状態推定装置１が第１推定モデルと第２推定モデルの少なくとも一方の学習を行う場合には、第１推定モデル又は／及び第２推定モデルの学習に必要な訓練データがさらに記憶装置４に記憶されている。この訓練データについては後述する。
　なお、図１に示す内面状態推定システム１００の構成は一例であり、当該構成に種々の変更が行われてもよい。例えば、入力装置２及び出力装置３は、一体となって構成されてもよい。この場合、入力装置２及び出力装置３は、内面状態推定装置１と一体又は別体となるタブレット型端末として構成されてもよい。また、入力装置２とセンサ５とは、一体となって構成されてもよい。また、内面状態推定装置１は、複数の装置から構成されてもよい。この場合、内面状態推定装置１を構成する複数の装置は、予め割り当てられた処理を実行するために必要な情報の授受を、これらの複数の装置間において行う。この場合、内面状態推定装置１はシステムとして機能する。
　（２）ハードウェア構成
　図２は、内面状態推定装置１のハードウェア構成を示す。内面状態推定装置１は、ハードウェアとして、プロセッサ１１と、メモリ１２と、インターフェース１３とを含む。プロセッサ１１、メモリ１２及びインターフェース１３は、データバス１０を介して接続されている。
　プロセッサ１１は、メモリ１２に記憶されているプログラムを実行することにより、内面状態推定装置１の全体の制御を行うコントローラ（演算装置）として機能する。プロセッサ１１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＴＰＵ（Ｔｅｎｓｏｒ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのプロセッサである。プロセッサ１１は、複数のプロセッサから構成されてもよい。プロセッサ１１は、コンピュータの一例である。
　メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリなどの各種の揮発性メモリ及び不揮発性メモリにより構成される。また、メモリ１２には、内面状態推定装置１が実行する処理を実行するためのプログラムが記憶される。なお、メモリ１２が記憶する情報の一部は、内面状態推定装置１と通信可能な１又は複数の外部記憶装置により記憶されてもよく、内面状態推定装置１に対して着脱自在な記憶媒体により記憶されてもよい。
　インターフェース１３は、内面状態推定装置１と他の装置とを電気的に接続するためのインターフェースである。これらのインターフェースは、他の装置とデータの送受信を無線により行うためのネットワークアダプタなどのワイアレスインタフェースであってもよく、他の装置とケーブル等により接続するためのハードウェアインターフェースであってもよい。
　なお、内面状態推定装置１のハードウェア構成は、図２に示す構成に限定されない。例えば、内面状態推定装置１は、入力装置２又は出力装置３の少なくとも一方を含んでもよい。また、内面状態推定装置１は、スピーカなどの音出力装置と接続又は内蔵してもよい。
　（３）第１内面状態及び第２内面状態の具体例
　第１内面状態と第２内面状態とは、相関関係を有する。そして、第１内面状態は、他者が見てわかる表出された内面状態であり、第２内面状態は、他者が見てわかる表出された内面状態と、本人の主観でしかわからない内面状態とが混同している状態である。
　図３（Ａ）及び図３（Ｂ）は、第１内面状態と第２内面状態との関係を概念的に示した図である。図３（Ａ）は、第１内面状態が「眠気」であり、第２内面状態が「集中度」である場合に、第１内面状態の「眠気」を軸とした第２内面状態の分布図を示す。また、図３（Ｂ）は、第１内面状態が「緊張度」であり、第２内面状態が「快不快」である場合に、第１内面状態の「緊張度」を軸とした第２内面状態の分布図を示す。図３（Ａ）に示すように、集中している状態は、眠気が少ない状態で発生している一方で、集中していない状態（即ち集中度が低い状態）は、第１内面状態の眠気の軸に対して広範囲に分布している。その結果、眠気が少ない状態において、集中している状態と集中していない状態とが混在している。また、図３（Ｂ）に示すように、不快の状態は、緊張している状態（即ち緊張度が高い状態）で発生している一方で、快の状態は、第１内面状態の緊張度の軸に対して広範囲に分布している。その結果、緊張度が高い状態において、快の状態と不快の状態とが混在している。このように、第１内面状態と第２内面状態とは、相関関係を有し、第２内面状態は、第１内面状態を全て含んでいる若しくは一部含んでいる状態となる。
　ここで、第２内面状態として集中度を推定する場合の第１内面状態の具体例について説明する。例えば、第１内面状態は、「眠気」であってもよい。この場合、第１推定モデルは、眠気推定を行うモデルであり、第１内面状態推定値として、ＮＥＤＯの指標（眠気ラベル）を出力する。他の例では、第１内面状態は、「感情」であってもよい。この場合、第１推定モデルは、喜怒哀楽の感情を推定するモデルであり、第１内面状態推定値として、喜怒哀楽を示す指標値を出力する。さらに別の例では、第１内面状態は、「覚醒」及び「快不快」の組み合わせであってもよい。この場合、第１推定モデルは、例えば、第１内面状態推定値として、ラッセルの円環モデルに基づく指標値を出力する。
　次に、第２内面状態が集中度以外である場合の第１内面状態と第２内面状態との組み合わせについて例示する。例えば、第１内面状態が「緊張」である場合、第２内面状態は「快不快」である。他の例では、第１内面状態が「眠気」である場合、第２内面状態は、「覚醒度」、「緊張度」、「健康度」、「活度」、「不安度」のいずれかである。さらに別の例では、第１内面状態が「感情」である場合、第２内面状態は、「健康度」、「活度」、「気分」のいずれかである。さらに別の例では、第１内面状態が「快不快」である場合、第２内面状態は「気分」、「感情」のいずれかである。
　そして、第１内面状態を推定する第１推定モデルの学習に用いられる正解データは、第１推定モデルの入力データの生成において観測された対象者以外の第３者によりアノテーション（即ち正解のラベル付け）された客観的な評価値（客観評価値）を示す。一方、第２内面状態を推定する第２推定モデルに用いられる正解データは、第１推定モデルの入力データの生成において観測された対象者本人による主観的な評価値（主観評価値）を示す。例えば、第２推定モデルに用いられる正解データは、第２内面状態の主観値アンケートの回答結果を示し、例えば、第２内面状態が集中度である場合には、アンケート結果が示す集中のレベル（例えば５段階評価）である。また、後述するように、第１推定モデルの入力データは、第２推定モデルの入力データの一部であってもよい。
　（４）機能ブロック
　図４は、内面状態推定装置１の機能ブロックの一例である。内面状態推定装置１のプロセッサ１１は、機能的には、観測データ取得部１５と、第１内面状態推定部１６と、第２内面状態推定部１７と、出力制御部１８とを有する。なお、図４では、データの授受が行われるブロック同士を実線により結んでいるが、データの授受が行われるブロックの組合せは図４に限定されない。後述する他の機能ブロックの図においても同様である。
　観測データ取得部１５は、対象者の内面状態の推定対象時点又は推定対象期間において対象者を観測したセンサ信号Ｓ３を、インターフェース１３を介してセンサ５から受信し、受信したセンサ信号Ｓ３に基づく観測データを取得する。上述の推定対象時点又は推定対象期間は、所定時間間隔ごとの最新の時点又は期間であってもよく、予め指定された時点又は期間であってもよい。また、観測データは、センサ信号Ｓ３そのものであってもよく、センサ信号Ｓ３に対して所定の信号処理を行うことで得られるデータであってもよい。そして、観測データ取得部１５は、第１内面状態の推定に用いるデータ（「第１観測データ」とも呼ぶ。）を観測データから抽出し、第１観測データを第１内面状態推定部１６に供給する。また、観測データ取得部１５は、第２内面状態の推定に用いるデータ（「第２観測データ」とも呼ぶ。）を観測データから抽出し、第２観測データを第２内面状態推定部１７に供給する。なお、観測データ取得部１５は、センサ５から供給されるセンサ信号Ｓ３に加えて、入力装置２から供給される入力信号Ｓ１を用いて観測データを生成してもよい。
　ここで、第１観測データは、第１内面状態の推定に用いるデータであり、例えば、心拍、発汗等の対象者の観測された生理現象に関する指標値を表す生理情報である。他の例では、第１観測データは、対象者と非接触のセンサから得られる種々のデータ（非接触センサデータ）である。この場合、第１観測データは、対象者の顔に関する情報である顔データ（例えば対象者の顔を映した映像データ又は当該データから算出される表情や瞼開度等の指標値）であってもよく、対象者が発した音声を表す音声データ（音声信号から算出される指標値を含む）であってもよい。さらに別の例では、第１観測データは、対象者の動きに関する動作データであってもよい。動作データは、例えば対象者の歩行を映した映像データ又は当該データから算出される指標値であってもよく、対象者の観測された加速度であってもよい。また、第１観測データは、上述した各情報の組み合わせであってもよい。また、第１観測データは、推定対象となる第１内面状態の推定に用いられる任意の種類の観測データであってもよい。なお、第１観測データが所定の指標値等である場合には、観測データ取得部１５は、メモリ１２又は記憶装置４に記憶されたプログラム等に基づき、センサ信号Ｓ３から第１観測データを生成する処理を行う。
　第２観測データは、第２内面状態の推定に用いるデータであり、例えば、対象者に関する生理情報、顔データ及び音声データなどの非接触センサデータ、動作データ、又はこれらの組み合わせである。第２観測データは、推定対象となる第２内面状態の推定に用いられる任意の種類の観測データであってもよい。なお、第２観測データが所定の指標値である場合には、観測データ取得部１５は、メモリ１２又は記憶装置４に記憶されたプログラム等に基づき、センサ信号Ｓ３から第２観測データを生成する処理を行う。
　また、第１観測データと第２観測データとは一部が重複したデータであってもよく、夫々異なるデータであってもよい。例えば、第１内面状態が「眠気」であり、第２内面状態が「集中度」である場合、第１観測データは、対象者の顔映像に基づく瞼開度及び瞬き情報であり、第２観測データは、対象者の顔映像に基づく瞼開度、瞬き情報、表情情報、及び視線情報である。
　第１内面状態推定部１６は、観測データ取得部１５から供給される第１観測データに基づき、対象者の第１内面状態を推定し、第１内面状態の推定結果を表す値である第１内面状態推定値を第２内面状態推定部１７に供給する。この場合、第１内面状態推定部１６は、第１推定モデル情報記憶部４１を参照して構成した第１推定モデルに、第１観測データ又は第１観測データに基づく特徴量（特徴量ベクトルであってもよい、以下同じ）を入力し、当該入力に応じて第１推定モデルが出力する第１内面状態推定値を取得する。
　第２内面状態推定部１７は、観測データ取得部１５から供給される第２観測データと、第１内面状態推定部１６から供給される第１内面状態推定値とに基づき、対象者の第２内面状態を推定する。そして、第２内面状態推定部１７は、第２内面状態の推定結果を表す値である第２内面状態推定値を、出力制御部１８に供給する。この場合、第１内面状態推定部１６は、第２推定モデル情報記憶部４２を参照して構成した第２推定モデルに、第２観測データ又は第２観測データに基づく特徴量と、第１内面状態推定値とを入力し、当該入力に応じて第２推定モデルが出力する第２内面状態推定値を取得する。
　出力制御部１８は、対象者の内面状態の推定結果に関する情報を出力する。例えば、出力制御部１８は、第２内面状態推定部１７による対象者の内面状態（詳しくは第２内面状態）の推定結果を、出力装置３の表示部に表示する、又は、出力装置３の音出力部により音声出力する。この場合、出力制御部１８は、第２内面状態の推定結果と共に、第１内面状態の推定結果についても出力してもよい。
　また、出力制御部１８は、例えば、内面状態の推定結果を内面状態の異常の有無を判定するための基準値と比較し、その比較結果に基づき対象者又はその管理者に所定の通知を行ってもよい。例えば、出力制御部１８は、内面状態の推定結果が基準値よりも好ましくない数値である場合、所定の警告情報を出力したり、アドバイスに関する情報を出力したりしてもよい。
　図５は、第１内面状態推定部１６及び第２内面状態推定部１７の詳細な機能ブロック図の一例である。図５の例では、第１内面状態推定部１６は、機能的には、第１観測データ取得部６１と、第１特徴量生成部６２と、第１推定モデル適用部６３と、を有する。また、第２内面状態推定部１７は、機能的には、第２観測データ取得部７１と、第２特徴量生成部７２と、第２推定モデル適用部７３と、を有する。
　第１観測データ取得部６１は、第１観測データを観測データ取得部１５から取得し、取得した第１観測データを第１特徴量生成部６２に供給する。第１特徴量生成部６２は、第１推定モデルに入力する特徴量である第１特徴量を生成する。この場合、第１特徴量生成部６２は、第１観測データ取得部６１が取得した第１観測データの特徴量を、第１特徴量として生成する。第１特徴量は、第１推定モデル適用部６３が使用する第１推定モデルの入力形式である所定のテンソル形式のデータである。なお、第１特徴量生成部６２が実行する特徴量抽出処理は、任意の特徴量抽出技術に基づく処理であってもよい。例えば、第１特徴量生成部６２が実行する特徴量抽出処理は、第１観測データに含まれる指標値の平均、分散などの統計量を算出する処理であってもよく、深層学習等に基づき学習された特徴量抽出モデルに第１観測データを入力することで当該モデルが出力する特徴量を取得する処理であってもよい。
　第１推定モデル適用部６３は、第１推定モデル情報記憶部４１を参照して構成した第１推定モデルに、第１特徴量生成部６２から供給される第１特徴量を入力し、当該入力に応じて第１推定モデルが出力する第１内面状態推定値を取得する。そして、第１推定モデル適用部６３は、取得した第１内面状態推定値を第２特徴量生成部７２に供給する。
　第２観測データ取得部７１は、第２観測データを観測データ取得部１５から取得し、取得した第２観測データを第２特徴量生成部７２に供給する。第２特徴量生成部７２は、第２推定モデルに入力する特徴量である第２特徴量を生成する。この場合、まず、第２特徴量生成部７２は、第２観測データ取得部７１が取得した第２観測データの特徴量を生成する。そして、第２特徴量生成部７２は、生成した特徴量に第１推定モデル適用部６３から供給される第１内面状態推定値を加えた特徴量を、第２特徴量として生成する。第２特徴量は、第２推定モデル適用部７３が使用する第２推定モデルの入力形式に整合した所定のテンソル形式のデータである。なお、第２特徴量生成部７２が第２観測データに対して実行する特徴量抽出処理は、任意の特徴量抽出技術に基づく処理であってもよい。
　第２推定モデル適用部７３は、第２推定モデル情報記憶部４２を参照して構成した第２推定モデルに、第２特徴量生成部７２から供給される第２特徴量を入力し、当該入力に応じて第２推定モデルが出力する第２内面状態推定値を取得する。そして、第２推定モデル適用部７３は、取得した第２内面状態推定値を、出力制御部１８に供給する。
　図４及び図５の構成によれば、内面状態推定装置１は、対象者の観測データと、第１内面状態の推定結果とに基づいて、対象者の第２内面状態を高精度に推定することが可能となる。そして、内面状態推定装置１は、このように簡易的かつ高精度に推定した集中度などの第２内面状態の推定結果を出力することで、対象者に生産性向上等に向けたセルフマネジメントを好適に促すことができる。
　なお、図４において説明した、観測データ取得部１５、第１内面状態推定部１６、第２内面状態推定部１７及び出力制御部１８の各構成要素は、例えば、プロセッサ１１がプログラムを実行することによって実現できる。また、必要なプログラムを任意の不揮発性記憶媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。なお、これらの各構成要素の少なくとも一部は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組合せ等により実現してもよい。また、これらの各構成要素の少なくとも一部は、例えばＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ Ａｒｒａｙ）又はマイクロコントローラ等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。また、各構成要素の少なくとも一部は、ＡＳＳＰ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｓｔａｎｄａｒｄ　Ｐｒｏｄｕｃｅ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）又は量子プロセッサ（量子コンピュータ制御チップ）により構成されてもよい。このように、各構成要素は、種々のハードウェアにより実現されてもよい。以上のことは、後述する他の実施の形態においても同様である。さらに、これらの各構成要素は、例えば、クラウドコンピューティング技術などを用いて、複数のコンピュータの協働によって実現されてもよい。
　（５）モデル学習
　次に、第１推定モデル及び第２推定モデルの学習方法について説明する。以後では、一例として、内面状態推定装置１が第１推定モデル及び第２推定モデルの学習を行う場合について説明するが、内面状態推定装置１以外の装置が第１推定モデル及び第２推定モデルの学習を行ってもよい。また、第１推定モデルの学習と第２推定モデルの学習とは夫々別の装置が実行してもよい。例えば、内面状態推定装置１は、既に他の装置により学習済みの第１推定モデルのパラメータを参照し、第２推定モデルの学習（即ち後述の第２学習部２２の処理）を実行してもよい。以後では、訓練データの生成において観測対象となった者を、「被検者」とも呼ぶ。被検者は、複数人存在してもよく、かつ、対象者を含んでもよく、対象者を含まなくともよい。
　図６は、第１推定モデル及び第２推定モデルの学習に関する内面状態推定装置１のプロセッサ１１の機能ブロックの一例である。第１推定モデル及び第２推定モデルの学習に関し、プロセッサ１１は、機能的には、第１学習部２１と、第２学習部２２と、を有する。また、記憶装置４等には、第１訓練データ３１と、第２訓練データ３２とが記憶されている。
　第１訓練データ３１は、第１推定モデルの学習に用いる訓練データであり、入力データ３１１と、正解データ３１２とを含む。入力データ３１１は、予め用意された所定個数分の第１観測データに相当し、正解データ３１２は、所定個数分の入力データ３１１の各々に対して第１推定モデルが出力すべき正解の第１内面状態推定値を示す。ここで、第１内面状態は、他者が見てわかる表出された内面状態であることから、正解データ３１２は、入力データ３１１の被検者以外の第３者により実行されたアノテーション作業により生成されている。言い換えると、正解データ３１２は、客観評価に基づき生成されたデータであって、各入力データ３１１の観測時点での被検者の第１内面状態の客観評価値を示している。
　第１学習部２１は、入力データ３１１と正解データ３１２とに基づき、第１推定モデルを学習し、学習により得られた第１推定モデルのパラメータを第１推定モデル情報記憶部４１に記憶する。この場合、第１学習部２１は、選択した１個分の入力データ３１１又はその特徴量（即ち第１特徴量に相当する特徴量）を第１推定モデルに入力した場合に第１推定モデルが出力する第１内面状態推定値を取得する。そして、第１学習部２１は、第１推定モデルが出力する第１内面状態推定値と、使用した入力データ３１１に対応する正解データ３１２が示す正解との誤差（損失）が最小となるように、第１推定モデルのパラメータを更新する。そして、第１学習部２１は、この処理を全ての入力データ３１１に対し、又は、所定の学習終了条件が満たされるまで実行する。損失を最小化するように上述のパラメータを決定するアルゴリズムは、勾配降下法や誤差逆伝播法などの機械学習において用いられる任意の学習アルゴリズムであってもよい。なお、第１推定モデルの学習前の第１推定モデル情報記憶部４１には、第１推定モデルの初期パラメータが記憶されてもよい。
　第２訓練データ３２は、第２推定モデルの学習に用いる訓練データであり、第１入力データ３２１と、第２入力データ３２２と、正解データ３２３とを含む。第１入力データ３２１は、予め用意された所定個数分の第１観測データに相当する。第２入力データ３２２は、予め用意された所定個数分の第２観測データに相当し、夫々、第１入力データ３２１と同一タイミング（即ち同一時刻）において同一被検者を観測したデータとなる。正解データ３２３は、被検者及び観測タイミングが同一となる第１入力データ３２１及び第２入力データ３２２の組の各々に対して第２推定モデルが出力すべき正解の第２内面状態推定値を示す。ここで、第２内面状態は、他者が見ただけでは正確に判別できない対象者の内面状態であることから、正解データ３２３は、第１入力データ３２１及び第２入力データ３２２の被検者によるアノテーション作業（例えばアンケート結果等）により生成される。言い換えると、正解データ３２３は、主観評価に基づき生成されたデータであって、第１入力データ３２１及び第２入力データ３２２の各組の観測時点での被検者の第２内面状態の主観評価値を示している。
　第２学習部２２は、第１推定モデル情報記憶部４１に記憶された学習済みの第１推定モデルのパラメータと、第２訓練データ３２と、に基づき、第２推定モデルを学習し、学習により得られた第２推定モデルのパラメータを、第２推定モデル情報記憶部４２に記憶する。
　図７は、第２学習部２２の詳細な機能ブロックの一例である。図７に示す第２学習部２２は、機能的には、第１入力データ取得部２２１と、第１特徴量生成部２２２と、第１推定モデル適用部２２３と、第２入力データ取得部２２４と、第２特徴量生成部２２５と、第２推定モデル学習部２２６と、を有する。
　第１入力データ取得部２２１は、第１推定モデルを適用する任意の１個分の第１入力データ３２１を第２訓練データ３２から抽出する。第１特徴量生成部２２２は、第１入力データ取得部２２１が取得した１個分の第１入力データ３２１から、第１推定モデルの入力形式に整合する第１特徴量を生成する。第１特徴量生成部２２２が実行する特徴量抽出処理は、第１特徴量生成部６２が実行する特徴量抽出処理と同一のアルゴリズムである。第１推定モデル適用部２２３は、第１推定モデル情報記憶部４１に記憶された学習済みの第１推定モデルのパラメータに基づき構成した第１推定モデルに、第１特徴量生成部２２２が生成した第１特徴量を入力する。そして、第１推定モデル適用部２２３は、第１特徴量が入力された第１推定モデルが出力する第１内面状態推定値を、第２特徴量生成部２２５に供給する。
　第２入力データ取得部２２４は、第１入力データ取得部２２１が取得した１個分の第１入力データ３２１に対応する（即ち被検者及び観測タイミングが同一となる）第２入力データ３２２を取得する。第２特徴量生成部２２５は、第２入力データ取得部２２４が取得した第２入力データ３２２と、第１推定モデル適用部２２３から供給される第１内面状態推定値とに基づき、第２推定モデルの入力形式に整合する第２特徴量を生成する。第２特徴量生成部２２５が実行する特徴量抽出処理は、第２特徴量生成部７２が実行する特徴量抽出処理と同一のアルゴリズムである。
　第２推定モデル学習部２２６は、第２推定モデル情報記憶部４２に記憶されたパラメータに基づき構成した第２推定モデルに、第２特徴量生成部２２５が生成した第２特徴量を入力し、第２推定モデルが出力する第２内面状態推定値を取得する。そして、第２推定モデル学習部２２６は、第２推定モデルが取得する第２内面状態推定値と、第２特徴量の生成に用いた第１入力データ３２１及び第２入力データ３２２に対応する正解データ３２３が示す正解との誤差（損失）が最小となるように、第２推定モデルのパラメータを更新する。そして、第２学習部２２は、この処理を全ての第１入力データ３２１及び第２入力データ３２２の組に対して又は所定の学習終了条件が満たされるまで実行する。損失を最小化するように上述のパラメータを決定するアルゴリズムは、勾配降下法や誤差逆伝播法などの機械学習において用いられる任意の学習アルゴリズムであってもよい。なお、第２推定モデルの学習前の第２推定モデル情報記憶部４２には、第２推定モデルの初期パラメータが記憶されてもよい。
　このように、上述した学習方法では、内面状態推定装置１は、被検者以外の第３者による客観評価により生成可能な（即ち比較的大量に得られる）第１訓練データ３１に基づき学習した第１推定モデルの出力を、第２推定モデルへの入力の一部として用いる。これにより、内面状態推定装置１は、被検者による主観評価が必要な（即ち比較的少量となる）第２訓練データ３２を用いて、第２内面状態を高精度に推定する第２推定モデルを学習することができる。
　（６）処理フロー
　図８は、第１推定モデル及び第２推定モデルの学習後において実行される内面状態推定装置１の内面状態の推定に関する処理手順を示すフローチャートの一例である。
　内面状態推定装置１は、例えば、所定の内面状態の推定実行条件が満たされた場合に内面状態の推定タイミングであると判定し、図８のフローチャートの処理を実行する。なお、内面状態推定装置１は、例えば、入力装置２により内面状態の推定処理の実行を指示する入力信号Ｓ１を受信した場合に、上述の推定実行条件が満たされたと判定する。その他、内面状態推定装置１は、記憶装置４等に予め記憶された推定実行条件を参照し、推定実行条件が満たされたか否か判定してもよく、予め設定された所定の日時（例えば毎日の所定時刻）になった場合に推定実行条件が満たされたと判定してもよい。さらに別の例では、内面状態推定装置１は、内面状態の推定に必要な観測データを生成するためのセンサ信号Ｓ３を取得した場合に、推定実行条件が満たされたと判定してもよい。
　まず、内面状態推定装置１は、上述の内面状態の推定タイミングにおいて対象者を観測した観測データを取得する（ステップＳ１１）。この場合、内面状態推定装置１は、インターフェース１３を介してセンサ５から取得したセンサ信号Ｓ３に基づく観測データを取得する。さらに、内面状態推定装置１は、取得した観測データのうち、第１推定モデルに用いる観測データを第１観測データとして抽出し、第２推定モデルに用いる観測データを第２観測データとして抽出する。なお、第１観測データと第２観測データとは重複があってもよい。
　そして、内面状態推定装置１は、ステップＳ１１で取得された第１観測データに基づき、第１内面状態推定値を算出する（ステップＳ１２）。この場合、内面状態推定装置１は、第１推定モデル情報記憶部４１に記憶された学習済みのパラメータを参照して構成した第１推定モデルと、第１観測データと、に基づき、第１内面状態推定値を算出する。
　次に、内面状態推定装置１は、ステップＳ１１で取得された第２観測データと、ステップＳ１２で算出された第１内面状態推定値と、に基づき、第２内面状態推定値を算出する（ステップＳ１３）。この場合、内面状態推定装置１は、第２推定モデル情報記憶部４２に記憶された学習済みのパラメータを参照して構成した第２推定モデルと、第２観測データと、第１内面状態推定値と、に基づき、第２内面状態推定値を算出する。
　次に、内面状態推定装置１は、内面状態の推定結果に関する出力を行う（ステップＳ１４）。内面状態の推定結果は、第２内面状態推定値に限らず、第１内面状態推定値を含んでもよい。この場合、内面状態推定装置１は、内面状態の推定結果を表す表示又は音声出力を出力装置３が行うように、出力装置３に対して出力信号Ｓ２を供給する。この場合、例えば、出力制御部１８は、内面状態の推定結果と所定の基準値とを比較し、その比較結果に基づき、内面状態の推定結果に関する通知を対象者又はその管理者に対して実行してもよい。これにより、内面状態推定装置１は、対象者又はその管理者に対して、対象者の内面状態の推定結果に関する情報を好適に提示することができる。
　また、第２内面状態が集中度である場合には、内面状態推定装置１は、対象者が実行したタスクが集中して行われたタスクであったか否かを出力してもよい。また、内面状態推定装置１は、所定度合い未満の集中度により行われたタスクについて、所定度合い以上の集中度により行われたタスクと異なる扱いとする（例えばタスクがテストの場合にはそのテスト結果を無効化する）対応を行ってもよい。
　（７）変形例
　上述した実施形態に好適な変形例について説明する。変形例は任意に組み合わせて上述の実施形態に適用してもよい。
　（変形例１）
　内面状態推定装置１は、第２推定モデルへの入力の一部として、第１推定モデルが出力する第１内面状態推定値を用いる代わりに、第１訓練データ３１の正解データ３１２を用いてもよい。
　図９は、変形例１に係る第２学習部２２の詳細な機能ブロックの一例である。変形例１に係る第２学習部２２は、機能的には、第２入力データ取得部２２４と、第２特徴量生成部２２５と、第２推定モデル学習部２２６と、を有する。ここで、第２入力データ３２２は、正解データ３１２が示す正解の状態と同じタイミングにより同じ被検者から観測された第２観測データに相当する。
　第２入力データ取得部２２４は、第２推定モデルに入力する１個分の第２入力データ３２２を第２訓練データ３２から抽出する。第２特徴量生成部２２５は、第２入力データ取得部２２４が取得した第２入力データ３２２と、当該第２入力データ３２２の観測と同じ時点での第１内面状態の正解値を示す正解データ３１２と、に基づき、第２特徴量を生成する。第２推定モデル学習部２２６は、第２推定モデル情報記憶部４２に記憶されたパラメータに基づき構成した第２推定モデルに、第２特徴量生成部２２５が生成した第２特徴量を入力する。そして、第２推定モデル学習部２２６は、第２推定モデルが出力する第２内面状態推定値と、第２特徴量の生成に用いた第２入力データ３２２に対応する正解データ３２３が示す正解との誤差（損失）が最小となるように、第２推定モデルのパラメータを更新する。
　この場合、好適には、内面状態推定装置１は、対象者の内面状態の推定においても、第１推定モデルが出力する第１内面状態推定値の代わりに、第２観測データの観測時と同じ時点での対象者の第１内面状態の正解を示す正解データ３１２を用いて、第２内面状態の推定を行うとよい。
　図１０は、変形例１に係る第２内面状態推定部１７の詳細な機能ブロックの一例である。変形例１に係る第２内面状態推定部１７は、機能的には、第２観測データ取得部７１と、第２特徴量生成部７２と、第２推定モデル適用部７３と、を有する。
　第２観測データ取得部７１は、第２観測データを観測データ取得部１５から取得し、取得した第２観測データを第２特徴量生成部７２に供給する。なお、この第２観測データは、過去に対象者を観測することで得られたデータであり、正解データ３１２が示す対象者の第１内面状態と同じ時点において観測されたデータとなる。
　第２特徴量生成部７２は、第２観測データ取得部７１が取得した第２観測データから抽出した特徴量に、正解データ３１２が示す第１内面状態の正解値を加えた第２特徴量を生成する。第２推定モデル適用部７３は、第２推定モデル情報記憶部４２を参照して構成した第２推定モデルに、第２特徴量生成部７２から供給される第２特徴量を入力し、当該入力に応じて第２推定モデルが出力する第２内面状態推定値を取得する。そして、第２推定モデル適用部７３は、取得した第２内面状態推定値を出力制御部１８に供給する。なお、正解データ３１２が示す第１内面状態の正解値は、対象者の第１内面状態の推定結果の一例である。
　このように、変形例１に係る内面状態推定装置１は、正解データ３１２を用いた第２推定モデルの学習及び第２内面状態の推定を好適に実行することができる。
　（変形例２）
　第１内面状態と第２内面状態とは、同一の指標により表される内面状態であってもよい。例えば、第１内面状態と第２内面状態は、共に、喜怒哀楽に関する指標により表され、第１内面状態は、表出された喜怒哀楽の状態であり、第２内面状態は、内心の喜怒哀楽の状態である。
　この場合、第１内面状態推定部１６は、推定する内面状態を、他者が見てわかる表出された第１内面状態とみなし、客観評価値を正解データとして用いて学習した第１推定モデルに基づき、第１内面状態推定値を算出する。一方、第２内面状態推定部１７は、推定する内面状態を、他者が見ただけでは正確に判別できない対象者の第２内面状態とみなし、主観評価値を正解データとして用いて学習した第２推定モデルに基づき第２内面状態推定値を算出する。また、学習では、上述の実施形態と同様、第１学習部２１は、客観評価値を示す正解データを用いて第１推定モデルの学習を行い、第２学習部２２は、主観評価値を示す正解データを用いて第２推定モデルの学習を行う。これにより、第２内面状態を高精度に推定する第２推定モデルが学習される。
　本変形例によっても、内面状態推定装置１は、推定すべき内面状態を高精度に表した第２内面状態推定値を算出することができる。
　＜第２実施形態＞
　図１１は、第２実施形態における内面状態推定システム１００Ａの概略構成を示す。第２実施形態に係る内面状態推定システム１００Ａは、サーバクライアントモデルのシステムであり、サーバ装置として機能する内面状態推定装置１Ａが第１実施形態における内面状態推定装置１の処理を行う。以後では、第１実施形態と同一構成要素については、適宜同一符号を付し、その説明を省略する。
　内面状態推定システム１００Ａは、主に、サーバとして機能する内面状態推定装置１Ａと、第１実施形態と同様のデータを記憶する記憶装置４と、クライアントとして機能する端末装置８とを有する。内面状態推定装置１Ａと端末装置８とは、ネットワーク７を介してデータ通信を行う。
　端末装置８は、入力機能、表示機能、及び通信機能を有する端末であり、図１に示される入力装置２及び出力装置３として機能する。端末装置８は、例えば、パーソナルコンピュータ、タブレット型端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）などであってもよい。端末装置８は、図示しないセンサが出力する生体信号又はユーザ入力に基づく入力信号などを、内面状態推定装置１Ａに送信する。
　内面状態推定装置１Ａは、例えば内面状態推定装置１と同一のハードウェア構成及び機能構成を有する。そして、内面状態推定装置１Ａは、図１に示す内面状態推定装置１が入力装置２及びセンサ５から取得する情報などを、ネットワーク７を介して端末装置８から受信し、受信した情報に基づいて対象者の内面状態の推定を行う。また、内面状態推定装置１Ａは、端末装置８からの要求に基づき、上述の推定結果に関する情報を示す出力信号を、ネットワーク７を介して端末装置８へ送信する。即ち、この場合、端末装置８は、第１実施形態における出力装置３として機能する。これにより、内面状態推定装置１Ａは、内面状態の推定結果に関する情報を端末装置８のユーザに好適に提示する。
　＜第３実施形態＞
　図１２は、第３実施形態における内面状態推定装置１Ｘのブロック図である。内面状態推定装置１Ｘは、主に、観測データ取得手段１５Ｘと、第１内面状態取得手段１６Ｘと、第２内面状態推定手段１７Ｘと、を有する。なお、内面状態推定装置１Ｘは、複数の装置により構成されてもよい。
　観測データ取得手段１５Ｘは、対象者を観測した観測データを取得する。観測データ取得手段は、例えば、第１実施形態（変形例を含む、以下同じ）又は第２実施形態における観測データ取得部１５とすることができる。
　第１内面状態取得手段１６Ｘは、対象者の第１内面状態の推定結果を取得する。第１内面状態取得手段１６Ｘは、例えば、第１実施形態（変形例１を除く）又は第２実施形態における第１内面状態推定部１６とすることができる。また、第１内面状態取得手段１６Ｘは、第１実施形態の変形例１において正解データ３１２を第１内面状態の推定結果として取得する第２内面状態推定部１７とすることができる。
　第２内面状態推定手段１７Ｘは、観測データと、第１内面状態の推定結果とに基づき、第1内面状態と相関関係がある内面状態である対象者の第２内面状態を推定する。第２内面状態推定手段１７Ｘは、例えば、第１実施形態又は第２実施形態における第２内面状態推定部１７とすることができる。
　図１３は、第３実施形態において内面状態推定装置１Ｘが実行するフローチャートの一例である。観測データ取得手段１５Ｘは、対象者を観測した観測データを取得する（ステップＳ２１）。第１内面状態取得手段１６Ｘは、対象者の第１内面状態の推定結果を取得する（ステップＳ２２）。第２内面状態推定手段１７Ｘは、観測データと、第１内面状態の推定結果とに基づき、第1内面状態と相関関係がある内面状態である対象者の第２内面状態を推定する（ステップＳ２３）。
　第３実施形態によれば、内面状態推定装置１Ｘは、第１内面状態の推定結果に基づき対象者の第２内面状態を的確に推定することが可能となる。
　＜その他の実施形態＞
　各実施形態において、管理者は、例えば、医療従事者である。
　各実施形態において、出力制御部１８は、管理者に対して、アドバイスに関する情報として、対象者の内面状態（第１内面状態又は／及び第２内面状態）の推定結果に基づく対象者への対処法を示す情報を出力してもよい。
　この場合の第１の例では、内面状態の推定結果と対処法との対応関係を示す情報がメモリ１２、記憶装置４または図示しない内面状態推定装置１以外の装置に記憶されており、出力制御部１８は、当該対応関係を示す情報を参照することにより、対象者への対処法を決定し、決定した対処法を示す情報を出力装置３により出力する。ここで、「対処法」は、推定された内面状態に応じた対象者への治療方法その他の処置方法（対象者自身で行う行動も含む）であり、「対処法を示す情報」は、例えば、対処法を特定するための任意の情報（名前、識別番号、内容説明、又はその組み合わせ等）である。
　また、第２の例では、出力制御部１８は、内面状態の推定結果と対処法との対応関係を機械学習することで生成されたモデルと、対象者の内面状態の推定結果と、に基づいて対処法を決定し、決定した対処法を示す情報を出力してもよい。この場合、上述のモデルの学習済みのパラメータがメモリ１２、記憶装置４または図示しない内面状態推定装置１以外の装置に記憶されている。そして、出力制御部１８は、内面状態の推定結果が得られた場合に、学習済みのパラメータを適用したモデルに、当該内面状態の推定結果を入力し、モデルが出力する情報に基づき、対処法を決定し、決定した対処法を示す情報を出力装置３により出力する。
　なお、対処法の決定方法は、上述の方法に限定されない。そして、本実施形態によれば、対象者の状態を管理する管理者の行動を最適化するための情報を提供することができ、例えば対象者の状態改善を図ることが可能となる。
　また、各実施形態において、出力制御部１８は、内面状態の推定結果（第１内面状態の推定結果又は／及び第２内面状態の推定結果）に影響を及ぼした、観測データ（第１観測データ又は／及び第２観測データ）を出力装置３により出力してもよい。この場合、例えば、内面状態の推定結果を出力する推定モデルがニューラルネットワークにより構成される場合には、フルコネクションの前の出力データが入力されるようにａｔｔｅｎｔｉｏｎ機構が上記推定モデルに付加される。そして、出力制御部１８は、当該ａｔｔｅｎｔｉｏｎ機構が出力する係数が所定値以上となる特徴量に対応する観測データを、内面状態の推定結果に影響を及ぼした観測データとして出力装置３により出力する。これにより、管理者の行動を最適化するための情報を管理者に提供することが可能となる。例えば、出力された推定結果が適切でないと管理者が判断した場合に、管理者は、出力装置３により出力された、第１内面状態の推定結果又は／及び第２内面状態の推定結果に影響を及ぼした観測データを参照する。これにより、管理者は、参照した観測データを基に、観測データに関連するセンサ５の生体信号の測定状態を改善するような行動をとることができる。
　なお、上述した各実施形態において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータであるプロセッサ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記憶媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　その他、上記の各実施形態の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。
［付記１］
　対象者を観測した観測データを取得する観測データ取得手段と、
　前記対象者の第１内面状態の推定結果を取得する第１内面状態取得手段と、
　前記観測データと、前記推定結果とに基づき、前記第1内面状態と相関関係がある内面状態である前記対象者の第２内面状態を推定する第２内面状態推定手段と、
を備える、内面状態推定装置。
［付記２］
　前記第１内面状態は、前記対象者の生理現象の表出が観測される内面状態である、付記１に記載の内面状態推定装置。
［付記３］
　前記第１内面状態取得手段は、前記観測データの少なくとも一部である第１観測データと、第１推定モデルとに基づいて、前記推定結果を算出し、
　前記第１推定モデルは、前記第１観測データ又は前記第１観測データの特徴量が入力された場合に、前記第１観測データが観測されたときの前記第１内面状態の推定結果を出力する、付記１に記載の内面状態推定装置。
［付記４］
　前記第１推定モデルは、客観評価に基づき生成された第１内面状態の正解データを含む訓練データに基づき学習されたモデルである、付記３に記載の内面状態推定装置。
［付記５］
　前記推定結果は、前記正解データであり、
　前記第２内面状態推定手段は、前記観測データと、前記正解データとに基づき、前記第２内面状態を推定する、付記４に記載の内面状態推定装置。
［付記６］
　前記第２内面状態は、前記対象者の生理現象の表出が観測される状態と前記表出が観測されない状態とが混同した内面状態である、付記１に記載の内面状態推定装置。
［付記７］
　前記第２内面状態推定手段は、前記観測データの少なくとも一部である第２観測データと、前記推定結果と、第２推定モデルとに基づいて、前記第２内面状態を推定し、
　前記第２推定モデルは、前記第２観測データ又は前記第２観測データの特徴量と、前記推定結果と、が入力された場合に、前記第２観測データが観測されたときの前記第２内面状態の推定結果を出力する、付記１に記載の内面状態推定装置。
［付記８］
　前記第２推定モデルは、主観評価に基づき生成された正解データを含む訓練データに基づき学習されたモデルである、付記７に記載の内面状態推定装置。
［付記９］
　前記第１内面状態取得手段は、前記観測データの少なくとも一部である第１観測データに基づいて、前記推定結果を算出し、
　前記第２内面状態推定手段は、前記観測データの少なくとも一部である第２観測データと、前記推定結果と、に基づいて、前記第２内面状態を推定し、
　前記第２観測データは、前記第１観測データを含む、付記１に記載の内面状態推定装置。
［付記１０］
　前記第２内面状態推定手段は、前記第２内面状態として、集中度を推定する、付記１に記載の内面状態推定装置。
［付記１１］
　前記第１内面状態と前記第２内面状態とは同一の指標により表される内面状態である、付記１に記載の内面状態推定装置。
［付記１２］
　前記第２内面状態に関する情報を出力する出力制御手段をさらに有する、付記１に記載の内面状態推定装置。
［付記１３］
　前記出力制御手段は、前記対象者及び前記対象者の管理者の少なくとも一方の行動を最適化するための、前記第１内面状態に基づく対処法及び前記第２内面状態に基づく対処法の少なくとも一方を出力する、
付記１２に記載の内面状態推定装置。
［付記１４］
　コンピュータが、
　対象者を観測した観測データを取得し、
　前記対象者の第１内面状態の推定結果を取得し、
　前記観測データと、前記推定結果とに基づき、前記第1内面状態と相関関係がある内面状態である前記対象者の第２内面状態を推定する、
内面状態推定方法。
［付記１５］
　対象者を観測した観測データを取得し、
　前記対象者の第１内面状態の推定結果を取得し、
　前記観測データと、前記推定結果とに基づき、前記第1内面状態と相関関係がある内面状態である前記対象者の第２内面状態を推定する処理をコンピュータに実行させるプログラムが格納された記憶媒体。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。
　例えば、内面状態に基づくマネジメント（セルフマネジメントを含む）に関するサービスに利用される。
　１、１Ａ、１Ｘ　内面状態推定装置
　２　入力装置
　３　出力装置
　４　記憶装置
　５　センサ
　８　端末装置
　１００、１００Ａ　内面状態推定システム

Claims (15)

  1. 　対象者を観測した観測データを取得する観測データ取得手段と、
    　前記対象者の第１内面状態の推定結果を取得する第１内面状態取得手段と、
    　前記観測データと、前記推定結果とに基づき、前記第1内面状態と相関関係がある内面状態である前記対象者の第２内面状態を推定する第２内面状態推定手段と、
    を備える、内面状態推定装置。
  2. 　前記第１内面状態は、前記対象者の生理現象の表出が観測される内面状態である、請求項１に記載の内面状態推定装置。
  3. 　前記第１内面状態取得手段は、前記観測データの少なくとも一部である第１観測データと、第１推定モデルとに基づいて、前記推定結果を算出し、
    　前記第１推定モデルは、前記第１観測データ又は前記第１観測データの特徴量が入力された場合に、前記第１観測データが観測されたときの前記第１内面状態の推定結果を出力する、請求項１に記載の内面状態推定装置。
  4. 　前記第１推定モデルは、客観評価に基づき生成された第１内面状態の正解データを含む訓練データに基づき学習されたモデルである、請求項３に記載の内面状態推定装置。
  5. 　前記推定結果は、前記正解データであり、
    　前記第２内面状態推定手段は、前記観測データと、前記正解データとに基づき、前記第２内面状態を推定する、請求項４に記載の内面状態推定装置。
  6. 　前記第２内面状態は、前記対象者の生理現象の表出が観測される状態と前記表出が観測されない状態とが混同した内面状態である、請求項１に記載の内面状態推定装置。
  7. 　前記第２内面状態推定手段は、前記観測データの少なくとも一部である第２観測データと、前記推定結果と、第２推定モデルとに基づいて、前記第２内面状態を推定し、
    　前記第２推定モデルは、前記第２観測データ又は前記第２観測データの特徴量と、前記推定結果と、が入力された場合に、前記第２観測データが観測されたときの前記第２内面状態の推定結果を出力する、請求項１に記載の内面状態推定装置。
  8. 　前記第２推定モデルは、主観評価に基づき生成された正解データを含む訓練データに基づき学習されたモデルである、請求項７に記載の内面状態推定装置。
  9. 　前記第１内面状態取得手段は、前記観測データの少なくとも一部である第１観測データに基づいて、前記推定結果を算出し、
    　前記第２内面状態推定手段は、前記観測データの少なくとも一部である第２観測データと、前記推定結果と、に基づいて、前記第２内面状態を推定し、
    　前記第２観測データは、前記第１観測データを含む、請求項１に記載の内面状態推定装置。
  10. 　前記第２内面状態推定手段は、前記第２内面状態として、集中度を推定する、請求項１に記載の内面状態推定装置。
  11. 　前記第１内面状態と前記第２内面状態とは同一の指標により表される内面状態である、請求項１に記載の内面状態推定装置。
  12. 　前記第２内面状態に関する情報を出力する出力制御手段をさらに有する、請求項１に記載の内面状態推定装置。
  13. 　前記出力制御手段は、前記対象者及び前記対象者の管理者の少なくとも一方の行動を最適化するための、前記第１内面状態に基づく対処法及び前記第２内面状態に基づく対処法の少なくとも一方を出力する、
    請求項１２に記載の内面状態推定装置。
  14. 　コンピュータが、
    　対象者を観測した観測データを取得し、
    　前記対象者の第１内面状態の推定結果を取得し、
    　前記観測データと、前記推定結果とに基づき、前記第1内面状態と相関関係がある内面状態である前記対象者の第２内面状態を推定する、
    内面状態推定方法。
  15. 　対象者を観測した観測データを取得し、
    　前記対象者の第１内面状態の推定結果を取得し、
    　前記観測データと、前記推定結果とに基づき、前記第1内面状態と相関関係がある内面状態である前記対象者の第２内面状態を推定する処理をコンピュータに実行させるプログラムが格納された記憶媒体。
PCT/JP2023/014240 2022-04-13 2023-04-06 内面状態推定装置、内面状態推定方法及び記憶媒体 WO2023199839A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPPCT/JP2022/017676 2022-04-13
PCT/JP2022/017676 WO2023199422A1 (ja) 2022-04-13 2022-04-13 内面状態推定装置、内面状態推定方法及び記憶媒体

Publications (1)

Publication Number Publication Date
WO2023199839A1 true WO2023199839A1 (ja) 2023-10-19

Family

ID=88329239

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2022/017676 WO2023199422A1 (ja) 2022-04-13 2022-04-13 内面状態推定装置、内面状態推定方法及び記憶媒体
PCT/JP2023/014240 WO2023199839A1 (ja) 2022-04-13 2023-04-06 内面状態推定装置、内面状態推定方法及び記憶媒体

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/017676 WO2023199422A1 (ja) 2022-04-13 2022-04-13 内面状態推定装置、内面状態推定方法及び記憶媒体

Country Status (1)

Country Link
WO (2) WO2023199422A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013027570A (ja) * 2011-07-28 2013-02-07 Panasonic Corp 心理状態評価装置、心理状態評価システム、心理状態評価方法およびプログラム
JP2016165373A (ja) * 2015-03-10 2016-09-15 日本電信電話株式会社 センサデータを用いた推定装置、センサデータを用いた推定方法、センサデータを用いた推定プログラム
JP2020137895A (ja) * 2019-02-28 2020-09-03 パナソニックＩｐマネジメント株式会社 表示方法、プログラム、及び表示システム
WO2022034682A1 (ja) * 2020-08-14 2022-02-17 日本電気株式会社 情報処理装置、制御方法及び記憶媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013027570A (ja) * 2011-07-28 2013-02-07 Panasonic Corp 心理状態評価装置、心理状態評価システム、心理状態評価方法およびプログラム
JP2016165373A (ja) * 2015-03-10 2016-09-15 日本電信電話株式会社 センサデータを用いた推定装置、センサデータを用いた推定方法、センサデータを用いた推定プログラム
JP2020137895A (ja) * 2019-02-28 2020-09-03 パナソニックＩｐマネジメント株式会社 表示方法、プログラム、及び表示システム
WO2022034682A1 (ja) * 2020-08-14 2022-02-17 日本電気株式会社 情報処理装置、制御方法及び記憶媒体

Also Published As

Publication number Publication date
WO2023199422A1 (ja) 2023-10-19

Similar Documents

Publication Publication Date Title
US10291977B2 (en) Method and system for collecting and processing bioelectrical and audio signals
EP3403235B1 (en) Sensor assisted evaluation of health and rehabilitation
US20240023892A1 (en) Method and system for collecting and processing bioelectrical signals
KR20200074951A (ko) 신경계 장애의 식별 및 모니터링을 위한 머신 러닝 기반 시스템
US20220054092A1 (en) Eyewear with health assessment, risk monitoring and recovery assistance
US20180008191A1 (en) Pain management wearable device
US20170035351A1 (en) System and method for tracking sleep dynamics using behavioral and physiological information
EP3979043A1 (en) Information processing apparatus and program
Mahesh et al. Requirements for a reference dataset for multimodal human stress detection
US20240032852A1 (en) Cognitive function estimation device, cognitive function estimation method, and storage medium
JP2021090668A (ja) 情報処理装置及びプログラム
WO2022034682A1 (ja) 情報処理装置、制御方法及び記憶媒体
WO2023199839A1 (ja) 内面状態推定装置、内面状態推定方法及び記憶媒体
Samarasekara et al. Non invasive continuous detection of mental stress via readily available mobile-based help parameters
WO2022144978A1 (ja) 情報処理装置、制御方法及び記憶媒体
WO2022113276A1 (ja) 情報処理装置、制御方法及び記憶媒体
Miltiadous et al. An experimental protocol for exploration of stress in an immersive VR scenario with EEG
WO2022259464A1 (ja) 情報処理装置、制御方法及び記憶媒体
US20240071240A1 (en) Test familiar determination device, test familiar determination method and storage medium
WO2022201364A1 (ja) 情報処理装置、制御方法及び記憶媒体
WO2022208873A1 (ja) ストレス推定装置、ストレス推定方法及び記憶媒体
US20230107691A1 (en) Closed Loop System Using In-ear Infrasonic Hemodynography and Method Therefor
JP6942288B2 (ja) 情報処理装置、サウンドマスキングシステム、制御方法、及び制御プログラム
WO2023053176A1 (ja) 学習装置、行動推薦装置、学習方法、行動推薦方法及び記憶媒体
US20240008766A1 (en) System, method and computer program product for processing a mobile phone user's condition

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23788258

Country of ref document: EP

Kind code of ref document: A1