WO2023243468A1 - 電子機器、電子機器の制御方法及び制御プログラム - Google Patents

電子機器、電子機器の制御方法及び制御プログラム Download PDF

Info

Publication number
WO2023243468A1
WO2023243468A1 PCT/JP2023/020856 JP2023020856W WO2023243468A1 WO 2023243468 A1 WO2023243468 A1 WO 2023243468A1 JP 2023020856 W JP2023020856 W JP 2023020856W WO 2023243468 A1 WO2023243468 A1 WO 2023243468A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
internal state
period
electronic device
biological information
Prior art date
Application number
PCT/JP2023/020856
Other languages
English (en)
French (fr)
Inventor
賢也 小林
淳吾 宮崎
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Publication of WO2023243468A1 publication Critical patent/WO2023243468A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management

Definitions

  • the present disclosure relates to an electronic device, a control method for the electronic device, and a control program.
  • Non-Patent Document 1 In recent years, research has been conducted that attempts to estimate a subject's internal state, such as their degree of concentration or emotion. For example, during a lecture, the teacher's utterances, the learner's biological information, and the learner's video are recorded, and after the lecture, the learner introspectively reports their own emotions in each scene, so that the mental state of the learner can be understood. An attempt to estimate this has been reported (see Non-Patent Document 1).
  • An electronic device includes a control unit that estimates an internal state of a subject based on measurement results of biological information of the subject in each of a first period and a second period after the first period. Equipped with The control unit generates hypothetical information corresponding to a temporary internal state of the subject during the first period. The control unit predicts biological information of the subject in the second period based on a temporary internal state of the subject and a measurement result of the biological information of the subject in the first period. The control unit estimates an internal state corresponding to the biological information based on a difference between the predicted biological information and a measurement result of the biological information of the subject in the second period.
  • a method for controlling an electronic device estimates an internal state of a subject based on measurement results of biological information of the subject in each of a first period and a second period after the first period. performed by electronic equipment.
  • the electronic device generates hypothetical information indicating each of a plurality of assumed internal states of the subject.
  • the electronic device generates hypothetical information corresponding to a temporary internal state of the subject during the first period.
  • the electronic device controls biological information of the subject in the second period based on a temporary internal state of the subject and a measurement result of the biological information of the subject in the first period. Predict.
  • the electronic device estimates an internal state corresponding to the biological information based on a difference between the predicted biological information and a measurement result of the biological information of the subject in the second period. .
  • a control program for an electronic device estimates an internal state of the subject based on measurement results of biological information of the subject in each of a first period and a second period after the first period. performed by electronic equipment.
  • the control program for the electronic device causes the electronic device to generate hypothetical information indicating each of a plurality of assumed internal states of the subject.
  • the control program for the electronic device causes the electronic device to generate hypothetical information corresponding to a temporary internal state of the subject during the first period.
  • the control program for the electronic device causes the electronic device to acquire biological information of the subject in the second period based on a provisional internal state of the subject and a measurement result of the biological information of the subject in the first period. to predict.
  • the control program for the electronic device causes the electronic device to estimate an internal state corresponding to the biological information based on a difference between the predicted biological information and a measurement result of the biological information of the subject in the second period. .
  • FIG. 1 is a block diagram showing a schematic configuration of an electronic device according to an embodiment.
  • FIG. 2 is a conceptual diagram illustrating an example of encoding by an electronic device.
  • FIG. 2 is a conceptual diagram illustrating an example of decoding by an electronic device.
  • FIG. 2 is a conceptual diagram illustrating the operation of a self-encoder in an electronic device.
  • FIG. 2 is a diagram illustrating a configuration example of a prediction model according to an embodiment. It is a figure which shows an example of the signal waveform of a subject's biological information.
  • 3 is a flowchart illustrating an example of a procedure of a predictive model generation method.
  • 3 is a flowchart illustrating a procedure example of an internal state estimation method.
  • 3 is a flowchart illustrating a procedure example of an internal state estimation method that takes into account the reliability of the internal state estimation result.
  • the subject's internal state and biological information may be correlated. That is, the subject's internal state at a certain point in time can be reflected in the subject's biological information at that point in time. On the other hand, the subject's internal state may also be reflected in changes over time in the subject's biological information. It is expected that the accuracy of estimating internal states will improve by considering changes in biological information over time. There is a need to improve the accuracy of estimating a subject's internal state.
  • the "electronic device 1" may be a device driven by electric power.
  • the electronic device 1 estimates the internal state of the subject, such as the subject's emotion or concentration level.
  • the "target person” may be a person (typically a human being) whose internal state is estimated by the electronic device 1 according to an embodiment.
  • a "user” may be a person (typically a human) who uses the electronic device 1 according to an embodiment.
  • the “user” may be the same person as the "target person” or may be a different person.
  • the "user” and the “target person” may be humans or animals other than humans.
  • the electronic device 1 may be various types of devices.
  • the electronic device 1 according to one embodiment may be any device such as a specially designed terminal, a general-purpose smartphone, a tablet, a phablet, a notebook computer, a computer, or a server. good.
  • the electronic device 1 according to one embodiment may have a function of communicating with other devices, such as a mobile phone or a smartphone.
  • the above-mentioned "other device” may be a device such as a mobile phone or a smartphone, or may be any device such as a base station, server, dedicated terminal, or computer. good.
  • the “other device” in the present disclosure may be a device, a device, or the like that is driven by electric power.
  • the electronic device 1 according to one embodiment may be configured to be able to communicate with other devices by wire and/or wirelessly.
  • the electronic device 1 may estimate a predetermined internal state (for example, a predetermined psychological state, emotion, concentration level, etc.) of the participants in the online conference.
  • the electronic device 1 notifies the organizer or facilitator of the online conference, or the participants themselves, of the estimation results of the participants' internal states, or outputs an alarm based on the estimation results of the participants' internal states. It's fine.
  • an electronic device 1 may include a control section 10, a biological information acquisition section 20, a storage section 30, and a notification section 40. Further, the control unit 10 may be configured to include an extraction unit 12, a prediction unit 14, and a determination unit 16, as shown in FIG.
  • the electronic device 1 according to one embodiment may include all the functional units shown in FIG. 1 or may not include at least some of the functional units shown in FIG. 1. For example, the electronic device 1 according to one embodiment may include only the control unit 10 shown in FIG. 1. In this case, the electronic device 1 according to one embodiment may be connected to a biological information acquisition section 20, a storage section 30, a notification section 40, etc., which are prepared as external devices.
  • the functions of the encoder ENN and decoder DNN described below are realized by at least one function of the control section 10, the prediction section 14, and the storage section 30.
  • the input information or data may be transmitted, for example, to the extraction unit 12, the encoder ENN, the decoder DNN, and the determination unit 16 in this order.
  • a latent variable Z which will be described below, may be output from the encoder ENN. In this case, the output latent variable Z may be input to the decoder DNN.
  • the biological information acquisition unit 20 of the present disclosure may be an imaging unit that acquires at least one of still and moving images, an acquisition unit that acquires feature quantities such as heartbeat, heart sound, body temperature, line of sight, movement, etc. of the subject. .
  • the control unit 10 controls and/or manages the entire electronic device 1, including each functional unit that makes up the electronic device 1.
  • the control unit 10 may include at least one processor, such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor), to provide control and processing capabilities to perform various functions.
  • the control unit 10 may be implemented by a single processor, several processors, or individual processors.
  • a processor may be implemented as a single integrated circuit.
  • An integrated circuit is also called an IC (Integrated Circuit).
  • a processor may be implemented as a plurality of communicatively connected integrated and discrete circuits.
  • the processor may be implemented based on various other known technologies.
  • the control unit 10 may include one or more processors and memory.
  • the processor may include a general-purpose processor that loads a specific program to execute a specific function, and a dedicated processor specialized for specific processing.
  • a dedicated processor may include an application specific integrated circuit (ASIC).
  • the processor may include a programmable logic device (PLD).
  • the PLD may include an FPGA (Field-Programmable Gate Array).
  • the control unit 10 may be either an SoC (System-on-a-Chip) or an SiP (System In a Package) in which one or more processors cooperate.
  • the control unit 10 controls the operation of each component of the electronic device 1.
  • the control unit 10 may be configured to include at least one of software and hardware resources, for example. Furthermore, in the electronic device 1 according to one embodiment, the control unit 10 may be configured by specific means in which software and hardware resources cooperate. At least one of the extraction unit 12, the prediction unit 14, and the determination unit 16 included in the control unit 10 may be configured to include at least one of software and hardware resources. Furthermore, in the electronic device 1 according to one embodiment, at least one of the extraction unit 12, the prediction unit 14, and the determination unit 16 may be configured by concrete means in which software and hardware resources cooperate.
  • the extraction unit 12 extracts the characteristics of the subject's heartbeat from the subject's heartbeat data acquired by the biological information acquisition unit 20.
  • the prediction unit 14 estimates the internal state of the subject, such as concentration level, understanding level, and engagement, and predicts changes in the subject's biological information.
  • the determining unit 16 determines whether the internal state of the subject estimated by the predicting unit 14 satisfies a predetermined condition.
  • the determination unit 16 outputs a predetermined alarm signal to the notification unit 40 when the subject's internal state satisfies a predetermined condition (for example, when the subject's concentration level falls below a predetermined level). Further, the determining unit 16 determines the difference between the biological information of the subject predicted by the predicting unit 14 and the actual biological information.
  • the biological information acquisition unit 20 of the present disclosure may be configured to acquire heartbeat data from the subject and extract the feature amount of the heartbeat.
  • line-of-sight data in which the subject's line of sight is extracted as data, may be treated as coordinate values (x, y) of a gaze point.
  • the line of sight data may include not only the coordinates of the target's gaze point, but also, for example, pupil diameter and/or eyeball rotation information, etc., as the line of sight feature quantity.
  • the feature amount to be extracted may include a temporal feature amount of the RR interval calculated from the heartbeat, a feature amount in the frequency space, or a Poincaré feature amount. It may also include non-linear features such as plots.
  • control unit 10 The operation of the control unit 10 and the operations of the extraction unit 12, prediction unit 14, and determination unit 16 included in the control unit 10 will be further described later.
  • the biological information acquisition unit 20 may be configured to include an image sensor that electronically captures images, such as a digital camera.
  • the biological information acquisition unit 20 may include an image sensor that performs photoelectric conversion, such as a CCD (Charge Coupled Device Image Sensor) or a CMOS (Complementary Metal Oxide Semiconductor) sensor.
  • the biological information acquisition unit 20 may supply a signal based on the captured image to the control unit 10 or the like. Therefore, as shown in FIG. 1, the biological information acquisition section 20 may be connected to the control section 10 by wire and/or wirelessly.
  • the biological information acquisition unit 20 is not limited to an imaging device such as a digital camera, but may be any imaging device as long as it captures an image of the subject.
  • the biological information acquisition unit 20 can capture images of differences in characteristics that reflect light and/or differences in characteristics that absorb light.
  • the biological information acquisition unit 20 may include an ECG (Electrocardiogram) sensor that can acquire heartbeat data.
  • the biological information acquisition unit 20 may include a non-contact sensor that can acquire heart sounds.
  • the biological information acquisition unit 20 captures an image of the subject.
  • participants in an online conference are assumed to be an example of the target audience. That is, in one embodiment, the biometric information acquisition unit 20 images a participant using a terminal connected to an online conference as a target person.
  • the biological information acquisition unit 20 may capture still images of the subject at predetermined time intervals (eg, 30 frames per second), for example. Further, in one embodiment, the biological information acquisition unit 20 may capture images of the subject as a continuous moving image, for example.
  • the biological information acquisition unit 20 may capture an image of the subject in various data formats such as RGB data and/or infrared data.
  • the biometric information acquisition unit 20 may be configured as, for example, an in-camera of a terminal in order to capture images of participants in an online conference.
  • the biometric information acquisition unit 20 may be configured as a camera connected to a terminal.
  • the image of the participant captured by the biological information acquisition section 20 is supplied to the control section 10.
  • the extraction unit 12 extracts biometric information including the participant's line of sight from the participant's image. Therefore, the biological information acquisition unit 20 may be installed at a location suitable for capturing an image including the participant's line of sight.
  • the storage unit 30 may have a function as a memory that stores various information.
  • the storage unit 30 may store, for example, programs executed by the control unit 10, results of processes executed by the control unit 10, and the like. Further, the storage unit 30 may function as a work memory for the control unit 10. Therefore, as shown in FIG. 1, the storage section 30 may be connected to the control section 10 by wire and/or wirelessly.
  • the storage unit 30 may include, for example, at least one of a RAM (Random Access Memory) and a ROM (Read Only Memory).
  • the storage unit 30 can be configured by, for example, a semiconductor memory or the like, but is not limited thereto, and can be any storage device.
  • the storage unit 30 may be a storage medium such as a memory card inserted into the electronic device 1 according to one embodiment. Further, the storage unit 30 may be an internal memory of the CPU used as the control unit 10, or may be connected to the control unit 10 as a separate unit.
  • the storage unit 30 may store machine learning data, for example.
  • the machine learning data may be data generated by machine learning.
  • the machine learning data may include parameters generated by machine learning.
  • machine learning may be based on AI (Artificial Intelligence) technology that enables specific tasks to be executed through training. More specifically, machine learning may include techniques in which an information processing device, such as a computer, learns from large amounts of data and automatically constructs algorithms or models that perform tasks such as classification and/or prediction.
  • AI technology may include machine learning technology at least in part.
  • machine learning may include supervised learning in which features or rules of input data are learned based on correct data.
  • Machine learning may also include unsupervised learning in which features or rules of input data are learned without correct data.
  • machine learning may include reinforcement learning, etc., in which the characteristics or rules of input data are learned by giving rewards or punishments. Further, in this specification, machine learning may be configured by arbitrarily combining supervised learning, unsupervised learning, and reinforcement learning.
  • the concept of machine learning data in this embodiment may include an algorithm that outputs a predetermined inference (estimate) result using an algorithm learned on input data.
  • a predetermined inference (estimation) result for example, a linear regression that predicts the relationship between a dependent variable and an independent variable, a neural network (NN) that is a mathematical model of neurons in the human brain nervous system.
  • NN neural network
  • Various algorithms can be used, such as the least squares method that calculates by squaring the error, a decision tree that solves the problem using a tree structure, or regularization that transforms data in a predetermined manner.
  • a deep neural network which is a type of neural network, may be used.
  • a deep neural network is a type of neural network, and generally refers to a network with a deep structure in which the intermediate layer is one or more layers. Deep learning is widely used as an algorithm for AI.
  • the information stored in the storage unit 30 may be information stored in advance before shipment from the factory, for example, or may be information acquired by the control unit 10 or the like as appropriate.
  • the storage unit 30 may store information received from a communication unit (communication interface) connected to the control unit 10, the electronic device 1, or the like.
  • the communication unit may receive various information by communicating with an external electronic device or a base station, for example, by at least one of wireless and wired communication.
  • the storage unit 30 may store information input to an input unit (input interface) connected to the control unit 10 or the electronic device 1. In this case, the user of the electronic device 1 or another person may input various information by operating the input section.
  • the notification section 40 may output a predetermined alarm to call attention to the user of the electronic device 1. Therefore, as shown in FIG. 1, the notification section 40 may be connected to the control section 10 by wire and/or wirelessly.
  • the notification unit 40 may be any functional unit that stimulates at least one of the user's auditory, visual, and tactile senses, such as sound, voice, light, text, video, and vibration, as the predetermined alarm.
  • the notification unit 40 includes at least one of a sound output unit such as a buzzer or a speaker, a light emitting unit such as an LED, a display unit such as an LCD, and a tactile sensation presentation unit such as a vibrator.
  • the notification section 40 may output a predetermined alarm based on a predetermined signal output from the control section 10.
  • the notification unit 40 may output a predetermined alarm as information that acts on at least one of auditory, visual, and tactile senses of living things such as humans.
  • the notification unit 40 detects that the target person's own concentration level has decreased, for example, when it is estimated that the target person's own concentration level has decreased to a predetermined threshold value or less as an internal state of the target person. It is possible to output a corresponding alarm.
  • the notification unit 40 that outputs visual information may notify the subject that the subject's concentration level has decreased by emitting light, a predetermined display, or the like.
  • the notification unit 40 that outputs auditory information may notify the subject that the subject's concentration level has decreased by using a predetermined sound, voice, or the like.
  • the notification unit 40 that outputs tactile information may notify the subject that the subject's concentration level has decreased by using predetermined vibrations or the like. In this way, the subject himself/herself can know that, for example, his or her level of concentration on the online meeting is decreasing.
  • the notification unit 40 notifies the organizer or facilitator of the online conference, or other participants, when it is estimated that the concentration level of the participants in the online conference as the target audience has decreased below a predetermined threshold. It may be reported that there are participants whose concentration level has decreased.
  • the notification unit 40 may notify that there are participants whose concentration level has decreased in various ways.
  • Example of internal state estimation operation An example of the operation of estimating the internal state of a subject by the electronic device 1 according to an embodiment will be described below.
  • the electronic device 1 uses an auto encoder to perform machine learning based on images of participants in an online conference as subjects, thereby estimating internal states such as the concentration level of participants. do.
  • An autoencoder is an architecture for neural networks.
  • the autoencoder may be a neural network including an encoder (hereinafter, the code ENN may correspond) and a decoder (hereinafter, the code DNN may correspond).
  • the control unit 10 may include a function as a self-encoder. That is, the control unit 10 of the electronic device 1 according to one embodiment may have the functions of an encoder ENN and a decoder DNN.
  • FIG. 2 and 3 are diagrams conceptually showing a neural network that functions as an autoencoder in the electronic device 1 according to an embodiment.
  • FIG. 2 is a diagram conceptually showing an encoder. That is, FIG. 2 is a diagram conceptually showing an encoder ENN of a neural network that functions as an autoencoder in the electronic device 1 according to an embodiment.
  • FIG. 3 is a diagram conceptually showing a decoder, and explains the principle by which the electronic device 1 according to an embodiment estimates an internal state such as the concentration level of a target person (driver) based on an image of the target person (driver). do. That is, FIG. 3 is a diagram conceptually showing a neural network decoder DNN that functions as an autoencoder in the electronic device 1 according to an embodiment.
  • the attribute information D may include information representing the target person's role in the online conference.
  • the attribute information D may include information representing the subject's position (affiliation, position, authority, or responsibility).
  • the attribute information D may be stored in advance in the storage unit 30, may be obtained by having the subject input it as necessary, or may be obtained by communication from an external device etc. as necessary. Good too.
  • the information Y indicating the internal state may include, for example, the subject's understanding level or engagement in the online meeting.
  • the encoder ENN of the neural network is used to collect the first biological information From the information D, an unknown value Z is inferred.
  • the first biological information X of the subject may include information including an image of the line of sight of the subject (for example, a participant in an online conference).
  • the image of the subject's line of sight included in the first biometric information X may be an image extracted by the extraction unit 12 from the image of the subject captured by the biometric information acquisition unit 20.
  • the information Y indicating the internal state may include information indicating the internal state, such as the target person's concentration level, understanding level, and engagement.
  • the attribute information D may include information indicating attributes such as age and/or gender of the subject, for example.
  • the unknown value Z may include unobservable latent variables.
  • the phase in which learning is performed to estimate the internal state of the subject will also be simply referred to as the "learning phase.”
  • the decoder DNN of the neural network shown in FIG. From the information D, the second biological information X' of the subject can be generated.
  • the second biological information X' of the subject is information obtained by reconstructing the first biological information X of the subject.
  • the weight parameters of the neural network may be updated by error backpropagation using the degree to which the second biometric information X' has changed from the original first biometric information X as a loss function.
  • the loss function may include a regularization term that represents the degree to which the probability distribution of the unknown value Z deviates from a predetermined probability distribution. For example, a normal distribution may be used as the predetermined probability distribution. Kullback-Libra divergence may be used as a term representing the degree of deviation of the probability distribution of the unknown value Z from a predetermined probability distribution.
  • the self-encoder generates an unknown value Z from the subject's first biological information X, information Y indicating the internal state, and attribute information D.
  • the second biometric information X' of the subject is reproduced through. That is, in the electronic device 1 according to one embodiment, the self-encoder generates an image of the subject's line of sight and an image of the subject's line of sight based on at least one of the image of the subject's line of sight and the feature amount of the line of sight (first biological information X). It has a function of reconstructing at least one of the line-of-sight feature amounts (second biological information X').
  • the self-encoder has a function of reconstructing at least one of an image of the subject's line of sight and a feature amount of the line of sight (second biological information X') based on biological information other than the line of sight, such as heartbeat. It may be configured to include.
  • At least one of the target person's line-of-sight image and the line-of-sight feature amount may include coordinate values (x, y) of the gaze point.
  • the image of the subject's line of sight and the feature amount of the line of sight may include not only the coordinates of the gaze point but also the feature amount of the line of sight, such as pupil diameter, rotation information of the eyeball, or a combination thereof.
  • extracting at least one of an image of a subject's line of sight and a feature amount of the line of sight is also simply referred to as “extracting a line of sight” or “obtaining a line of sight”.
  • the information input to the neural network may include biological information other than the line-of-sight image, such as heartbeat.
  • control unit 10 of the electronic device 1 may intentionally create a state in which the target participants in the online conference are completely focused only on the content of the online conference. Further, the control unit 10 may, for example, intentionally create a state in which the participants in the online conference who are the target participants are not able to fully concentrate on the content of the online conference.
  • a state in which a participant in an online conference is unable to fully concentrate on the content of the online meeting may be a state in which the participant's attention is taken up by tasks other than the online meeting.
  • a state may be generated in which a participant simultaneously performs work unrelated to the online conference, such as predetermined mental arithmetic, as a task other than the online conference.
  • the complexity of the task can be adjusted, for example, by the difficulty level of the mental arithmetic problem.
  • a situation in which participants in an online meeting simultaneously perform very simple mental arithmetic during the online meeting is a state in which participants are not fully focused on the content of the online meeting, but their level of concentration is relatively high. It may be assumed that there is. Further, a state in which participants simultaneously perform fairly complex mental calculations during an online conference may be considered to be a state in which the participants' concentration level is relatively low.
  • the control unit 10 generates an image of the participant's line of sight or a feature amount of the line of sight (second biometric information , may be reconstructed by an autoencoder of the electronic device 1 according to an embodiment.
  • the image of the subject's line of sight or the feature amount of the line of sight (second biological body Information X') may be reconstructed.
  • the control unit 10 of the electronic device 1 is configured such that the image of the subject's line of sight (second biometric information).
  • the validity of the information Y indicating the internal state may be determined according to the degree to which the biological information X) has been reproduced. For example, an image of the subject's line of sight (second biometric information If the degree of reproducing X) is high, it may be determined that the validity of the information Y1 indicating the internal state is high (that is, close to the correct answer).
  • the image of the subject's line of sight or the feature quantity of the line of sight (second biological information X') reconstructed based on the information Y2 indicating a certain internal state is If the degree of reproduction of (first biological information X) is low, it may be determined that the validity of the information Y2 indicating the internal state is low (that is, far from the correct answer).
  • the control unit 10 of the electronic device 1 inputs the first biological information X to the self-encoder described with reference to FIG.
  • the outputted second biometric information X' is acquired as the biometric information estimation result. That is, the control unit 10 reconstructs the second biological information X' based on the first biological information X and the like.
  • the prediction model 80 is configured such that when the biological information of the first period represented by P1 is inputted from the signal waveform obtained by measuring the biological information of the subject, which is illustrated in FIG. It is configured to output a prediction result of biological information for a period.
  • the horizontal axis represents time
  • the vertical axis represents signal strength.
  • the prediction model 80 may be configured to include multiple layers forming a neural network.
  • the prediction model 80 includes an input layer 81 and an output layer 82.
  • the prediction model 80 outputs the prediction result of the biological information for the second period from the output layer 82 when the biological information for the first period is input to the input layer 81 .
  • Prediction model 80 may further include layers 83 and 84 representing unknown values.
  • Prediction model 80 may further include intermediate layers 85 and 86 between input layer 81 and layers 83 and 84 representing unknown values.
  • Prediction model 80 may further include intermediate layers 87 and 88 between layers 83 and 84 representing unknown values and output layer 82 .
  • the number of layers included in the prediction model 80 is not limited to the seven layers illustrated in FIG. 5, but may be six or less layers, or eight or more layers.
  • the prediction model 80 estimates the unknown value Z regarding the subject based on the biological information of the subject in the first period by processing information in each layer from the input layer 81 to the layers 83 and 84 representing unknown values. do. Layers 83 and 84 representing unknown values output estimation results of unknown values Z regarding the subject. A portion of the prediction model 80 from the input layer 81 to layers 83 and 84 representing unknown values corresponds to the encoder ENN.
  • the prediction model 80 is configured such that information Y indicating the internal state of the subject is input to the encoder ENN. In this case, the unknown value Z regarding the subject is estimated based on the subject's biological information during the first period and the information Y indicating the subject's internal state.
  • the prediction model 80 may be configured such that attribute information D of the subject is further input to the encoder ENN.
  • the unknown value Z regarding the subject is estimated based on the subject's biological information for the first period, the information Y indicating the subject's internal state, and the subject's attribute information D.
  • the prediction model 80 processes information in each layer from layers 83 and 84 representing unknown values to the output layer 82 to estimate the subject's biological condition in the second period based on the estimation result of the unknown value Z regarding the subject. Predict information.
  • the output layer 82 outputs the prediction result of the subject's biological information for the second period.
  • a portion of the prediction model 80 from layers 83 and 84 representing unknown values to the output layer 82 corresponds to the decoder DNN.
  • the prediction model 80 is configured such that information Y indicating the internal state of the subject is input to the decoder DNN. In this case, the subject's biological information for the second period is estimated based on the unknown value Z regarding the subject and the information Y indicating the subject's internal state.
  • the prediction model 80 may be configured such that the target person's attribute information D is further input to the decoder DNN.
  • the biological information of the subject for the second period is estimated based on the unknown value Z regarding the subject, information Y indicating the internal state of the subject, and attribute information D of the subject.
  • the predictive model 80 may be configured as a trained model.
  • the prediction model 80 may be generated by learning the biological information of the first period, the biological information of the second period, and information Y indicating the internal state of the subject as training data.
  • the predictive model 80 may be generated by further adding and learning the target person's attribute information D to the teacher data.
  • the control unit 10 may generate the prediction model 80.
  • An example of a procedure for generating the prediction model 80 will be described below.
  • the control unit 10 acquires the measurement results of biological information for each of the first period and the second period.
  • the control unit 10 may acquire biometric information for a certain period and divide the biometric information into the first half and the second half of the period.
  • the control unit 10 may use the first half of the biometric information as the first period biometric information, and the second half of the biometric information as the second period biometric information.
  • the control unit 10 extracts the feature amount of the biometric information for each of the first period and the second period.
  • the control unit 10 may calculate the coordinates of the point that the subject is gazing at, or the amount of movement of the coordinates, as the feature amount of the line of sight.
  • the control unit 10 may calculate a temporal feature, a frequency feature, or a nonlinear feature calculated from the heartbeat as the feature of the heartbeat. .
  • the control unit 10 inputs the measurement results of the biological information for the first period into the prediction model 80 and obtains the prediction results of the biological information for the second period from the prediction model 80.
  • the control unit 10 calculates a prediction error based on the prediction result of the biological information for the second period and the actually acquired measurement result of the biological information for the second period.
  • the control unit 10 may calculate the prediction error based on the feature amount of the biological information. For example, when the biological information is the subject's line of sight, the control unit 10 may quantify the difference in the amount of movement of the coordinates of the subject's gaze point as a prediction error.
  • the control unit 10 adjusts the parameters of each layer of the prediction model 80 so that the prediction error is reduced.
  • the control unit 10 may adjust the parameters of each layer of the prediction model 80 so that the prediction error is less than the determination threshold.
  • the control unit 10 may use the prediction model 80 whose parameters are adjusted so that the prediction error is less than the determination threshold to predict the biological information for the second period based on the biological information for the first period.
  • the control unit 10 may repeat the procedure from obtaining the measurement results of biological information to calculating the prediction error until the prediction error converges.
  • the control unit 10 may determine that the prediction error has converged when the prediction error becomes less than a determination threshold.
  • the control unit 10 may use the prediction model 80 when the prediction error has converged to predict the biological information for the second period based on the biological information for the first period.
  • the control unit 10 may further acquire information Y indicating the internal state of the subject.
  • the control unit 10 acquires the prediction result of the biological information for the second period by inputting the measurement result of the biological information for the first period into the prediction model 80 that inputs the information Y indicating the internal state of the subject, and calculates the prediction error. may be calculated.
  • the control unit 10 may adjust the parameters of each layer in the prediction model 80 into which the information Y indicating the internal state of the subject is input so that the prediction error becomes less than the determination threshold.
  • control unit 10 intentionally generates a state in which a participant in an online conference as a target person is completely focused only on the content of the online conference, and collects biometric information for the first period and the second period in that state. measurement results may be obtained.
  • the control unit 10 adjusts each layer so that the prediction error is less than the determination threshold. You may adjust the parameters.
  • control unit 10 intentionally generates a state in which a participant in an online conference as a target person is not completely focused on the content of the online conference, and collects biometric information for the first period and the second period in that state. measurement results may be obtained.
  • the control unit 10 controls each layer so that the prediction error is less than the determination threshold. You may adjust the parameters of
  • Information Y indicating the internal state of the target person may be set to any value between 0 and 1 depending on the degree to which the target person is concentrating on the content of the online meeting.
  • the degree to which the target person is concentrating on the content of the online meeting is also referred to as the degree of concentration.
  • the control unit 10 may adjust the parameters of the prediction model 80 so as to reduce the prediction error of the biological information in the second period.
  • the control unit 10 controls the encoder ENN and the decoder DNN based on the reproducibility of the actual measurement result of the second period biological information based on the prediction result of the second period biological information based on the first period biological information.
  • You may adjust the parameters.
  • a loss function that includes, in addition to the reproducibility, a distribution deviance indicating how much the probability distribution according to the unknown value Z estimated by the encoder ENN deviates from a predetermined probability distribution.
  • the parameters of encoder ENN and decoder DNN may be adjusted.
  • the predetermined probability distribution may be a normal distribution.
  • the degree of distribution deviation may be Kullback-Libra divergence.
  • the control unit 10 uses the prediction model 80 to obtain a prediction result of the subject's biological information.
  • the control unit 10 estimates the internal state of the subject based on a comparison between the predicted result and the measured result of the subject's biological information. An example of a specific estimation operation will be explained below.
  • the control unit 10 assumes the internal state of the subject and generates information indicating the assumed internal state.
  • Information indicating a hypothetical internal state that is, a temporary internal state of the subject, is also referred to as hypothetical information.
  • the control unit 10 inputs the assumed information to the encoder ENN and decoder DNN of the prediction model 80 instead of the information Y indicating the internal state of the subject.
  • the control unit 10 inputs the measurement results of the biological information for the first period to the input layer 81 of the prediction model 80 into which the hypothetical information is input.
  • the prediction model 80 into which the hypothetical information has been input outputs, from the output layer 82, the prediction result of the subject's biological information for the second period when the subject's internal state is the internal state indicated by the hypothetical information.
  • the prediction result output from the prediction model 80 into which the assumption information has been input is associated with the assumption information.
  • the control unit 10 compares the measurement results of the subject's biological information during the second period with the prediction results associated with the assumed information. The smaller the difference between the measurement result and the predicted result, the smaller the difference between the internal state indicated by the hypothetical information associated with the predicted result and the actual internal state. In other words, the control unit 10 determines the degree to which the biological information for the second period predicted based on the biological information for the first period and the information Y indicating various internal states reproduces the actual biological information for the second period. According to this, the validity of the information Y indicating the internal state can be determined.
  • the control unit 10 may determine that the validity of the information Y1 indicating the internal state is high (that is, close to the correct answer).
  • the control unit 10 may determine that the validity of the information Y2 indicating the internal state is low (that is, far from the correct answer).
  • the control unit 10 assumes a plurality of internal states as the internal state of the subject.
  • the control unit 10 inputs assumed information to the prediction model 80 for each of the plurality of assumed internal states.
  • the control unit 10 inputs the measurement results of the biological information in the first period into the input layer 81 for the prediction model 80 into which assumption information indicating each of a plurality of assumed internal states has been input, and from the output layer 82, the measurement results of the biological information in the second period are inputted into the input layer 81.
  • the prediction results obtained by the control unit 10 are associated with each of a plurality of pieces of hypothetical information.
  • the control unit 10 compares the measurement results of the subject's biological information during the second period with the prediction results associated with each of the plurality of assumed information.
  • the control unit 10 may extract prediction results whose difference from the measurement results falls within a predetermined range, and estimate the internal state indicated by the assumption information associated with the extracted prediction result as the internal state of the subject.
  • the control unit 10 may determine the prediction result with the smallest difference from the measurement result, and estimate the internal state indicated by the assumption information associated with the determined prediction result as the internal state of the subject.
  • the control unit 10 may assume a plurality of values for the degree of concentration. A value based on an assumed concentration degree value is also referred to as an assumed value.
  • the control unit 10 may calculate the prediction error of the biological information in the second period for the prediction model 80 into which each of the plurality of assumed values is input.
  • the control unit 10 may estimate the hypothetical value input to the prediction model 80 when the prediction error is less than the determination threshold as the value of the concentration degree of the subject.
  • the control unit 10 may estimate the hypothetical value input to the prediction model 80 when the prediction error is the minimum as the value of the degree of concentration of the subject.
  • the subject's internal state may include the subject's emotions.
  • the subject's emotion may include the subject's concentration level.
  • the subject's emotion is not limited to the concentration level, but may be expressed by, for example, happiness, anger, sadness, understanding level, engagement with the meeting, etc.
  • the subject's emotions may be indicated by, for example, an index that combines degrees of happiness, anger, sadness, and happiness.
  • the emotion of the subject may be indicated by the degree of pleasure or discomfort, the degree of security or anxiety, or the like.
  • Information indicating the emotion of the subject is also referred to as an emotion label.
  • the control unit 10 may generate the hypothetical information as a combination of multiple parameters such as the subject's concentration level or emotion.
  • the control unit 10 may apply to the prediction model 80 hypothetical information obtained by combining all possible values for each parameter in a round-robin manner.
  • the control unit 10 may appropriately set the number of assumed values for each parameter, and apply to the prediction model 80 assumption information that is a combination of the set number of assumed values for each parameter.
  • the control unit 10 may narrow down and generate several combinations of values of each parameter, and apply hypothetical information of each generated combination to the prediction model 80.
  • the control unit 10 may predict the subject's biological information for each piece of hypothetical information applied to the prediction model 80, and determine hypothetical information indicating the estimation result of the subject's internal state based on the prediction result.
  • the control unit 10 may output a warning to the subject, user, etc. based on the estimation result of the subject's internal state.
  • the control unit 10 may output a warning when the estimation result of the subject's internal state satisfies the warning condition.
  • the alarm condition may include, for example, that the concentration level of the subject is equal to or higher than the determination threshold.
  • the warning condition may include, for example, that the value of the subject's emotion label is outside the determination range.
  • the control unit 10 determines that the alarm condition is satisfied when it is estimated that the target person's concentration level is decreasing, and instructs the target person or user, etc., to take measures to increase the target person's concentration level.
  • An alarm may be output to prompt the user.
  • control unit 10 determines that the alarm condition is satisfied, and instructs the subject or user to take measures to improve the subject's emotions.
  • a warning may be output to prompt the user.
  • the control unit 10 may output a warning through the notification unit 40.
  • the control unit 10 of the electronic device 1 may execute a predictive model generation method including the steps of the flowchart illustrated in FIG. 7 .
  • the predictive model generation method may be included in the control method for the electronic device 1.
  • the predictive model generation method may be realized as a predictive model generation program that is executed by a processor constituting the control unit 10.
  • the predictive model generation program may be stored on a non-transitory computer-readable medium.
  • the predictive model generation program may be included in the control program of the electronic device 1.
  • the control unit 10 acquires the measurement results of the subject's biological information in each of the first period and the second period (step S1).
  • the control unit 10 extracts feature amounts from the measurement results of the subject's biological information in each of the first period and the second period (step S2).
  • the control unit 10 inputs the measurement results of the biological information for the first period to the prediction model 80 that is currently learning (step S3).
  • the control unit 10 acquires the prediction result of the biological information for the second period from the prediction model 80 that is being learned (step S4).
  • the control unit 10 calculates the difference between the prediction result of the biological information in the second period and the measurement result obtained in the procedure of step S1 as a prediction error (step S5).
  • the control unit 10 adjusts the parameters of the prediction model 80 under learning based on the prediction error (step S6).
  • the control unit 10 may end the execution of the flowchart of FIG. 7 after executing the procedure of step S6, or may return to the procedure of step S1 and repeat learning of the prediction model 80. After executing the procedure of step S6, the control unit 10 may execute a procedure of determining whether the prediction error has become less than a determination threshold. After executing the procedure of step S6, the control unit 10 may execute a procedure of determining whether the prediction error has converged.
  • the control unit 10 of the electronic device 1 may execute an internal state estimation method including the procedure of the flowchart illustrated in FIG. 8 .
  • the internal state estimation method may be included in the control method for the electronic device 1.
  • the internal state estimation method may be implemented as an internal state estimation program that is executed by a processor that constitutes the control unit 10.
  • the internal state estimation program may be stored on a non-transitory computer-readable medium.
  • the internal state estimation program may be included in the control program of the electronic device 1.
  • the control unit 10 acquires the measurement results of the subject's biological information for each of the first period and the second period (step S11).
  • the control unit 10 extracts feature amounts from the measurement results of the subject's biological information in each of the first period and the second period (step S12).
  • the control unit 10 applies the assumed values of the emotion labels as assumed information of the subject's internal state to the prediction model 80, and applies the measurement results of the biological information of the first period to the prediction model 80 to which each assumed value of the emotion labels is applied. is input (step S13).
  • the control unit 10 acquires the prediction result of the biological information for the second period from the prediction model 80 to which each assumed value of the emotion label is applied (step S14).
  • the control unit 10 calculates the difference between the predicted result of the biometric information in the second period and the measured result of the biometric information in the second period corresponding to each assumed value of the emotion label (step S15).
  • the control unit 10 generates, as the emotion label estimation result, the value of the emotion label assumed when the difference is the minimum (step S16).
  • the control unit 10 determines whether the estimation result of the emotion label satisfies the alarm condition (step S17). If the alarm condition is not satisfied (step S17: NO), the control unit 10 ends the execution of the procedure in the flowchart of FIG. When the alarm condition is satisfied (step S17: YES), the control unit 10 outputs an alarm by the notification unit 40 (step S18). After executing the procedure of step S18, the control unit 10 ends the execution of the procedure of the flowchart of FIG.
  • the internal state of a subject can appear not only as biological information at a certain point in time, but also as changes in biological information over time.
  • the control unit 10 of the electronic device 1 can predict the subject's biological information and estimate the subject's internal state based on the prediction error. By doing so, the subject's internal state can be estimated in consideration of changes in biological information over time. As a result, the accuracy of estimating the internal state can be improved compared to the case where changes over time of biological information are not considered.
  • the control unit 10 may estimate the subject's internal state using a plurality of prediction models 80 in which the lengths of the first period and the second period are changed.
  • the control unit 10 may estimate the subject's internal state using a plurality of prediction models 80 that vary the time from the end of the first period to the start of the second period. By considering various patterns as changes in biological information over time, the accuracy of estimating the internal state can be improved. Further, the control unit 10 may estimate the subject's internal state by considering the estimation result of the internal state obtained using an autoencoder that reproduces the biological information of the first period. By considering the degree of reproducibility of the biological information as well as changes over time in the biological information, the accuracy of estimating the internal state can be improved.
  • human gaze and/or attention behavior, heartbeat, etc. may include large individual differences.
  • the range of motion of an elderly person's line of sight is narrower than the range of motion of a young person's line of sight. Therefore, when estimating a subject's internal state, the estimation accuracy can be improved by appropriately considering individual differences as described above, for example. Additionally, when estimating a subject's internal state, being able to objectively explain to the user what kind of model the estimation result is based on makes it easier for the user to understand the estimation result. .
  • the algorithm for estimating the internal state of the subject in the electronic device 1 is based on a generative model different from a general recognition model or regression model.
  • the generative model in the electronic device 1 learns from data the process in which the target's line of sight is generated based on the target's internal state and the target's attributes (age, gender, etc.). Therefore, according to the electronic device 1 according to one embodiment, the estimation accuracy can be improved by considering the individual attributes of the target person.
  • the mechanism based on the data generation process can be objectively explained to the user.
  • an internal state such as a concentration level of a subject can be reasonably estimated based on a data generation process.
  • the prediction model 80 may be configured to output a result expressed as a probability distribution as a prediction result of biological information.
  • the probability distribution may be, for example, a normal distribution.
  • the prediction result of biological information is expressed by a normal distribution, it is expressed by an average value and a standard deviation.
  • the control unit 10 may compare the predicted result of biological information expressed as a probability distribution with the actual measurement result.
  • the control unit 10 may calculate the difference between the average value of the probability distribution of the prediction result of biological information and the actual measurement result of biological information as a prediction error.
  • the control unit 10 may estimate, as the internal state of the subject, the internal state indicated by the assumption information applied to the prediction model 80 that yielded a prediction error less than the determination threshold.
  • the control unit 10 may estimate the internal state indicated by the assumption information applied to the prediction model 80 that yielded the minimum prediction error as the internal state of the subject.
  • the control unit 10 may calculate an index for confirming the certainty (likelihood) of the estimation result of the subject's internal state.
  • An index for confirming the certainty (likelihood) of the estimation result of the subject's internal state is also referred to as confidence.
  • the control unit 10 may, for example, calculate the probability that the actual measurement result will appear based on the probability distribution of the predicted result of the biological information, and regard the calculated probability as the certainty of the estimation result of the subject's internal state. In this case, the more likely the estimation result of the internal state is, the larger the confidence value becomes.
  • the control unit 10 may output the estimation result of the internal state when the confidence level is greater than or equal to the determination threshold, and may re-estimate the internal state when the confidence level is less than the determination threshold.
  • the control unit 10 calculates the internal state of the subject using the following equation (1) using the average value ⁇ of the predicted results of biological information, the actual measurement result x, and the standard deviation ⁇ of the predicted results of biological information. It can be regarded as the confidence level of the estimation result.
  • the control unit 10 squares the difference between the average value of the predicted results of biological information and the actual measurement results, divided by the standard deviation of the predicted results of biological information, and calculates the normal distribution formula by taking e. , may be regarded as the confidence level of the estimation of the subject's internal state. In this case, the more likely the estimation result of the internal state is, the larger the confidence value becomes.
  • the control unit 10 may output the estimation result of the internal state when the confidence level is less than the determination threshold, and may re-estimate the internal state when the confidence level is greater than or equal to the determination threshold.
  • control unit 10 calculates the confidence level of the estimation result of the subject's internal state, and outputs the estimation result of the subject's internal state based on the confidence level, or outputs the estimation result of the subject's internal state based on the confidence level. You may decide whether to re-estimate. By doing so, estimation accuracy can be improved.
  • the control unit 10 of the electronic device 1 may execute a biological information estimation method including the steps of the flowchart illustrated in FIG. 9 .
  • the biological information estimation method may be included in the control method of the electronic device 1.
  • the biometric information estimation method may be realized as a biometric information estimation program that is executed by a processor that constitutes the control unit 10.
  • the biometric information estimation program may be stored in a non-transitory computer-readable medium.
  • the biological information estimation program may be included in the control program of the electronic device 1.
  • the online conference may be held by a server device or cloud system connected via a network or the like.
  • the electronic device 1 may be configured as a server device or a cloud system that provides online conferences to terminals.
  • the predictive model generation method or internal state estimation method may be executed by a server device or a cloud system that provides online conferences to terminals.
  • each functional unit, each means, each step, etc. may be added to other embodiments so as not to be logically contradictory, or each functional unit, each means, each step, etc. of other embodiments may be added to other embodiments so as not to be logically inconsistent. It is possible to replace it with Furthermore, in each embodiment, it is possible to combine or divide a plurality of functional units, means, or steps into one. Further, each embodiment of the present disclosure described above is not limited to being implemented faithfully to each described embodiment, but may be implemented by combining each feature or omitting a part as appropriate. You can also do that.
  • the electronic device 1 may be mounted on a moving body, for example.
  • the moving object may include, for example, a vehicle, a ship, or an aircraft.
  • the electronic device 1 is configured to detect a predetermined internal state (for example, a predetermined psychological state) of a person (driver or fellow passenger) on board the moving body such as a passenger car. state, emotion, concentration level, etc.) can be estimated.
  • the electronic device 1 may estimate, as the internal state of the driver who drives the mobile object, the internal state such as the driver's emotion or concentration level while driving.
  • the electronic device 1 may be configured as a server device or a cloud system that is communicably connected to a terminal mounted on a mobile object.
  • the vehicle may include, for example, an automobile, an industrial vehicle, a railway vehicle, a household vehicle, or a fixed-wing aircraft that travels on a runway.
  • Motor vehicles may include, for example, cars, trucks, buses, motorcycles, trolleybuses, and the like.
  • the industrial vehicle may include, for example, an agricultural or construction industrial vehicle.
  • Industrial vehicles may include, for example, forklifts or golf carts.
  • Agricultural industrial vehicles may include, for example, tractors, tillers, transplanters, binders, combines, lawn mowers, and the like.
  • Industrial vehicles for construction may include, for example, bulldozers, scrapers, shovels, crane trucks, dump trucks, road rollers, and the like. Vehicles may include those that are powered by human power.
  • a motor vehicle may include a road capable industrial vehicle.
  • the same vehicle may be included in multiple classifications.
  • the vessel may include, for example, a personal watercraft (PWC), a boat, or a tanker.
  • the aircraft may include, for example, a fixed wing aircraft or a rotary wing aircraft.
  • the "user" and "target person” of the present disclosure may be a person driving a moving body such as a vehicle or an aircraft, or may be a fellow passenger who is not driving the moving body.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • Child & Adolescent Psychology (AREA)
  • Pathology (AREA)
  • Development Economics (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Game Theory and Decision Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

電子機器は、第１期間及び第１期間より後の第２期間それぞれにおける対象者の生体情報の測定結果に基づいて対象者の内部状態を推定する制御部を備える。制御部は、第１期間における、対象者の仮の内部状態に対応する仮定情報を生成し、対象者の仮の内部状態と第１期間における対象者の生体情報の測定結果とに基づいて第２期間における対象者の生体情報を予測し、予測した生体情報と第２期間における対象者の生体情報の測定結果との差異に基づいて生体情報に対応する内部状態を推定する。

Description

電子機器、電子機器の制御方法及び制御プログラム 関連出願へのクロスリファレンス
　本出願は、日本国特許出願２０２２－９６８０９号（２０２２年６月１５日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
　本開示は、電子機器、電子機器の制御方法及び制御プログラムに関する。
　近年、対象者の集中度又は感情等の内部状態の推定を試みる研究が行われている。例えば、講義中に、教師の発話、学習者の生体情報、及び学習者の動画を記録し、講義後に学習者が各シーンにおける自身の感情を内観報告することによって、学習者の心的状態を推定する試みが報告されている（非特許文献１参照）。
松居　辰則、宇野　達朗、田和辻　可昌、「心的状態の時間遅れと持続モデルを考慮した生体情報からの学習者の心的状態推定の試み」、２０１８年度人工知能学会全国大会（第３２回）、一般社団法人　人工知能学会
　本開示の一実施形態に係る電子機器は、第１期間及び前記第１期間より後の第２期間それぞれにおける対象者の生体情報の測定結果に基づいて前記対象者の内部状態を推定する制御部を備える。前記制御部は、前記第１期間における、前記対象者の仮の内部状態に対応する仮定情報を生成する。前記制御部は、前記対象者の仮の内部状態と前記第１期間における前記対象者の生体情報の測定結果とに基づいて前記第２期間における対象者の生体情報を予測する。前記制御部は、予測した前記生体情報と前記第２期間における対象者の生体情報の測定結果との差異に基づいて、前記生体情報に対応する内部状態を推定する。
　本開示の一実施形態に係る電子機器の制御方法は、第１期間及び前記第１期間より後の第２期間それぞれにおける対象者の生体情報の測定結果に基づいて前記対象者の内部状態を推定する電子機器によって実行される。前記電子機器の制御方法において、前記電子機器が、前記対象者の内部状態を仮定した複数の状態それぞれを示す仮定情報を生成する。前記電子機器の制御方法において、前記電子機器が、前記第１期間における、前記対象者の仮の内部状態に対応する仮定情報を生成する。前記電子機器の制御方法において、前記電子機器が、前記対象者の仮の内部状態と前記第１期間における前記対象者の生体情報の測定結果とに基づいて前記第２期間における対象者の生体情報を予測する。前記電子機器の制御方法において、前記電子機器が、予測した前記生体情報と前記第２期間における対象者の生体情報の測定結果との差異に基づいて、前記生体情報に対応する内部状態を推定する。
　本開示の一実施形態に係る電子機器の制御プログラムは、第１期間及び前記第１期間より後の第２期間それぞれにおける対象者の生体情報の測定結果に基づいて前記対象者の内部状態を推定する電子機器によって実行される。前記電子機器の制御プログラムは、前記電子機器に、前記対象者の内部状態を仮定した複数の状態それぞれを示す仮定情報を生成させる。前記電子機器の制御プログラムは、前記電子機器に、前記第１期間における、前記対象者の仮の内部状態に対応する仮定情報を生成させる。前記電子機器の制御プログラムは、前記電子機器に、前記対象者の仮の内部状態と前記第１期間における前記対象者の生体情報の測定結果とに基づいて前記第２期間における対象者の生体情報を予測させる。前記電子機器の制御プログラムは、前記電子機器に、予測した前記生体情報と前記第２期間における対象者の生体情報の測定結果との差異に基づいて、前記生体情報に対応する内部状態を推定させる。
一実施形態に係る電子機器の概略構成を示すブロック図である。 電子機器によるエンコードの例を説明する概念図である。 電子機器によるデコードの例を説明する概念図である。 電子機器における自己符号化器の動作を説明する概念図である。 一実施形態に係る予測モデルの構成例を示す図である。 対象者の生体情報の信号波形の一例を示す図である。 予測モデル生成方法の手順例を示すフローチャートである。 内部状態推定方法の手順例を示すフローチャートである。 内部状態の推定結果の確信度を考慮する内部状態推定方法の手順例を示すフローチャートである。
　ある時点において対象者の内部状態と生体情報とが相関し得る。つまり、ある時点における対象者の内部状態は、その時点における対象者の生体情報に反映され得る。一方で、対象者の内部状態は、対象者の生体情報の経時的な変化にも反映され得る。生体情報の経時的な変化を考慮することによって内部状態の推定精度の向上が期待される。対象者の内部状態の推定精度の向上が求められる。
　以下、図面を参照して、本開示を適用した電子機器１（図１参照）の実施形態が説明される。以下の説明は、本開示を適用した電子機器１の制御方法及び制御プログラムの実施形態の説明を兼ね得る。
　本開示において、「電子機器１」とは、電力により駆動する機器であってよい。一実施形態に係る電子機器１は、例えば対象者の感情又は集中度等の、対象者の内部状態を推定する。ここで、「対象者」は、一実施形態に係る電子機器１によって内部状態が推定される対象となる者（典型的には人間）であってよい。また、本開示において、「ユーザ」は、一実施形態に係る電子機器１を使用する者（典型的には人間）であってよい。「ユーザ」は、「対象者」と同じ者であってよいし、異なる者であってもよい。また、「ユーザ」及び「対象者」は、人間であってもよいし、人間以外の動物であってもよい。
　一実施形態に係る電子機器１は、各種の機器としてよい。例えば、一実施形態に係る電子機器１は、専用に設計された端末の他、汎用のスマートフォン、タブレット、ファブレット、ノートパソコン（ノートＰＣ）、コンピュータ、又はサーバなどのように、任意の機器としてよい。また、一実施形態に係る電子機器１は、例えば携帯電話又はスマートフォンのように、他の機器と通信を行う機能を有してもよい。ここで、上述の「他の機器」は、例えば携帯電話又はスマートフォンのような機器であってもよいし、例えば基地局、サーバ、専用端末、又はコンピュータのように、任意の機器であってもよい。また、本開示における「他の機器」は、電力によって駆動される機器又は装置等であってよい。一実施形態に係る電子機器１は、他の機器と有線及び／又は無線によって通信可能に構成されてよい。
　以下、電子機器１がオンライン会議に接続するサーバ又は端末等の機器である場合の実施形態の一例が説明される。この場合、電子機器１は、オンライン会議の参加者の所定の内部状態（例えば、所定の心理状態、感情又は集中度等）を推定してよい。電子機器１は、オンライン会議の主催者若しくはファシリテータ、又は、参加者自身に対して、参加者の内部状態の推定結果を通知したり参加者の内部状態の推定結果に基づく警報を出力したりしてよい。
（電子機器１の構成例）
　図１に示されるように、一実施形態に係る電子機器１は、制御部１０、生体情報取得部２０、記憶部３０、及び報知部４０を含んで構成されてよい。また、制御部１０は、図１に示されるように、抽出部１２、予測部１４、及び判定部１６を含んで構成されてよい。一実施形態に係る電子機器１は、図１に示される全ての機能部を含んでもよいし、図１に示される機能部の少なくとも一部を含まなくてもよい。例えば、一実施形態に係る電子機器１は、図１に示される制御部１０のみを備えてもよい。この場合、一実施形態に係る電子機器１は、外部機器として用意される、生体情報取得部２０、記憶部３０、及び報知部４０などに接続されるようにしてもよい。また、以下に説明するエンコーダＥＮＮ及びデコーダＤＮＮの機能は、制御部１０、予測部１４、及び記憶部３０の少なくともいずれか１つの機能により実現される。入力した情報又はデータは、例えば、抽出部１２、エンコーダＥＮＮ、デコーダＤＮＮ、判定部１６の順に送信されるとしてよい。また、エンコーダＥＮＮから、以下に説明する潜在変数Ｚが出力されてもよい。この場合、出力された潜在変数Ｚは、デコーダＤＮＮに入力されてもよい。本開示の生体情報取得部20は、静止が及び動画の少なくとも一方を取得する撮像部、対象者の心拍、心音、体温、視線、動きなどの特徴量を取得する取得部などであってもよい。
　制御部１０は、電子機器１を構成する各機能部をはじめとして、電子機器１の全体を制御及び／又は管理する。制御部１０は、種々の機能を実行するための制御及び処理能力を提供するために、例えばＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）のような、少なくとも１つのプロセッサを含んでよい。制御部１０は、まとめて１つのプロセッサで実現してもよいし、いくつかのプロセッサで実現してもよいし、それぞれ個別のプロセッサで実現してもよい。プロセッサは、単一の集積回路として実現されてよい。集積回路は、ＩＣ（Integrated Circuit）ともいう。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。
　制御部１０は、１以上のプロセッサ及びメモリを含んでもよい。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、及び特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）を含んでよい。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでよい。制御部１０は、１つ又は複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってもよい。制御部１０は、電子機器１の各構成要素の動作を制御する。
　制御部１０は、例えば、ソフトウェア及びハードウェア資源の少なくとも一方を含んで構成されてよい。また、一実施形態に係る電子機器１において、制御部１０は、ソフトウェアとハードウェア資源とが協働した具体的手段によって構成されてもよい。制御部１０に含まれる抽出部１２、予測部１４、及び判定部１６の少なくともいずれかは、ソフトウェア及びハードウェア資源の少なくとも一方を含んで構成されてよい。また、一実施形態に係る電子機器１において、抽出部１２、予測部１４、及び判定部１６の少なくともいずれかは、ソフトウェアとハードウェア資源とが協働した具体的手段によって構成されてもよい。
　抽出部１２は、生体情報取得部２０によって取得された対象者の心拍データから、対象者の心拍の特徴を抽出する。予測部１４は、例えば対象者の集中度、理解度、エンゲージメント等の内部状態を推定するとともに、対象者の生体情報の変化を予測する。判定部１６は、予測部１４によって推定された対象者の内部状態が所定の条件を満たすか否か判定する。判定部１６は、対象者の内部状態が所定の条件を満たす場合（例えば対象者の集中度が所定以下に低下した場合など）、所定の警報信号を報知部４０に出力する。また、判定部１６は、予測部１４によって予測された対象者の生体情報と実際の生体情報との差を判定する。なお、本開示の生体情報取得部２０は、対象者から心拍データを取得し、心拍の特徴量を抽出するように構成されてもよい。
　本開示において、対象者の視線がデータとして抽出される視線のデータは、注視点の座標値（ｘ，ｙ）として扱ってよい。また、本開示において、視線のデータは、対象者の注視点の座標のみならず、例えば瞳孔径及び／又は眼球の回転情報などを視線の特徴量として用いてもよい。また、対象者の生体情報が心拍である場合、抽出する特徴量は、心拍から算出されるＲＲ間隔の時間的な特徴量を含んでもよいし、周波数空間の特徴量を含んでもよいし、ポアンカレプロット等の非線形的な特徴量を含んでもよい。
　制御部１０の動作、並びに、制御部１０に含まれる抽出部１２、予測部１４、及び判定部１６の動作についての説明は、さらに後述される。
　生体情報取得部２０は、例えばデジタルカメラのような、電子的に画像を撮像するイメージセンサを含んで構成されてよい。生体情報取得部２０は、ＣＣＤ（Charge Coupled Device Image Sensor）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等のように、光電変換を行う撮像素子を含んで構成されてよい。例えば、生体情報取得部２０は、撮像した画像に基づく信号を、制御部１０などに供給してよい。このため、図１に示すように、生体情報取得部２０は、制御部１０に有線及び／又は無線で接続されてよい。生体情報取得部２０は、対象者の画像を撮像するものであれば、デジタルカメラのような撮像デバイスに限定されず、任意の撮像デバイスとしてよい。例えば、生体情報取得部２０は、近赤外線カメラを採用することで、光を反射する特徴の差異、及び／又は、光を吸収する特徴の差異などを、画像として撮像することができる。また、生体情報取得部２０は、心拍データを取得できるようなＥＣＧ（Electrocardiogram）センサを含んでもよい。また、生体情報取得部２０は、心音を取得できるような非接触なセンサを含んでもよい。
　生体情報取得部２０は、対象者の画像を撮像する。以下、対象者の例としてオンライン会議の参加者が想定される。すなわち、一実施形態において、生体情報取得部２０は、オンライン会議に接続する端末を利用する参加者を対象者として撮像する。一実施形態において、生体情報取得部２０は、例えば対象者を所定時間ごと（例えば秒間３０フレーム）の静止画として撮像してもよい。また、一実施形態において、生体情報取得部２０は、例えば対象者を連続した動画として撮像してもよい。生体情報取得部２０は、ＲＧＢデータ、及び／又は、赤外線データなどの各種のデータ形態で対象者の画像を撮像するものとしてよい。
　生体情報取得部２０は、オンライン会議の参加者を撮像するために、例えば端末のインカメラとして構成されてよい。生体情報取得部２０は、端末に接続されるカメラとして構成されてもよい。生体情報取得部２０によって撮像された参加者の画像は、制御部１０に供給される。後述のように、制御部１０において、抽出部１２は、参加者の画像から、参加者の視線を含む生体情報を抽出する。このため、生体情報取得部２０は、参加者の視線を含む画像を撮像するのに適した箇所に設置されてよい。
　記憶部３０は、各種の情報を記憶するメモリとしての機能を有してよい。記憶部３０は、例えば制御部１０において実行されるプログラム、及び、制御部１０において実行された処理の結果などを記憶してよい。また、記憶部３０は、制御部１０のワークメモリとして機能してよい。このため、図１に示すように、記憶部３０は、制御部１０に有線及び／又は無線で接続されてよい。記憶部３０は、例えば、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）の少なくとも一方を含んでもよい。記憶部３０は、例えば半導体メモリ等により構成することができるが、これに限定されず、任意の記憶装置とすることができる。例えば、記憶部３０は、一実施形態に係る電子機器１に挿入されたメモリカードのような記憶媒体としてもよい。また、記憶部３０は、制御部１０として用いられるＣＰＵの内部メモリであってもよいし、制御部１０に別体として接続されるものとしてもよい。
　記憶部３０は、例えば機械学習データを記憶してもよい。ここで、機械学習データは、機械学習によって生成されるデータとしてよい。機械学習データは、機械学習によって生成されるパラメータを含むものとしてよい。また、機械学習は、特定のタスクをトレーニングによって実行可能になるＡＩ（Artificial Intelligence）の技術に基づくものであってよい。より具体的に、機械学習は、コンピュータのような情報処理装置が多くのデータを学習し、分類及び／又は予測などのタスクを遂行するアルゴリズム又はモデルを自動的に構築する技術を含んでよい。本明細書において、ＡＩの技術は、少なくとも一部に機械学習の技術を含んでよい。本明細書において、機械学習は、正解データをもとに入力データの特徴又はルールを学習する教師あり学習を含んでよい。また、機械学習は、正解データがない状態で入力データの特徴又はルールを学習する教師なし学習を含んでもよい。さらに、機械学習は、報酬又は罰などを与えて入力データの特徴又はルールを学習する強化学習等を含んでもよい。また、本明細書において、機械学習は、教師あり学習、教師なし学習、及び強化学習を任意に組み合わせて構成されてよい。
　本実施形態の機械学習データの概念は、入力データに対して学習されたアルゴリズムを用いて所定の推論（推定）結果を出力するアルゴリズムを含んでよい。本実施形態において、所定の推論（推定）結果を出力するアルゴリズムとして、例えば、従属変数と独立変数との関係を予測する線形回帰、人の脳神経系ニューロンを数理モデル化したニューラルネットワーク（ＮＮ）、誤差を二乗して算出する最小二乗法、問題解決を木構造にする決定木、又はデータを所定の方法で変形する正則化等の種々のアルゴリズムが用いられ得る。本実施形態において、ニューラルネットワークの一種であるディープニューラルネットワークが利用されてよい。ディープニューラルネットワークは、ニューラルネットワークの一種であり、一般にネットワークの中間層が１層以上の深い構造のものを意味する。ディープラーニングは、ＡＩを構成するアルゴリズムとして多用されている。
　一実施形態において、記憶部３０に記憶される情報は、例えば工場出荷時などまでに予め記憶された情報としてもよいし、制御部１０などが適宜取得する情報としてもよい。一実施形態において、記憶部３０は、制御部１０又は電子機器１などに接続された通信部（通信インタフェース）から受信する情報を記憶してもよい。この場合、通信部は、例えば外部の電子機器又は基地局などと無線又は有線の少なくとも一方で通信することにより、各種の情報を受信してよい。また、一実施形態において、記憶部３０は、制御部１０又は電子機器１に接続された入力部（入力インタフェース）などに入力された情報を記憶してもよい。この場合、電子機器１のユーザ又はその他の者は、入力部を操作することにより、各種の情報を入力してよい。
　報知部４０は、制御部１０から出力される所定の信号（例えば警報信号など）に基づいて、電子機器１のユーザなどに注意を促すための所定の警報を出力してよい。このため、図１に示すように、報知部４０は、制御部１０に有線及び／又は無線で接続されてよい。報知部４０は、所定の警報として、例えば音、音声、光、文字、映像、及び振動など、ユーザの聴覚、視覚、及び触覚の少なくともいずれかを刺激する任意の機能部としてよい。具体的には、報知部４０は、例えばブザー又はスピーカのような音声出力部、ＬＥＤのような発光部、ＬＣＤのような表示部、及びバイブレータのような触感呈示部などの少なくともいずれかを含んで構成されてよい。このように、報知部４０は、制御部１０から出力される所定の信号に基づいて、所定の警報を出力してよい。一実施形態において、報知部４０は、所定の警報を、人間などの生物の聴覚、視覚、及び触覚の少なくともいずれかに作用する情報として出力してもよい。
　一実施形態において、報知部４０は、例えば対象者の内部状態として対象者自身の集中度が所定の閾値以下に低下していると推定された場合に、対象者自身の集中度が低下していることに対応する警報を出力してよい。例えば、一実施形態において、視覚情報を出力する報知部４０は、対象者の集中度が低下していることを発光又は所定の表示等によって対象者自身に報知してよい。また、一実施形態において、聴覚情報を出力する報知部４０は、対象者の集中度が低下していることを所定の音又は音声等によって対象者自身に報知してよい。また、一実施形態において、触覚情報を出力する報知部４０は、対象者の集中度が低下していることを所定の振動等によって対象者自身に報知してよい。このようにして、対象者自身は、例えばオンライン会議に対する集中度が低下している旨を知ることができる。
　報知部４０は、対象者としてのオンライン会議の参加者の集中度が所定の閾値以下に低下したと推定された場合に、オンライン会議の主催者若しくはファシリテータ、又は、他の参加者に対して、集中度が低下している参加者が存在することを報知してよい。報知部４０は、種々の態様で、集中度が低下している参加者が存在することを報知してよい。
（内部状態の推定動作例）
　一実施形態に係る電子機器１による対象者の内部状態の推定動作の一例が以下説明される。
　電子機器１は、自己符号化器（auto encoder）を用いて、対象者としてオンライン会議の参加者の画像等に基づく機械学習を行うことによって、参加者の集中度等のような内部状態を推定する。自己符号化器は、ニューラルネットワークのアーキテクチャの１つである。自己符号化器は、エンコーダ（以下、符号ＥＮＮを対応させることがある）及びデコーダ（以下、符号ＤＮＮを対応させることがある）を含むニューラルネットワークであってよい。一実施形態に係る電子機器１において、制御部１０は、自己符号化器としての機能を含んでよい。すなわち、一実施形態に係る電子機器１の制御部１０は、エンコーダＥＮＮ及びデコーダＤＮＮとしての機能を備えてよい。
　図２及び図３は、一実施形態に係る電子機器１において自己符号化器として機能するニューラルネットワークを概念的に示す図である。図２は、エンコーダを概念的に示す図である。すなわち、図２は、一実施形態に係る電子機器１において自己符号化器として機能するニューラルネットワークのエンコーダＥＮＮを概念的に示す図である。図３は、デコーダを概念的に示す図であり、一実施形態に係る電子機器１が対象者（運転者）の画像に基づいて対象者の集中度のような内部状態を推定する原理を説明する。すなわち、図３は、一実施形態に係る電子機器１において自己符号化器として機能するニューラルネットワークのデコーダＤＮＮを概念的に示す図である。
　一実施形態に係る電子機器１によって対象者の内部状態を推定するに際し、図３に示されるように、対象者の第２生体情報Ｘ’は、内部状態を示す情報Ｙと、未知の値Ｚと、属性情報Ｄが原因となって生じる、という生成プロセスが仮定される。ここで、対象者の第２生体情報Ｘ’は、対象者（例えば運転者）の視線の画像を含む情報であってよい。内部状態を示す情報Ｙは、対象者の例えば集中度のような内部状態を示す情報を含んでよい。未知の値Ｚは、観測できない潜在変数を含んでよい。属性情報Ｄは、例えば、対象者の性別、年齢、又は年齢の区分（２０代若しくは３０代等）の少なくともいずれかを表す情報を含んでよい。属性情報Ｄは、対象者のオンライン会議における役割を表す情報を含んでよい。属性情報Ｄは、対象者の立場（所属、職位、又は、権限若しくは職責）を表す情報を含んでよい。属性情報Ｄは、記憶部３０にあらかじめ格納されていてもよいし、必要に応じて対象者等に入力させることによって取得されてもよいし、必要に応じて外部機器等から通信によって取得されてもよい。また、本開示において、内部状態を示す情報Ｙは、例えば対象者のオンライン会議における理解度又はエンゲージメント等を含んでもよい。
　一実施形態に係る電子機器１による機械学習時において、図２に示されるように、ニューラルネットワークのエンコーダＥＮＮを用いて、対象者の第１生体情報Ｘと、内部状態を示す情報Ｙと、属性情報Ｄとから、未知の値Ｚが推論される。ここで、対象者の第１生体情報Ｘは、対象者（例えばオンライン会議の参加者）の視線の画像を含む情報を含んでよい。第１生体情報Ｘに含まれる対象者の視線の画像は、生体情報取得部２０によって撮像される対象者の画像から、抽出部１２によって抽出された画像であってよい。内部状態を示す情報Ｙは、例えば対象者の集中度、理解度、エンゲージメント等の内部状態を示す情報を含んでよい。属性情報Ｄは、例えば対象者の年齢及び／又は性別等の属性を示す情報を含んでよい。未知の値Ｚは、観測できない潜在変数を含んでよい。以下、対象者の内部状態を推定するための学習を行うフェーズが単に「学習フェーズ」とも称される。
　図２に例示されるように未知の値Ｚが推論された場合、図３に示されるニューラルネットワークのデコーダＤＮＮを用いて、推論された未知の値Ｚと、内部状態を示す情報Ｙと、属性情報Ｄとから、対象者の第２生体情報Ｘ’が生成され得る。ここで、対象者の第２生体情報Ｘ’は、対象者の第１生体情報Ｘを再構成した情報である。一実施形態に係る電子機器１において、第２生体情報Ｘ’が元の第１生体情報Ｘから変化した度合いを損失関数として、誤差逆伝搬によってニューラルネットワークの重みパラメータが更新されてよい。損失関数は、未知の値Ｚの確率分布が所定の確率分布から逸脱している度合いを表す正則化項を含んでもよい。所定の確率分布として、例えば正規分布が用いられてよい。未知の値Ｚの確率分布の、所定の確率分布からの逸脱の度合いを表す項として、カルバック・ライブラダイバージェンスが用いられてもよい。
　図４は、一実施形態に係る電子機器１における自己符号化器による実装を概念的に示す図である。まず、一実施形態に係る電子機器１による学習フェーズの動作が説明される。
　図４に示されるように、一実施形態に係る電子機器１において、最下段に示す第１生体情報Ｘが与えられ、さらに内部状態を示す情報Ｙ及び属性情報Ｄが与えられた場合に、図４の中段に示される未知の値Ｚが推論される。そして、一実施形態に係る電子機器１において、未知の値Ｚが推論され、さらに内部状態を示す情報Ｙ及び属性情報Ｄが与えられた場合に、最上段に示される第２生体情報Ｘ’が得られる。
　一実施形態に係る電子機器１において、自己符号化器は、第１生体情報Ｘ及び属性情報Ｄのみが与えられた場合に、内部状態を示す情報Ｙ及び未知の値Ｚを推定するように構成されてもよい。また、例えば対象者の年齢及び／又は性別等の属性を示す情報を含む属性情報Ｄは、あらかじめ記憶部３０に格納されたり、入力部から入力されたり、通信部によって受信されたりしてよい。また、属性情報Ｄは、生体情報取得部２０によって撮像される対象者の画像に基づいて制御部１０等によって推定された情報を含んでよい。
　図４に示されるように、一実施形態に係る電子機器１において、自己符号化器は、対象者の第１生体情報Ｘ、内部状態を示す情報Ｙ、及び属性情報Ｄから、未知の値Ｚを介して、対象者の第２生体情報Ｘ’を再現する。すなわち、一実施形態に係る電子機器１において、自己符号化器は、対象者の視線の画像及び視線の特徴量（第１生体情報Ｘ）の少なくとも一方に基づいて、対象者の視線の画像及び視線の特徴量（第２生体情報Ｘ’）の少なくとも一方を再構成する機能を備える。
　本開示において、自己符号化器は、視線以外の生体情報、例えば心拍などに基づいて、対象者の視線の画像及び視線の特徴量（第２生体情報Ｘ’）の少なくとも一方を再構成する機能を備えるように構成されてもよい。
　本開示において、対象者の視線の画像及び視線の特徴量の少なくとも一方には、注視点の座標値（ｘ，ｙ）を含んでよい。本開示において、対象者の視線の画像及び視線の特徴量は、注視点の座標だけでなく、例えば瞳孔径若しくは眼球の回転情報、又はこれらの組み合わせなどの視線の特徴量を含んでもよい。本開示において、対象者の視線の画像及び視線の特徴量の少なくとも一方を抽出することは、単に「視線を抽出する」又は「視線を取得する」等とも称される。本開示において、対象者の視線の画像及び視線の特徴量の少なくとも一方を推定することは、単に「視線を推定する」又は「視線を算出する」等とも称される。本開示において、対象者の視線の画像及び視線の特徴量の少なくとも一方は、眼球領域を含む画像を含んでよい。以下の説明において、ニューラルネットワークに入力される情報は、生体情報であるため、上記眼球領域を含む画像を有する視線情報と定義されてもよい。
　また、以下の説明において、ニューラルネットワークに入力される情報は、心拍などの視線画像以外の生体情報を含んでもよい。
　一実施形態に係る電子機器１において、内部状態を示す情報Ｙを推定するために、例えば内部状態としての集中度が種々の状態になっている場合について、対象者の視線の画像又は視線の特徴量（第２生体情報Ｘ’）を再構成してよい。
　電子機器１の制御部１０は、例えば、対象者としてのオンライン会議の参加者がオンライン会議の内容のみに完全に集中している状態を意図的に生成してよい。また、制御部１０は、例えば、対象者としてのオンライン会議の参加者がオンライン会議の内容に完全には集中できていない状態を意図的に生成してもよい。
　オンライン会議の参加者がオンライン会議の内容に完全には集中できていない状態は、参加者がオンライン会議以外のタスクに注意を奪われている状態であるとしてよい。例えば、参加者がオンライン会議以外のタスクとして所定の暗算等のオンライン会議と無関係な作業を同時に行う状態が生成されてよい。作業の複雑さを調整することによって、参加者がオンライン会議の内容に集中できていない状態の度合いが調整されてもよい。作業の複雑さは、例えば暗算の問題の難易度によって調整され得る。例えば、オンライン会議の参加者がオンライン会議中に非常に簡単な暗算を同時に行う状態は、参加者が完全にはオンライン会議の内容に集中していないものの参加者の集中度が比較的高い状態であるとされてよい。また、参加者がオンライン会議中に相当複雑な暗算を同時に行う状態は、参加者の集中度が比較的低い状態であるとされてよい。
　制御部１０は、意図的に生成した各状態に対応するオンライン会議の参加者の内部状態を示す情報Ｙに対応する参加者の視線の画像又は視線の特徴量（第２生体情報Ｘ’）を、一実施形態に係る電子機器１の自己符号化器によって再構成してよい。
　上述してきたように、一実施形態に係る電子機器１において、情報Ｙによって示される対象者の内部状態が種々の状態である場合について、対象者の視線の画像又は視線の特徴量（第２生体情報Ｘ’）が再構成されてよい。内部状態を示す情報Ｙは、例えば、集中している状態においてＹ＝０となり、集中していない状態においてＹ＝１となるように設定されてよい。
　電子機器１の制御部１０は、種々の内部状態を示す情報Ｙに基づいて再構成される対象者の視線の画像（第２生体情報Ｘ’）が、元の対象者の視線の画像（第１生体情報Ｘ）を再現した度合いに応じて、内部状態を示す情報Ｙの妥当性を判断してよい。例えば、ある内部状態を示す情報Ｙ１に基づいて再構成された対象者の視線の画像（第２生体情報Ｘ’）が、元の対象者の視線の画像又は視線の特徴量（第１生体情報Ｘ）を再現する度合いが高い場合、内部状態を示す情報Ｙ１の妥当性は高い（すなわち正解に近い）と判断してよい。一方、ある内部状態を示す情報Ｙ２に基づいて再構成された対象者の視線の画像又は視線の特徴量（第２生体情報Ｘ’）が、元の対象者の視線の画像又は視線の特徴量（第１生体情報Ｘ）を再現する度合いが低い場合、内部状態を示す情報Ｙ２の妥当性は低い（すなわち正解から遠い）と判断してよい。
　このようにして、一実施形態に係る電子機器１は、第２生体情報Ｘ’による第１生体情報Ｘの再現度に基づいて、エンコーダＥＮＮ及びデコーダＤＮＮのパラメータを調整してよい。また、この再現度に加えて、エンコーダＥＮＮによって推定された未知の値Ｚの従う確率分布が所定の確率分布からどのくらい逸脱しているかを表す分布逸脱度も含めた損失関数に基づいて、エンコーダＥＮＮ及びデコーダＤＮＮのパラメータを調整してよい。この場合、所定の確率分布は、正規分布であってもよい。また、前述の場合、分布逸脱度はカルバック・ライブラダイバージェンスであってもよい。
（生体情報の予測動作）
　上述してきたように、一実施形態に係る電子機器１の制御部１０は、図４を参照して説明された自己符号化器に第１生体情報Ｘを入力することによって、自己符号化器から出力される第２生体情報Ｘ’を生体情報の推定結果として取得する。つまり、制御部１０は、第１生体情報Ｘ等に基づいて第２生体情報Ｘ’を再構成する。
＜生体情報の予測モデル８０＞
　対象者の内部状態は、ある時点における生体情報だけでなく、生体情報の経時的な変化として現れ得る。そこで、制御部１０は、生体情報の経時的な変化に関する情報を取得するために、第２生体情報Ｘ’として、第１生体情報Ｘを取得した期間よりも後の期間における生体情報を、予測部１４によって予測してもよい。この場合、自己符号化器は、ある期間における対象者の生体情報を入力したときに、その期間よりも後の期間における対象者の生体情報を予測した結果を出力するように構成されてよい。対象者の生体情報の予測結果を出力する自己符号化器は、図５に例示される予測モデル８０として実現され得る。予測モデル８０は、図６に例示される、対象者の生体情報を測定した信号波形のうち、Ｐ１で表される第１期間の生体情報が入力されたときに、Ｐ２で表される第２期間の生体情報の予測結果を出力するように構成される。図６の信号波形のグラフにおいて、横軸は時刻を表し、縦軸は信号強度を表す。
　予測モデル８０は、ニューラルネットワークを構成する複数の層を含んで構成されてよい。予測モデル８０は、入力層８１と出力層８２とを備える。予測モデル８０は、入力層８１に第１期間の生体情報が入力されたときに、出力層８２から第２期間の生体情報の予測結果を出力する。予測モデル８０は、未知の値を表す層８３及び８４を更に備えてよい。予測モデル８０は、入力層８１から未知の値を表す層８３及び８４までの間に中間層８５及び８６を更に備えてよい。予測モデル８０は、未知の値を表す層８３及び８４から出力層８２までの間に中間層８７及び８８を更に備えてよい。予測モデル８０が備える層の数は、図５に例示される７層に限られず、６層以下であってもよいし、８層以上であってもよい。
　予測モデル８０は、入力層８１から未知の値を表す層８３及び８４までの各層で情報を処理することによって、対象者の第１期間の生体情報に基づいて対象者に関する未知の値Ｚを推定する。未知の値を表す層８３及び８４は、対象者に関する未知の値Ｚの推定結果を出力する。予測モデル８０のうち入力層８１から未知の値を表す層８３及び８４までの部分は、エンコーダＥＮＮに対応する。予測モデル８０は、エンコーダＥＮＮにおいて、対象者の内部状態を示す情報Ｙが入力されるように構成される。この場合、対象者に関する未知の値Ｚは、対象者の第１期間の生体情報と対象者の内部状態を示す情報Ｙとに基づいて推定される。予測モデル８０は、エンコーダＥＮＮにおいて、対象者の属性情報Ｄが更に入力されるように構成されてよい。この場合、対象者に関する未知の値Ｚは、対象者の第１期間の生体情報と対象者の内部状態を示す情報Ｙと対象者の属性情報Ｄとに基づいて推定される。
　予測モデル８０は、未知の値を表す層８３及び８４から出力層８２までの各層で情報を処理することによって、対象者に関する未知の値Ｚの推定結果に基づいて対象者の第２期間の生体情報を予測する。出力層８２は、対象者の第２期間の生体情報の予測結果を出力する。予測モデル８０のうち未知の値を表す層８３及び８４から出力層８２までの部分は、デコーダＤＮＮに対応する。予測モデル８０は、デコーダＤＮＮにおいて、対象者の内部状態を示す情報Ｙが入力されるように構成される。この場合、対象者の第２期間の生体情報は、対象者に関する未知の値Ｚと対象者の内部状態を示す情報Ｙとに基づいて推定される。予測モデル８０は、デコーダＤＮＮにおいて、対象者の属性情報Ｄが更に入力されるように構成されてよい。この場合、対象者の第２期間の生体情報は、対象者に関する未知の値Ｚと対象者の内部状態を示す情報Ｙと対象者の属性情報Ｄとに基づいて推定される。
　予測モデル８０は、学習済みモデルとして構成されてよい。予測モデル８０は、第１期間の生体情報と第２期間の生体情報と対象者の内部状態を示す情報Ｙとを教師データとして学習することによって生成されてよい。予測モデル８０は、対象者の属性情報Ｄを更に教師データに加えて学習することによって生成されてよい。
　制御部１０は、予測モデル８０を生成してもよい。以下、予測モデル８０の生成手順の一例が説明される。
　制御部１０は、第１期間及び第２期間それぞれの生体情報の測定結果を取得する。制御部１０は、ある期間の生体情報を取得し、その期間の前半と後半とで生体情報を分割してよい。制御部１０は、前半の生体情報を第１期間の生体情報とし、後半の生体情報を第２期間の生体情報としてよい。
　制御部１０は、第１期間及び第２期間それぞれの生体情報の特徴量を抽出する。生体情報が対象者の視線である場合、制御部１０は、視線の特徴量として対象者が注視している点の座標、又は、その座標の移動量を算出してよい。また、生体情報が対象者の心拍である場合、制御部１０は、心拍の特徴量として、心拍から算出される時間的な特徴量、周波数的な特徴量、非線形な特徴量を算出してよい。
　制御部１０は、第１期間の生体情報の測定結果を予測モデル８０に入力し、予測モデル８０から第２期間の生体情報の予測結果を取得する。制御部１０は、第２期間の生体情報の予測結果と、実際に取得した第２期間の生体情報の測定結果とに基づいて、予測誤差を算出する。制御部１０は、生体情報の特徴量に基づいて予測誤差を算出してよい。例えば生体情報が対象者の視線である場合、制御部１０は、対象者の注視点の座標の移動量の差を予測誤差として数値化してよい。
　制御部１０は、予測誤差が小さくなるように、予測モデル８０の各層のパラメータを調整する。制御部１０は、予測誤差が判定閾値未満になるように予測モデル８０の各層のパラメータを調整してよい。制御部１０は、予測誤差が判定閾値未満になるようにパラメータを調整した予測モデル８０を、第１期間の生体情報に基づく第２期間の生体情報の予測に用いてよい。
　制御部１０は、生体情報の測定結果の取得から予測誤差の算出までの手順を、予測誤差が収束するまで繰り返してよい。制御部１０は、予測誤差が判定閾値未満になった場合に予測誤差が収束したと判定してよい。制御部１０は、予測誤差が収束したときの予測モデル８０を、第１期間の生体情報に基づく第２期間の生体情報の予測に用いてよい。
　制御部１０は、対象者の内部状態を示す情報Ｙを更に取得してよい。制御部１０は、対象者の内部状態を示す情報Ｙを入力した予測モデル８０に第１期間の生体情報の測定結果を入力することによって第２期間の生体情報の予測結果を取得し、予測誤差を算出してよい。制御部１０は、対象者の内部状態を示す情報Ｙを入力した予測モデル８０において、予測誤差が判定閾値未満になるように、各層のパラメータを調整してよい。
　制御部１０は、例えば、対象者としてのオンライン会議の参加者がオンライン会議の内容のみに完全に集中している状態を意図的に生成し、その状態における第１期間及び第２期間の生体情報の測定結果を取得してよい。制御部１０は、対象者の内部状態がオンライン会議の内容に完全に集中している状態であることを示す情報を入力した予測モデル８０において、予測誤差が判定閾値未満になるように、各層のパラメータを調整してよい。
　制御部１０は、例えば、対象者としてのオンライン会議の参加者がオンライン会議の内容に完全には集中できていない状態を意図的に生成し、その状態における第１期間及び第２期間の生体情報の測定結果を取得してよい。制御部１０は、対象者の内部状態がオンライン会議の内容に完全には集中できていない状態であることを示す情報を入力した予測モデル８０において、予測誤差が判定閾値未満になるように、各層のパラメータを調整してよい。
　対象者がオンライン会議の内容のみに完全に集中している状態において、対象者の内部状態を示す情報Ｙは、例えばＹ＝０となるように設定されてよい。対象者がオンライン会議の内容に完全には集中していない状態において、対象者の内部状態を示す情報Ｙは、例えばＹ＝１となるように設定されてよい。対象者の内部状態を示す情報Ｙは、対象者がオンライン会議の内容に集中している度合いに応じて、０から１までの間の任意の値に設定されてよい。対象者がオンライン会議の内容に集中している度合いは、集中度とも称される。
　上述してきたように、制御部１０は、第２期間の生体情報の予測誤差を小さくするように予測モデル８０のパラメータを調整してよい。言い換えれば、制御部１０は、第１期間の生体情報に基づく第２期間の生体情報の予測結果による実際の第２期間の生体情報の測定結果の再現度に基づいて、エンコーダＥＮＮ及びデコーダＤＮＮのパラメータを調整してよい。制御部１０は、再現度に加えて、エンコーダＥＮＮによって推定された未知の値Ｚの従う確率分布が所定の確率分布からどのくらい逸脱しているかを表す分布逸脱度も含めた損失関数に基づいて、エンコーダＥＮＮ及びデコーダＤＮＮのパラメータを調整してよい。この場合、所定の確率分布は、正規分布であってもよい。また、前述の場合、分布逸脱度はカルバック・ライブラダイバージェンスであってもよい。
＜生体情報の予測に基づく内部情報の推定＞
　制御部１０は、予測モデル８０を用いて対象者の生体情報の予測結果を取得する。制御部１０は、対象者の生体情報の予測結果と測定結果との比較に基づいて、対象者の内部状態を推定する。以下、具体的な推定動作の一例が説明される。
　制御部１０は、対象者の内部状態を仮定し、仮定した内部状態を示す情報を生成する。仮定した内部状態、つまり対象者の仮の内部状態を示す情報は、仮定情報とも称される。制御部１０は、仮定情報を、対象者の内部状態を示す情報Ｙの代わりに、予測モデル８０のエンコーダＥＮＮ及びデコーダＤＮＮに入力する。
　制御部１０は、仮定情報が入力された予測モデル８０の入力層８１に第１期間の生体情報の測定結果を入力する。仮定情報が入力された予測モデル８０は、出力層８２から、対象者の内部状態が仮定情報で示される内部状態である場合における、対象者の第２期間の生体情報の予測結果を出力する。仮定情報が入力された予測モデル８０から出力された予測結果は、仮定情報に対応づけられる。
　制御部１０は、対象者の第２期間の生体情報の測定結果と、仮定情報に対応づけられる予測結果とを比較する。測定結果と予測結果との差が小さいほど、その予測結果に対応づけられる仮定情報で示される内部状態と実際の内部状態との差が小さい。言い換えれば、制御部１０は、第１期間の生体情報と種々の内部状態を示す情報Ｙとに基づいて予測される第２期間の生体情報が、実際の第２期間の生体情報を再現した度合いに応じて、内部状態を示す情報Ｙの妥当性を判断できる。
　例えば、ある内部状態を示す情報Ｙ１に基づいて予測された第２期間の生体情報が実際の第２期間の生体情報を高い度合いで再現しているとする。この場合、制御部１０は、内部状態を示す情報Ｙ１の妥当性が高い（すなわち正解に近い）と判断してよい。
　一方、ある内部状態を示す情報Ｙ２に基づいて予測された第２期間の生体情報が実際の第２期間の生体情報を低い度合いでしか再現できていないとする。この場合、制御部１０は、内部状態を示す情報Ｙ２の妥当性が低い（すなわち正解から遠い）と判断してよい。
　制御部１０は、対象者の内部状態として複数の内部状態を仮定する。制御部１０は、仮定した複数の内部状態それぞれについて、仮定情報を予測モデル８０に入力する。制御部１０は、仮定した複数の内部状態それぞれを示す仮定情報が入力された予測モデル８０について、入力層８１に第１期間の生体情報の測定結果を入力し、出力層８２から、第２期間の生体情報の予測結果を取得する。制御部１０が取得した予測結果は、複数の仮定情報それぞれに対応づけられる。
　制御部１０は、対象者の第２期間の生体情報の測定結果と、複数の仮定情報それぞれに対応づけられる予測結果とを比較する。制御部１０は、測定結果との差が所定範囲内に収まる予測結果を抽出し、抽出した予測結果に対応づけられる仮定情報で示される内部状態を、対象者の内部状態として推定してよい。制御部１０は、測定結果との差が最も小さくなる予測結果を決定し、決定した予測結果に対応づけられる仮定情報で示される内部状態を、対象者の内部状態として推定してよい。
　制御部１０は、対象者の内部状態を示す情報Ｙとして対象者の集中度を用いる場合、集中度の値を複数の値に仮定してよい。集中度の値を仮定した値は、仮定値とも称される。制御部１０は、複数の仮定値のそれぞれが入力された予測モデル８０について、第２期間の生体情報の予測誤差を算出してよい。制御部１０は、予測誤差が判定閾値未満となる場合の予測モデル８０に入力されていた仮定値を、対象者の集中度の値として推定してよい。制御部１０は、予測誤差が最小となる場合の予測モデル８０に入力されていた仮定値を、対象者の集中度の値として推定してよい。
　対象者の内部状態は、対象者の感情を含んでよい。対象者の感情は、対象者の集中度を含んでよい。対象者の感情は、集中度に限られず、例えば喜怒哀楽、理解度、会議へのエンゲージメント等で示されてよい。対象者の感情は、例えば、喜怒哀楽のそれぞれの度合いを組み合わせた指標によって示されてもよい。対象者の感情は、快感若しくは不快感の度合い、又は、安心感若しくは不安感の度合い等によって示されてもよい。対象者の感情を示す情報は、感情ラベルとも称される。
　制御部１０は、仮定情報を、対象者の集中度又は感情等の複数のパラメータの組み合わせとして生成してよい。制御部１０は、各パラメータについて想定される全ての値を総当たりで組み合わせた仮定情報を予測モデル８０に適用してよい。制御部１０は、各パラメータについて想定される値の数を適宜設定し、各パラメータで設定した数の仮定値を組み合わせた仮定情報を予測モデル８０に適用してよい。制御部１０は、各パラメータの値の組み合わせを何パターンかに絞って生成し、生成した各組み合わせの仮定情報を予測モデル８０に適用してよい。制御部１０は、予測モデル８０に適用した仮定情報それぞれについて対象者の生体情報を予測し、予測結果に基づいて対象者の内部状態の推定結果を示す仮定情報を決定してよい。
　制御部１０は、対象者の内部状態の推定結果に基づいて、対象者又はユーザ等に対して警報を出力してよい。制御部１０は、対象者の内部状態の推定結果が警報条件を満たした場合に警報を出力してよい。警報条件は、例えば対象者の集中度が判定閾値以上になっていることを含んでよい。警報条件は、例えば対象者の感情ラベルの値が判定範囲外になっていることを含んでよい。制御部１０は、例えば対象者の集中度が低下していると推定された場合に警報条件が満たされたと判定し、対象者又はユーザ等に対して、対象者の集中度を高めるための施策を促す警報を出力してよい。制御部１０は、例えば対象者の感情が悪化していると推定された場合に警報条件が満たされたと判定し、対象者又はユーザ等に対して、対象者の感情を改善するための施策を促す警報を出力してよい。制御部１０は、報知部４０によって警報を出力してよい。
＜予測モデル生成方法の手順例＞
　電子機器１の制御部１０は、図７に例示されるフローチャートの手順を含む予測モデル生成方法を実行してもよい。予測モデル生成方法は、電子機器１の制御方法に含まれてよい。予測モデル生成方法は、制御部１０を構成するプロセッサに実行させる予測モデル生成プログラムとして実現されてもよい。予測モデル生成プログラムは、非一時的なコンピュータ読み取り可能な媒体に格納されてよい。予測モデル生成プログラムは、電子機器１の制御プログラムに含まれてよい。
　制御部１０は、第１期間及び第２期間それぞれの対象者の生体情報の測定結果を取得する（ステップＳ１）。制御部１０は、第１期間及び第２期間それぞれの対象者の生体情報の測定結果から特徴量を抽出する（ステップＳ２）。
　制御部１０は、第１期間の生体情報の測定結果を、学習中の予測モデル８０に入力する（ステップＳ３）。制御部１０は、学習中の予測モデル８０から、第２期間の生体情報の予測結果を取得する（ステップＳ４）。
　制御部１０は、第２期間の生体情報の予測結果とステップＳ１の手順で取得した測定結果との差を、予測誤差として算出する（ステップＳ５）。制御部１０は、予測誤差に基づいて学習中の予測モデル８０のパラメータを調整する（ステップＳ６）。
　制御部１０は、ステップＳ６の手順の実行後に、図７のフローチャートの実行を終了してよいし、ステップＳ１の手順に戻って予測モデル８０の学習を繰り返してもよい。制御部１０は、ステップＳ６の手順の実行後に、予測誤差が判定閾値未満になったか判定する手順を実行してもよい。制御部１０は、ステップＳ６の手順の実行後に、予測誤差が収束したか判定する手順を実行してもよい。
＜内部状態推定方法の手順例＞
　電子機器１の制御部１０は、図８に例示されるフローチャートの手順を含む内部状態推定方法を実行してもよい。内部状態推定方法は、電子機器１の制御方法に含まれてよい。内部状態推定方法は、制御部１０を構成するプロセッサに実行させる内部状態推定プログラムとして実現されてもよい。内部状態推定プログラムは、非一時的なコンピュータ読み取り可能な媒体に格納されてよい。内部状態推定プログラムは、電子機器１の制御プログラムに含まれてよい。
　図８に例示される内部状態推定方法において、対象者の内部状態を示す情報Ｙとして、感情ラベルが推定されるとする。
　制御部１０は、第１期間及び第２期間それぞれの対象者の生体情報の測定結果を取得する（ステップＳ１１）。制御部１０は、第１期間及び第２期間それぞれの対象者の生体情報の測定結果から特徴量を抽出する（ステップＳ１２）。
　制御部１０は、予測モデル８０に対象者の内部状態の仮定情報として感情ラベルの仮定値を適用し、感情ラベルの各仮定値を適用した予測モデル８０に、第１期間の生体情報の測定結果を入力する（ステップＳ１３）。制御部１０は、感情ラベルの各仮定値を適用した予測モデル８０から、第２期間の生体情報の予測結果を取得する（ステップＳ１４）。
　制御部１０は、感情ラベルの各仮定値に対応する第２期間の生体情報の予測結果と第２期間の生体情報の測定結果との差を算出する（ステップＳ１５）。制御部１０は、差が最小となる場合に仮定されていた感情ラベルの値を、感情ラベルの推定結果として生成する（ステップＳ１６）。
　制御部１０は、感情ラベルの推定結果が警報条件を満たすか判定する（ステップＳ１７）。制御部１０は、警報条件が満たされない場合（ステップＳ１７：ＮＯ）、図８のフローチャートの手順の実行を終了する。制御部１０は、警報条件が満たされる場合（ステップＳ１７：ＹＥＳ）、報知部４０によって警報を出力する（ステップＳ１８）。制御部１０は、ステップＳ１８の手順の実行後、図８のフローチャートの手順の実行を終了する。
＜小括＞
　以上述べてきたように、対象者の内部状態は、ある時点における生体情報だけでなく、生体情報の経時的な変化として現れ得る。本実施形態に係る電子機器１の制御部１０は、対象者の生体情報を予測し、予測誤差に基づいて対象者の内部状態を推定できる。このようにすることで、対象者の内部状態が生体情報の経時的な変化を考慮して推定され得る。その結果、生体情報の経時的な変化を考慮しない場合と比べて、内部状態の推定精度が向上され得る。
　制御部１０は、第１期間及び第２期間の長さを変化させた複数の予測モデル８０を用いて対象者の内部状態を推定してよい。制御部１０は、第１期間の終了から第２期間の開始までの時間を変化させた複数の予測モデル８０を用いて対象者の内部状態を推定してよい。生体情報の経時的な変化として種々のパターンが考慮されることによって、内部状態の推定精度が向上され得る。また、制御部１０は、第１期間の生体情報を再現する自己符号化器を用いて得られた内部状態の推定結果を考慮して対象者の内部状態を推定してもよい。生体情報の経時的な変化とあわせて生体情報の再現度が考慮されることによって、内部状態の推定精度が向上され得る。
　また、一般的に、人間の視線及び／又は注意行動、心拍等は、大きい個体差を含み得る。例えば、高齢者の視線の可動域が若年者の視線の可動域よりも狭い等の例が挙げられる。したがって、対象者の内部状態を推定する際に、例えば上述のような個体差を適切に考慮することによって、推定精度が高められ得る。また、対象者の内部状態を推定する際に、推定結果がどのようなモデルに基づくものなのか、ユーザに客観的に説明可能とされることによって、ユーザが推定結果に対して納得しやすくなる。
　対象者を撮像した画像から、対象者の集中度のような内部状態を推定する場合、比較例として、両者の因果関係とは逆に、すなわち対象者の視線等の生体反応データから内部状態を推定するように学習を行うと仮定する。比較例において、因果関係が逆のモデル構造であるがゆえにそのモデル内部のデータ構造がブラックボックス化されてしまう。したげって、比較例において、要因を特定できずに誤った構造を学習したモデルが生成されるおそれがある。また、因果関係がブラックボックス化されることによって、因果関係のモデルをユーザに客観的に説明することが困難になる。
　一方で、一実施形態に係る電子機器１において対象者の内部状態を推定するアルゴリズムは、一般の認識モデル又は回帰モデルとは異なる生成モデルに基づくものである。電子機器１における生成モデルは、対象者の内部状態及び対象者の属性（年齢又は性別等）を原因として、対象者の視線が生成されるという過程を、データから学習する。このため、一実施形態に係る電子機器１によれば、対象者の個体の属性を考慮して推定精度が向上され得る。また、一実施形態に係る電子機器１によれば、データ生成過程を踏まえたメカニズムがユーザに対して客観的に説明され得る。一実施形態によれば、対象者の集中度のような内部状態がデータ生成過程に基づいて合理的に推定され得る。
（他の実施形態）
　以下、他の実施形態が説明される。
＜内部状態の推定結果の確信度＞
　予測モデル８０は、生体情報の予測結果として確率分布で表した結果を出力するように構成されてよい。確率分布は、例えば正規分布等であってよい。生体情報の予測結果は、正規分布で表される場合、平均値及び標準偏差によって表される。
　制御部１０は、確率分布として表される生体情報の予測結果を実際の測定結果と比較してよい。制御部１０は、生体情報の予測結果の確率分布の平均値と実際の生体情報の測定結果との差を、予測誤差として算出してよい。制御部１０は、判定閾値未満の予測誤差が得られた予測モデル８０に適用されていた仮定情報で示される内部状態を、対象者の内部状態として推定してよい。制御部１０は、最小の予測誤差が得られた予測モデル８０に適用されていた仮定情報で示される内部状態を、対象者の内部状態として推定してよい。
　制御部１０は、対象者の内部状態の推定結果の確からしさ（尤もらしさ）を確認するための指標を算出してよい。対象者の内部状態の推定結果の確からしさ（尤もらしさ）を確認するための指標は、確信度とも称される。
　制御部１０は、例えば、生体情報の予測結果の確率分布に基づいて実際の測定結果が現れる確率を算出し、算出した確率を対象者の内部状態の推定結果の確信度とみなしてよい。この場合、内部状態の推定結果が確からしいほど、確信度の値が大きくなる。制御部１０は、確信度が判定閾値以上である場合に内部状態の推定結果を出力し、確信度が判定閾値未満である場合に内部状態の推定をやり直してよい。
　制御部１０は、例えば、生体情報の予測結果の平均値μ、実際の測定結果ｘ、及び、生体情報の予測結果の標準偏差σを用いた次の式（１）を、対象者の内部状態の推定結果の確信度とみなしてよい。
Figure JPOXMLDOC01-appb-M000001
 つまり、制御部１０は、生体情報の予測結果の平均値と実際の測定結果との差を、生体情報の予測結果の標準偏差で割った値を二乗し、ｅを取った正規分布の式を、対象者の内部状態推定の確信度とみなしてよい。この場合、内部状態の推定結果が確からしいほど、確信度の値も大きくなる。
　また、確信度は、上述した式に限られず、１／σ又は１／σ２で表されてもよい。制御部１０は、確信度が判定閾値未満である場合に内部状態の推定結果を出力し、確信度が判定閾値以上である場合に内部状態の推定をやり直してよい。
　以上述べてきたように、制御部１０は、対象者の内部状態の推定結果の確信度を算出し、確信度に基づいて対象者の内部状態の推定結果を出力するか、対象者の内部状態の推定をやり直すかを決定してよい。このようにすることで、推定精度が高められ得る。
＜確信度を考慮した生体情報推定方法の手順例＞
　電子機器１の制御部１０は、図９に例示されるフローチャートの手順を含む生体情報推定方法を実行してもよい。生体情報推定方法は、電子機器１の制御方法に含まれてよい。生体情報推定方法は、制御部１０を構成するプロセッサに実行させる生体情報推定プログラムとして実現されてもよい。生体情報推定プログラムは、非一時的なコンピュータ読み取り可能な媒体に格納されてよい。生体情報推定プログラムは、電子機器１の制御プログラムに含まれてよい。
　図９に例示される生体情報推定方法において、対象者の内部状態を示す情報Ｙとして、感情ラベルが用いられるとする。
　制御部１０は、図８に例示されるフローチャートのステップＳ１１からＳ１６までの手順を実行することによって、対象者の感情ラベルを推定する（ステップＳ２１）。制御部１０は、感情ラベルの推定結果の確信度を算出し、確信度が判定閾値（確信度閾値）以上であるか判定する（ステップＳ２２）。制御部１０は、確信度が判定閾値以上でない場合（ステップＳ２２：ＮＯ）、すなわち確信度が判定閾値未満である場合、ステップＳ２１の手順に戻って対象者の感情ラベルの推定をやり直す。制御部１０は、確信度が判定閾値以上である場合（ステップＳ２２：ＹＥＳ）、感情ラベルの推定結果を出力する（ステップＳ２３）。制御部１０は、ステップＳ２３の手順の実行後、図９のフローチャートの手順の実行を終了する。
＜内部状態推定の実行主体の例＞
　上述してきたように、本開示の一実施形態に係る電子機器１は、オンライン会議に参加するための端末として構成される。また、本開示の一実施形態に係る予測モデル生成方法又は内部状態推定方法は、端末によって実行される。
　ここで、オンライン会議は、ネットワーク等を経由して接続されるサーバ装置又はクラウドシステムによって開催され得る。本開示の一実施形態に係る電子機器１は、端末に対してオンライン会議を提供するサーバ装置又はクラウドシステムとして構成されてよい。また、本開示の一実施形態に係る予測モデル生成方法又は内部状態推定方法は、端末に対してオンライン会議を提供するサーバ装置又はクラウドシステムによって実行されてよい。
　言い換えれば、本開示の一実施形態に係る電子機器１は、オンライン会議のホストとなる機器として構成されてよい。また、本開示の一実施形態に係る予測モデル生成方法又は内部状態推定方法は、オンライン会議のホストとなる機器によって実行されてもよい。
　オンライン会議を提供するサーバ装置、クラウドシステム、又は、ホスト機器は、内部状態の推定結果を端末に出力してもよいし、内部状態の推定結果に基づく警報を端末に出力してもよい。
　本開示の内容は、当業者であれば本開示に基づき種々の変形及び改変を行うことができる。したがって、これらの変形及び改変は本開示の範囲に含まれる。例えば、各実施形態において、各機能部、各手段又は各ステップなどは論理的に矛盾しないように他の実施形態に追加し、若しくは、他の実施形態の各機能部、各手段又は各ステップなどと置き換えることが可能である。また、各実施形態において、複数の各機能部、各手段又は各ステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。また、上述した本開示の各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施することもできる。
　本開示の一実施形態に係る電子機器１は、例えば、移動体に搭載されてもよい。移動体は、例えば車両、船舶、又は航空機等を含んでよい。本開示の一実施形態に係る電子機器１は、移動体に搭載される場合、乗用車のような移動体に搭乗している者（運転者又は同乗者）の所定の内部状態（例えば所定の心理状態、感情又は集中度等）を推定できる。電子機器１は、移動体を運転する運転者の内部状態として、運転者の運転時の感情又は集中度等の内部状態を推定してよい。電子機器１は、移動体に搭載される端末と通信可能に接続されるサーバ装置又はクラウドシステムとして構成されてもよい。
　車両は、例えば自動車、産業車両、鉄道車両、生活車両、又は滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、又はトロリーバス等を含んでよい。産業車両は、例えば農業又は建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフト又はゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、又は芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、又はロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット(personal watercraft(PWC))、ボート、又はタンカー等を含んでよい。航空機は、例えば固定翼機又は回転翼機等を含んでよい。また、本開示の「ユーザ」及び「対象者」は、車両又は航空機等の移動体を運転している者であってよいし、移動体を運転していない同乗者であってもよい。
　１　電子機器（１０：制御部、１２：抽出部、１４：予測部、１６：判定部、１８：視線予測部、２０：生体情報取得部、２１：第１生体情報取得部、２２：第２生体情報取得部、３０：記憶部、４０：報知部）
　８０　予測モデル（８１：入力層、８２：出力層、８３、８４：未知の値を表す層、８５、８６、８７、８８：中間層）
　ＥＮＮ　エンコーダ
　ＤＮＮ　デコーダ

Claims (9)

  1. 　第１期間及び前記第１期間より後の第２期間それぞれにおける対象者の生体情報の測定結果に基づいて前記対象者の内部状態を推定する制御部を備え、
    　前記制御部は、
    　前記第１期間における、前記対象者の仮の内部状態に対応する仮定情報を生成し、
    　前記対象者の仮の内部状態と前記第１期間における前記対象者の生体情報の測定結果とに基づいて前記第２期間における対象者の生体情報を予測し、
    　予測した前記生体情報と前記第２期間における対象者の生体情報の測定結果との差異に基づいて、前記生体情報に対応する内部状態を推定する、
    電子機器。
  2. 　前記制御部は、前記対象者の内部状態の推定結果の確信度を算出し、前記確信度に基づいて前記対象者の内部状態の推定結果を出力するか前記対象者の内部状態の推定をやり直すかを決定する、請求項１に記載の電子機器。
  3. 　前記制御部は、前記対象者の属性情報に更に基づいて前記対象者の内部状態を推定する、請求項１又は２に記載の電子機器。
  4. 　第１期間及び前記第１期間より後の第２期間それぞれにおける対象者の生体情報の測定結果に基づいて前記対象者の内部状態を推定する電子機器が、前記対象者の内部状態を仮定した複数の状態それぞれを示す仮定情報を生成し、
    　前記電子機器が、前記第１期間における、前記対象者の仮の内部状態に対応する仮定情報を生成し、
    　前記電子機器が、前記対象者の仮の内部状態と前記第１期間における前記対象者の生体情報の測定結果とに基づいて前記第２期間における対象者の生体情報を予測し、
    　前記電子機器が、予測した前記生体情報と前記第２期間における対象者の生体情報の測定結果との差異に基づいて、前記生体情報に対応する内部状態を推定する、
    電子機器の制御方法。
  5. 　前記電子機器が、前記対象者の内部状態の推定結果の確信度を算出し、前記確信度に基づいて前記対象者の内部状態の推定結果を出力するか前記対象者の内部状態の推定をやり直すかを決定する、請求項４に記載の電子機器の制御方法。
  6. 　前記電子機器が、前記対象者の属性情報に更に基づいて前記対象者の内部状態を推定する、請求項４又は５に記載の電子機器の制御方法。
  7. 　第１期間及び前記第１期間より後の第２期間それぞれにおける対象者の生体情報の測定結果に基づいて前記対象者の内部状態を推定する電子機器に、前記対象者の内部状態を仮定した複数の状態それぞれを示す仮定情報を生成させ、
    　前記電子機器に、前記第１期間における、前記対象者の仮の内部状態に対応する仮定情報を生成させ、
    　前記電子機器に、前記対象者の仮の内部状態と前記第１期間における前記対象者の生体情報の測定結果とに基づいて前記第２期間における対象者の生体情報を予測させ、
    　前記電子機器に、予測した前記生体情報と前記第２期間における対象者の生体情報の測定結果との差異に基づいて、前記生体情報に対応する内部状態を推定させる、
    電子機器の制御プログラム。
  8. 　前記電子機器に、前記対象者の内部状態の推定結果の確信度を算出し、前記確信度に基づいて前記対象者の内部状態の推定結果を出力するか前記対象者の内部状態の推定をやり直すかを決定させる、請求項７に記載の電子機器の制御プログラム。
  9. 　前記電子機器に、前記対象者の属性情報に更に基づいて前記対象者の内部状態を推定させる、請求項７又は８に記載の電子機器の制御プログラム。
     
PCT/JP2023/020856 2022-06-15 2023-06-05 電子機器、電子機器の制御方法及び制御プログラム WO2023243468A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-096809 2022-06-15
JP2022096809A JP2023183278A (ja) 2022-06-15 2022-06-15 電子機器、電子機器の制御方法及び制御プログラム

Publications (1)

Publication Number Publication Date
WO2023243468A1 true WO2023243468A1 (ja) 2023-12-21

Family

ID=89191149

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/020856 WO2023243468A1 (ja) 2022-06-15 2023-06-05 電子機器、電子機器の制御方法及び制御プログラム

Country Status (2)

Country Link
JP (1) JP2023183278A (ja)
WO (1) WO2023243468A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01113026A (ja) * 1987-10-28 1989-05-01 Hitachi Ltd 問診システム
JP2019139277A (ja) * 2018-02-06 2019-08-22 オムロン株式会社 評価装置、動作制御装置、評価方法、及び評価プログラム
JP2020042598A (ja) * 2018-09-12 2020-03-19 国立大学法人神戸大学 生体信号データからの個体特徴分離による状態予測方法および装置
JP2020068973A (ja) * 2018-10-30 2020-05-07 クラリオン株式会社 感情推定統合装置、感情推定統合方法およびプログラム
WO2020234926A1 (ja) * 2019-05-17 2020-11-26 株式会社ファーストアセント 養育支援装置
WO2022025200A1 (ja) * 2020-07-31 2022-02-03 株式会社I’mbesideyou 反応解析システムおよび反応解析装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01113026A (ja) * 1987-10-28 1989-05-01 Hitachi Ltd 問診システム
JP2019139277A (ja) * 2018-02-06 2019-08-22 オムロン株式会社 評価装置、動作制御装置、評価方法、及び評価プログラム
JP2020042598A (ja) * 2018-09-12 2020-03-19 国立大学法人神戸大学 生体信号データからの個体特徴分離による状態予測方法および装置
JP2020068973A (ja) * 2018-10-30 2020-05-07 クラリオン株式会社 感情推定統合装置、感情推定統合方法およびプログラム
WO2020234926A1 (ja) * 2019-05-17 2020-11-26 株式会社ファーストアセント 養育支援装置
WO2022025200A1 (ja) * 2020-07-31 2022-02-03 株式会社I’mbesideyou 反応解析システムおよび反応解析装置

Also Published As

Publication number Publication date
JP2023183278A (ja) 2023-12-27

Similar Documents

Publication Publication Date Title
US11769056B2 (en) Synthetic data for neural network training using vectors
JP7020156B2 (ja) 評価装置、動作制御装置、評価方法、及び評価プログラム
US11465640B2 (en) Directed control transfer for autonomous vehicles
US11067405B2 (en) Cognitive state vehicle navigation based on image processing
US10922567B2 (en) Cognitive state based vehicle manipulation using near-infrared image processing
JP6264495B1 (ja) 運転者監視装置、運転者監視方法、学習装置及び学習方法
US20200187841A1 (en) System and Method for Measuring Perceptual Experiences
US11292477B2 (en) Vehicle manipulation using cognitive state engineering
US11887383B2 (en) Vehicle interior object management
CN112673378A (zh) 推断器生成装置、监视装置、推断器生成方法以及推断器生成程序
US11704574B2 (en) Multimodal machine learning for vehicle manipulation
US20200114925A1 (en) Interaction device, interaction method, and program
Wang et al. Recognition of multiple drivers’ emotional state
US20230033776A1 (en) Directed control transfer with autonomous vehicles
US11657288B2 (en) Convolutional computing using multilayered analysis engine
Huang et al. Data augmentation via face morphing for recognizing intensities of facial emotions
Churamani et al. Affect-driven modelling of robot personality for collaborative human-robot interactions
WO2023243468A1 (ja) 電子機器、電子機器の制御方法及び制御プログラム
KR102285482B1 (ko) 생체 정보의 기계 학습 분석에 기반하여 컨텐츠를 제공하기 위한 방법 및 장치
WO2022230629A1 (ja) 電子機器、電子機器の制御方法、及びプログラム
WO2023243469A1 (ja) 電子機器、電子機器の制御方法及び制御プログラム
JP2023066304A (ja) 電子機器、電子機器の制御方法、及びプログラム
WO2022230630A1 (ja) 電子機器、電子機器の制御方法、及びプログラム
Monteleone et al. Semiautomatic Behavioral Change-Point Detection: A Case Study Analyzing Children Interactions With a Social Agent
Hamieh Leveraging Anomaly Detection for Affective Computing Applications

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23823761

Country of ref document: EP

Kind code of ref document: A1