WO2022210084A1 - モデル生成方法、コンピュータプログラム、情報処理装置、情報処理システム、情報処理方法、及び訓練データの生成方法 - Google Patents

モデル生成方法、コンピュータプログラム、情報処理装置、情報処理システム、情報処理方法、及び訓練データの生成方法 Download PDF

Info

Publication number
WO2022210084A1
WO2022210084A1 PCT/JP2022/013111 JP2022013111W WO2022210084A1 WO 2022210084 A1 WO2022210084 A1 WO 2022210084A1 JP 2022013111 W JP2022013111 W JP 2022013111W WO 2022210084 A1 WO2022210084 A1 WO 2022210084A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
data
user
output
learning model
Prior art date
Application number
PCT/JP2022/013111
Other languages
English (en)
French (fr)
Inventor
光伸 吉田
展弘 丸子
伊織里 川原
達夫 川原
Original Assignee
三井化学株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三井化学株式会社 filed Critical 三井化学株式会社
Priority to EP22780299.8A priority Critical patent/EP4318320A1/en
Priority to KR1020237032025A priority patent/KR20230146637A/ko
Publication of WO2022210084A1 publication Critical patent/WO2022210084A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices

Definitions

  • the present invention relates to a model generation method, a computer program, an information processing device, an information processing system, an information processing method, and a training data generation method.
  • An object of the present invention is to provide a model generation method, a computer program, an information processing apparatus, an information processing system, an information processing method, and a training data generation method that can obtain user's sensitivity information from the output of a piezoelectric element.
  • a model generation method acquires electroencephalogram data of a subject based on the output of an electroencephalograph, and a first learning model trained to output sensitivity information according to the input of the electroencephalogram data. inputting the acquired electroencephalogram data to acquire the sensory information of the subject; acquiring biological data of the subject based on the output of the piezoelectric element; obtaining the biological data and the first learning model; A second method for outputting the sensitivity information of the subject when biological data of the subject measured by the piezoelectric element is input using a data set including the acquired sensitivity information of the subject as training data.
  • a computer executes a process of generating a learning model.
  • the training data further includes sensor data obtained from other sensors, and the second learning model, when inputting the biological data and the sensor data, Learned to output information.
  • the biological data is time-series data of at least one of respiratory rate, heart rate, and body movement value of the subject.
  • the sensor data is time-series data of at least one of environmental temperature, body temperature of the subject, and blood pressure value.
  • the sensory information includes at least one of the subject's calmness, drowsiness, degree of concentration, preference, interest, tension, irritation, comfort, satisfaction, and dissatisfaction. including.
  • the piezoelectric element is a line-shaped or film-shaped piezoelectric element formed of a non-pyroelectric organic piezoelectric material.
  • a model generation method acquires electroencephalogram data from an electroencephalograph attached to the subject's head, while acquiring electroencephalogram data from a piezoelectric element arranged without contacting the subject's skin. Acquire biometric data.
  • a computer program acquires biometric data of the user based on an output of a non-pyroelectric piezoelectric element arranged without contacting the user's skin, and obtains the biometric data of the user. is input to a learning model trained to output sensibility information according to the input of biometric data, the user's sensibility information is acquired, and the computer executes processing for outputting information based on the acquired sensibility information. is a computer program for
  • the learning model is based on the subject's sensibility information estimated using another learning model based on the subject's electroencephalogram data, and the output of the piezoelectric element.
  • a data set including the biometric data of the subject is used as training data for learning.
  • the learning model is trained using a data set further including sensor data obtained from other sensors as training data.
  • the biometric data is time-series data of at least one of respiratory rate, heart rate, and body movement value of the user.
  • the sensor data is time-series data of at least one of environmental temperature, body temperature of the user, and blood pressure value.
  • a computer program acquires user attribute information, selects one learning model from a plurality of learning models prepared according to user attributes based on the acquired user attribute information, A computer program for causing the computer to execute a process of inputting the user's biometric data into one selected learning model and acquiring the user's sensitivity information.
  • the computer program receives correction of the sensibility information from the user, and uses training data including a data set containing the corrected kansei information and biometric data measured about the user to perform the learning.
  • a computer program for causing the computer to execute a process of re-learning a model.
  • a computer program inputs first biometric data of a user measured by the piezoelectric element under a first environment into the learning model, acquires first sensibility information, inputting the second biological data of the user measured by the piezoelectric element into the learning model to acquire the second sensibility information, and combining the information of the first environment and the first sensibility information acquired from the learning model; and outputting the information of the second environment in association with the second sensibility information acquired from the learning model.
  • a computer program inputs first biometric data of a user measured by the piezoelectric element in a situation in which a first offering is provided to the user to the learning model, and converts the first sensibility information into the learning model.
  • second biological data of the user measured by the piezoelectric element under a condition in which the user is provided with the second provided product is input to the learning model to obtain second sensibility information, and the first provided product is obtained; and the first sensitivity information obtained from the learning model are associated and output, and the information of the second offering and the second sensitivity information obtained from the learning model are associated and output. It is a computer program for causing a computer to execute.
  • An information processing apparatus includes a biometric data acquisition unit that acquires biometric data of a user based on the output of a non-pyroelectric piezoelectric element that is arranged without contacting the user's skin; a sensory information acquisition unit that acquires the sensory information of the user by inputting the biometric data of the user into a learning model trained to output sensory information according to the input of the biometric data; and an output unit for outputting information based on the method.
  • An information processing system includes a non-pyroelectric piezoelectric element arranged in a state not in contact with a user's skin; an acquisition unit, and a sensory information acquisition unit that acquires sensory information of the user by inputting the acquired biometric data of the user into a learning model trained to output sensory information according to the input of the biometric data; and an information processing device that outputs information based on the acquired sensibility information.
  • An information processing method acquires biometric data of the user based on the output of a non-pyroelectric piezoelectric element arranged without contacting the user's skin, and obtains the biometric data of the user.
  • a computer executes a process of inputting data into a learning model trained to output sensitivity information according to the input of biometric data, acquiring the sensitivity information of the user, and outputting information based on the acquired sensitivity information. do.
  • a method for generating training data according to an aspect of the present invention is a first learning method that acquires electroencephalogram data of a subject based on the output of an electroencephalograph and outputs sensitivity information according to the input of the electroencephalogram data.
  • the acquired electroencephalogram data is input to the model to acquire the sensory information of the subject, and based on the output of the non-pyroelectric piezoelectric element arranged without contacting the skin of the subject, the subject
  • a second learning model that learns to acquire biological data of a person and output the user's sensibility information when a data set containing the acquired sensibility information and the biological data is input with the user's biological data.
  • a computer is caused to execute a process of generating training data used for learning.
  • the user's sensibility information can be obtained from the output of the piezoelectric element.
  • FIG. 1 is a block diagram illustrating the configuration of an information processing apparatus according to Embodiment 1;
  • FIG. It is a schematic diagram which shows the mounting example of a piezoelectric element.
  • It is a schematic diagram which shows the structural example of a biometric information estimation model.
  • It is a schematic diagram which shows the structural example of a sensitivity information estimation model.
  • It is a schematic diagram which shows the modification of a sensitivity information estimation model.
  • 7 is a flowchart for explaining the procedure of processing executed by the information processing device during estimation; It is a schematic diagram which shows the example of a display of sensitivity information.
  • FIG. 11 is a block diagram illustrating the configuration of a learning device according to Embodiment 2;
  • FIG. 4 is a schematic diagram showing a configuration example of an electroencephalogram model; 4 is a flowchart for explaining a procedure for generating training data; It is a schematic diagram which shows an example of a confirmation screen.
  • 4 is a flowchart showing a re-learning procedure executed by the learning device;
  • FIG. 13 is a flow chart for explaining a procedure of processing executed by an information processing apparatus according to a fourth embodiment;
  • FIG. 13 is a schematic diagram showing an output example in Embodiment 4;
  • FIG. 13 is a flow chart for explaining a procedure of processing executed by an information processing apparatus according to a fifth embodiment;
  • FIG. FIG. 13 is a schematic diagram showing an output example in Embodiment 5;
  • FIG. 21 is an explanatory diagram for explaining a learning model prepared in Embodiment 6;
  • FIG. 12 is a flow chart for explaining a procedure of processing executed by an information processing apparatus according to a sixth embodiment;
  • FIG. 1 is a block diagram illustrating the configuration of an information processing apparatus according to Embodiment 1.
  • the information processing apparatus 1 is a dedicated or general-purpose computer, and includes a control section 11, a storage section 12, an input section 13, a communication section 14, an operation section 15, a display section 16, and the like.
  • the information processing device 1 acquires the user's biometric data based on the output of the piezoelectric element S1, and acquires the user's sensitivity information based on the acquired biometric data.
  • the information processing device 1 outputs information based on the acquired sensitivity information to the display unit 16, for example.
  • the control unit 11 includes, for example, a CPU (Central Processing Unit), ROM (Read Only Memory), RAM (Random Access Memory), and the like.
  • the ROM included in the control unit 11 stores a control program and the like for controlling the operation of each hardware unit included in the information processing apparatus 1 .
  • the CPU in the control unit 11 reads and executes a control program stored in the ROM and various computer programs stored in the storage unit 12, and controls the operation of each hardware unit, thereby controlling the entire apparatus according to the present invention. function as an information processing device according to
  • the RAM provided in the control unit 11 temporarily stores data used during execution of the calculation.
  • control unit 11 is configured to include a CPU, a ROM, and a RAM, but GPU (Graphics Processing Unit), FPGA (Field Programmable Gate Array), DSP (Digital Signal Processor), quantum processor, volatile Alternatively, one or a plurality of arithmetic circuits including a nonvolatile memory or the like may be used.
  • the control unit 11 may also have functions such as a clock that outputs date and time information, a timer that measures the elapsed time from when a measurement start instruction is given to when a measurement end instruction is given, and a counter that counts the number.
  • the storage unit 12 includes storage such as HDD (Hard Disk Drive), SSD (Solid State Drive), and EEPROM (Electronically Erasable Programmable Read Only Memory).
  • the storage unit 12 stores various computer programs executed by the control unit 11 and various data used by the control unit 11 .
  • the computer program stored in the storage unit 12 acquires the user's biological data based on the output of the piezoelectric element S1, acquires the user's sensibility information based on the acquired biological data, and outputs information based on the acquired sensibility information.
  • a presumed processing program PG1 is included for causing a computer to execute the processing to be performed.
  • the estimation processing program PG1 may be a single computer program, or may be composed of a plurality of computer programs. Also, the estimation processing program PG1 may partially use an existing library.
  • a computer program such as the estimation processing program PG1 stored in the storage unit 12 is provided by a non-temporary recording medium M1 on which the computer program is readable.
  • the recording medium M1 is, for example, a portable memory such as a CD-ROM, USB memory, SD (Secure Digital) card, micro SD card, compact flash (registered trademark).
  • the control unit 11 uses a reading device (not shown) to read various computer programs from the recording medium M ⁇ b>1 and stores the read various computer programs in the storage unit 12 .
  • the computer programs stored in the storage unit 12 may be provided by communication via the communication unit 14 . In this case, the control unit 11 acquires the computer program through the communication unit 14 and stores the acquired computer program in the storage unit 12 .
  • the storage unit 12 stores a learning model LM1 (hereinafter also referred to as a biometric information estimation model LM1) that has been learned to output the biometric data of the user when the signal output from the piezoelectric element S1 is input, and the biometric data of the user. is input, a learning model LM2 (hereinafter also referred to as a sensibility information estimation model LM2) trained to output the user's sensibility information.
  • the storage unit 12 stores, as information defining the learning models LM1 and LM2, layer configuration information included in each learning model LM1 and LM2, node information included in each layer, weighting and bias information between nodes, and the like. be. A detailed configuration of the learning models LM1 and LM2 will be described later.
  • the input unit 13 has an interface for connecting various sensors.
  • a sensor connected to the input section 13 includes a piezoelectric element S1.
  • the piezoelectric element S1 is, for example, a line-shaped piezoelectric element formed by coaxially arranging a center conductor, a piezoelectric material layer, an outer conductor, and an outer cover from the center toward the outside.
  • a film-like piezoelectric element in which a lower electrode layer, a piezoelectric material layer, and an upper electrode layer are laminated in this order may be used.
  • a non-pyroelectric piezoelectric material is preferably used for the piezoelectric material of the piezoelectric element S1 in order to reduce the influence of temperature change.
  • the piezoelectric element S1 may be connected to the input unit 13 by wire, or may be connected to the input unit 13 wirelessly.
  • FIG. 2 is a schematic diagram showing a mounting example of the piezoelectric element S1.
  • the piezoelectric element S1 is arranged so as not to contact the user's skin.
  • the piezoelectric element S1 is preferably built in, for example, the seat surface of the chair C on which the user sits.
  • the piezoelectric element S ⁇ b>1 detects changes in load in a time-series manner while the user is seated, and outputs a signal (voltage signal) indicating the detection result to the information processing apparatus 1 .
  • the control unit 11 of the information processing device 1 acquires time-series data (hereinafter referred to as piezoelectric data) based on the output of the piezoelectric element S1 through the input unit 13 .
  • the voltage signal that is the output of the piezoelectric element S1 is preferably converted into data that can be easily processed inside the information processing apparatus 1 .
  • the piezoelectric element S1 is not limited to the seat portion of the chair C, and may be incorporated in the backrest portion or the armrest portion. Moreover, the piezoelectric element S1 may be incorporated in a uniform or work clothes worn by the user, or may be incorporated in an insole of a shoe or a mattress of a bed. Furthermore, the piezoelectric element S1 may be built in a device operated by a user, such as a smart phone, tablet, or mouse.
  • thermometer S2 measures the temperature (environmental temperature) in the vicinity of the user in chronological order and outputs a signal indicating the measurement result to the information processing apparatus 1 .
  • thermometer S3 measures the body temperature of the user in chronological order and outputs a signal indicating the measurement result to the information processing apparatus 1 .
  • the sphygmomanometer S ⁇ b>4 measures the user's blood pressure in time series and outputs a signal indicating the measurement result to the information processing apparatus 1 .
  • the control unit 11 of the information processing apparatus 1 receives, through the input unit 13, time-series data of the environmental temperature (environmental temperature data), time-series data of the user's body temperature (body temperature data), and time-series data of the user's blood pressure (blood pressure data). ).
  • time-series data of the environmental temperature environmental temperature
  • body temperature data body temperature data
  • blood pressure data blood pressure data
  • the input unit 13 may be further connected with various sensors such as a sensor that measures the user's blood oxygen saturation level, a sensor that measures indoor humidity, a sensor that measures illuminance, and a sensor that measures noise level. .
  • the communication unit 14 has a communication interface for transmitting and receiving various data.
  • the communication interface provided in the communication unit 14 is, for example, a communication interface conforming to the LAN (Local Area Network) communication standard used in WiFi (registered trademark) and Ethernet (registered trademark).
  • LAN Local Area Network
  • WiFi registered trademark
  • Ethernet registered trademark
  • the operation unit 15 includes operation devices such as a touch panel, keyboard, and switches, and receives various operations and settings by the user.
  • the control unit 11 performs appropriate control based on various kinds of operation information given from the operation unit 15, and stores setting information in the storage unit 12 as necessary.
  • the display unit 16 includes a display device such as a liquid crystal monitor or organic EL (Electro-Luminescence), and displays information to be notified to the user or the like according to instructions from the control unit 11 .
  • a display device such as a liquid crystal monitor or organic EL (Electro-Luminescence), and displays information to be notified to the user or the like according to instructions from the control unit 11 .
  • the information processing device 1 is configured to include the learning models LM1 and LM2, but the learning models LM1 and LM2 may be stored in an external device accessible from the information processing device 1.
  • the information processing apparatus 1 sends data necessary for the calculations to the external device to cause the external device to execute calculations by the learning models LM1 and LM2, and obtains calculation results by the learning models LM1 and LM2 from the external device. Just do it.
  • the information processing device 1 is not limited to a single computer, and may be a computer system including a plurality of computers and peripheral devices. Further, the information processing device 1 may be a virtual machine that is virtually constructed by software.
  • FIG. 3 is a schematic diagram showing a configuration example of the biological information estimation model LM1.
  • the biometric information estimation model LM1 in Embodiment 1 is a learning model that has been learned to output the biometric data of the user when the piezoelectric data based on the output of the piezoelectric element S1 is input.
  • the piezoelectric data input to the biological information estimation model LM1 is time-series data based on the signal (voltage signal) output from the piezoelectric element S1.
  • the biometric data output by the biometric information estimation model LM1 is time-series data of at least one of the user's breathing rate, heart rate, and body motion value.
  • the biological information estimation model LM1 is a learning model of machine learning including deep learning, and is configured by, for example, a neural network.
  • a neural network For example, an RNN (Recurrent Neural Network) can be used as a neural network that configures the biological information estimation model LM1.
  • the biometric information estimation model LM1 includes an input layer, an intermediate layer (hidden layer), and an output layer.
  • the input layer comprises T nodes to which time-series data of length T (X 1 , X 2 , . . . , X T ) are input.
  • T time-series data of length
  • the intermediate layer has a plurality of nodes that perform operations using set parameters (weights and biases) on numerical values given from the nodes of the input layer.
  • a node provided in the output layer outputs a numerical value (Y T ) obtained by performing appropriate conversion processing on a numerical value given from a node in the intermediate layer.
  • the numerical value Y T output by the output layer represents at least one of the respiratory rate, heart rate, and body movement value at time T.
  • the method of generating the biological information estimation model LM1 for example, the method disclosed in Japanese Unexamined Patent Application Publication No. 2020-48674 may be used. That is, a data set including piezoelectric data obtained from the piezoelectric element S1 and actually measured data (correct data) including at least one of respiratory rate, heart rate, and body movement value is used as training data, and a predetermined learning algorithm is used. By learning with , the biological information estimation model LM1 can be generated.
  • the biometric information estimation model LM1 in FIG. 3 shows a configuration in which the intermediate layer includes two layers, the number of layers included in the intermediate layer is not limited to two, and can be designed as appropriate. be.
  • the biometric information estimation model LM1 may be a learning model configured by LSTM (Long Short-Term Memory), CNN (Convolutional Neural Networks), R-CNN (Region-based CNN), or the like. Data to be input to the biometric information estimation model LM1 may be prepared according to the neural network that constitutes the biometric information estimation model LM1.
  • the biological information estimation model LM1 is configured by CNN or R-CNN
  • image data of a graph plotted with time on the horizontal axis and voltage value of the piezoelectric element S1 on the vertical axis is sent to the input layer. may be used as an input for
  • FIG. 4 is a schematic diagram showing a configuration example of the sensibility information estimation model LM2.
  • the sensibility information estimation model LM2 in Embodiment 1 is a learned model that has been learned to output the user's sensibility information when the user's biometric data is input.
  • the biometric data input to the sensibility information estimation model LM2 is time-series biometric data output from the biometric information estimation model LM1.
  • the sensory information output by the sensory information estimation model LM2 is obtained by quantifying at least one of the user's calmness, drowsiness, degree of concentration, preference, interest, tension, irritation, comfort, satisfaction, and dissatisfaction. It is time series data.
  • the sensibility information estimation model LM2 is configured by, for example, an RNN, and includes an input layer, an intermediate layer (hidden layer), and an output layer.
  • the input layer comprises T nodes to which time-series data of length T (Y 1 , Y 2 , . . . , Y T ) are input.
  • the intermediate layer has a plurality of nodes that perform operations using set parameters (weights and biases) on numerical values given from the nodes of the input layer.
  • a node provided in the output layer outputs a numerical value (Z T ) obtained by performing appropriate conversion processing on a numerical value given from a node in the intermediate layer.
  • a numerical value Z T output by the output layer is a numerical value representing sensitivity information at time T.
  • FIG. The control unit 11 can acquire the time-series data of the sensibility information from the sensibility information estimation model LM2 by sequentially shifting the time-series data to be input to the sensibility information estimation model LM2.
  • a method for generating the sensibility information estimation model LM2 will be described in detail in the second embodiment. is used as training data and a predetermined learning algorithm is used for learning to generate a sensory information estimation model LM2.
  • the sensory information estimation model LM2 in FIG. 4 shows a configuration in which the middle layer has two layers, but the number of layers that the middle layer has is not limited to two, and can be designed as appropriate.
  • the sensibility information estimation model LM2 may be a learning model composed of LSTM (Long Short-Term Memory), CNN (Convolutional Neural Networks), R-CNN (Region-based CNN), or the like.
  • the data to be input to the sensibility information estimation model LM2 may be prepared according to the neural network that constitutes the sensibility information estimation model LM2.
  • the sensory information estimation model LM2 is composed of CNN or R-CNN
  • time is plotted on the horizontal axis and at least one of breathing rate, heart rate, and body movement value is plotted on the vertical axis instead of time-series data.
  • Image data of the graph may be used as input to the input layer.
  • FIG. 5 is a schematic diagram showing a modification of the sensibility information estimation model LM2.
  • the sensibility information estimation model LM2 shown as a modification in FIG. 5 is a learning model that has been learned to output the user's sensibility information when the user's biometric data and sensor data are input.
  • the sensor data is at least one of environmental temperature data obtained from the thermometer S2, the thermometer S3, and the sphygmomanometer S4, the user's body temperature data, and the user's blood pressure data under the environment where the measurement using the piezoelectric element S1 is performed. including one.
  • the sensor data may also include at least one of the user's blood oxygen saturation level, indoor humidity, illuminance, and noise level.
  • the configuration of the sensibility information estimation model LM2 shown as a modified example in FIG. 5 is the same as that shown in FIG. 4, so detailed description thereof will be omitted.
  • FIG. 6 is a flowchart for explaining the procedure of processing executed by the information processing apparatus 1 during estimation.
  • a user sits on a chair C in which a piezoelectric element S1 is built in the seat surface portion, and the piezoelectric element S1 built in the chair C is connected to the input unit 13 of the information processing apparatus 1 .
  • the information processing apparatus 1 performs the following processing in a state in which measurement by the piezoelectric element S1 is started.
  • the control unit 11 of the information processing device 1 acquires piezoelectric data based on the output of the piezoelectric element S1 through the input unit 13 (step S101). At this time, the control unit 11 may acquire sensor data through the input unit 13 .
  • the control unit 11 inputs the acquired piezoelectric data to the biometric information estimation model LM1, and executes the calculation by the biometric information estimation model LM1 (step S102). That is, the control unit 11 inputs each value of piezoelectric data given as time-series data to each node included in the input layer of the biometric information estimation model LM1, and calculates using an activation function including weights and biases between nodes. is executed in the intermediate layer, and the final value is obtained by converting the value obtained from the intermediate layer using an appropriate function.
  • the biometric information estimation model LM1 is trained to output biometric data in accordance with the input of piezoelectric data and sensor data, the acquired piezoelectric data and sensor data are input to obtain the output of the biometric information estimation model LM1. good too.
  • the control unit 11 acquires time-series biological data from the output layer of the biological information estimation model LM1 by repeatedly executing the calculation of step S102 based on the time-series piezoelectric data acquired in step S101 (step S103). .
  • the control unit 11 inputs the acquired biological data to the sensibility information estimation model LM2, and executes the calculation by the sensibility information estimation model LM2 (step S104). That is, the control unit 11 inputs each value of biometric data given as time-series data to each node included in the input layer of the sensibility information estimation model LM2, and calculates using an activation function including weights and biases between nodes. is executed in the intermediate layer, and the final value is obtained by converting the value obtained from the intermediate layer using an appropriate function.
  • the control unit 11 acquires time-series sensory information from the output layer of the sensory information estimation model LM2 by sequentially executing the calculation of step S104 based on the time-series piezoelectric data acquired in step S103 (step S105). .
  • FIG. 7 is a schematic diagram showing a display example of sensitivity information.
  • FIG. 7 shows an example in which calmness, sleepiness, degree of concentration, preference, interest, tension, irritation, comfort, satisfaction, and dissatisfaction are quantified and displayed as a time-series graph.
  • the control unit 11 normalizes numerical values indicating calmness, drowsiness, degree of concentration, preference, interest, tension, irritation, comfort, degree of satisfaction, and dissatisfaction based on appropriate indices, and obtains the normalized numerical values.
  • a dominant sensibility for the user may be specified based on the level of the , and information on the specified sensibility may be displayed on the display unit 16 .
  • the control section 11 may notify the sensitivity information from the communication section 14 to an external device (for example, a terminal device configured by the user).
  • the user's sensitivity information can be output based on the measurement results of the piezoelectric element S1.
  • Embodiment 2 describes a method for generating the sensibility information estimation model LM2.
  • FIG. 8 is a block diagram illustrating the configuration of a learning device according to Embodiment 2.
  • the learning device 2 is, for example, a server device communicably connected to the information processing device 1, and includes a control unit 21, a storage unit 22, an input unit 23, a communication unit 24, an operation unit 25, a display unit 26, and the like.
  • the learning device 2 generates a sensibility information estimation model LM2 based on data input from the input unit 23 .
  • the learned sensitivity information estimation model LM2 generated by the learning device 2 is downloaded by the information processing device 1 and installed in the storage unit 12 of the information processing device 1 .
  • the control unit 21 includes, for example, a CPU, a ROM, a RAM, and the like.
  • the ROM of the control unit 21 stores a control program and the like for controlling the operation of each hardware unit of the learning device 2 .
  • the CPU in the control unit 21 reads and executes a control program stored in the ROM and various computer programs stored in the storage unit 22, and controls the operation of each hardware unit to control the entire device according to the present invention. function as a device for realizing the model generation method according to
  • the RAM provided in the control unit 21 temporarily stores data used during execution of the calculation.
  • control unit 21 is configured to include a CPU, ROM, and RAM, it may be one or more arithmetic circuits including a GPU, FPGA, DSP, quantum processor, volatile or nonvolatile memory, and the like. Further, the control unit 21 may have functions such as a clock that outputs date and time information, a timer that measures the elapsed time from when the measurement start instruction is given until when the measurement end instruction is given, and a counter that counts the number.
  • the storage unit 22 includes storage such as HDD and SSD.
  • the storage unit 22 stores various computer programs executed by the control unit 21 and various data used by the control unit 21 .
  • the computer programs stored in the storage unit 22 include a model generation program PG2 for executing the process of generating the sensibility information estimation model LM2 by the method described later.
  • the model generation program PG2 may be a single computer program, or may be composed of a plurality of computer programs. Also, the model generation program PG2 may partially use an existing library.
  • a computer program such as the model generation program PG2 stored in the storage unit 22 is provided by a non-temporary recording medium M2 on which the computer program is readable.
  • the recording medium M2 is, for example, a portable memory such as a CD-ROM, USB memory, SD (Secure Digital) card, micro SD card, compact flash (registered trademark).
  • the control unit 21 uses a reading device (not shown) to read various computer programs from the recording medium M2 and store the read various computer programs in the storage unit 22 .
  • the computer programs stored in the storage unit 22 may be provided by communication via the communication unit 24 . In this case, the control unit 21 may acquire the computer program through the communication unit 24 and store the acquired computer program in the storage unit 22 .
  • the storage unit 22 stores a learned learning model LM0 (hereinafter, also referred to as an electroencephalogram model LM0) that has been trained to output sensitivity information of a subject when electroencephalogram data based on the output of the electroencephalograph S0 is input,
  • a learned learning model LM1 biological information estimation model LM1
  • a learning model LM2 sensor information estimation model LM2
  • the storage unit 22 stores, as information defining the learning models LM0, LM1, and LM2, layer configuration information included in each learning model LM0, LM1, and LM2, node information included in each layer, and weighting and bias information between nodes. etc. are stored.
  • a specific configuration of the learning model LM0 will be detailed later.
  • the configurations of learning models LM1 and LM2 are the same as those described in the first embodiment. In the stage before the learning model LM2 is generated, initial values are set for the parameters that characterize the learning model LM2 (weighting between nodes, bias, etc.).
  • the input unit 23 has an interface for connecting various sensors. Sensors connected to the input unit 23 include an electroencephalograph S0 in addition to the piezoelectric element S1, thermometer S2, thermometer S3, and sphygmomanometer S4.
  • the electroencephalograph S ⁇ b>0 detects the subject's electroencephalogram in time series and outputs a signal (electroencephalogram signal) indicating the detection result to the learning device 2 .
  • the control unit 21 of the learning device 2 acquires time-series data (hereinafter referred to as electroencephalogram data) based on the output of the piezoelectric element S1 through the input unit 23 .
  • the electroencephalogram data acquired by the control unit 21 may be a raw signal obtained from the electroencephalograph S0, or may be data obtained by processing an electroencephalogram signal.
  • the control unit 21 may perform processing to decompose an electroencephalogram signal input through the input unit 23 into ⁇ waves, ⁇ waves, ⁇ waves, ⁇ waves, and ⁇ waves, and use these waveform data as electroencephalogram data. good.
  • the control unit 21 may perform a process of extracting some feature amount from the electroencephalogram signal input through the input unit 23, and use the obtained time-series data of the feature amount as the electroencephalogram data.
  • the raw signal (electroencephalogram signal) obtained from the electroencephalograph S0 and the data obtained after processing will be referred to as electroencephalogram data without distinction.
  • the input unit 23 is further connected with various sensors such as a sensor for measuring the blood oxygen saturation concentration of the subject, a sensor for measuring the indoor humidity, a sensor for measuring the illuminance, and a sensor for measuring the noise level. good too.
  • the communication unit 24 has a communication interface for transmitting and receiving various data.
  • the communication interface provided in the communication unit 24 is, for example, a communication interface conforming to the LAN (Local Area Network) communication standard used in WiFi (registered trademark) and Ethernet (registered trademark).
  • LAN Local Area Network
  • WiFi registered trademark
  • Ethernet registered trademark
  • the communication unit 24 transmits the data to be transmitted to the specified destination. Further, when receiving data transmitted from an external device, the communication unit 24 outputs the received data to the control unit 21 .
  • An example of an external device communicably connected to the communication unit 24 is the tablet terminal 3 operated by the subject.
  • Another example of the external device connected to the communication unit 24 is the information processing device 1 described in the first embodiment.
  • the operation unit 25 includes operation devices such as a touch panel, keyboard, and switches, and receives various operations and settings by the administrator and the subject.
  • the control unit 21 performs appropriate control based on various kinds of operation information given from the operation unit 25, and stores setting information in the storage unit 22 as necessary.
  • the display unit 26 has a display device such as a liquid crystal monitor and organic EL (Electro-Luminescence), and displays information to be notified to the administrator and the subject according to instructions from the control unit 21 .
  • a display device such as a liquid crystal monitor and organic EL (Electro-Luminescence)
  • FIG. 9 is a schematic diagram showing a configuration example of the electroencephalogram model LM0.
  • the electroencephalogram model LM0 in Embodiment 2 is a learned model that has been learned to output sensitivity information of a subject when electroencephalogram data of the subject is input.
  • the electroencephalogram data input to the electroencephalogram model LM0 is time-series electroencephalogram data based on the output of the electroencephalograph S0.
  • the sensory information output by the sensory information estimation model LM2 quantifies at least one of the subject's calmness, drowsiness, degree of concentration, preference, interest, tension, irritation, comfort, satisfaction, and dissatisfaction. This is the obtained time-series data.
  • the electroencephalogram model LM0 is composed of, for example, an RNN, and includes an input layer, an intermediate layer (hidden layer), and an output layer.
  • the input layer comprises T nodes to which time-series data of length T (B 1 , B 2 , . . . , B T ) are input.
  • the intermediate layer has a plurality of nodes that perform operations using set parameters (weights and biases) on numerical values given from the nodes of the input layer.
  • a node provided in the output layer outputs a numerical value (Z T ) obtained by performing appropriate conversion processing on a numerical value given from a node in the intermediate layer.
  • a numerical value Z T output by the output layer is a numerical value representing sensitivity information at time T.
  • FIG. The control unit 21 can acquire the time-series data of the sensibility information from the electroencephalogram model LM0 by sequentially shifting the time-series data input to the electroencephalogram model LM0.
  • the electroencephalogram model LM0 can be generated by learning with a predetermined learning algorithm using a data set including electroencephalogram data obtained from the electroencephalograph S0 and sensory information (correct data) as teacher data. It should be noted that the sensory information (correct answer data) at the time of learning may be provided by the examinee himself/herself using the tablet terminal 3 .
  • the electroencephalogram model LM0 in FIG. 9 shows a configuration in which the middle layer has two layers, but the number of layers that the middle layer has is not limited to two, and can be designed as appropriate.
  • the electroencephalogram model LM0 may be a learning model composed of LSTM, CNN, R-CNN, and the like.
  • the data to be input to the electroencephalogram model LM0 may be prepared according to the neural network forming the electroencephalogram model LM0.
  • the electroencephalogram model LM0 is composed of CNN or R-CNN
  • a graph plotting at least one type of wave height on the horizontal axis and wave height on the vertical axis, and the feature amount obtained at each time is represented by the electroencephalogram Image data such as a contour map plotted corresponding to the measurement points may be used as an input to the input layer.
  • FIG. 10 is a flowchart for explaining the procedure for generating training data.
  • a subject sits on a chair C in which a piezoelectric element S1 is built in the seat, and an electroencephalograph S0 is attached to the subject's head.
  • the electroencephalograph S0 and the piezoelectric element S1 are connected to the input unit 23 of the learning device 2, and the learning device 2 executes the following processing in a state where the measurement of the electroencephalograph S0 and the piezoelectric element S1 is started.
  • the control unit 21 of the learning device 2 acquires electroencephalogram data based on the output of the electroencephalograph S0 through the input unit 23 (step S201).
  • the control unit 21 inputs the acquired electroencephalogram data to the electroencephalogram model LM0, and executes computation by the electroencephalogram model LM0 (step S202). That is, the control unit 21 inputs each value of electroencephalogram data given as time-series data to each node provided in the input layer of the electroencephalogram model LM0, and intermediates calculations using activation functions including weights and biases between nodes. The final value is obtained by executing in the layer and transforming the value obtained from the intermediate layer using an appropriate function.
  • the control unit 21 acquires time-series sensibility information from the output layer of the electroencephalogram model LM0 by repeatedly executing the calculation of step S202 based on the time-series electroencephalogram data acquired in step S201 (step S203).
  • the control unit 21 acquires piezoelectric data based on the output of the piezoelectric element S1 through the input unit 23 (step S204). At this time, the control unit 21 may acquire sensor data through the input unit 23 .
  • the control unit 21 inputs the acquired piezoelectric data to the biometric information estimation model LM1, and executes calculation by the biometric information estimation model LM1 (step S205). That is, the control unit 21 inputs each value of piezoelectric data given as time-series data to each node included in the input layer of the biometric information estimation model LM1, and calculates using an activation function including weights and biases between nodes. is executed in the intermediate layer, and the final value is obtained by converting the value obtained from the intermediate layer using an appropriate function.
  • the biometric information estimation model LM1 is trained to output biometric data in accordance with the input of piezoelectric data and sensor data, the acquired piezoelectric data and sensor data are input to obtain the output of the biometric information estimation model LM1. good too.
  • the control unit 21 acquires time-series biological data from the output layer of the biological information estimation model LM1 by repeatedly executing the calculation of step S205 based on the time-series piezoelectric data acquired in step S204 (step S206). .
  • the control unit 21 generates a data set of the time-series sensibility information obtained in step S203 and the time-series biological data obtained in step S206 as training data (step S207).
  • the control unit 21 inputs the acquired biological data to the sensibility information estimation model LM2, and executes the calculation by the sensibility information estimation model LM2 (step S208). It is assumed that the parameters (weight and bias) of the sensibility information estimation model LM2 are set to initial values at the initial stage before the start of learning.
  • the control unit 21 inputs each value of biometric data given as time-series data to each node provided in the input layer of the sensibility information estimation model LM2, and intermediates calculations using activation functions including weights and biases between nodes. The final value is obtained by executing in the layer and transforming the value obtained from the intermediate layer using an appropriate function.
  • the control unit 21 acquires time-series sensibility information from the output layer of the sensibility information estimation model LM2 by repeatedly executing the calculation of step S208 based on the time-series biological data acquired in step S206 (step S209). .
  • the control unit 21 evaluates the calculation result using the kansei information included in the training data generated in step S207 and the kansei information acquired in step S209 (step S210), and determines whether learning is completed. (step S211). That is, the control unit 21 evaluates the sensitivity information (the sensitivity information estimated based on the piezoelectric data) by the sensitivity information estimation model LM2 using the sensitivity information (the sensitivity information obtained from the electroencephalogram data) included in the training data as correct data. do it. Specifically, the control unit 21 can evaluate the calculation result using an error function (also referred to as an objective function, loss function, or cost function) based on the correct data and the calculation result obtained in step S208. .
  • an error function also referred to as an objective function, loss function, or cost function
  • the control unit 21 determines that learning has been completed when the error function becomes equal to or less than a threshold (or equal to or greater than a threshold). to decide.
  • methods such as cross-validation and early termination may be adopted to terminate learning at an appropriate timing.
  • control unit 21 updates the parameters (weights and biases between nodes) of the sensibility information estimation model LM2 (step S212), and the process proceeds to step S201. Go back and continue learning.
  • the control unit 21 can proceed with learning using the error backpropagation method that sequentially updates the weights and biases between nodes from the output layer to the input layer of the sensibility information estimation model LM2.
  • control unit 21 causes the storage unit 22 to store the sensory information estimation model LM2 as a learned learning model (step S213), and ends the processing according to this flowchart.
  • the generated learned sensitivity information estimation model LM2 is transmitted to the information processing device 1 and stored in the storage unit 12 of the information processing device 1 .
  • the sensibility information obtained from the electroencephalogram model LM0 is used as the correct data, but the sensibility information (correct data) provided by the subject himself/herself using the tablet terminal 3 may also be used.
  • the sensory information obtained from the electroencephalogram model LM0 is used in the initial stage after the start of learning. Learning is performed using the sensory information given by the subject himself/herself using the tablet terminal 3 as correct data, and in the stage where the learning has progressed. Learning may be continued as correct data.
  • the sensory information estimation model LM2 is generated by performing learning using the sensory information of the subject estimated using the electroencephalogram data obtained from the electroencephalograph S0 as the correct data. be able to.
  • the learning device 2 can estimate the user's sensitivity by using the learned sensitivity information estimation model LM2.
  • the estimation procedure is the same as in the first embodiment.
  • the learning device 2 identifies the dominant kansei for the user based on the kansei information acquired from the kansei information estimation model LM2, displays the information on the identified kansei on the display unit 26, and determines whether or not the kansei information is correct. to the user.
  • FIG. 11 is a schematic diagram showing an example of the confirmation screen.
  • FIG. 11 shows a confirmation screen on the tablet terminal 3 operated by the user.
  • the confirmation screen displays the result of estimation by the sensibility information estimation model LM2, text asking the user whether the result of estimation is correct, a selection button 31 that is selected when the result of estimation is correct, and a selection button 31 when the result of estimation is incorrect.
  • An item button group 32 to be displayed and a send button 33 to be operated when sending the selection result are arranged.
  • the user selects the selection button 31 and presses the transmission button 33 to make a reply to the information processing apparatus 1 .
  • the user selects any button from the item button group 32 and presses the send button 33 to make a reply to the information processing apparatus 1. .
  • the selection result is transmitted from the tablet terminal 3 to the learning device 2 .
  • FIG. 12 is a flowchart showing the re-learning procedure executed by the learning device 2.
  • the control unit 21 of the learning device 2 acquires the user's sensitivity information by executing the same procedure as in the first embodiment (steps S301 to 305).
  • the control unit 21 displays on the display unit 26 a confirmation screen for asking the user whether the estimation result is correct based on the acquired sensitivity information (step S306).
  • the control unit 21 determines whether or not the sensibility information has been corrected (step S307). If the sensibility information has not been corrected (S307: NO), the control unit 21 terminates the processing according to this flowchart.
  • the control unit 21 uses the sensibility information corrected by the user and the sensibility information obtained in S305 to generate the sensibility information estimation model LM2. is evaluated (step S308), and it is determined whether learning has been completed (step S309).
  • control unit 21 updates the parameters (weight and bias between nodes) of the sensibility information estimation model LM2 (step S310), and the process proceeds to step S301. Then, learning is continued by evaluating the sensory information of the subject estimated based on the output of the piezoelectric element S1 using the sensory information corrected by the subject as correct data. The control unit 21 can proceed with learning using the error backpropagation method that sequentially updates the weights and biases between nodes from the output layer to the input layer of the sensibility information estimation model LM2.
  • control unit 21 causes the storage unit 22 to store the sensory information estimation model LM2 as a re-learned learning model (step S311), and ends the processing according to this flowchart. .
  • the generated relearned sensitivity information estimation model LM2 is transmitted to the information processing device 1 and stored in the storage unit 12 of the information processing device 1 .
  • the sensitivity information estimation model LM2 can be re-learned by receiving corrections of sensitivity information from the user. can be done.
  • FIG. 13 is a flowchart for explaining the procedure of processing executed by the information processing device 1 according to the fourth embodiment.
  • the control unit 11 of the information processing device 1 acquires first environment information through the operation unit 15 (step S401).
  • the environment information represents, for example, information on the location where the user is present.
  • Environmental information may further include information such as weather, temperature, humidity, illuminance, noise level, and time of day.
  • the control unit 11 acquires the user's sensitivity information under the first environment (step S402). That is, the control unit 11 can acquire the user's sensibility information from the sensibility information estimation model LM2 by executing the procedure shown in the flowchart of FIG. 6 under the first environment.
  • the acquired sensitivity information is stored in the storage unit 12 .
  • control unit 11 acquires second environment information different from the first environment information through the operation unit 15 (step S403).
  • the environment information after the move should be acquired.
  • the control unit 11 acquires the user's sensitivity information under the second environment (step S404). That is, the control unit 11 can acquire the user's sensibility information from the sensibility information estimation model LM2 by executing the procedure shown in the flowchart of FIG. 6 under the second environment.
  • the acquired sensitivity information is stored in the storage unit 12 .
  • the control unit 11 associates and outputs the first environment information and the sensitivity information obtained under the first environment, and outputs the second environment information and the sensitivity information obtained under the second environment in association with each other. (step S405).
  • the control unit 11 may output such information by displaying it on the display unit 16 .
  • FIG. 14 is a schematic diagram showing an output example in the fourth embodiment.
  • the example of FIG. 14 shows a change in sensibility when the user's environment changes from the first office (first environment) to the second office (second environment).
  • the example of FIG. 14 shows that the user's sensibility has changed from a normal state to a tense state as a result of moving from the first office to the second office. You may propose environmental improvements for
  • the information processing apparatus 1 is configured to display changes in the user's sensibility information associated with changes in the environment on the display unit 16. (air conditioners), blind devices, lighting devices, audio devices, and various other devices may be controlled. These devices may be controlled by transmitting a control signal from the communication unit 14 of the information processing apparatus 1 to each device. For example, when it is estimated that the user is sleepy, the information processing device 1 transmits a control signal instructing the air conditioner to lower the room temperature, or transmits a control signal instructing the lighting device to increase the illuminance. You can send it. Further, when it is estimated that the degree of concentration of the user is declining, the information processing device 1 may transmit a control signal instructing to lower the blinds to the blind device. Furthermore, when it is estimated that the user's tension or irritation is increasing, the information processing device 1 may transmit a control signal to the audio equipment to reproduce music that relieves tension or irritation. Thus, the information processing apparatus 1 can control various devices according to the user's sensitivity information.
  • air conditioners air conditioners
  • lighting devices
  • the information processing device 1 may specify sensitivity information for each of multiple users in the same environment, and derive average sensitivity information for the multiple users. Further, the information processing device 1 may notify the terminal of the group leader or manager of the derived average sensibility information.
  • the information processing device 1 may acquire business results through the communication unit 15, associate the acquired business results with the user's sensitivity information when the business was performed, and record and output them.
  • the information processing device 1 When a web conference is being held using a web conference application or a lecture or seminar is being held using a presentation application, the information processing device 1 identifies the kansei information of the participants, and displays the identified kansei. Information may be displayed on the screen of the application.
  • the information processing apparatus 1 can apply a smoother conference place by providing the speaker with the sensitivity information of the conference partner during the web conference. Further, the information processing apparatus 1 can contribute to improving the quality of the presentation by providing the audience's sensitivity information to the speakers during the presentation.
  • the information processing device 1 may acquire the sensory information of the students when classes are being held at schools, cram schools, etc., and notify the acquired sensory information to the terminal used by the teacher or lecturer.
  • the information processing apparatus 1 can contribute to improving the quality of the class by acquiring the sensory information of the students during the class and providing the acquired sensory information to the teacher or lecturer.
  • the information processing device 1 may acquire sensitivity information not only for users in the office, but also for drivers of automobiles, trains, airplanes, and the like. Further, the information processing device 1 may acquire the player's sensitivity information for games, e-sports, and the like. Furthermore, the information processing device 1 may acquire the sensibility information of spectators of watching sports, watching games, plays, theaters, movies, and the like.
  • FIG. 15 is a flowchart for explaining the procedure of processing executed by the information processing apparatus 1 according to the fifth embodiment.
  • the control unit 11 of the information processing device 1 acquires information on the first offering through the operation unit 15 (step S501).
  • Offerings include intangibles such as perfumes and aromas.
  • the control unit 11 acquires the user's sensibility information while the first offering is provided (step S502). That is, the control unit 11 can acquire the user's sensibility information from the sensibility information estimation model LM2 by executing the procedure shown in the flowchart of FIG.
  • the acquired sensitivity information is stored in the storage unit 12 .
  • control unit 11 acquires information on a second offer different from the first offer through the operation unit 15 (step S503).
  • the offering provided to the user is changed from the first offering to the second offering, information on the offering after the change may be acquired.
  • the control unit 11 acquires the user's sensibility information while the second offering is provided (step S504). That is, the control unit 11 can acquire the user's sensibility information from the sensibility information estimation model LM2 by executing the procedure shown in the flowchart of FIG.
  • the acquired sensitivity information is stored in the storage unit 12 .
  • the control unit 11 outputs the information of the first offering and the sensitivity information obtained while the first offering is provided in association with each other, and outputs the information of the second offering and the information provided by the second offering. It is output in association with the sensibility information obtained in this state (step S505).
  • the control unit 11 may output such information by displaying it on the display unit 16 .
  • FIG. 16 is a schematic diagram showing an output example in the fifth embodiment.
  • the example of FIG. 16 shows a change in sensibility when the offering provided to the user changes from perfume A (first offering) to perfume B (second offering).
  • the example of FIG. 16 shows that the user's sensibility has changed from irritation to preference as a result of changing perfume A to perfume B. It can be evaluated that it is preferred.
  • Embodiment 5 it is possible to provide information on changes in the user's sensibility that accompanies changes in the offerings.
  • the offerings are not limited to perfumes and aromas, but may be cosmetics or pharmaceuticals.
  • the information processing device 1 may acquire the user's sensory information based on the sense of taste before and after the food, beverage, or the like is provided. Furthermore, the information processing apparatus 1 may acquire the user's sensitivity information based on vision before and after a picture, photograph, or the like is provided. Furthermore, the information processing apparatus 1 may acquire the user's sensory information based on the sense of touch before and after an article having a characteristic tactile sensation or texture is provided. Furthermore, before and after the music is provided, the information processing device 1 may acquire the user's sensitivity information based on hearing. As described above, the information processing apparatus 1 according to the present embodiment can acquire the user's sensitivity information when various types of provided items are provided, not limited to tangible or intangible items.
  • the information processing apparatus 1 acquires the user's sensibility information specified by the sensibility information estimation model LM2 as an answer instead of the user's input.
  • Embodiment 6 will explain a configuration for selecting the sensibility information estimation model LM2 according to the attributes of the user.
  • FIG. 17 is an explanatory diagram for explaining the learning model prepared in Embodiment 6.
  • the sensory information estimation model LM2 is prepared according to the attributes of the user.
  • the attributes of the user are information that characterizes the user, such as age (age), gender, area of residence, educational background, work history, and family composition.
  • the learning device 2 generates a sensory information estimation model LM2 for each attribute by performing measurement using the electroencephalograph S0 and the piezoelectric element S1 for various subjects with different attributes.
  • the sensory information estimation model LM2 for each attribute generated by the learning device 2 is transmitted to the information processing device 1 and stored in the storage unit 12 of the information processing device 1 .
  • the sensitivity information estimation model LM2 for each attribute the sensitivity information estimation model LM2a for attribute a (teens to twenties), the sensitivity information estimation model LM2b for attribute b (thirties to forties), and the attribute c It shows that the sensitivity information estimation model LM2c for (50s to 60s) and the sensitivity information estimation model LM2d for attribute d (70s and over) are prepared.
  • FIG. 18 is a flowchart for explaining the procedure of processing executed by the information processing device 1 according to the sixth embodiment.
  • the control unit 11 of the information processing device 1 receives user attribute information through the operation unit 15 (step S601).
  • the control unit 11 selects the corresponding sensibility information estimation model LM2 based on the received attribute information (step S602).
  • the control unit 11 may select the sensory information estimation model LM2a stored in the storage unit 12 . The same applies when other attribute information is received.
  • the control unit 11 acquires the user's sensibility information using the selected sensibility information estimation model LM2 (step S603). That is, the control unit 11 may acquire the user's sensibility information from the selected sensibility information estimation model LM2 by executing the procedure shown in the flowchart of FIG. The control unit 11 displays the acquired sensitivity information of the user on the display unit 16 (step S604).
  • the user's sensitivity is estimated using the sensitivity information estimation model LM2 selected according to the user's attribute information, so the estimation accuracy can be improved.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Psychiatry (AREA)
  • Primary Health Care (AREA)
  • Pulmonology (AREA)
  • Epidemiology (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Vascular Medicine (AREA)

Abstract

モデル生成方法、コンピュータプログラム、情報処理装置、情報処理システム、情報処理方法、及び訓練データの生成方法の提供。　脳波計の出力に基づき、被検者の脳波データを取得し、脳波データの入力に応じて感性情報を出力するよう学習された第１学習モデルに、取得した脳波データを入力して前記被検者の感性情報を取得し、圧電素子の出力に基づき、被検者の生体データを取得し、取得した生体データと、第１学習モデルから取得した被検者の感性情報とを含むデータセットを訓練データに用いて、圧電素子により計測される被検者の生体データを入力した場合、被検者の感性情報を出力する第２学習モデルを生成する処理をコンピュータにより実行する。

Description

モデル生成方法、コンピュータプログラム、情報処理装置、情報処理システム、情報処理方法、及び訓練データの生成方法
　本発明は、モデル生成方法、コンピュータプログラム、情報処理装置、情報処理システム、情報処理方法、及び訓練データの生成方法に関する。
　近年、ヘリカルキラル高分子を含む圧電素子を、センサ、アクチュエータ等の圧電デバイスへ応用をすることが検討されている（例えば、特許文献１－４を参照）。
特許第４９３４２３５号公報 国際公開第２０１０／１０４１９６号 特開平１０－１３２６６９号公報 国際公開第２０１４／０５８０７７号
　しかしながら、上述した圧電素子の出力に基づき、ユーザの感性情報を出力する技術は現在のところ存在していない。
　本発明は、圧電素子の出力からユーザの感性情報が得られるモデル生成方法、コンピュータプログラム、情報処理装置、情報処理システム、情報処理方法、及び訓練データの生成方法を提供することを目的とする。
　本発明の一態様に係るモデル生成方法は、脳波計の出力に基づき、被検者の脳波データを取得し、脳波データの入力に応じて感性情報を出力するよう学習された第１学習モデルに、取得した脳波データを入力して前記被検者の感性情報を取得し、圧電素子の出力に基づき、前記被検者の生体データを取得し、取得した生体データと、前記第１学習モデルから取得した前記被検者の感性情報とを含むデータセットを訓練データに用いて、圧電素子により計測される被検者の生体データを入力した場合、前記被検者の感性情報を出力する第２学習モデルを生成する処理をコンピュータにより実行する。
　本発明の一態様に係るモデル生成方法は、前記訓練データは、他のセンサより得られるセンサデータを更に含み、前記第２学習モデルは、前記生体データ及び前記センサデータを入力した場合、前記感性情報を出力するよう学習される。
　本発明の一態様に係るモデル生成方法は、前記生体データは、前記被検者の呼吸数、心拍数、及び体動値の少なくとも１つの時系列データである。
　本発明の一態様に係るモデル生成方法は、前記センサデータは、環境温度、前記被検者の体温、及び血圧値の少なくとも１つの時系列データである。
　本発明の一態様に係るモデル生成方法は、前記感性情報は、前記被検者の平常心、眠気、集中度合い、嗜好、関心、緊張、苛立ち、快適感、満足度、及び不満の少なくとも１つを含む。
　本発明の一態様に係るモデル生成方法は、前記圧電素子は、非焦電性の有機圧電材料により形成されるライン状又はフィルム状の圧電素子である。
　本発明の一態様に係るモデル生成方法は、前記被検者の頭部に装着された脳波計から脳波データを取得しつつ、前記被検者の肌に接触しない状態で配置された圧電素子から生体データを取得する。
　本発明の一態様に係るコンピュータプログラムは、ユーザの肌に接触しない状態で配置される非焦電性の圧電素子の出力に基づき、前記ユーザの生体データを取得し、取得した前記ユーザの生体データを、生体データの入力に応じて感性情報を出力するよう学習された学習モデルに入力して、前記ユーザの感性情報を取得し、取得した感性情報に基づく情報を出力する処理をコンピュータに実行させるためのコンピュータプログラムである。
　本発明の一態様に係るコンピュータプログラムは、前記学習モデルは、被検者の脳波データに基づき別の学習モデルを用いて推定される前記被検者の感性情報と、前記圧電素子の出力に基づく前記被検者の生体データとを含むデータセットを訓練データに用いて学習してある。
　本発明の一態様に係るコンピュータプログラムは、前記学習モデルは、他のセンサより得られるセンサデータを更に含むデータセットを訓練データに用いて学習してある。
　本発明の一態様に係るコンピュータプログラムは、前記生体データは、前記ユーザの呼吸数、心拍数、及び体動値の少なくとも１つの時系列データである。
　本発明の一態様に係るコンピュータプログラムは、前記センサデータは、環境温度、前記ユーザの体温、及び血圧値の少なくとも１つの時系列データである。
　本発明の一態様に係るコンピュータプログラムは、ユーザの属性情報を取得し、取得したユーザの属性情報に基づき、ユーザの属性に応じて用意された複数の学習モデルから一の学習モデルを選択し、選択した一の学習モデルに前記ユーザの生体データを入力して、前記ユーザの感性情報を取得する処理を前記コンピュータに実行させるためのコンピュータプログラムである。
　本発明の一態様に係るコンピュータプログラムは、前記ユーザから感性情報の修正を受付け、修正された感性情報と、前記ユーザについて計測された生体データとをデータセットに含む訓練データを用いて、前記学習モデルを再学習する処理を前記コンピュータに実行させるためのコンピュータプログラムである。
　本発明の一態様に係るコンピュータプログラムは、第１環境下で前記圧電素子により計測されるユーザの第１生体データを前記学習モデルに入力して、第１感性情報を取得し、第２環境下で前記圧電素子により計測されるユーザの第２生体データを前記学習モデルに入力して、第２感性情報を取得し、前記第１環境の情報と前記学習モデルから取得した前記第１感性情報とを関連付けて出力すると共に、前記第２環境の情報と前記学習モデルから取得した前記第２感性情報とを関連付けて出力する処理を前記コンピュータに実行させるためのコンピュータプログラムである。
　本発明の一態様に係るコンピュータプログラムは、第１提供物をユーザに提供した状況下で前記圧電素子により計測されるユーザの第１生体データを前記学習モデルに入力して、第１感性情報を取得し、第２提供物をユーザに提供した状況下で前記圧電素子により計測されるユーザの第２生体データを、前記学習モデルに入力して第２感性情報を取得し、前記第１提供物の情報と前記学習モデルから取得した前記第１感性情報とを関連付けて出力すると共に、前記第２提供物の情報と前記学習モデルから取得した前記第２感性情報とを関連付けて出力する処理を前記コンピュータに実行させるためのコンピュータプログラムである。
　本発明の一態様に係る情報処理装置は、ユーザの肌に接触しない状態で配置される非焦電性の圧電素子の出力に基づき、前記ユーザの生体データを取得する生体データ取得部と、取得した前記ユーザの生体データを、生体データの入力に応じて感性情報を出力するよう学習された学習モデルに入力して、前記ユーザの感性情報を取得する感性情報取得部と、取得した感性情報に基づく情報を出力する出力部とを備える。
　本発明の一態様に係る情報処理システムは、ユーザの肌に接触しない状態で配置される非焦電性の圧電素子、及び前記圧電素子の出力に基づき、前記ユーザの生体データを取得する生体データ取得部と、取得した前記ユーザの生体データを、生体データの入力に応じて感性情報を出力するよう学習された学習モデルに入力して、前記ユーザの感性情報を取得する感性情報取得部と、取得した感性情報に基づく情報を出力する出力部とを備える情報処理装置を含む。
　本発明の一態様に係る情報処理方法は、ユーザの肌に接触しない状態で配置される非焦電性の圧電素子の出力に基づき、前記ユーザの生体データを取得し、取得した前記ユーザの生体データを、生体データの入力に応じて感性情報を出力するよう学習された学習モデルに入力して、前記ユーザの感性情報を取得し、取得した感性情報に基づく情報を出力する処理をコンピュータにより実行する。
　本発明の一態様に係る訓練データの生成方法は、脳波計の出力に基づき、被検者の脳波データを取得し、脳波データの入力に応じて感性情報を出力するよう学習された第１学習モデルに、取得した脳波データを入力して前記被検者の感性情報を取得し、被検者の肌に接触しない状態で配置される非焦電性の圧電素子の出力に基づき、前記被検者の生体データを取得し、取得した前記感性情報と前記生体データとを含むデータセットを、ユーザの生体データを入力した場合、前記ユーザの感性情報を出力するよう学習される第２学習モデルの学習に用いられる訓練データとして生成する処理をコンピュータに実行させる。
　本願によれば、圧電素子の出力からユーザの感性情報を取得できる。
実施の形態１に係る情報処理装置の構成を説明するブロック図である。 圧電素子の実装例を示す模式図である。 生体情報推定モデルの構成例を示す模式図である。 感性情報推定モデルの構成例を示す模式図である。 感性情報推定モデルの変形例を示す模式図である。 推定時に情報処理装置が実行する処理の手順を説明するフローチャートである。 感性情報の表示例を示す模式図である。 実施の形態２に係る学習装置の構成を説明するブロック図である。 脳波モデルの構成例を示す模式図である。 訓練データの生成手順を説明するフローチャートである。 確認画面の一例を示す模式図である。 学習装置が実行する再学習手順を示すフローチャートである。 実施の形態４に係る情報処理装置が実行する処理の手順を説明するフローチャートである。 実施の形態４における出力例を示す模式図である。 実施の形態５に係る情報処理装置が実行する処理の手順を説明するフローチャートである。 実施の形態５における出力例を示す模式図である。 実施の形態６で用意される学習モデルを説明する説明図である。 実施の形態６に係る情報処理装置が実行する処理の手順を説明するフローチャートである。
　以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
　（実施の形態１）
　図１は実施の形態１に係る情報処理装置の構成を説明するブロック図である。情報処理装置１は、専用又は汎用のコンピュータであり、制御部１１、記憶部１２、入力部１３、通信部１４、操作部１５、表示部１６などを備える。情報処理装置１は、圧電素子Ｓ１の出力に基づきユーザの生体データを取得し、取得した生体データに基づいてユーザの感性情報を取得する。情報処理装置１は、取得した感性情報に基づく情報を例えば表示部１６に出力する。
　制御部１１は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを備える。制御部１１が備えるＲＯＭには、情報処理装置１が備えるハードウェア各部の動作を制御する制御プログラム等が記憶される。制御部１１内のＣＰＵは、ＲＯＭに記憶されている制御プログラムや記憶部１２に記憶されている各種コンピュータプログラムを読み込んで実行し、ハードウェア各部の動作を制御することによって、装置全体を本発明に係る情報処理装置として機能させる。制御部１１が備えるＲＡＭには、演算の実行中に利用されるデータが一時的に記憶される。
　実施の形態において、制御部１１は、ＣＰＵ、ＲＯＭ、及びＲＡＭを備える構成としたが、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）、量子プロセッサ、揮発性又は不揮発性のメモリ等を備える１又は複数の演算回路であってもよい。また、制御部１１は、日時情報を出力するクロック、計測開始指示を与えてから計測終了指示を与えるまでの経過時間を計測するタイマ、数をカウントするカウンタ等の機能を備えてもよい。
　記憶部１２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read Only Memory）などのストレージを備える。記憶部１２には、制御部１１によって実行される各種のコンピュータプログラムや制御部１１によって利用される各種のデータが記憶される。
　記憶部１２に記憶されるコンピュータプログラムには、圧電素子Ｓ１の出力に基づきユーザの生体データを取得し、取得した生体データに基づきユーザの感性情報を取得し、取得した感性情報に基づく情報を出力する処理をコンピュータに実行させるための推定処理プログラムＰＧ１が含まれる。推定処理プログラムＰＧ１は、単一のコンピュータプログラムであってもよく、複数のコンピュータプログラムにより構成されるものであってもよい。また、推定処理プログラムＰＧ１は、既存のライブラリを部分的に用いるものであってもよい。
　記憶部１２に記憶される推定処理プログラムＰＧ１等のコンピュータプログラムは、当該コンピュータプログラムを読み取り可能に記録した非一時的な記録媒体Ｍ１により提供される。記録媒体Ｍ１は、例えば、ＣＤ－ＲＯＭ、ＵＳＢメモリ、ＳＤ（Secure Digital）カード、マイクロＳＤカード、コンパクトフラッシュ（登録商標）などの可搬型メモリである。制御部１１は、図に示していない読取装置を用いて、記録媒体Ｍ１から各種コンピュータプログラムを読み取り、読み取った各種コンピュータプログラムを記憶部１２に記憶させる。また、記憶部１２に記憶されるコンピュータプログラムは、通信部１４を介した通信により提供されてもよい。この場合、制御部１１は、通信部１４を通じてコンピュータプログラムを取得し、取得したコンピュータプログラムを記憶部１２に記憶させればよい。
　記憶部１２は、圧電素子Ｓ１から出力される信号が入力された場合、ユーザの生体データを出力するよう学習された学習モデルＬＭ１（以下、生体情報推定モデルＬＭ１ともいう）と、ユーザの生体データが入力された場合、ユーザの感性情報を出力するよう学習された学習モデルＬＭ２（以下、感性情報推定モデルＬＭ２ともいう）とを備える。記憶部１２には、学習モデルＬＭ１，ＬＭ２を定義する情報として、各学習モデルＬＭ１，ＬＭ２が備える層の構成情報、各層に含まれるノードの情報、ノード間の重み付け及びバイアスの情報などが記憶される。学習モデルＬＭ１，ＬＭ２の具体的な構成については後に詳述する。
　入力部１３は、各種センサを接続するためのインタフェースを備える。入力部１３に接続されるセンサは圧電素子Ｓ１を含む。圧電素子Ｓ１には、例えば、中心導体、圧電材料層、外側導体、及び外被を中心から外側に向って同軸状に配置して形成されるライン状の圧電素子が用いられる。代替的に、下部電極層、圧電材料層、及び上部電極層がこの順に積層されたフィルム状の圧電素子を用いてもよい。圧電素子Ｓ１の圧電材料には、温度変化の影響を低減するために、非焦電性の圧電材料が用いられるとよい。圧電素子Ｓ１は、有線により入力部１３に接続されてもよく、無線により入力部１３に接続されてもよい。
　図２は圧電素子Ｓ１の実装例を示す模式図である。圧電素子Ｓ１は、ユーザの肌に接触しない状態で配置される。圧電素子Ｓ１は、例えばユーザが着座する椅子Ｃの座面部分に内蔵されるとよい。圧電素子Ｓ１は、ユーザが着座している状態において荷重の変化を時系列的に検知し、検知結果を示す信号（電圧信号）を情報処理装置１へ出力する。情報処理装置１の制御部１１は、入力部１３を通じて、圧電素子Ｓ１の出力に基づく時系列データ（以下、圧電データという）を取得する。このとき、圧電素子Ｓ１の出力である電圧信号は、情報処理装置１の内部において処理しやすいデータに変換されるとよい。
　なお、圧電素子Ｓ１は、椅子Ｃの座面部分に限らず、背もたれ部分や肘掛け部分に内蔵されてもよい。また、圧電素子Ｓ１は、ユーザが着用している制服や作業着に内蔵されてもよく、靴の中敷きやベッドのマットレスに内蔵されてもよい。更に、圧電素子Ｓ１は、スマートフォン、タブレット、マウスなどユーザが操作するデバイスに内蔵されてもよい。
　入力部１３には、圧電素子Ｓ１の他に、温度計Ｓ２、体温計Ｓ３、及び血圧計Ｓ４の少なくとも１つが接続されてもよい。温度計Ｓ２は、ユーザの付近の温度（環境温度）を時系列的に計測し、計測結果を示す信号を情報処理装置１へ出力する。体温計Ｓ３は、ユーザの体温を時系列的に計測し、計測結果を示す信号を情報処理装置１へ出力する。血圧計Ｓ４は、ユーザの血圧を時系列的に計測し、計測結果を示す信号を情報処理装置１へ出力する。情報処理装置１の制御部１１は、入力部１３を通じて、環境温度の時系列データ（環境温度データ）、ユーザの体温の時系列データ（体温データ）、及びユーザの血圧の時系列データ（血圧データ）の少なくとも１つを取得する。なお、以下の説明において、環境温度データ、体温データ、及び血圧データを区別して説明する必要がない場合、センサデータとも記載する。
　入力部１３には、更に、ユーザの血中酸素飽和濃度を計測するセンサ、室内の湿度を計測するセンサ、照度を計測するセンサ、騒音レベルを計測するセンサなどの各種センサが接続されてもよい。
　通信部１４は、各種データを送受信する通信インタフェースを備える。通信部１４が備える通信インタフェースは、例えば、ＷｉＦｉ（登録商標）やイーサネット（登録商標）で用いられるＬＡＮ（Local Area Network）の通信規格に準じた通信インタフェースである。通信部１４は、送信すべきデータが制御部１１から入力された場合、指定された宛先へ送信すべきデータを送信する。また、通信部１４は、外部装置から送信されたデータを受信した場合、受信したデータを制御部１１へ出力する。
　操作部１５は、タッチパネル、キーボード、スイッチなどの操作デバイスを備え、ユーザによる各種の操作及び設定を受付ける。制御部１１は、操作部１５より与えられる各種の操作情報に基づき適宜の制御を行い、必要に応じて設定情報を記憶部１２に記憶させる。
　表示部１６は、液晶モニタや有機ＥＬ（Electro-Luminescence）などの表示デバイスを備え、制御部１１からの指示に応じてユーザ等に報知すべき情報を表示する。
　本実施の形態では、情報処理装置１が学習モデルＬＭ１，ＬＭ２を備える構成としたが、学習モデルＬＭ１，ＬＭ２は、情報処理装置１からアクセス可能な外部装置に記憶されてもよい。この場合、情報処理装置１は、学習モデルＬＭ１，ＬＭ２による演算を外部装置に実行させるべく、演算に必要なデータを外部装置へ送出し、学習モデルＬＭ１，ＬＭ２による演算結果を外部装置から取得すればよい。
　なお、情報処理装置１は、単一のコンピュータに限らず、複数のコンピュータや周辺機器からなるコンピュータシステムであってもよい。また、情報処理装置１は、ソフトウェアによって仮想的に構築される仮想マシンであってもよい。
　図３は生体情報推定モデルＬＭ１の構成例を示す模式図である。実施の形態１における生体情報推定モデルＬＭ１は、圧電素子Ｓ１の出力に基づく圧電データを入力した場合、ユーザの生体データを出力するよう学習された学習済みの学習モデルである。生体情報推定モデルＬＭ１に入力する圧電データは、圧電素子Ｓ１から出力される信号（電圧信号）に基づく時系列データである。また、生体情報推定モデルＬＭ１が出力する生体データは、ユーザの呼吸数、心拍数、及び体動値の少なくとも１つの時系列データである。
　生体情報推定モデルＬＭ１は、深層学習を含む機械学習の学習モデルであり、例えばニューラルネットワークにより構成される。生体情報推定モデルＬＭ１を構成するニューラルネットワークとして、例えばＲＮＮ（Recurrent Neural Network）を用いることができる。生体情報推定モデルＬＭ１は、入力層、中間層（隠れ層）、及び出力層を備える。入力層は、長さＴの時系列データ（Ｘ1 ，Ｘ2 ，…，ＸT ）が入力されるＴ個のノードを備える。ここで、Ｘ1 ，Ｘ2 ，…，ＸT は、例えば圧電素子Ｓ１より出力される各時刻の電圧値である。中間層は、入力層のノードから与えられる数値に対し、設定されたパラメータ（重み及びバイアス）を用いた演算を実行する複数のノードを備える。出力層が備えるノードは、中間層のノードから与えられる数値に適宜の変換処理を行うことで得られる数値（ＹT ）を出力する。出力層が出力する数値ＹT は、時刻Ｔにおける呼吸数、心拍数、及び体動値の少なくとも１つの値を表す。制御部１１は、生体情報推定モデルＬＭ１に入力する時系列データを順次ずらしていくことにより、呼吸数、心拍数、及び体動値の少なくとも１つの時系列データを学習モデルＬＭ１から取得することができる。
　なお、生体情報推定モデルＬＭ１の生成方法については、例えば特開２０２０－４８６７４号公報などに開示された方法を用いればよい。すなわち、圧電素子Ｓ１より得られる圧電データと、呼吸数、心拍数、及び体動値の少なくとも１つを含む実測データ（正解データ）とを含むデータセットを訓練データに用いて、所定の学習アルゴリズムで学習することにより、生体情報推定モデルＬＭ１を生成することができる。
　図３の生体情報推定モデルＬＭ１は、中間層が２つの層を備える構成を示しているが、中間層が備える層の数は２つに限定されるものではなく、適宜設計することが可能である。生体情報推定モデルＬＭ１は、ＬＳＴＭ（Long Short-Term Memory）、ＣＮＮ（Convolutional Neural Networks）、Ｒ－ＣＮＮ（Region-based CNN）などにより構成される学習モデルであってもよい。生体情報推定モデルＬＭ１に入力するデータは、生体情報推定モデルＬＭ１を構成するニューラルネットワークに応じて用意されるとよい。例えば、生体情報推定モデルＬＭ１をＣＮＮ又はＲ－ＣＮＮにより構成した場合、時系列データに代えて、横軸を時間、縦軸を圧電素子Ｓ１の電圧値としてプロットしたグラフの画像データを入力層への入力として用いてもよい。
　図４は感性情報推定モデルＬＭ２の構成例を示す模式図である。実施の形態１における感性情報推定モデルＬＭ２は、ユーザの生体データを入力した場合、ユーザの感性情報を出力するよう学習された学習済みの学習モデルである。感性情報推定モデルＬＭ２に入力する生体データは、生体情報推定モデルＬＭ１から出力される時系列の生体データである。また、感性情報推定モデルＬＭ２が出力する感性情報は、ユーザの平常心、眠気、集中度合い、嗜好、関心、緊張、苛立ち、快適感、満足度、及び不満の少なくとも１つを数値化して得られる時系列データである。
　感性情報推定モデルＬＭ２は、例えばＲＮＮにより構成されており、入力層、中間層（隠れ層）、及び出力層を備える。入力層は、長さＴの時系列データ（Ｙ1 ，Ｙ2 ，…，ＹT ）が入力されるＴ個のノードを備える。ここで、Ｙ1 ，Ｙ2 ，…，ＹT は、例えば生体データに含まれる呼吸数、心拍数、体動値などの各時刻の値である。中間層は、入力層のノードから与えられる数値に対し、設定されたパラメータ（重み及びバイアス）を用いた演算を実行する複数のノードを備える。出力層が備えるノードは、中間層のノードから与えられる数値に適宜の変換処理を行うことで得られる数値（ＺT ）を出力する。出力層が出力する数値ＺT は、時刻Ｔにおける感性情報を表す数値である。制御部１１は、感性情報推定モデルＬＭ２に入力する時系列データを順次ずらしていくことにより、感性情報の時系列データを感性情報推定モデルＬＭ２から取得することができる。
　なお、感性情報推定モデルＬＭ２の生成方法については、実施の形態２で詳細に説明することとするが、生体情報推定モデルＬＭ１から得られる生体データと、感性情報（正解データ）とを含むデータセットを訓練データに用いて、所定の学習アルゴリズムで学習することにより、感性情報推定モデルＬＭ２を生成することができる。
　図４の感性情報推定モデルＬＭ２は、中間層が２つの層を備える構成を示しているが、中間層が備える層の数は２つに限定されるものではなく、適宜設計することが可能である。感性情報推定モデルＬＭ２は、ＬＳＴＭ（Long Short-Term Memory）、ＣＮＮ（Convolutional Neural Networks）、Ｒ－ＣＮＮ（Region-based CNN）などにより構成される学習モデルであってもよい。感性情報推定モデルＬＭ２に入力するデータは、感性情報推定モデルＬＭ２を構成するニューラルネットワークに応じて用意されるとよい。例えば、感性情報推定モデルＬＭ２をＣＮＮ又はＲ－ＣＮＮで構成した場合、時系列データに代えて、横軸を時間、縦軸を呼吸数、心拍数、及び体動値の少なくとも１種類をプロットしたグラフの画像データを入力層への入力として用いてもよい。
　図５は感性情報推定モデルＬＭ２の変形例を示す模式図である。図５に変形例として示す感性情報推定モデルＬＭ２は、ユーザの生体データとセンサデータとを入力した場合、ユーザの感性情報を出力するよう学習された学習済みの学習モデルである。センサデータは、圧電素子Ｓ１を用いた計測が行われている環境下において、温度計Ｓ２、体温計Ｓ３、血圧計Ｓ４により得られる環境温度データ、ユーザの体温データ、及びユーザの血圧データの少なくとも１つを含む。また、センサデータは、ユーザの血中酸素飽和濃度、室内の湿度、照度、騒音レベルの少なくとも１つを含んでもよい。なお、図５に変形例として示す感性情報推定モデルＬＭ２の構成は、図４に示すものと同様であるので、その詳細な説明を省略する。
　以下、情報処理装置１の動作について説明する。
　図６は推定時に情報処理装置１が実行する処理の手順を説明するフローチャートである。ユーザは圧電素子Ｓ１が座面部分に内蔵された椅子Ｃに着座し、椅子Ｃに内蔵された圧電素子Ｓ１は情報処理装置１の入力部１３に接続される。圧電素子Ｓ１による計測を開始した状態にて、情報処理装置１は以下の処理を実行する。情報処理装置１の制御部１１は、入力部１３を通じて、圧電素子Ｓ１の出力に基づく圧電データを取得する（ステップＳ１０１）。このとき、制御部１１は、入力部１３を通じてセンサデータを取得してもよい。
　制御部１１は、取得した圧電データを生体情報推定モデルＬＭ１に入力し、生体情報推定モデルＬＭ１による演算を実行する（ステップＳ１０２）。すなわち、制御部１１は、生体情報推定モデルＬＭ１の入力層が備える各ノードに時系列データとして与えられる圧電データの各値を入力し、ノード間の重み及びバイアスを含む活性化関数を用いた演算を中間層において実行し、中間層より得られる値を適宜の関数を用いて変換することにより最終の値を求める。生体情報推定モデルＬＭ１が圧電データ及びセンサデータの入力に応じて生体データを出力するよう学習されている場合、取得した圧電データ及びセンサデータを入力して、生体情報推定モデルＬＭ１の出力を求めてもよい。
　制御部１１は、ステップＳ１０１で取得する時系列の圧電データに基づき、ステップＳ１０２の演算を繰り返し実行することによって、生体情報推定モデルＬＭ１の出力層から時系列の生体データを取得する（ステップＳ１０３）。
　制御部１１は、取得した生体データを感性情報推定モデルＬＭ２に入力し、感性情報推定モデルＬＭ２による演算を実行する（ステップＳ１０４）。すなわち、制御部１１は、感性情報推定モデルＬＭ２の入力層が備える各ノードに時系列データとして与えられる生体データの各値を入力し、ノード間の重み及びバイアスを含む活性化関数を用いた演算を中間層において実行し、中間層より得られる値を適宜の関数を用いて変換することにより最終の値を求める。
　制御部１１は、ステップＳ１０３で取得する時系列の圧電データに基づき、ステップＳ１０４の演算を順次実行することによって、感性情報推定モデルＬＭ２の出力層から時系列の感性情報を取得する（ステップＳ１０５）。
　制御部１１は、取得した感性情報を表示部１６に表示する（ステップＳ１０６）。図７は感性情報の表示例を示す模式図である。図７は、平常心、眠気、集中度合い、嗜好、関心、緊張、苛立ち、快適感、満足度、及び不満を数値化し、時系列のグラフとして表示した例を示している。代替的に、制御部１１は、平常心、眠気、集中度合い、嗜好、関心、緊張、苛立ち、快適感、満足度、及び不満を示す数値を適宜の指標に基づいて規格化し、規格化した数値の高低に基づきユーザにとって支配的な感性を特定し、特定した感性の情報を表示部１６に表示してもよい。また、制御部１１は、表示部１６に感性情報を表示する構成に代えて、通信部１４より外部装置（例えば、ユーザが形態する端末装置）に感性情報を通知してもよい。
　以上のように、実施の形態１では、圧電素子Ｓ１の計測結果を基に、ユーザの感性情報を出力することができる。
（実施の形態２）
　実施の形態２では、感性情報推定モデルＬＭ２の生成方法について説明する。
　図８は実施の形態２に係る学習装置の構成を説明するブロック図である。学習装置２は、例えば、情報処理装置１に通信可能に接続されるサーバ装置であり、制御部２１、記憶部２２、入力部２３、通信部２４、操作部２５、表示部２６などを備える。学習装置２は、入力部２３より入力されるデータに基づき、感性情報推定モデルＬＭ２を生成する。学習装置２により生成された学習済みの感性情報推定モデルＬＭ２は、情報処理装置１によってダウンロードされ、情報処理装置１の記憶部１２にインストールされる。
　制御部２１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備える。制御部２１が備えるＲＯＭには、学習装置２が備えるハードウェア各部の動作を制御する制御プログラム等が記憶される。制御部２１内のＣＰＵは、ＲＯＭに記憶されている制御プログラムや記憶部２２に記憶されている各種コンピュータプログラムを読み込んで実行し、ハードウェア各部の動作を制御することによって、装置全体を本発明に係るモデル生成方法を実現する装置として機能させる。制御部２１が備えるＲＡＭには、演算の実行中に利用されるデータが一時的に記憶される。
　制御部２１は、ＣＰＵ、ＲＯＭ、及びＲＡＭを備える構成としたが、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、量子プロセッサ、揮発性又は不揮発性のメモリ等を備える１又は複数の演算回路であってもよい。また、制御部２１は、日時情報を出力するクロック、計測開始指示を与えてから計測終了指示を与えるまでの経過時間を計測するタイマ、数をカウントするカウンタ等の機能を備えていてもよい。
　記憶部２２は、ＨＤＤ、ＳＳＤなどのストレージを備える。記憶部２２には、制御部２１によって実行される各種のコンピュータプログラムや制御部２１によって利用される各種のデータが記憶される。
　記憶部２２に記憶されるコンピュータプログラムには、後述する手法にて感性情報推定モデルＬＭ２を生成する処理を実行させるためのモデル生成プログラムＰＧ２が含まれる。モデル生成プログラムＰＧ２は、単一のコンピュータプログラムであってもよく、複数のコンピュータプログラムにより構成されるものであってもよい。また、モデル生成プログラムＰＧ２は、既存のライブラリを部分的に用いるものであってもよい。
　記憶部２２に記憶されるモデル生成プログラムＰＧ２等のコンピュータプログラムは、当該コンピュータプログラムを読み取り可能に記録した非一時的な記録媒体Ｍ２により提供される。記録媒体Ｍ２は、例えば、ＣＤ－ＲＯＭ、ＵＳＢメモリ、ＳＤ（Secure Digital）カード、マイクロＳＤカード、コンパクトフラッシュ（登録商標）などの可搬型メモリである。制御部２１は、図に示していない読取装置を用いて、記録媒体Ｍ２から各種コンピュータプログラムを読み取り、読み取った各種コンピュータプログラムを記憶部２２に記憶させる。また、記憶部２２に記憶されるコンピュータプログラムは、通信部２４を介した通信により提供されてもよい。この場合、制御部２１は、通信部２４を通じてコンピュータプログラムを取得し、取得したコンピュータプログラムを記憶部２２に記憶させればよい。
　記憶部２２は、脳波計Ｓ０の出力に基づく脳波データが入力された場合、被検者の感性情報を出力するよう学習された学習済みの学習モデルＬＭ０（以下、脳波モデルＬＭ０ともいう）と、圧電素子Ｓ１から出力される信号が入力された場合、被検者の生体データを出力するよう学習された学習済みの学習モデルＬＭ１（生体情報推定モデルＬＭ１）と、被検者の生体データが入力された場合、被検者の感性情報を出力するよう学習される学習対象の学習モデルＬＭ２（感性情報推定モデルＬＭ２）とを備える。記憶部２２には、学習モデルＬＭ０，ＬＭ１，ＬＭ２を定義する情報として、各学習モデルＬＭ０，ＬＭ１，ＬＭ２が備える層の構成情報、各層に含まれるノードの情報、ノード間の重み付け及びバイアスの情報などが記憶される。学習モデルＬＭ０の具体的な構成については後に詳述する。学習モデルＬＭ１，ＬＭ２の構成は、実施の形態１において説明したものと同様である。なお、学習モデルＬＭ２を生成する前の段階において、この学習モデルＬＭ２を特徴付けるパラメータ（ノード間の重み付けやバイアスなど）には初期値が設定される。
　入力部２３は、各種センサを接続するためのインタフェースを備える。入力部２３に接続されるセンサは、前述の圧電素子Ｓ１、温度計Ｓ２、体温計Ｓ３、血圧計Ｓ４に加え、脳波計Ｓ０を含む。脳波計Ｓ０は、被検者の脳波を時系列的に検知し、検知結果を示す信号（脳波信号）を学習装置２へ出力する。学習装置２の制御部２１は、入力部２３を通じて、圧電素子Ｓ１の出力に基づく時系列データ（以下、脳波データという）を取得する。制御部２１が取得する脳波データは、脳波計Ｓ０から得られる生の信号であってもよく、脳波信号を加工して得られるデータであってもよい。例えば、制御部２１は、入力部２３を通じて入力される脳波信号を、α波、β波、γ波、δ波、θ波に分解する処理を行い、これらの波形データを脳波データとして用いてもよい。また、制御部２１は、入力部２３を通じて入力される脳波信号から何らかの特徴量を抽出する処理を行い、得られた特徴量の時系列データを脳波データとして用いてもよい。以下では、脳波計Ｓ０から得られる生の信号（脳波信号）と、処理後に得られるデータとを区別せずに脳波データと称する。
　入力部２３には、更に、被検者の血中酸素飽和濃度を計測するセンサ、室内の湿度を計測するセンサ、照度を計測するセンサ、騒音レベルを計測するセンサなどの各種センサが接続されてもよい。
　通信部２４は、各種データを送受信する通信インタフェースを備える。通信部２４が備える通信インタフェースは、例えば、ＷｉＦｉ（登録商標）やイーサネット（登録商標）で用いられるＬＡＮ（Local Area Network）の通信規格に準じた通信インタフェースである。通信部２４は、送信すべきデータが制御部２１から入力された場合、指定された宛先へ送信すべきデータを送信する。また、通信部２４は、外部装置から送信されたデータを受信した場合、受信したデータを制御部２１へ出力する。通信部２４に通信可能に接続される外部装置の一例は、被検者によって操作されるタブレット端末３である。通信部２４に接続される外部装置の他の例は、実施の形態１において説明した情報処理装置１である。
　操作部２５は、タッチパネル、キーボード、スイッチなどの操作デバイスを備え、管理者や被検者による各種の操作及び設定を受付ける。制御部２１は、操作部２５より与えられる各種の操作情報に基づき適宜の制御を行い、必要に応じて設定情報を記憶部２２に記憶させる。
　表示部２６は、液晶モニタや有機ＥＬ（Electro-Luminescence）などの表示デバイスを備え、制御部２１からの指示に応じて管理者や被検者に報知すべき情報を表示する。
　図９は脳波モデルＬＭ０の構成例を示す模式図である。実施の形態２における脳波モデルＬＭ０は、被検者の脳波データを入力した場合、被検者の感性情報を出力するよう学習された学習済みの学習モデルである。脳波モデルＬＭ０に入力する脳波データは、脳波計Ｓ０の出力に基づく時系列の脳波データである。また、感性情報推定モデルＬＭ２が出力する感性情報は、被検者の平常心、眠気、集中度合い、嗜好、関心、緊張、苛立ち、快適感、満足度、及び不満の少なくとも１つを数値化して得られる時系列データである。
　脳波モデルＬＭ０は、例えばＲＮＮにより構成されており、入力層、中間層（隠れ層）、及び出力層を備える。入力層は、長さＴの時系列データ（Ｂ1 ，Ｂ2 ，…，ＢT ）が入力されるＴ個のノードを備える。ここで、Ｂ1 ，Ｂ2 ，…，ＢT は、例えば脳波データに含まれる各時刻の値である。中間層は、入力層のノードから与えられる数値に対し、設定されたパラメータ（重み及びバイアス）を用いた演算を実行する複数のノードを備える。出力層が備えるノードは、中間層のノードから与えられる数値に適宜の変換処理を行うことで得られる数値（ＺT ）を出力する。出力層が出力する数値ＺT は、時刻Ｔにおける感性情報を表す数値である。制御部２１は、脳波モデルＬＭ０に入力する時系列データを順次ずらしていくことにより、感性情報の時系列データを脳波モデルＬＭ０から取得することができる。
　脳波モデルＬＭ０の生成方法については、既存の生成方法を用いればよい。すなわち、脳波計Ｓ０より得られる脳波データと、感性情報（正解データ）とを含むデータセットを教師データに用いて、所定の学習アルゴリズムで学習することにより、脳波モデルＬＭ０を生成することができる。なお、学習時の感性情報（正解データ）は、タブレット端末３を用いて被検者自身が与えるとよい。
　図９の脳波モデルＬＭ０は、中間層が２つの層を備える構成を示しているが、中間層が備える層の数は２つに限定されるものではなく、適宜設計することが可能である。脳波モデルＬＭ０は、ＬＳＴＭ、ＣＮＮ、Ｒ－ＣＮＮなどにより構成される学習モデルであってもよい。脳波モデルＬＭ０に入力するデータは、脳波モデルＬＭ０を構成するニューラルネットワークに応じて用意されるとよい。例えば、脳波モデルＬＭ０をＣＮＮ又はＲ－ＣＮＮで構成した場合、時系列データに代えて、横軸を時間、縦軸を波高の少なくとも１種類をプロットしたグラフ、各時刻において得られる特徴量を脳波の測定箇所に対応させてプロットしたコンターマップなどの画像データを入力層への入力として用いてもよい。
　以下、学習装置２の動作について説明する。
　図１０は訓練データの生成手順を説明するフローチャートである。被検者は圧電素子Ｓ１が座面部分に内蔵された椅子Ｃに着座し、被検者の頭部には脳波計Ｓ０が装着される。脳波計Ｓ０及び圧電素子Ｓ１が学習装置２の入力部２３に接続され、脳波計Ｓ０及び圧電素子Ｓ１の計測が開始された状態にて、学習装置２は以下の処理を実行する。
　学習装置２の制御部２１は、入力部２３を通じて、脳波計Ｓ０の出力に基づく脳波データを取得する（ステップＳ２０１）。
　制御部２１は、取得した脳波データを脳波モデルＬＭ０に入力し、脳波モデルＬＭ０による演算を実行する（ステップＳ２０２）。すなわち、制御部２１は、脳波モデルＬＭ０の入力層が備える各ノードに時系列データとして与えられる脳波データの各値を入力し、ノード間の重み及びバイアスを含む活性化関数を用いた演算を中間層において実行し、中間層より得られる値を適宜の関数を用いて変換することにより最終の値を求める。
　制御部２１は、ステップＳ２０１で取得する時系列の脳波データに基づき、ステップＳ２０２の演算を繰り返し実行することによって、脳波モデルＬＭ０の出力層から時系列の感性情報を取得する（ステップＳ２０３）。
　制御部２１は、入力部２３を通じて、圧電素子Ｓ１の出力に基づく圧電データを取得する（ステップＳ２０４）。このとき、制御部２１は、入力部２３を通じてセンサデータを取得してもよい。
　制御部２１は、取得した圧電データを生体情報推定モデルＬＭ１に入力し、生体情報推定モデルＬＭ１による演算を実行する（ステップＳ２０５）。すなわち、制御部２１は、生体情報推定モデルＬＭ１の入力層が備える各ノードに時系列データとして与えられる圧電データの各値を入力し、ノード間の重み及びバイアスを含む活性化関数を用いた演算を中間層において実行し、中間層より得られる値を適宜の関数を用いて変換することにより最終の値を求める。生体情報推定モデルＬＭ１が圧電データ及びセンサデータの入力に応じて生体データを出力するよう学習されている場合、取得した圧電データ及びセンサデータを入力して、生体情報推定モデルＬＭ１の出力を求めてもよい。
　制御部２１は、ステップＳ２０４で取得する時系列の圧電データに基づき、ステップＳ２０５の演算を繰り返し実行することによって、生体情報推定モデルＬＭ１の出力層から時系列の生体データを取得する（ステップＳ２０６）。
　制御部２１は、ステップＳ２０３で得られる時系列の感性情報と、ステップＳ２０６で得られる時系列の生体データとのデータセットを訓練データとして生成する（ステップＳ２０７）。
　制御部２１は、取得した生体データを感性情報推定モデルＬＭ２に入力して、感性情報推定モデルＬＭ２による演算を実行する（ステップＳ２０８）。学習開始前の初期段階では、感性情報推定モデルＬＭ２のパラメータ（重み及びバイアス）には初期値が設定されているものとする。制御部２１は、感性情報推定モデルＬＭ２の入力層が備える各ノードに時系列データとして与えられる生体データの各値を入力し、ノード間の重み及びバイアスを含む活性化関数を用いた演算を中間層において実行し、中間層より得られる値を適宜の関数を用いて変換することにより最終の値を求める。
　制御部２１は、ステップＳ２０６で取得する時系列の生体データに基づき、ステップＳ２０８の演算を繰り返し実行することによって、感性情報推定モデルＬＭ２の出力層から時系列の感性情報を取得する（ステップＳ２０９）。
　説明の都合上、図１０のフローチャートでは、脳波モデルＬＭ０による演算、生体情報推定モデルＬＭ１による演算、感性情報推定モデルＬＭ２による演算をこの順に実行する手順として記載したが、これらの演算は同時並行的に実施される。
　制御部２１は、ステップＳ２０７で生成した訓練データに含まれる感性情報と、ステップＳ２０９で取得した感性情報とを用いて、演算結果を評価し（ステップＳ２１０）、学習が完了したか否かを判断する（ステップＳ２１１）。すなわち、制御部２１は、訓練データに含まれる感性情報（脳波データから得られる感性情報）を正解データとして、感性情報推定モデルＬＭ２による感性情報（圧電データを基に推定される感性情報）を評価すればよい。具体的には、制御部２１は、正解データとステップＳ２０８で得られた演算結果とに基づく誤差関数（目的関数、損失関数、コスト関数ともいう）を用いて、演算結果を評価することができる。制御部２１は、最急降下法などの勾配降下法により誤差関数を最適化（最小化又は最大化）する過程で、誤差関数が閾値以下（又は閾値以上）となった場合、学習が完了したと判断する。なお、過学習の問題を避けるために、交差検定、早期打ち切りなどの手法を取り入れ、適切なタイミングにて学習を終了させてもよい。
　学習が完了していないと判断した場合（Ｓ２１１：ＮＯ）、制御部２１は、感性情報推定モデルＬＭ２のパラメータ（ノード間の重み及びバイアス）を更新して（ステップＳ２１２）、処理をステップＳ２０１へ戻し、学習を継続する。制御部２１は、感性情報推定モデルＬＭ２の出力層から入力層に向かって、ノード間の重み及びバイアスを順次更新する誤差逆伝搬法を用いて、学習を進めることができる。
　学習が完了したと判断した場合（Ｓ２１１：ＹＥＳ）、制御部２１は、学習済みの学習モデルとして記憶部２２に感性情報推定モデルＬＭ２を記憶させ（ステップＳ２１３）、本フローチャートによる処理を終了する。生成した学習済みの感性情報推定モデルＬＭ２は、情報処理装置１に送信され、情報処理装置１の記憶部１２に記憶される。
　なお、本実施の形態では、脳波モデルＬＭ０から得られる感性情報を正解データとして用いたが、タブレット端末３を用いて被検者自身が与える感性情報（正解データ）を併用してもよい。例えば、学習開始後の初期段階では、タブレット端末３を用いて被検者自身が与える感性情報を正解データに用いて学習を行い、学習が進んだ段階で、脳波モデルＬＭ０から得られる感性情報を正解データとして学習を継続してもよい。
　以上のように、実施の形態２では、脳波計Ｓ０より得られる脳波データを用いて推定した被検者の感性情報を正解データに用いて学習を行うことにより、感性情報推定モデルＬＭ２を生成することができる。
（実施の形態３）
　実施の形態３では、感性情報推定モデルＬＭ２の再学習処理について説明する。
　学習装置２は、学習済みの感性情報推定モデルＬＭ２を用いることにより、ユーザの感性を推定することができる。推定手順は実施の形態１と同様である。学習装置２は、感性情報推定モデルＬＭ２から取得した感性情報に基づき、ユーザにとって支配的な感性を特定し、特定した感性の情報を表示部２６に表示して、その感性情報が正しいか否かをユーザに確認する。
　図１１は確認画面の一例を示す模式図である。図１１はユーザにより操作されるタブレット端末３における確認画面を示している。確認画面には、感性情報推定モデルＬＭ２による推定結果、その推定結果が正しいか否かをユーザに問い合わせる文面と共に、推定結果が正しい場合に選択される選択ボタン３１、推定結果が正しくない場合に選択される項目ボタン群３２、選択結果を送信する際に操作される送信ボタン３３が配置されている。感性情報推定モデルＬＭ２による推定結果が正しい場合、ユーザは、選択ボタン３１を選択し、送信ボタン３３を押下操作することによって、情報処理装置１への回答を行う。また、感性情報推定モデルＬＭ２による推定結果が正しくない場合、ユーザは、項目ボタン群３２の何れかのボタンを選択し、送信ボタン３３を押下操作することによって、情報処理装置１への回答を行う。選択結果は、タブレット端末３から学習装置２へ送信される。
　図１２は学習装置２が実行する再学習手順を示すフローチャートである。学習装置２の制御部２１は、実施の形態１と同様の手順を実行することにより、ユーザの感性情報を取得する（ステップＳ３０１～３０５）。制御部２１は、取得した感性情報に基づき、推定結果が正しいか否かをユーザに問い合わせる確認画面を表示部２６に表示する（ステップＳ３０６）。
　制御部２１は、タブレット端末３から送信される回答（選択結果）に基づき、感性情報が修正されたか否かを判断する（ステップＳ３０７）。感性情報が修正されていない場合（Ｓ３０７：ＮＯ）、制御部２１は、本フローチャートによる処理を終了する。
　感性情報が修正されたと判断した場合（Ｓ３０７：ＹＥＳ）、制御部２１は、制御部２１は、ユーザにより修正された感性情報と、Ｓ３０５で得られる感性情報とを用いて、感性情報推定モデルＬＭ２による演算結果を評価し（ステップＳ３０８）、学習が完了したか否かを判断する（ステップＳ３０９）。
　学習が完了していないと判断した場合（Ｓ３０９：ＮＯ）、制御部２１は、感性情報推定モデルＬＭ２のパラメータ（ノード間の重み及びバイアス）を更新して（ステップＳ３１０）、処理をステップＳ３０１へ戻し、被検者により修正された感性情報を正解データとして、圧電素子Ｓ１の出力に基づき推定される被検者の感性情報を評価することにより学習を継続する。制御部２１は、感性情報推定モデルＬＭ２の出力層から入力層に向かって、ノード間の重み及びバイアスを順次更新する誤差逆伝搬法を用いて、学習を進めることができる。
　学習が完了したと判断した場合（Ｓ３０９：ＹＥＳ）、制御部２１は、再学習済みの学習モデルとして記憶部２２に感性情報推定モデルＬＭ２を記憶させ（ステップＳ３１１）、本フローチャートによる処理を終了する。生成した再学習済みの感性情報推定モデルＬＭ２は、情報処理装置１に送信され、情報処理装置１の記憶部１２に記憶される。
　以上のように、実施の形態３では、ユーザから感性情報の修正を受付けることにより、感性情報推定モデルＬＭ２を再学習することができるので、より推定精度が高い感性情報推定モデルＬＭ２を生成することができる。
（実施の形態４）
　実施の形態４では、オフィス空間、自宅、通勤車両内など様々な環境下でユーザの感性情報を推定することにより、各環境を評価する構成について説明する。
　図１３は実施の形態４に係る情報処理装置１が実行する処理の手順を説明するフローチャートである。情報処理装置１の制御部１１は、操作部１５を通じて、第１環境情報を取得する（ステップＳ４０１）。環境情報は、例えばユーザが存在する場所の情報を表す。環境情報は、更に、天候、気温、湿度、照度、騒音レベル、時間帯などの情報を含んでもよい。
　制御部１１は、第１環境下において、ユーザの感性情報を取得する（ステップＳ４０２）。すなわち、制御部１１は、第１環境下において、図６のフローチャートに示す手順を実行することにより、感性情報推定モデルＬＭ２からユーザの感性情報を取得することができる。取得した感性情報は、記憶部１２に記憶される。
　次いで、制御部１１は、操作部１５を通じて、第１環境情報とは異なる第２環境情報を取得する（ステップＳ４０３）。ここでは、ユーザが第１環境から第２環境に移動した場合、移動後の環境情報を取得すればよい。
　制御部１１は、第２環境下において、ユーザの感性情報を取得する（ステップＳ４０４）。すなわち、制御部１１は、第２環境下において、図６のフローチャートに示す手順を実行することにより、感性情報推定モデルＬＭ２からユーザの感性情報を取得することができる。取得した感性情報は、記憶部１２に記憶される。
　制御部１１は、第１環境情報と、第１環境下で得られた感性情報とを関連付けて出力すると共に、第２環境情報と、第２環境下で得られた感性情報とを関連付けて出力する（ステップＳ４０５）。制御部１１は、これらの情報を表示部１６に表示することによって出力すればよい。
　図１４は実施の形態４における出力例を示す模式図である。図１４の例は、ユーザの環境が第１オフィス（第１環境）から第２オフィス（第２環境）に変わった場合の感性の変化を示している。図１４の例は、第１オフィスから第２オフィスに移動したことに伴い、ユーザの感性が平常状態から緊張状態に変化していることを示しているので、情報処理装置１は、第２オフィスの環境改善を提案してもよい。
　以上のように、実施の形態４では、環境の変化に伴うユーザの感性の変化を情報として提供できる。
　なお、実施の形態４に係る情報処理装置１は、環境の変化に伴うユーザの感性情報の変化を表示部１６に表示する構成としたが、特定したユーザの感性情報に応じて、空気調和機（エアコン）、ブラインド装置、照明装置、音響機器など様々な機器の制御を行ってもよい。これらの機器の制御は、情報処理装置１の通信部１４から制御信号を各機器に送信することにより行えばよい。例えば、ユーザの眠気が高まっていると推定される場合、情報処理装置１は、室温を下げるよう指示する制御信号を空気調和機へ送信したり、照度を上げるよう指示する制御信号を照明装置へ送信したりすればよい。また、ユーザの集中度合いが低下していると推定される場合、情報処理装置１は、ブラインドを下ろすよう指示する制御信号をブラインド装置へ送信してもよい。更に、ユーザの緊張や苛立ちが高まっていると推定される場合、情報処理装置１は、緊張や苛立ちを和らげるような音楽を再生するよう音響機器へ制御信号を送信してもよい。このように、情報処理装置１は、ユーザの感性情報に応じて各種の機器を制御することが可能である。
　情報処理装置１は、同じ環境下にいる複数のユーザのそれぞれについて感性情報を特定し、複数ユーザの平均の感性情報を導出してもよい。また、情報処理装置１は、導出した平均の感性情報をグループリーダや管理者の端末に通知してもよい。
　情報処理装置１は、通信部１５を通じて業務成果を取得し、取得した業務成果と業務を行ったときのユーザの感性情報とを関連付けて記録し出力してもよい。
　情報処理装置１は、ウェブ会議アプリを用いてウェブ会議が行われている場合や、プレゼンテーションアプリを用いて講演やセミナーが行われている場合に、参加者の感性情報を特定し、特定した感性情報をアプリの画面に表示してもよい。情報処理装置１は、ウェブ会議が行われている際に、発言者に会議相手の感性情報を提供することにより、より円滑な会議の場を適用することができる。また、情報処理装置１は、プレゼンテーションが行われている際に、登壇者に聴衆の感性情報を提供することにより、プレゼンテーションの質の改善に寄与することができる。
　情報処理装置１は、学校や学習塾などにおいて授業が行われている場合に、生徒の感性情報を取得し、取得した感性情報を教師や講師が使用している端末に通知してもよい。情報処理装置１は、授業中に生徒の感性情報を取得し、取得した感性情報を教師や講師に提供することにより、授業の質の改善に寄与することができる。
　情報処理装置１は、オフィスにいるユーザに限らず、自動車、電車、飛行機などの操縦者の感性情報を取得してもよい。また、情報処理装置１は、ゲームやｅスポーツなどのプレーヤの感性情報を取得してもよい。更に、情報処理装置１は、スポーツ観戦、ゲーム観戦、演劇、観劇、映画などの観覧者の感性情報を取得してもよい。
（実施の形態５）
　実施の形態５では、香水、アロマなど様々な提供物を提供した状態でユーザの感性情報を推定することにより、各提供物を評価する構成について説明する。
　図１５は実施の形態５に係る情報処理装置１が実行する処理の手順を説明するフローチャートである。情報処理装置１の制御部１１は、操作部１５を通じて、第１提供物の情報を取得する（ステップＳ５０１）。提供物は、香水やアロマなどの無体物を含む。
　制御部１１は、第１提供物が提供された状態において、ユーザの感性情報を取得する（ステップＳ５０２）。すなわち、制御部１１は、第１提供物が提供された状態において、図６のフローチャートに示す手順を実行することにより、感性情報推定モデルＬＭ２からユーザの感性情報を取得することができる。取得した感性情報は、記憶部１２に記憶される。
　次いで、制御部１１は、操作部１５を通じて、第１提供物とは異なる第２提供物の情報を取得する（ステップＳ５０３）。ここでは、ユーザに提供される提供物が第１提供物から第２提供物に変更された場合、変更後の提供物の情報を取得すればよい。
　制御部１１は、第２提供物が提供された状態において、ユーザの感性情報を取得する（ステップＳ５０４）。すなわち、制御部１１は、第２提供物が提供された状態において、図６のフローチャートに示す手順を実行することにより、感性情報推定モデルＬＭ２からユーザの感性情報を取得することができる。取得した感性情報は、記憶部１２に記憶される。
　制御部１１は、第１提供物の情報と、第１提供物が提供された状態で得られた感性情報とを関連付けて出力すると共に、第２提供物の情報と、第２提供物が提供された状態で得られた感性情報とを関連付けて出力する（ステップＳ５０５）。制御部１１は、これらの情報を表示部１６に表示することによって出力すればよい。
　図１６は実施の形態５における出力例を示す模式図である。図１６の例は、ユーザに提供される提供物が香水Ａ（第１提供物）から香水Ｂ（第２提供物）に変わった場合の感性の変化を示している。図１６の例は、香水Ａを香水Ｂに変更したことに伴い、ユーザの感性が苛立ちから嗜好に変化していることを示しているので、情報処理装置１は、そのユーザにとっては香水Ｂの方が好みであると評価できる。
　以上のように、実施の形態５では、提供物の変化に伴うユーザの感性の変化を情報として提供できる。
　提供物は、香水やアロマに限らず、化粧品や医薬品であってもよい。また、食品や飲料などが提供される前後において、情報処理装置１は、味覚に基づくユーザの感性情報を取得してもよい。更に、絵画や写真などが提供される前後において、情報処理装置１は、視覚に基づくユーザの感性情報を取得してもよい。更に、触感や肌触りに特徴がある物品が提供される前後において、情報処理装置１は、触覚に基づくユーザの感性情報を取得してもよい。更に、音楽が提供される前後において、情報処理装置１は、聴覚に基づくユーザの感性情報を取得してもよい。このように、本実施の形態に係る情報処理装置１は、有体物又は無体物に限らず、様々な提供物が提供された際のユーザの感性情報を取得することができる。
　更に、提供物が提供された際の感性をアンケートの回答として受付ける際、情報処理装置１は、ユーザによる入力に代えて、感性情報推定モデルＬＭ２により特定されるユーザの感性情報を回答として取得してもよい。
（実施の形態６）
　実施の形態６では、ユーザの属性に応じて感性情報推定モデルＬＭ２を選択する構成について説明する。
　図１７は実施の形態６で用意される学習モデルを説明する説明図である。実施の形態６では、ユーザの属性に応じて感性情報推定モデルＬＭ２が用意される。ここで、ユーザの属性とは、年齢（年代）、性別、居住地域、学歴、職歴、家族構成などユーザを特徴付ける情報である。学習装置２は、属性が異なる様々な被検者について脳波計Ｓ０による計測や圧電素子Ｓ１による計測を行うことによって、属性毎の感性情報推定モデルＬＭ２を生成する。学習装置２によって生成された属性毎の感性情報推定モデルＬＭ２は、情報処理装置１に送信され、情報処理装置１の記憶部１２に記憶される。
　図１７の例では、属性毎の感性情報推定モデルＬＭ２として、属性ａ（１０代～２０代）に対する感性情報推定モデルＬＭ２ａ、属性ｂ（３０代～４０代）に対する感性情報推定モデルＬＭ２ｂ、属性ｃ（５０代～６０代）に対する感性情報推定モデルＬＭ２ｃ、属性ｄ（７０代以上）に対する感性情報推定モデルＬＭ２ｄが用意されていることを示している。
　図１８は実施の形態６に係る情報処理装置１が実行する処理の手順を説明するフローチャートである。情報処理装置１の制御部１１は、操作部１５を通じて、ユーザの属性情報を受付ける（ステップＳ６０１）。制御部１１は、受付けた属性情報に基づき、対応する感性情報推定モデルＬＭ２を選択する（ステップＳ６０２）。制御部１１は、属性情報として、属性ａ（１０代～２０代）を受付けた場合、記憶部１２に記憶されている感性情報推定モデルＬＭ２ａを選択すればよい。他の属性情報を受付けた場合も同様である。
　制御部１１は、選択した感性情報推定モデルＬＭ２を用いて、ユーザの感性情報を取得する（ステップＳ６０３）。すなわち、制御部１１は、図６のフローチャートに示す手順を実行することにより、選択された感性情報推定モデルＬＭ２からユーザの感性情報を取得すればよい。制御部１１は、取得したユーザの感性情報を表示部１６に表示する（ステップＳ６０４）。
　以上のように、実施の形態６では、ユーザの属性情報に応じて選択した感性情報推定モデルＬＭ２を用いて、ユーザの感性を推定するので、推定精度を高めることができる。
　今回開示された実施形態は、全ての点において例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。
　１　情報処理装置
　２　学習装置
　１１　制御部
　１２　記憶部
　１３　入力部
　１４　通信部
　１５　操作部
　１６　表示部
　２１　制御部
　２２　記憶部
　２３　入力部
　２４　通信部
　２５　操作部
　２６　表示部
　ＬＭ０，ＬＭ１，ＬＭ２　学習モデル
　ＰＧ１　推定処理プログラム
　ＰＧ２　モデル生成プログラム
　Ｓ０　脳波計
　Ｓ１　圧電素子
　Ｓ２　温度計
　Ｓ３　体温計
　Ｓ４　血圧計

Claims (20)

  1. 　脳波計の出力に基づき、被検者の脳波データを取得し、
    　脳波データの入力に応じて感性情報を出力するよう学習された第１学習モデルに、取得した脳波データを入力して前記被検者の感性情報を取得し、
    　圧電素子の出力に基づき、前記被検者の生体データを取得し、
    　取得した生体データと、前記第１学習モデルから取得した前記被検者の感性情報とを含むデータセットを訓練データに用いて、圧電素子により計測される被検者の生体データを入力した場合、前記被検者の感性情報を出力する第２学習モデルを生成する
    　処理をコンピュータにより実行するモデル生成方法。
  2. 　前記訓練データは、他のセンサより得られるセンサデータを更に含み、
    　前記第２学習モデルは、前記生体データ及び前記センサデータを入力した場合、前記感性情報を出力するよう学習される
    　請求項１に記載のモデル生成方法。
  3. 　前記生体データは、前記被検者の呼吸数、心拍数、及び体動値の少なくとも１つの時系列データである
    　請求項１又は請求項２に記載のモデル生成方法。
  4. 　前記センサデータは、環境温度、前記被検者の体温、及び血圧値の少なくとも１つの時系列データである
    　請求項２に記載のモデル生成方法。
  5. 　前記感性情報は、前記被検者の平常心、眠気、集中度合い、嗜好、関心、緊張、苛立ち、快適感、満足度、及び不満の少なくとも１つを含む
    　請求項１から請求項４の何れか１つに記載のモデル生成方法。
  6. 　前記圧電素子は、非焦電性の有機圧電材料により形成されるライン状又はフィルム状の圧電素子である
    　請求項１から請求項５の何れか１つに記載のモデル生成方法。
  7. 　前記被検者の頭部に装着された脳波計から脳波データを取得しつつ、前記被検者の肌に接触しない状態で配置された圧電素子から生体データを取得する
    　請求項１から請求項６の何れか１つに記載のモデル生成方法。
  8. 　ユーザの肌に接触しない状態で配置される非焦電性の圧電素子の出力に基づき、前記ユーザの生体データを取得し、
    　取得した前記ユーザの生体データを、生体データの入力に応じて感性情報を出力するよう学習された学習モデルに入力して、前記ユーザの感性情報を取得し、
    　取得した感性情報に基づく情報を出力する
    　処理をコンピュータに実行させるためのコンピュータプログラム。
  9. 　前記学習モデルは、被検者の脳波データに基づき別の学習モデルを用いて推定される前記被検者の感性情報と、前記圧電素子の出力に基づく前記被検者の生体データとを含むデータセットを訓練データに用いて学習してある
    　請求項８に記載のコンピュータプログラム。
  10. 　前記学習モデルは、他のセンサより得られるセンサデータを更に含むデータセットを訓練データに用いて学習してある
    　請求項９に記載のコンピュータプログラム。
  11. 　前記生体データは、前記ユーザの呼吸数、心拍数、及び体動値の少なくとも１つの時系列データである
    　請求項８から請求項１０の何れか１つに記載のコンピュータプログラム。
  12. 　前記センサデータは、環境温度、前記ユーザの体温、及び血圧値の少なくとも１つの時系列データである
    　請求項１０に記載のコンピュータプログラム。
  13. 　ユーザの属性情報を取得し、
    　取得したユーザの属性情報に基づき、ユーザの属性に応じて用意された複数の学習モデルから一の学習モデルを選択し、
    　選択した一の学習モデルに前記ユーザの生体データを入力して、前記ユーザの感性情報を取得する
    　処理を前記コンピュータに実行させるための請求項８から請求項１２の何れか１つに記載のコンピュータプログラム。
  14. 　前記ユーザから感性情報の修正を受付け、
    　修正された感性情報と、前記ユーザについて計測された生体データとをデータセットに含む訓練データを用いて、前記学習モデルを再学習する
    　処理を前記コンピュータに実行させるための請求項８から請求項１３の何れか１つに記載のコンピュータプログラム。
  15. 　第１環境下で前記圧電素子により計測されるユーザの第１生体データを前記学習モデルに入力して、第１感性情報を取得し、
    　第２環境下で前記圧電素子により計測されるユーザの第２生体データを前記学習モデルに入力して、第２感性情報を取得し、
    　前記第１環境の情報と前記学習モデルから取得した前記第１感性情報とを関連付けて出力すると共に、前記第２環境の情報と前記学習モデルから取得した前記第２感性情報とを関連付けて出力する
    　処理を前記コンピュータに実行させるための請求項８から請求項１４の何れか１つに記載のコンピュータプログラム。
  16. 　第１提供物をユーザに提供した状況下で前記圧電素子により計測されるユーザの第１生体データを前記学習モデルに入力して、第１感性情報を取得し、
    　第２提供物をユーザに提供した状況下で前記圧電素子により計測されるユーザの第２生体データを、前記学習モデルに入力して第２感性情報を取得し、
    　前記第１提供物の情報と前記学習モデルから取得した前記第１感性情報とを関連付けて出力すると共に、前記第２提供物の情報と前記学習モデルから取得した前記第２感性情報とを関連付けて出力する
    　処理を前記コンピュータに実行させるための請求項８から請求項１４の何れか１つに記載のコンピュータプログラム。
  17. 　ユーザの肌に接触しない状態で配置される非焦電性の圧電素子の出力に基づき、前記ユーザの生体データを取得する生体データ取得部と、
    　取得した前記ユーザの生体データを、生体データの入力に応じて感性情報を出力するよう学習された学習モデルに入力して、前記ユーザの感性情報を取得する感性情報取得部と、
    　取得した感性情報に基づく情報を出力する出力部と
    　を備える情報処理装置。
  18. 　ユーザの肌に接触しない状態で配置される非焦電性の圧電素子、及び
    　前記圧電素子の出力に基づき、前記ユーザの生体データを取得する生体データ取得部と、
    　取得した前記ユーザの生体データを、生体データの入力に応じて感性情報を出力するよう学習された学習モデルに入力して、前記ユーザの感性情報を取得する感性情報取得部と、
    　取得した感性情報に基づく情報を出力する出力部と
    　を備える情報処理装置
    　を含む情報処理システム。
  19. 　ユーザの肌に接触しない状態で配置される非焦電性の圧電素子の出力に基づき、前記ユーザの生体データを取得し、
    　取得した前記ユーザの生体データを、生体データの入力に応じて感性情報を出力するよう学習された学習モデルに入力して、前記ユーザの感性情報を取得し、
    　取得した感性情報に基づく情報を出力する
    　処理をコンピュータにより実行する情報処理方法。
  20. 　脳波計の出力に基づき、被検者の脳波データを取得し、
    　脳波データの入力に応じて感性情報を出力するよう学習された第１学習モデルに、取得した脳波データを入力して前記被検者の感性情報を取得し、
    　被検者の肌に接触しない状態で配置される非焦電性の圧電素子の出力に基づき、前記被検者の生体データを取得し、
    　取得した前記感性情報と前記生体データとを含むデータセットを、ユーザの生体データを入力した場合、前記ユーザの感性情報を出力するよう学習される第２学習モデルの学習に用いられる訓練データとして生成する
    　処理をコンピュータに実行させる訓練データの生成方法。
PCT/JP2022/013111 2021-03-31 2022-03-22 モデル生成方法、コンピュータプログラム、情報処理装置、情報処理システム、情報処理方法、及び訓練データの生成方法 WO2022210084A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP22780299.8A EP4318320A1 (en) 2021-03-31 2022-03-22 Model generation method, computer program, information processing device, information processing system, information processing method, and method for generating training data
KR1020237032025A KR20230146637A (ko) 2021-03-31 2022-03-22 모델 생성 방법, 기록 매체, 정보 처리 장치, 정보 처리 시스템, 정보 처리 방법 및 훈련 데이터의 생성 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-061231 2021-03-31
JP2021061231A JP2022157156A (ja) 2021-03-31 2021-03-31 モデル生成方法、コンピュータプログラム、情報処理装置、情報処理システム、情報処理方法、及び訓練データの生成方法

Publications (1)

Publication Number Publication Date
WO2022210084A1 true WO2022210084A1 (ja) 2022-10-06

Family

ID=83455289

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/013111 WO2022210084A1 (ja) 2021-03-31 2022-03-22 モデル生成方法、コンピュータプログラム、情報処理装置、情報処理システム、情報処理方法、及び訓練データの生成方法

Country Status (5)

Country Link
EP (1) EP4318320A1 (ja)
JP (1) JP2022157156A (ja)
KR (1) KR20230146637A (ja)
TW (1) TW202240478A (ja)
WO (1) WO2022210084A1 (ja)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10132669A (ja) 1996-10-30 1998-05-22 Whitaker Corp:The ピエゾケーブル及びそれを用いたワイヤハーネス
JP2005124909A (ja) * 2003-10-24 2005-05-19 Sony Corp 感情情報提示方法、感情情報表示装置及び情報コンテンツの検索方法
WO2010104196A1 (ja) 2009-03-13 2010-09-16 三井化学株式会社 高分子圧電材料、及びその製造方法、並びに、圧電素子
JP4934235B2 (ja) 2010-08-25 2012-05-16 三井化学株式会社 高分子圧電材料、およびその製造方法
WO2014058077A1 (ja) 2012-10-12 2014-04-17 帝人株式会社 圧電素子
JP2016106689A (ja) * 2014-12-03 2016-06-20 日本電信電話株式会社 感情情報推定装置、感情情報推定方法及び感情情報推定プログラム
JP2016152859A (ja) * 2015-02-20 2016-08-25 セイコーエプソン株式会社 生体情報処理システム、サーバーシステム及び制御方法
WO2017111108A1 (ja) * 2015-12-25 2017-06-29 三井化学株式会社 圧電基材、圧電織物、圧電編物、圧電デバイス、力センサー、アクチュエータ、及び生体情報取得デバイス
JP2018187044A (ja) * 2017-05-02 2018-11-29 国立大学法人東京工業大学 感情推定装置、感情推定方法およびコンピュータプログラム
JP2020048674A (ja) 2018-09-25 2020-04-02 三井化学株式会社 生体情報取得方法、生体情報取得モデル学習方法、装置、及びプログラム
WO2020122135A1 (ja) * 2018-12-13 2020-06-18 テイ・エス テック株式会社 生体センサー及び乗物用シート

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4934235B1 (ja) 1969-12-26 1974-09-12

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10132669A (ja) 1996-10-30 1998-05-22 Whitaker Corp:The ピエゾケーブル及びそれを用いたワイヤハーネス
JP2005124909A (ja) * 2003-10-24 2005-05-19 Sony Corp 感情情報提示方法、感情情報表示装置及び情報コンテンツの検索方法
WO2010104196A1 (ja) 2009-03-13 2010-09-16 三井化学株式会社 高分子圧電材料、及びその製造方法、並びに、圧電素子
JP4934235B2 (ja) 2010-08-25 2012-05-16 三井化学株式会社 高分子圧電材料、およびその製造方法
WO2014058077A1 (ja) 2012-10-12 2014-04-17 帝人株式会社 圧電素子
JP2016106689A (ja) * 2014-12-03 2016-06-20 日本電信電話株式会社 感情情報推定装置、感情情報推定方法及び感情情報推定プログラム
JP2016152859A (ja) * 2015-02-20 2016-08-25 セイコーエプソン株式会社 生体情報処理システム、サーバーシステム及び制御方法
WO2017111108A1 (ja) * 2015-12-25 2017-06-29 三井化学株式会社 圧電基材、圧電織物、圧電編物、圧電デバイス、力センサー、アクチュエータ、及び生体情報取得デバイス
JP2018187044A (ja) * 2017-05-02 2018-11-29 国立大学法人東京工業大学 感情推定装置、感情推定方法およびコンピュータプログラム
JP2020048674A (ja) 2018-09-25 2020-04-02 三井化学株式会社 生体情報取得方法、生体情報取得モデル学習方法、装置、及びプログラム
WO2020122135A1 (ja) * 2018-12-13 2020-06-18 テイ・エス テック株式会社 生体センサー及び乗物用シート

Also Published As

Publication number Publication date
JP2022157156A (ja) 2022-10-14
EP4318320A1 (en) 2024-02-07
KR20230146637A (ko) 2023-10-19
TW202240478A (zh) 2022-10-16

Similar Documents

Publication Publication Date Title
JP6636792B2 (ja) 刺激提示システム、刺激提示方法、コンピュータ、および制御方法
US20210000374A1 (en) System and method for instructing a behavior change in a user
JP2021027917A (ja) 情報処理装置、情報処理システム、および機械学習装置
US8751042B2 (en) Methods of robot behavior generation and robots utilizing the same
KR20050005757A (ko) 제어장치 및 제어 방법
JPH11285484A (ja) 心理状態処理方法とその装置
US11986300B2 (en) Systems and methods for estimating and predicting emotional states and affects and providing real time feedback
US20170112423A1 (en) System and Method for Stimulus Optimization Through Closed-Loop, Iterative Biological Sensor Feedback
KR102557035B1 (ko) 명상시스템 및 명상시스템의 운영방법
CN116578731B (zh) 多媒体信息处理方法、系统、计算机设备和存储介质
WO2018026980A1 (en) System and method of objectively determining a user's personal food preferences for an individualized diet plan
JP2018089091A (ja) 心理状態判定装置、心理状態判定方法、及び心理状態判定プログラム
US20160293043A1 (en) Device, system and method for providing feedback to a user relating to a behavior of the user
US20210183509A1 (en) Interactive user system and method
WO2022210084A1 (ja) モデル生成方法、コンピュータプログラム、情報処理装置、情報処理システム、情報処理方法、及び訓練データの生成方法
WO2023275975A1 (ja) 認知機能推定装置、認知機能推定方法及び記憶媒体
WO2023038559A1 (en) Methods and devices related to experience-appropriate extended reality notifications
JP2019109859A (ja) 指導支援システム、指導支援方法及び指導支援プログラム
EP3859565A1 (en) Cluster classification device, environment generating device, and environment generating system
US11291394B2 (en) System and method for predicting lucidity level
JP7408103B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2022059318A1 (ja) 睡眠ケア装置
JP7361327B2 (ja) 環境制御システム及び環境制御方法
JP7297342B1 (ja) 脳情報の分析によるレコメンデーション
WO2019045022A1 (ja) 指導支援システム、指導支援方法及び指導支援プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22780299

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20237032025

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1020237032025

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2022780299

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022780299

Country of ref document: EP

Effective date: 20231031

NENP Non-entry into the national phase

Ref country code: DE