WO2020021962A1 - 学習装置、学習方法及びコンピュータプログラム - Google Patents

学習装置、学習方法及びコンピュータプログラム Download PDF

Info

Publication number
WO2020021962A1
WO2020021962A1 PCT/JP2019/025846 JP2019025846W WO2020021962A1 WO 2020021962 A1 WO2020021962 A1 WO 2020021962A1 JP 2019025846 W JP2019025846 W JP 2019025846W WO 2020021962 A1 WO2020021962 A1 WO 2020021962A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
environment
emotion
learning
biological
Prior art date
Application number
PCT/JP2019/025846
Other languages
English (en)
French (fr)
Inventor
陽平 片山
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/261,140 priority Critical patent/US20210295214A1/en
Publication of WO2020021962A1 publication Critical patent/WO2020021962A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A61B5/022—Measuring pressure in heart or blood vessels by applying pressure to close blood vessels, e.g. against the skin; Ophthalmodynamometers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/048—Fuzzy inferencing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0242—Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0247—Pressure sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/029—Humidity sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4005—Detecting, measuring or recording for evaluating the nervous system for evaluating the sensory system
    • A61B5/4017—Evaluating sense of taste

Definitions

  • the present invention relates to a learning device, a learning method, and a computer program.
  • Reinforcement learning has been devised as a framework for generating (learning) a policy (hereinafter, referred to as a “control selection policy”) for selecting a process with a high evaluation by repeatedly evaluating the results of processes selected in the past by the own system.
  • a control selection policy for selecting a process with a high evaluation by repeatedly evaluating the results of processes selected in the past by the own system.
  • a reinforcement learning system a system that executes reinforcement learning.
  • the accuracy of the control selection policy means the probability that a process with a high evaluation is selected in the reinforcement learning system. That is, the higher the probability that a process with a high evaluation is selected and the higher the evaluation of the result of those processes, the higher the accuracy.
  • the reward is a value indicating an evaluation of a result of a process executed in the past by the reinforcement learning system.
  • evaluation criteria are clear, such as when losing or losing a game, it is easy for the reinforcement learning system to determine the value of the reward, but evaluation criteria that are close to human sensibilities are required, such as judging the quality of luxury goods In some cases, it is not easy for the reinforcement learning system to determine the value of the reward. For this reason, in the conventional reinforcement learning system, the designer of the reinforcement learning system observes the relationship between the reward and the accuracy of the control selection policy, and evaluates the learning result based on the designer's own sensibility, thereby achieving high-precision control. Generate a selection policy.
  • a designer updates a combination of a control function and a reward function that determines a reward based on a result of a process selected by an accuracy control policy, by learning.
  • a high control selection policy was generated (see FIG. 8). Therefore, the designer needs to observe the relationship between the reward and the accuracy of the control selection policy each time learning is performed until the desired control selection policy is generated, and according to the high accuracy of the control selection policy, In some cases, the designer's labor has increased.
  • the present invention provides a learning apparatus, a learning method, and a computer program that can suppress an increase in designer's labor required for generating a control selection policy in reinforcement learning that requires an evaluation criterion close to human sensitivity. Is to provide.
  • One embodiment of the present invention is a biological information acquisition unit that acquires biological information that is information indicating a biological response of a subject to a predetermined environment, and emotion information that acquires emotion information that is information indicating the emotion of the subject to the environment.
  • An acquisition unit a first environment information acquisition unit that acquires environment information that is information indicating the attribute of the environment acting on the subject, and the biological information, based on the biological information, the emotion information, and the environmental information, And a relationship information learning unit that learns a relationship between the emotion information and the environment information by machine learning.
  • One embodiment of the present invention is an output unit that operates on a predetermined environment, a control unit that controls the operation of the output unit, and a second environment information acquisition unit that acquires environment information that is information indicating an attribute of the environment.
  • Biological information that is information indicating a biological reaction of the subject to the environment, and environmental information that is information having a one-to-one relationship with the biological information and is information indicating an attribute of a predetermined environment acting on the subject.
  • Relationship information indicating a relationship between the biological information and the emotion information which is information having a one-to-one relationship with the environment and indicating the subject's emotion with respect to the environment, is stored in the own device in advance.
  • the control unit is a learning device for updating the value of the control parameter for controlling the operation of the output unit based on the value.
  • One embodiment of the present invention is a biological information acquisition unit that acquires biological information that is information indicating a biological response of a subject to a predetermined environment, and emotion information that acquires emotion information that is information indicating the emotion of the subject to the environment.
  • An acquisition unit a first environment information acquisition unit that acquires environment information that is information indicating an attribute of a predetermined environment acting on the subject, based on the biological information, the emotion information, and the environment information, The biological information, the emotion information, a relationship information learning unit that learns the relationship between the environmental information by machine learning, a control unit that controls the operation of the output unit, the biological information, Environment information and information indicating the one-to-one relationship between the emotion information and the relationship information, which is information stored in the device in advance, and the attribute of the environment acted on by the output unit Environment And a reward output unit that outputs a numerical value indicating the magnitude of the subject's emotion represented based on the emotion information, based on the information, and the control unit performs the output unit based on the numerical value.
  • One embodiment of the present invention is the learning device described above, wherein the relationship information learning unit further includes a biological information having a correlation of a predetermined strength or more between the emotion information and the emotion information. Learn the relationships between.
  • One embodiment of the present invention is a biological information obtaining step of obtaining biological information that is information indicating a biological response of a subject to a predetermined environment, and emotion information of obtaining emotion information that is information indicating the emotion of the subject to the environment.
  • a relationship information learning step of learning a relationship between the emotion information and the environment information by machine learning.
  • One aspect of the present invention is a control step of controlling an operation of an output unit acting on a predetermined environment, a second environment information obtaining step of obtaining environment information that is information indicating an attribute of the environment, and a subject for the environment.
  • Biological information which is information indicating a biological reaction
  • environmental information which is information having a one-to-one relationship with the biological information and is information indicating an attribute of a predetermined environment acting on the subject, and a pair of the biological information.
  • Relationship information indicating a relationship between the information and the emotion information that is information indicating the subject's emotion with respect to the environment, and the relationship information stored in the device in advance.
  • values of control parameters for controlling the operation of the output unit based on the number is updated, a learning method.
  • One embodiment of the present invention is a biological information obtaining step of obtaining biological information that is information indicating a biological response of a subject to a predetermined environment, and emotion information of obtaining emotion information that is information indicating the emotion of the subject to the environment.
  • An acquisition step a first environment information acquisition step of acquiring environment information that is information indicating an attribute of a predetermined environment acting on the subject, based on the biological information, the emotion information, and the environment information,
  • a relationship information learning step of learning a relationship between the biological information, the emotion information, and the environment information by machine learning, a control step of controlling an operation of an output unit acting on the environment, Information indicating the one-to-one relationship between the information, the environmental information, and the emotion information, the relationship information being information stored in the device in advance, and the output
  • a reward output step of outputting a numerical value indicating the magnitude of the subject's emotion represented based on the emotion information, based on the environment information indicating the attribute of the environment acted on by the control,
  • One embodiment of the present invention is a computer program for causing a computer to function as the learning device.
  • FIG. 1 is a diagram illustrating a specific example of a system configuration of a learning system 1 according to a first embodiment.
  • 5 is a flowchart showing a specific processing flow of the first learning device 10 according to the first embodiment.
  • 5 is a flowchart illustrating a specific processing flow of a second learning device 20 according to the first embodiment.
  • 9 is a flowchart illustrating a specific processing flow of a third learning device 30 according to the second embodiment.
  • FIG. 1 is a diagram illustrating a specific example of a system configuration of a learning system 1 according to the first embodiment.
  • the learning system 1 includes a first learning device 10 and a second learning device 20.
  • the first learning device 10 acquires environment information, biological information, and emotion information.
  • the environment information is information indicating an attribute of a predetermined environment acting on the subject of the learning system 1.
  • the biological information is information indicating a biological response of the subject to a predetermined environment.
  • the emotion information is information indicating the subject's emotion with respect to the environment.
  • the first learning device 10 learns the relationship between environmental information, biological information, and emotion information based on the acquired environmental information, biological information, and emotion information. Note that the environmental information, the biological information, and the emotion information have a one-to-one relationship.
  • the predetermined environment acting on the subject may be any environment.
  • the predetermined environment acting on the subject may be, for example, air around the subject.
  • the predetermined environment acting on the subject may be, for example, cooking.
  • the emotion information may indicate any emotion.
  • the emotion information may be information indicating likes and dislikes, for example.
  • the first learning device 10 outputs to the second learning device 20 information indicating the relationship between the environmental information, the biological information, and the emotion information, which is a learning result (hereinafter, referred to as “relationship information”).
  • the relationship information is an example of a reward function.
  • the second learning device 20 acts on the environment. To act on the environment specifically means that the second learning device 20 changes the environment.
  • the second learning device 20 stores the relationship information learned by the first learning device 10 in advance.
  • the second learning device 20 stores the reinforcement learning data.
  • the reinforcement learning data is a value of a control parameter for controlling an operation of the second learning device 20 acting on the environment.
  • the reinforcement learning data is a value that is updated by the second learning device 20 at a predetermined timing.
  • the second learning device 20 acquires environment information.
  • the second learning device 20 updates the reinforcement learning data based on the acquired environment information, relationship information, and the current value of the reinforcement learning data.
  • the second learning device 20 performs a predetermined operation according to the reinforcement learning data, and acts on the environment. Note that the current value means a value immediately before updating.
  • the predetermined operation according to the reinforcement learning data which is a predetermined operation acting on the environment, is referred to as an operation operation.
  • the first learning device 10 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a first auxiliary storage device 101, and the like connected by a bus, and executes a program.
  • the first learning device 10 functions as a device including the biological information acquisition unit 102, the first input transducer 103, the emotion information acquisition unit 104, and the relationship information learning unit 105 by executing a program.
  • the first auxiliary storage device 101 is configured using a storage device such as a magnetic hard disk device or a semiconductor storage device.
  • the first auxiliary storage device 101 stores the relationship information.
  • the relationship information is, for example, information indicating a relationship between numerical environment information, numerical biological information, and numerical emotion information, and is a predetermined monomial or polynomial
  • the first auxiliary storage device 101 stores the predetermined monomial.
  • a polynomial or a coefficient of a predetermined mononomial or polynomial is stored.
  • the numerical environment information is a value representing the content indicated by the environment information according to a predetermined rule.
  • the numerical biometric information is a value representing the content indicated by the biometric information according to a predetermined rule.
  • the numerical emotion information is a numerical value indicating the magnitude of the emotion of the subject expressed based on the emotion information according to a predetermined rule. In the numerical emotion information, for example, likes are represented by +1 and dislikes are represented by ( ⁇ 1).
  • the biological information acquisition unit 102 acquires biological information.
  • the biological information acquisition unit 102 may be any type as long as it can acquire predetermined information on a biological reaction of the subject.
  • the biological information acquisition unit 102 may be a thermometer, for example, if the predetermined information on the biological reaction is information indicating a change in body temperature.
  • the biological information acquisition unit 102 may be a camera, for example, if the predetermined information on the biological reaction is information indicating the degree of opening of the pupil.
  • the biological information acquisition unit 102 may be, for example, a taste sensor if the predetermined information on the biological reaction is information on taste.
  • the biological information acquisition unit 102 may be, for example, an electroencephalograph if the predetermined information on the biological reaction is information indicating an electroencephalogram.
  • the biological information acquisition unit 102 may be, for example, a sphygmomanometer if the predetermined information on the biological reaction is information indicating a change in blood pressure.
  • the biological information acquisition unit 102 may be, for example, an eye movement measuring device if the predetermined information on the biological reaction is information on eye movement.
  • the biological information acquisition unit 102 may be, for example, a heart rate monitor if the predetermined information regarding the biological reaction is information indicating a heart rate.
  • the biological information acquisition unit 102 generates a signal indicating the acquired biological information.
  • the signal generated by the biological information acquisition unit 102 may be any signal as long as it is a signal indicating the acquired biological information, and may be an electric signal or an optical signal.
  • the first input transducer 103 acquires environment information.
  • the first input transducer 103 may be of any type as long as it can acquire predetermined information on the environment acting on the subject.
  • the first input transducer 103 may be, for example, a thermometer if the predetermined information on the environment is information indicating air temperature.
  • the first input transducer 103 may be, for example, a pressure gauge if the predetermined information on the environment is information indicating atmospheric pressure.
  • the first input transducer 103 may be a hygrometer, for example, if the predetermined information regarding the environment is information indicating humidity.
  • the first input transducer 103 may be, for example, a salt concentration meter if the environment is cooking and the predetermined information on the environment is a salt concentration.
  • the first input transducer 103 may be, for example, a sugar meter if the environment is cooking and the predetermined information on the environment is a sugar content.
  • the first input transducer 103 generates a signal indicating the acquired environment information.
  • the signal generated by the first input transducer 103 may be any signal as long as the signal indicates the acquired environmental information, and may be an electric signal or an optical signal.
  • Emotion information acquisition section 104 acquires emotion information.
  • the emotion information acquisition unit 104 includes an input device such as a mouse, a keyboard, and a touch panel.
  • the emotion information acquisition unit 104 may be configured as an interface that connects these input devices to the own device.
  • Emotion information acquisition section 104 accepts input of emotion information to its own device.
  • the relationship information learning unit 105 learns relationship information by machine learning based on biological information, environmental information, and emotion information. That the relationship information learning unit 105 learns the relationship information by machine learning means that, specifically, the relationship information is information indicating a relationship between numerical environment information, numerical biological information, and numerical emotion information. In the case of a predetermined monomial or polynomial, it means that the relationship information learning section 105 determines the coefficient of the monomial or polynomial by machine learning based on the numerical environment information, the numerical biometric information, and the numerical emotion information.
  • the numerical environment information may be obtained in any manner based on the environment information.
  • the numerical environment information may be obtained by, for example, digitizing the content indicated by the environment information by the first input transducer 103 according to a predetermined rule.
  • the numerical biological information may be obtained in any manner based on the biological information.
  • the numerical biometric information may be acquired, for example, by the biometric information acquisition unit 102 quantifying the content indicated by the biometric information according to a predetermined rule.
  • the numerical emotion information may be obtained in any manner based on the emotion information.
  • the numerical emotion information may be acquired, for example, by the emotion information acquiring unit 104 quantifying the content indicated by the emotion information according to a predetermined rule.
  • the second learning device 20 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a second auxiliary storage device 201, and the like connected by a bus, and executes a program.
  • the second learning device 20 functions as a device including a second input transducer 202, an output transducer 203, a reward output unit 204, and a learning control unit 205 by executing a program.
  • the second auxiliary storage device 201 is configured using a storage device such as a magnetic hard disk device or a semiconductor storage device.
  • the second auxiliary storage device 201 stores the relationship information, the control selection policy, and the reinforcement learning data.
  • the control selection policy is a program that causes the second learning device 20 to execute an operation corresponding to the current value of the reinforcement learning data using the current value of the reinforcement learning data.
  • the control selection policy may be any program as long as the program causes the second learning device 20 to execute the action corresponding to the current value of the reinforcement learning data.
  • the control selection policy may be, for example, a conversion formula for converting the current value of the reinforcement learning data into a control parameter for controlling the output transducer 203 described later. In such a case, the conversion formula is, for example, a monomial or a polynomial using the reinforcement learning data as a coefficient.
  • the second input transducer 202 acquires environment information.
  • the second input transducer 202 may be any type as long as the environment information acquired by the first input transducer 103 can be acquired.
  • the second input transducer may be any type as long as it can acquire information indicating the temperature.
  • the first input transducer 103 is a pressure gauge
  • the second input transducer may be any type as long as it can acquire information indicating the atmospheric pressure.
  • the first input transducer 103 is a salinity meter
  • the second input transducer may be of any type as long as it can acquire information indicating the salinity.
  • the second input transducer may be of any type as long as it can acquire information indicating the refractoriness.
  • the second input transducer 202 generates a signal indicating the acquired environment information.
  • the signal generated by the second input transducer 202 may be any signal as long as it is a signal indicating the acquired environmental information, and may be an electric signal or an optical signal.
  • the output transducer 203 acts on the environment by executing a predetermined operation according to the current value of the reinforcement learning data under the control of the learning control unit 205 described later. To act on the environment specifically means to change the environment.
  • the output transducer 203 may be of any type as long as it can execute a predetermined operation according to the current value of the reinforcement learning data.
  • the output transducer 203 may be a driving device such as a motor, an air conditioner, or an actuator such as a printer.
  • the output transducer 203 may be, for example, an output interface such as a light emitting device such as a display or a lighting device, an odor generating device, a speaker, a haptic device, or a vibration generating device.
  • the reward output unit 204 outputs a reward based on the environment information acquired by the second input transducer 202 and the relationship information.
  • the reward is a value indicating the magnitude of the emotion represented by the emotion information associated with the environment information acquired by the second input transducer 202 by the relationship information (ie, numerical emotion information).
  • the learning control unit 205 updates the reinforcement learning data stored in the second auxiliary storage device 201 based on the environment information, the reward, and the current value of the reinforcement learning data. Specifically, the learning control unit 205 updates the reinforcement learning data so that the reward does not become small as a result of the action according to the updated reinforcement learning data.
  • the learning control unit 205 can update the reinforcement learning data based on the environmental information, the reward, and the current value of the reinforcement learning data, so that the reward does not decrease as a result of the action operation according to the updated reinforcement learning data. If so, the reinforcement learning data may be updated by any method.
  • the learning control unit 205 may update the reinforcement learning data with a value determined by Q learning using the ⁇ -greedy method, for example.
  • Updating of the reinforcement learning data by the learning control unit 205 means that the accuracy of the control selection policy is not reduced. Further, the learning control unit 205 controls the operation of the output transducer 203 based on the control selection policy and the current value of the reinforcement learning data.
  • FIG. 2 is a flowchart illustrating a specific processing flow of the first learning device 10 according to the first embodiment.
  • the biological information acquiring unit 102 acquires biological information
  • the first input transducer 103 acquires environmental information
  • the emotion information acquiring unit 104 acquires emotion information (step S101).
  • the relationship information learning unit 105 learns the relationship between the biological information, the environment information, and the emotion information by machine learning based on the biological information, the environment information, and the emotion information (Step S102). Steps S101 to S102 are repeated a predetermined number of times.
  • FIG. 3 is a flowchart illustrating a specific processing flow of the second learning device 20 according to the first embodiment.
  • the output transducer 203 acts on the environment under the control of the learning control unit 205 based on the reinforcement learning data stored in the second auxiliary storage device 201 and the control selection policy (step S201).
  • the second input transducer 202 acquires environment information (Step S202).
  • the reward output unit 204 outputs a reward based on the environment information acquired by the second input transducer 202 and the relationship information (Step S203).
  • the learning control unit 205 updates the reinforcement learning data based on the environment information, the reward, and the reinforcement learning data at the time of step S201 (step S204). After step S204, the processes of steps S201 to S204 are repeated a predetermined number of times.
  • FIG. 4 is a diagram illustrating an application example when the learning system 1 of the first embodiment is applied to cooking learning by a cooking robot. 4, components having the same functions as those in FIG. 1 are denoted by the same reference numerals.
  • an electroencephalograph is a specific example of the biological information acquisition unit 102.
  • the taste sensor in the first learning device is a specific example of the first input transducer 103.
  • the food / dish represents a food or a dish, and is a specific example of an environment.
  • the component information is a specific example of environment information.
  • the component information is information on a component of a dish such as a salt concentration and a sugar content.
  • the taste in the first learning device is a specific example of the operation.
  • the cooking robot is a specific example of the output transducer 203.
  • the cooking operation control is a specific example of the control.
  • cooking is a specific example of the operation of the second learning device.
  • the taste sensor in the second learning device is a specific example of the second input transducer.
  • the first learning device acquires, with an electroencephalograph, an electroencephalogram, which is biological information when a person (subject) who tastes a food / dish is tasted.
  • the first learning device analyzes a component of a food / cook with a taste sensor and acquires an analysis result.
  • the first learning device acquires, by the emotion information acquisition unit 104, emotion information indicating that a person (subject) who tastes the food / dish indicates that he / she likes or dislikes cooking.
  • the first learning device is a person (test subject) who tastes a food / cook based on the brain waves acquired by the electroencephalograph, the salt concentration acquired by the taste sensor, and the emotion information indicating likes and dislikes acquired by the emotion information acquisition unit 104. Learn the relationship between taste preferences in (2) by machine learning.
  • the second learning device uses the learning learned by the first learning device, the cooking by the cooking robot, and the tasting by the taste sensor to machine a reinforcement learning parameter that increases the reward. Learn by learning.
  • the learning system 1 includes the first learning device 10 that determines relationship information (ie, a reward function) including emotion information. Furthermore, in the learning system 1 of the first embodiment configured as described above, the second learning device 20 is configured to execute the control selection policy based on the relationship information without the intervention of the designer of the first learning device 10. Improve the accuracy of. Therefore, it is possible to suppress an increase in the designer's labor involved in improving the accuracy of the control selection policy.
  • FIG. 5 is a diagram illustrating a specific example of a system configuration of the learning system 1a according to the second embodiment.
  • the learning system 1a includes a third learning device 30.
  • the third learning device 30 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a third auxiliary storage device 301 and a fourth auxiliary storage device 302 connected by a bus, and executes a program.
  • the first learning device 10 causes the biological information acquisition unit 102, the first input transducer 103, the emotion information acquisition unit 104, the relationship information learning unit 105, the output transducer 203, the reward output unit 204a, and the learning control unit 205a to execute by executing the program.
  • the third auxiliary storage device 301 is configured using a storage device such as a magnetic hard disk device or a semiconductor storage device.
  • the third auxiliary storage device 301 stores the relationship information.
  • the relationship information is information indicating a relationship between biological information, environmental information, and emotion information.
  • the fourth auxiliary storage device 302 is configured using a storage device such as a magnetic hard disk device or a semiconductor storage device.
  • the fourth auxiliary storage device 302 stores the reinforcement learning data and the control selection policy.
  • the reward output unit 204a outputs a reward based on the environment information acquired by the first input transducer 103 and the relationship information.
  • the reward in the second embodiment is a value representing the magnitude of the emotion represented by the emotion information associated with the environment information acquired by the first input transducer 103 by the relationship information (ie, numerical emotion information). .
  • the learning control unit 205a updates the reinforcement learning data stored in the fourth auxiliary storage device 302 based on the environment information, the reward, and the current value of the reinforcement learning data. Specifically, the learning control unit 205a updates the reinforcement learning data so that the reward does not decrease as a result of the action according to the updated reinforcement learning data.
  • the learning control unit 205a can update the reinforcement learning data based on the environmental information, the reward, and the current value of the reinforcement learning data, so that the reward does not decrease as a result of the action according to the updated reinforcement learning data. If so, the reinforcement learning data may be updated by any method. For example, the learning control unit 205a may update the reinforcement learning data with a value determined by Q learning using the ⁇ -greedy method.
  • Updating of the reinforcement learning data by the learning control unit 205a means that the accuracy of the control selection policy is not reduced.
  • the learning control unit 205a controls the operation of the output transducer 203 based on the control selection policy and the current value of the reinforcement learning data. Further, the learning control unit 205a outputs the updated reinforcement learning data to the relationship information learning unit 105.
  • FIG. 6 is a flowchart illustrating a specific processing flow of the third learning device 30 according to the second embodiment.
  • the relationship information learning unit 105 performs machine learning on the relationship between the biological information, the environment information, the emotion information, and the reinforcement learning data based on the biological information, the environment information, the emotion information, and the reinforcement learning data. Learning (step S102a).
  • step S201 is executed.
  • step S201 the first input transducer 103 acquires environment information (step S202a).
  • the reward output unit 204a outputs a reward based on the relationship acquired in step S102a (step S203a).
  • the learning control unit 205a updates the reinforcement learning data based on the environment information, the reward, and the reinforcement learning data at the time of Step S201 (Step S204a). After step S204, the processing of steps S101 to S204a of FIG. 6 is repeated a predetermined number of times.
  • FIG. 7 is a diagram illustrating an application example when the learning system 1a according to the second embodiment is applied to learning of control of a display screen by an image display device.
  • the electroencephalograph is a specific example of the biological information acquisition unit 102.
  • the ear-hook type eye camera in the third learning device is a specific example of the first input transducer 103.
  • the ear-hook type gaze camera acquires visual information equivalent to the gaze of the subject by being hung on the subject's ear.
  • the display image is a specific example of the environment.
  • FIG. 7 the application example of FIG.
  • the visual information is a specific example of environmental information.
  • light is a specific example of the effect on the subject from the environment.
  • Light indicates that light of the display screen is incident on the user's eyes.
  • the display is a specific example of the output transducer 203.
  • the display control is a specific example of the control.
  • the display is a specific example of the action of the output transducer 203 on the environment.
  • the third learning device acquires an electroencephalogram, which is biological information of a person (subject) at a position where the display image can be viewed, using an electroencephalograph.
  • the third learning device acquires, as visual information, a display image that is ahead of the subject's line of sight using the ear-hook type eye camera.
  • the third learning device acquires the emotion information indicating the likes and dislikes of the person (subject) at the position where the display image can be viewed by the emotion information acquisition unit 104.
  • the third learning device controls the selection of the output image based on the electroencephalogram acquired by the electroencephalograph, the visual information acquired by the ear-hook gaze camera, and the emotion information indicating the dislike or dislike acquired by the emotion information acquisition unit 104. Perform reinforcement learning.
  • the learning system 1a includes a biological information acquisition unit 102, a first input transducer 103, an emotion information acquisition unit 104, a relationship information learning unit 105, an output transducer 203, and a reward output unit 204. And a learning control unit 205a. Therefore, it is possible to suppress an increase in the designer's labor involved in improving the accuracy of the control selection policy.
  • the learning system 1 of the first embodiment or the learning system 1a of the second embodiment learns a fir mode and a fir position by reinforcement learning in accordance with the hardness of each part of the subject's body and the state of brain waves.
  • the present invention may be applied to an apparatus for performing the above.
  • the output transducer 203 is a massage chair
  • the first input transducer 103 and the second input transducer 202 are force sensors.
  • the learning system 1 and the learning system 1a may perform optimization such as classification of learning data using identification information of the subject, feature amounts of the subject, time, positioning information, and the like.
  • the first learning device 10 may be a device configured with one housing, or may be a device configured with being divided into a plurality of housings. In the case where the first learning device 10 is configured by being divided into a plurality of housings, some functions of the first learning device 10 described above may be mounted at physically separated positions via a network.
  • the second learning device 20 may be a device configured with one housing, or may be a device configured with being divided into a plurality of housings. When configured to be divided into a plurality of housings, some of the functions of the second learning device 20 described above may be implemented at physically separated positions via a network.
  • the third learning device 30 may be a device configured with one housing, or may be a device configured with being divided into a plurality of housings. When configured to be divided into a plurality of housings, some of the functions of the third learning device 30 described above may be mounted at physically distant positions via a network.
  • first learning device 10 and the second learning device 20 do not need to be configured as separate devices, respectively, and two may be configured in one housing.
  • the third learning device may include the third auxiliary storage device 301 and the fourth auxiliary storage device 302 as different functional units, and one auxiliary storage for storing the relationship information, the reinforcement learning data, and the control selection policy. It may be provided as a device.
  • each function of the first learning device 10, the second learning device 20, and the third learning device 30 includes an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), and an FPGA (Field Programmable Gate Array). ) May be implemented using hardware such as
  • the program may be recorded on a computer-readable recording medium.
  • the computer-readable recording medium is, for example, a portable medium such as a flexible disk, a magneto-optical disk, a ROM, a CD-ROM, or a storage device such as a hard disk built in a computer system.
  • the program may be transmitted via a telecommunication line.
  • the relationship information learning unit 105 may further learn the relationship between the biological information having a predetermined strength or more and the emotion information and the emotion information.
  • the learning control units 205 and 205a are examples of a control unit.
  • the first learning device 10, the second learning device 20, and the third learning device 30 are examples of a learning device.
  • the first input transducer 103 is an example of a first environment information acquisition unit.
  • the second input transducer 202 is an example of a second environment information acquisition unit.
  • the output transducer 203 is an example of an output unit.
  • Reference Signs List 1 learning system # 1a learning system, # 10 first learning device, # 20 second learning device, # 30 third learning device, # 101 first auxiliary storage device, # 102 biological information acquisition unit, # 103 first Input transducer, # 104: emotion information acquisition unit, # 105: relationship information learning unit, # 201: second auxiliary storage device, # 202: second input transducer, # 203: output transducer, # 204: reward output unit, # 205: learning control unit 301: third auxiliary storage device, # 302: fourth auxiliary storage device, # 204a: reward output unit, # 205a: learning control unit

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Fuzzy Systems (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Social Psychology (AREA)
  • Physiology (AREA)
  • Vascular Medicine (AREA)
  • Cardiology (AREA)
  • Signal Processing (AREA)
  • Ophthalmology & Optometry (AREA)
  • Automation & Control Theory (AREA)
  • Computational Linguistics (AREA)

Abstract

所定の環境に対する被験者の生体反応を示す情報である生体情報を取得する生体情報取得部と、前記環境に対する前記被験者の感情を示す情報である感情情報を取得する感情情報取得部と、前記被験者に作用する前記環境の属性を示す情報である環境情報を取得する第１環境情報取得部と、前記生体情報、前記感情情報及び前記環境情報に基づいて、前記生体情報と、前記感情情報と、前記環境情報との間の関係性を機械学習によって学習する関係性情報学習部と、を備える学習装置である。

Description

学習装置、学習方法及びコンピュータプログラム
　本発明は、学習装置、学習方法及びコンピュータプログラムに関する。
　自システムが過去に選択した処理の結果を繰り返し評価することにより、評価の高い処理を選択するポリシー（以下「制御選択ポリシー」という。）を生成（学習）する枠組みとして、強化学習が考案されている（非特許文献１参照）。以下、強化学習を実行するシステムを強化学習システムという。強化学習において、制御選択ポリシーの精度を高めるためには、強化学習システムによる学習回数を増やす必要がある。なお、制御選択ポリシーの精度とは、強化学習システムにおいて評価の高い処理が選択される確率を意味する。
すなわち、評価の高い処理が選択される確率が高いほど、かつ、それらの処理の結果に対する評価が高いほど、精度が高いことを意味する。
牧野貴樹、他、「これからの強化学習」、森北出版、２０１６年１０月３１日第１版第１刷発行
　一般に、強化学習においては、報酬と言われる値が存在する。報酬は、強化学習システムが過去に実行した処理の結果に対する評価を示す値である。ゲームの勝ち負けのように評価基準が明確な場合、強化学習システムが報酬の値を決定することは容易であるが、嗜好品の良し悪しの判定のようにヒトの感性に近い評価基準が求められる場合には強化学習システムが報酬の値を決定することは容易でない。そのため、従来の強化学習システムでは、強化学習システムの設計者が報酬と制御選択ポリシーの精度との関係を観測し、設計者自身の感性に基づいて学習結果を評価することによって、精度の高い制御選択ポリシーを生成する。より具体的には、従来の強化学習システムでは、設計者が、精度の制御選択ポリシーによって選択された処理の結果に基づいて報酬を決める報酬関数と、制御選択ポリシーとの組み合わせを学習によって更新することで、高い制御選択ポリシーが生成されていた（図８参照）。そのため、設計者は、所望の制御選択ポリシーが生成されるまで、学習のたびに報酬と制御選択ポリシーの精度との関係を観測する必要があり、制御選択ポリシーの精度の高さに応じて、設計者の労力が増大する場合があった。
　上記事情に鑑み、本発明は、ヒトの感性に近い評価基準が求められる強化学習において、制御選択ポリシーの生成に要する設計者の労力の増大を抑制することができる学習装置、学習方法及びコンピュータプログラムを提供することにある。
　本発明の一態様は、所定の環境に対する被験者の生体反応を示す情報である生体情報を取得する生体情報取得部と、前記環境に対する前記被験者の感情を示す情報である感情情報を取得する感情情報取得部と、前記被験者に作用する前記環境の属性を示す情報である環境情報を取得する第１環境情報取得部と、前記生体情報、前記感情情報及び前記環境情報に基づいて、前記生体情報と、前記感情情報と、前記環境情報との間の関係性を機械学習によって学習する関係性情報学習部と、を備える学習装置である。
　本発明の一態様は、所定の環境に作用する出力部と、前記出力部の動作を制御する制御部と、前記環境の属性を示す情報である環境情報を取得する第２環境情報取得部と、前記環境に対する被験者の生体反応を示す情報である生体情報と、前記生体情報と一対一の関係にある情報であって前記被験者に作用する所定の環境の属性を示す情報である環境情報と、前記生体情報と一対一の関係にある情報であって前記環境に対する前記被験者の感情を示す情報である感情情報と、の間の関係性を示す関係性情報であって、予め自装置に記憶された前記関係性情報と、前記出力部によって作用された前記環境の属性を示す環境情報とに基づいて、前記感情情報に基づいて表される前記被験者の感情の大きさを示す数値を出力する報酬出力部と、を備え、前記制御部は、前記数値に基づいて前記出力部の動作を制御するための制御パラメータの値を更新する学習装置である。
　本発明の一態様は、所定の環境に対する被験者の生体反応を示す情報である生体情報を取得する生体情報取得部と、前記環境に対する前記被験者の感情を示す情報である感情情報を取得する感情情報取得部と、前記被験者に作用する所定の環境の属性を示す情報である環境情報を取得する第１環境情報取得部と、前記生体情報と、前記感情情報と、前記環境情報とに基づいて、前記生体情報と、前記感情情報と、前記環境情報との間の関係性を機械学習によって学習する関係性情報学習部と、前記出力部の動作を制御する制御部と、前記生体情報と、前記環境情報と、前記感情情報と、の間の一対一の関係性を示す情報であって、予め自装置に記憶された情報である関係性情報と、前記出力部によって作用された前記環境の属性を示す環境情報とに基づいて、前記感情情報に基づいて表される前記被験者の感情の大きさを示す数値を出力する報酬出力部と、を備え、前記制御部は、前記数値に基づいて、前記出力部の動作を制御するための制御パラメータの値を更新する学習装置である。
　本発明の一態様は、上記の学習装置であって、前記関係性情報学習部は、さらに、前記感情情報との間に所定の強さ以上の相関がある前記生体情報と、前記感情情報との間の関係性を学習する。
　本発明の一態様は、所定の環境に対する被験者の生体反応を示す情報である生体情報を取得する生体情報取得ステップと、前記環境に対する前記被験者の感情を示す情報である感情情報を取得する感情情報取得ステップと、前記被験者に作用する前記環境の属性を示す情報である環境情報を取得する第１環境情報取得ステップと、前記生体情報、前記感情情報及び前記環境情報に基づいて、前記生体情報と、前記感情情報と、前記環境情報との間の関係性を機械学習によって学習する関係性情報学習ステップと、を有する学習方法である。
　本発明の一態様は、所定の環境に作用する出力部の動作を制御する制御ステップと、前記環境の属性を示す情報である環境情報を取得する第２環境情報取得ステップと、前記環境に対する被験者の生体反応を示す情報である生体情報と、前記生体情報と一対一の関係にある情報であって前記被験者に作用する所定の環境の属性を示す情報である環境情報と、前記生体情報と一対一の関係にある情報であって前記環境に対する前記被験者の感情を示す情報である感情情報と、の間の関係性を示す関係性情報であって、予め自装置に記憶された前記関係性情報と、前記出力部によって作用された前記環境の属性を示す環境情報とに基づいて、前記感情情報に基づいて表される前記被験者の感情の大きさを示す数値を出力する報酬出力ステップと、を有し、前記制御ステップにおいて、前記数値に基づいて前記出力部の動作を制御するための制御パラメータの値が更新される、学習方法である。
　本発明の一態様は、所定の環境に対する被験者の生体反応を示す情報である生体情報を取得する生体情報取得ステップと、前記環境に対する前記被験者の感情を示す情報である感情情報を取得する感情情報取得ステップと、前記被験者に作用する所定の環境の属性を示す情報である環境情報を取得する第１環境情報取得ステップと、前記生体情報と、前記感情情報と、前記環境情報とに基づいて、前記生体情報と、前記感情情報と、前記環境情報との間の関係性を機械学習によって学習する関係性情報学習ステップと、前記環境に作用する出力部の動作を制御する制御ステップと、前記生体情報と、前記環境情報と、前記感情情報と、の間の一対一の関係性を示す情報であって、予め自装置に記憶された情報である関係性情報と、前記出力部によって作用された前記環境の属性を示す環境情報とに基づいて、前記感情情報に基づいて表される前記被験者の感情の大きさを示す数値を出力する報酬出力ステップと、を有し、前記制御ステップにおいて、前記数値に基づいて、前記出力部の動作を制御するための制御パラメータの値が更新される、学習方法である。
　本発明の一態様は、上記の学習装置としてコンピュータを機能させるためのコンピュータプログラムである。
　本発明により、ヒトの感性に近い評価基準が求められる場合に、制御選択ポリシーの生成に要する設計者の労力の増大を抑制することが可能となる。
第１の実施形態の学習システム１のシステム構成の具体例を示す図。 第１の実施形態における第１学習装置１０の具体的な処理の流れを示すフローチャート。 第１の実施形態における第２学習装置２０の具体的な処理の流れを示すフローチャート。 第１の実施形態の学習システム１を料理ロボットによる料理の学習に適用した場合の適用例を示す図。 第２の実施形態の学習システム１ａのシステム構成の具体例を示す図。 第２の実施形態における第３学習装置３０の具体的な処理の流れを示すフローチャート。 第２の実施形態の学習システム１ａを、画像表示装置による表示画面の制御の学習に適用した場合の適用例を示す図。 従来例の学習システムの具体例を示す図。
（第１の実施形態）
　図１は、第１の実施形態の学習システム１のシステム構成の具体例を示す図である。
　学習システム１は、第１学習装置１０及び第２学習装置２０を備える。
　第１学習装置１０は、環境情報、生体情報及び感情情報を取得する。環境情報は、学習システム１の被験者に作用する所定の環境の属性を示す情報である。生体情報は、所定の環境に対する被験者の生体反応を示す情報である。感情情報は、環境に対する被験者の感情を示す情報である。
　第１学習装置１０は、取得した環境情報、生体情報及び感情情報に基づいて、環境情報と生体情報と感情情報との間の関係性を学習する。なお、環境情報と、生体情報と、感情情報とは一対一の関係にある。
　なお、被験者に作用する所定の環境は、どのような環境であってもよい。被験者に作用する所定の環境は、例えば、被験者の周囲の空気であってもよい。被験者に作用する所定の環境は、例えば、料理であってもよい。感情情報は、どのような感情を示してもよい。
感情情報は、例えば、好き嫌いを示す情報であってもよい。
　第１学習装置１０は、学習結果である、環境情報と生体情報と感情情報との間の関係性を示す情報（以下「関係性情報」という。）を第２学習装置２０に出力する。なお、関係性情報は、報酬関数の一例である。
　第２学習装置２０は、環境に作用する。環境に作用するとは、具体的には、第２学習装置２０が環境に変化を与えることを意味する。第２学習装置２０は、予め、第１学習装置１０が学習した関係性情報を記憶する。第２学習装置２０は、強化学習データを記憶する。強化学習データは、第２学習装置２０による環境に作用する動作を制御する制御パラメータの値である。強化学習データは、第２学習装置２０によって所定のタイミングに更新される値である。
　第２学習装置２０は、環境情報を取得する。第２学習装置２０は、取得した環境情報と、関係性情報と、強化学習データの現在値とに基づいて、強化学習データを更新する。第２学習装置２０は、強化学習データに応じた所定の動作を実行し、環境に作用する。なお、現在値は、更新直前の値を意味する。以下、強化学習データに応じた所定の動作であって、環境に作用する所定の動作を作用動作という。
　第１学習装置１０は、バスで接続されたＣＰＵ（Central Processing Unit）やＲＡＭ（Random Access Memory）や第１補助記憶装置１０１などを備え、プログラムを実行する。第１学習装置１０は、プログラムの実行によって生体情報取得部１０２、第１入力トランスデューサ１０３、感情情報取得部１０４及び関係性情報学習部１０５を備える装置として機能する。
　第１補助記憶装置１０１は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。第１補助記憶装置１０１は関係性情報を記憶する。関係性情報が、例えば、数値環境情報、数値生体情報及び数値感情情報の間の関係性を表す情報であって、所定の単項式又は多項式である場合、第１補助記憶装置１０１は、所定の単項式又は多項式や、所定の単項式又は多項式の係数を記憶する。数値環境情報は、所定の規則によって環境情報が示す内容を表す値である。数値生体情報は、所定の規則によって生体情報が示す内容を表す値である。数値感情情報は、所定の規則によって感情情報に基づいて表される被験者の感情の大きさを示す数値である。数値感情情報は、例えば、好きを＋１で表し、嫌いを（－１）で表す。
　生体情報取得部１０２は、生体情報を取得する。生体情報取得部１０２は、被験者の生体反応に関する所定の情報を取得可能であればどのようなものであってもよい。生体情報取得部１０２は、例えば、生体反応に関する所定の情報が体温の変化を示す情報であれば、体温計であってもよい。生体情報取得部１０２は、例えば、生体反応に関する所定の情報が瞳孔の開き具合を示す情報であれば、カメラであってもよい。生体情報取得部１０２は、例えば、生体反応に関する所定の情報が味覚に関する情報であれば、味覚センサであってもよい。生体情報取得部１０２は、例えば、生体反応に関する所定の情報が脳波を示す情報であれば、脳波計であってもよい。生体情報取得部１０２は、例えば、生体反応に関する所定の情報が血圧の変化を示す情報であれば、血圧計であってもよい。生体情報取得部１０２は、例えば、生体反応に関する所定の情報が眼球運動に関する情報であれば、眼球運動計測器であってもよい。生体情報取得部１０２は、例えば、生体反応に関する所定の情報が心拍数を示す情報であれば、心拍計であってもよい。
　生体情報取得部１０２は、取得した生体情報を示す信号を生成する。生体情報取得部１０２が生成する信号は、取得した生体情報を示す信号であればどのような信号であってもよく、電気信号であってもよいし、光信号であってもよい。
　第１入力トランスデューサ１０３は、環境情報を取得する。第１入力トランスデューサ１０３は、被験者に作用する環境に関する所定の情報を取得可能であればどのようなものであってもよい。第１入力トランスデューサ１０３は、例えば、環境に関する所定の情報が気温を示す情報であれば、温度計であってもよい。第１入力トランスデューサ１０３は、例えば、環境に関する所定の情報が気圧を示す情報であれば、圧力計であってもよい。
第１入力トランスデューサ１０３は、例えば、環境に関する所定の情報が湿度を示す情報であれば、湿度計であってもよい。第１入力トランスデューサ１０３は、例えば、環境が料理であって、環境に関する所定の情報が塩分濃度であれば、塩分濃度計であってもよい。第１入力トランスデューサ１０３は、例えば、環境が料理であって、環境に関する所定の情報が糖度であれば、糖度計であってもよい。
　第１入力トランスデューサ１０３は、取得した環境情報を示す信号を生成する。第１入力トランスデューサ１０３が生成する信号は、取得した環境情報を示す信号であればどのような信号であってもよく、電気信号であってもよいし、光信号であってもよい。
　感情情報取得部１０４は、感情情報を取得する。感情情報取得部１０４は、マウスやキーボード、タッチパネル等の入力装置を含んで構成される。感情情報取得部１０４は、これらの入力装置を自装置に接続するインタフェースとして構成されてもよい。感情情報取得部１０４は、自装置に対する感情情報の入力を受け付ける。
　関係性情報学習部１０５は、生体情報、環境情報及び感情情報に基づいて、関係性情報を機械学習によって学習する。関係性情報学習部１０５が関係性情報を機械学習によって学習するとは、具体的には、関係性情報が、数値環境情報、数値生体情報及び数値感情情報の間の関係性を表す情報であって所定の単項式又は多項式である場合に、数値環境情報、数値生体情報及び数値感情情報に基づいて、関係性情報学習部１０５が単項式又は多項式の係数を機械学習によって決定することを意味する。
　なお、数値環境情報は、環境情報に基づいてどのように取得されてもよい。数値環境情報は、例えば、第１入力トランスデューサ１０３によって環境情報が示す内容が所定の規則によって数値化されることで取得されてもよい。
　なお、数値生体情報は、生体情報に基づいてどのように取得されてもよい。数値生体情報は、例えば、生体情報取得部１０２によって生体情報が示す内容が所定の規則によって数値化されることで取得されてもよい。
　なお、数値感情情報は、感情情報に基づいてどのように取得されてもよい。数値感情情報は、例えば、感情情報取得部１０４によって感情情報が示す内容が所定の規則によって数値化されることで取得されてもよい。
　第２学習装置２０は、バスで接続されたＣＰＵ（Central Processing Unit）やＲＡＭ（Random Access Memory）や第２補助記憶装置２０１などを備え、プログラムを実行する。第２学習装置２０は、プログラムの実行によって第２入力トランスデューサ２０２、出力トランスデューサ２０３、報酬出力部２０４及び学習制御部２０５を備える装置として機能する。
　第２補助記憶装置２０１は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。第２補助記憶装置２０１は関係性情報、制御選択ポリシー及び強化学習データを記憶する。制御選択ポリシーは、強化学習データの現在値を用いて、強化学習データの現在値に応じた作用動作を第２学習装置２０に実行させるプログラムである。
制御選択ポリシーは、強化学習データの現在値に応じた作用動作を第２学習装置２０に実行させるプログラムであればどのようなプログラムであってもよい。制御選択ポリシーは、例えば、強化学習データの現在値を後述する出力トランスデューサ２０３を制御する制御パラメータに変換する変換式であってもよい。このような場合、変換式は、例えば、強化学習データを係数とする単項式又は多項式である。
　第２入力トランスデューサ２０２は、環境情報を取得する。第２入力トランスデューサ２０２は、第１入力トランスデューサ１０３が取得する環境情報を取得可能であればどのようなものであってもよい。例えば、第１入力トランスデューサ１０３が温度計である場合には、第２入力トランスデューサは気温を示す情報を取得可能であればどのようなものであってもよい。例えば、第１入力トランスデューサ１０３が圧力計である場合には、第２入力トランスデューサは気圧を示す情報を取得可能であればどのようなものであってもよい。例えば、第１入力トランスデューサ１０３が塩分濃度計である場合には、第２入力トランスデューサは塩分濃度を示す情報を取得可能であればどのようなものであってもよい。例えば、第１入力トランスデューサ１０３が糖度計である場合には、第２入力トランスデューサは糖度を示す情報を取得可能であればどのようなものであってもよい。
　第２入力トランスデューサ２０２は、取得した環境情報を示す信号を生成する。第２入力トランスデューサ２０２が生成する信号は、取得した環境情報を示す信号であればどのような信号であってもよく、電気信号であってもよいし、光信号であってもよい。
　出力トランスデューサ２０３は、後述する学習制御部２０５の制御によって、強化学習データの現在値に応じた所定の動作を実行することで環境に作用する。環境に作用するとは、具体的には、環境を変化させることを意味する。出力トランスデューサ２０３は、強化学習データの現在値に応じた所定の動作を実行可能であればどのようなものであってもよい。出力トランスデューサ２０３は、モータ等の駆動装置や、空調機や、プリンタ等のアクチュエータであってもよい。出力トランスデューサ２０３は、例えば、ディスプレイや照明等の発光装置や、臭気発生装置や、スピーカや、力覚発生装置や、振動発生装置等の出力インタフェースであってもよい。
　報酬出力部２０４は、第２入力トランスデューサ２０２が取得した環境情報と、関係性情報とに基づいて報酬を出力する。報酬は、第２入力トランスデューサ２０２が取得した環境情報に対して関係性情報によって対応付けられた感情情報が表す感情の大きさを表す値（すなわち数値感情情報）である。
　学習制御部２０５は、環境情報と、報酬と、強化学習データの現在値とに基づいて、第２補助記憶装置２０１に記憶された強化学習データを更新する。具体的には、学習制御部２０５は、更新後の強化学習データに応じた作用動作の結果、報酬が小さくならないように強化学習データを更新する。
　学習制御部２０５は、環境情報と、報酬と、強化学習データの現在値とに基づいて更新後の強化学習データに応じた作用動作の結果、報酬が小さくならないように強化学習データを更新可能であればどのような方法で強化学習データを更新してもよい。学習制御部２０５は、例えば、ε－グリーディ法を用いたＱ学習によって決定された値によって強化学習データを更新してもよい。
　学習制御部２０５が強化学習データを更新することは、制御選択ポリシーの精度を下げないことを意味する。
　また、学習制御部２０５は、制御選択ポリシーと、強化学習データの現在値とに基づいて、出力トランスデューサ２０３の動作を制御する。
　図２は、第１の実施形態における第１学習装置１０の具体的な処理の流れを示すフローチャートである。
　生体情報取得部１０２が生体情報を取得し、第１入力トランスデューサ１０３が環境情報を取得し、感情情報取得部１０４が感情情報を取得する（ステップＳ１０１）。関係性情報学習部１０５が、生体情報、環境情報及び感情情報に基づいて、生体情報、環境情報及び感情情報の間の関係性を機械学習によって学習する（ステップＳ１０２）。ステップＳ１０１～ステップＳ１０２の処理が所定の回数繰り返される。
　図３は、第１の実施形態における第２学習装置２０の具体的な処理の流れを示すフローチャートである。
　出力トランスデューサ２０３が、第２補助記憶装置２０１に記憶された強化学習データ及び制御選択ポリシーに基づいた学習制御部２０５による制御によって環境に作用する（ステップＳ２０１）。第２入力トランスデューサ２０２が環境情報を取得する（ステップＳ２０２）。報酬出力部２０４は、第２入力トランスデューサ２０２が取得した環境情報と、関係性情報とに基づいて報酬を出力する（ステップＳ２０３）。学習制御部２０５が、環境情報と、報酬と、ステップＳ２０１の時点における強化学習データとに基づいて、強化学習データを更新する（ステップＳ２０４）。ステップＳ２０４の後、ステップＳ２０１～ステップＳ２０４の処理が所定の回数繰り返される。
　図４は、第１の実施形態の学習システム１を料理ロボットによる料理の学習に適用した場合の適用例を示す図である。図４において図１と同様の機能を有するものは、同じ符号を付す。
　図４の適用例において、脳波計は生体情報取得部１０２の具体例である。図４の適用例において、第１学習装置における味覚センサは第１入力トランスデューサ１０３の具体例である。図４の適用例において、食材／料理は、食材又は料理を表し、環境の具体例である。図４の適用例において、成分情報は、環境情報の具体例である。成分情報は、塩分濃度や、糖度等の料理の成分に関する情報である。図４の適用例において、第１学習装置における味見は作用の具体例である。図４の適用例において、調理ロボットは、出力トランスデューサ２０３の具体例である。図４の適用例において、調理動作制御は、制御の具体例である。図４の適用例において、調理は、第２学習装置における作用の具体例である。
図４の適用例において、第２学習装置における味覚センサは第２入力トランスデューサの具体例である。
　図４の適用例において、第１学習装置は、食材／料理を味見した人（被験者）の味見した時の生体情報である脳波を脳波計で取得する。図４の適用例において、第１学習装置は、味覚センサによって食材／料理の成分を分析し分析結果を取得する。図４の適用例において、第１学習装置は、食材／料理を味見した人（被験者）が料理の好き嫌いを示す感情情報を感情情報取得部１０４によって取得する。第１学習装置は、脳波計が取得した脳波と、味覚センサが取得した塩分濃度と、感情情報取得部１０４が取得した好き嫌いを示す感情情報とに基づいて、食材／料理を味見した人（被験者）の味の好みに関する関係性を機械学習によって学習する。
　図４の適用例において、第２学習装置は、第１学習装置が学習した関係性と、調理ロボットによる調理と、味覚センサによる味見とに基づいて、報酬が大きくなるような強化学習パラメータを機械学習によって学習する。
　このように構成された第１の実施形態の学習システム１は、感情情報を含む関係性情報（すなわち報酬関数）を決定する第１学習装置１０を備える。さらに、このように構成された第１の実施形態の学習システム１は、第２学習装置２０が、関係性情報に基づいて第１学習装置１０の設計者の手を介することなく、制御選択ポリシーの精度を向上させる。
そのため、制御選択ポリシーの精度の向上に係る設計者の労力の増大を抑制することができる。
（第２の実施形態）
　図５は、第２の実施形態の学習システム１ａのシステム構成の具体例を示す図である。
　学習システム１ａは、第３学習装置３０を備える。第３学習装置３０は、バスで接続されたＣＰＵ（Central Processing Unit）やＲＡＭ（Random Access Memory）や第３補助記憶装置３０１及び第４補助記憶装置３０２などを備え、プログラムを実行する。第１学習装置１０は、プログラムの実行によって生体情報取得部１０２、第１入力トランスデューサ１０３、感情情報取得部１０４、関係性情報学習部１０５、出力トランスデューサ２０３、報酬出力部２０４ａ及び学習制御部２０５ａを備える。
　以下、図１と同様の機能を有するものは、同じ符号を付すことで説明を省略する。
　第３補助記憶装置３０１は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。第３補助記憶装置３０１は関係性情報を記憶する。関係性情報は、生体情報、環境情報及び感情情報の関係性を示す情報である。
　第４補助記憶装置３０２は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。第４補助記憶装置３０２は強化学習データ及び制御選択ポリシーを記憶する。
　報酬出力部２０４ａは、第１入力トランスデューサ１０３が取得した環境情報と、関係性情報とに基づいて報酬を出力する。なお、第２実施形態における報酬は、第１入力トランスデューサ１０３が取得した環境情報に対して関係性情報によって対応付けられた感情情報が表す感情の大きさを表す値（すなわち数値感情情報）である。
　学習制御部２０５ａは、環境情報と、報酬と、強化学習データの現在値とに基づいて、第４補助記憶装置３０２に記憶された強化学習データを更新する。具体的には、学習制御部２０５ａは、更新後の強化学習データに応じた作用動作の結果、報酬が小さくならないように強化学習データを更新する。
　学習制御部２０５ａは、環境情報と、報酬と、強化学習データの現在値とに基づいて更新後の強化学習データに応じた作用動作の結果、報酬が小さくならないように強化学習データを更新可能であればどのような方法で強化学習データを更新してもよい。学習制御部２０５ａは、例えば、ε－グリーディ法を用いたＱ学習によって決定された値によって強化学習データを更新してもよい。
　学習制御部２０５ａが強化学習データを更新することは、制御選択ポリシーの精度を下げないことを意味する。
　また、学習制御部２０５ａは、制御選択ポリシーと、強化学習データの現在値とに基づいて、出力トランスデューサ２０３の動作を制御する。
　また、学習制御部２０５ａは、更新後の強化学習データを関係性情報学習部１０５に出力する。
　図６は、第２の実施形態における第３学習装置３０の具体的な処理の流れを示すフローチャートである。
　以下、図２及び図３と同様の処理は、同じ符号を付すことで説明を省略する。
　ステップＳ１０１の次に、関係性情報学習部１０５が、生体情報、環境情報、感情情報及び強化学習データに基づいて、生体情報、環境情報、感情情報及び強化学習データの間の関係性を機械学習によって学習する（ステップＳ１０２ａ）。ステップＳ１０２ａの次に、ステップＳ２０１が実行される。ステップＳ２０１の次に、第１入力トランスデューサ１０３が環境情報を取得する（ステップＳ２０２ａ）。報酬出力部２０４ａがステップＳ１０２ａにおいて取得された関係性に基づいて報酬を出力する（ステップＳ２０３ａ）。学習制御部２０５ａが、環境情報と、報酬と、ステップＳ２０１の時点における強化学習データとに基づいて、強化学習データを更新する（ステップＳ２０４ａ）。
　ステップＳ２０４の後、図６のステップＳ１０１～ステップＳ２０４ａの処理が所定の回数繰り返される。
　図７は、第２の実施形態の学習システム１ａを、画像表示装置による表示画面の制御の学習に適用した場合の適用例を示す図である。図７において図５と同様の機能を有するものは、同じ符号を付す。
　図７の適用例において、脳波計は生体情報取得部１０２の具体例である。図７の適用例において、第３学習装置における耳掛け式目線カメラは第１入力トランスデューサ１０３の具体例である。耳掛け式目線カメラは、被験者の耳に掛けて使用することで被験者の目線と同等の視覚情報を取得する。図７の適用例において、表示画像は、環境の具体例である。図７の適用例において、視覚情報は、環境情報の具体例である。図７の適用例において、光は環境から被験者への作用の具体例である。光は表示画面の光がユーザの目に入射することを表す。図７の適用例において、ディスプレイは、出力トランスデューサ２０３の具体例である。図７の適用例において、表示制御は、制御の具体例である。図７の適用例において、表示は出力トランスデューサ２０３による環境への作用の具体例である。
　図７の適用例において、第３学習装置は、表示画像を見ることができる位置にいる人（被験者）の生体情報である脳波を脳波計で取得する。図７の適用例において、第３学習装置は、耳掛け式目線カメラによって被験者の視線の先にある表示画像を視覚情報として取得する。図７の適用例において、第３学習装置は、表示画像を見ることができる位置にいる人（被験者）の好き嫌いを示す感情情報を感情情報取得部１０４によって取得する。第３学習装置は、脳波計が取得した脳波と、耳掛け式目線カメラが取得した視覚情報と、感情情報取得部１０４が取得した好き嫌いを示す感情情報とに基づいて、出力画像の選択に関する制御の強化学習を行う。
　このように構成された第２の実施形態の学習システム１ａは、生体情報取得部１０２、第１入力トランスデューサ１０３、感情情報取得部１０４、関係性情報学習部１０５、出力トランスデューサ２０３、報酬出力部２０４及び学習制御部２０５ａを備える。そのため、制御選択ポリシーの精度の向上に係る設計者の労力の増大を抑制することができる。
　（変形例）
　なお、第１の実施形態の学習システム１又は第２の実施形態の学習システム１ａは、被験者の身体の各部位の硬さと脳波の状態とに合わせて、もみ方やもみ位置を強化学習によって学習する装置に適用してもよい。この場合、具体的には、出力トランスデューサ２０３は、マッサージチェアであって、第１入力トランスデューサ１０３及び第２入力トランスデューサ２０２は力覚センサである。
　なお、学習システム１及び学習システム１ａは、被験者の識別情報、被験者の特徴量、時刻、測位情報等を用いて、学習データの分類を行うなどの最適化を行ってもよい。
　なお、第１学習装置１０は、１つの筐体で構成される装置であってもよいし、複数の筐体に分けて構成される装置であってもよい。複数の筐体に分けて構成される場合には、上述した第１学習装置１０の一部の機能が、ネットワークを介して物理的に離れた位置に実装されてもよい。
　なお、第２学習装置２０は、１つの筐体で構成される装置であってもよいし、複数の筐体に分けて構成される装置であってもよい。複数の筐体に分けて構成される場合には、上述した第２学習装置２０の一部の機能が、ネットワークを介して物理的に離れた位置に実装されてもよい。
　なお、第３学習装置３０は、１つの筐体で構成される装置であってもよいし、複数の筐体に分けて構成される装置であってもよい。複数の筐体に分けて構成される場合には、上述した第３学習装置３０の一部の機能が、ネットワークを介して物理的に離れた位置に実装されてもよい。
　なお、第１学習装置１０及び第２学習装置２０は、それぞれ別々の装置として構成される必要はなく、２つが１つの筐体中に構成されてもよい。
　なお、第３学習装置は、第３補助記憶装置３０１及び第４補助記憶装置３０２をそれぞれ異なる機能部として備える必要は無く、関係性情報、強化学習データ及び制御選択ポリシーを記憶するひとつの補助記憶装置として備えてもよい。
　なお、第１学習装置１０、第２学習装置２０及び第３学習装置３０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。
　なお、関係性情報学習部１０５は、さらに、感情情報との間に所定の強さ以上の相関がある生体情報と、感情情報との間の関係性を学習してもよい。
　なお、学習制御部２０５及び２０５ａは、制御部の一例である。なお、第１学習装置１０、第２学習装置２０及び第３学習装置３０は、学習装置の一例である。なお、第１入力トランスデューサ１０３は、第１環境情報取得部の一例である。なお、第２入力トランスデューサ２０２は、第２環境情報取得部の一例である。なお、出力トランスデューサ２０３は、出力部の一例である。
　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
１…学習システム、　１ａ…学習システム、　１０…第１学習装置、　２０…第２学習装置、　３０…第３学習装置、　１０１…第１補助記憶装置、　１０２…生体情報取得部、　１０３…第１入力トランスデューサ、　１０４…感情情報取得部、　１０５…関係性情報学習部、　２０１…第２補助記憶装置、　２０２…第２入力トランスデューサ、　２０３…出力トランスデューサ、　２０４…報酬出力部、　２０５…学習制御部、　３０１…第３補助記憶装置、　３０２…第４補助記憶装置、　２０４ａ…報酬出力部、　２０５ａ…学習制御部

Claims (8)

  1. 　所定の環境に対する被験者の生体反応を示す情報である生体情報を取得する生体情報取得部と、
    　前記環境に対する前記被験者の感情を示す情報である感情情報を取得する感情情報取得部と、
    　前記被験者に作用する前記環境の属性を示す情報である環境情報を取得する第１環境情報取得部と、
    　前記生体情報、前記感情情報及び前記環境情報に基づいて、前記生体情報と、前記感情情報と、前記環境情報との間の関係性を機械学習によって学習する関係性情報学習部と、
    　を備える学習装置。
  2. 　所定の環境に作用する出力部と、
    　前記出力部の動作を制御する制御部と、
    　前記環境の属性を示す情報である環境情報を取得する第２環境情報取得部と、
    　前記環境に対する被験者の生体反応を示す情報である生体情報と、前記生体情報と一対一の関係にある情報であって前記被験者に作用する所定の環境の属性を示す情報である環境情報と、前記生体情報と一対一の関係にある情報であって前記環境に対する前記被験者の感情を示す情報である感情情報と、の間の関係性を示す関係性情報であって、予め自装置に記憶された前記関係性情報と、前記出力部によって作用された前記環境の属性を示す環境情報とに基づいて、前記感情情報に基づいて表される前記被験者の感情の大きさを示す数値を出力する報酬出力部と、
    　を備え、
    　前記制御部は、前記数値に基づいて前記出力部の動作を制御するための制御パラメータの値を更新する、
    　学習装置。
  3. 　所定の環境に対する被験者の生体反応を示す情報である生体情報を取得する生体情報取得部と、
    　前記環境に対する前記被験者の感情を示す情報である感情情報を取得する感情情報取得部と、
    　前記被験者に作用する所定の環境の属性を示す情報である環境情報を取得する第１環境情報取得部と、
    　前記環境に作用する出力部と、
    　前記生体情報と、前記感情情報と、前記環境情報とに基づいて、前記生体情報と、前記感情情報と、前記環境情報との間の関係性を機械学習によって学習する関係性情報学習部と、
    　前記出力部の動作を制御する制御部と、
    　前記生体情報と、前記環境情報と、前記感情情報と、の間の一対一の関係性を示す情報であって、予め自装置に記憶された情報である関係性情報と、前記出力部によって作用された前記環境の属性を示す環境情報とに基づいて、前記感情情報に基づいて表される前記被験者の感情の大きさを示す数値を出力する報酬出力部と、
    　を備え、
    　前記制御部は、前記数値に基づいて、前記出力部の動作を制御するための制御パラメータの値を更新する、
    　学習装置。
  4. 　前記関係性情報学習部は、さらに、前記感情情報との間に所定の強さ以上の相関がある前記生体情報と、前記感情情報との間の関係性を学習する、
    　請求項１又は３に記載の学習装置。
  5. 　所定の環境に対する被験者の生体反応を示す情報である生体情報を取得する生体情報取得ステップと、
    　前記環境に対する前記被験者の感情を示す情報である感情情報を取得する感情情報取得ステップと、
    　前記被験者に作用する前記環境の属性を示す情報である環境情報を取得する第１環境情報取得ステップと、
    　前記生体情報、前記感情情報及び前記環境情報に基づいて、前記生体情報と、前記感情情報と、前記環境情報との間の関係性を機械学習によって学習する関係性情報学習ステップと、
    　を有する学習方法。
  6. 　所定の環境に作用する出力部の動作を制御する制御ステップと、
    　前記環境の属性を示す情報である環境情報を取得する第２環境情報取得ステップと、
    　前記環境に対する被験者の生体反応を示す情報である生体情報と、前記生体情報と一対一の関係にある情報であって前記被験者に作用する所定の環境の属性を示す情報である環境情報と、前記生体情報と一対一の関係にある情報であって前記環境に対する前記被験者の感情を示す情報である感情情報と、の間の関係性を示す関係性情報であって、予め自装置に記憶された前記関係性情報と、前記出力部によって作用された前記環境の属性を示す環境情報とに基づいて、前記感情情報に基づいて表される前記被験者の感情の大きさを示す数値を出力する報酬出力ステップと、
    　を有し、
    　前記制御ステップにおいて、前記数値に基づいて前記出力部の動作を制御するための制御パラメータの値が更新される、
    　学習方法。
  7. 　所定の環境に対する被験者の生体反応を示す情報である生体情報を取得する生体情報取得ステップと、
    　前記環境に対する前記被験者の感情を示す情報である感情情報を取得する感情情報取得ステップと、
    　前記被験者に作用する所定の環境の属性を示す情報である環境情報を取得する第１環境情報取得ステップと、
    　前記生体情報と、前記感情情報と、前記環境情報とに基づいて、前記生体情報と、前記感情情報と、前記環境情報との間の関係性を機械学習によって学習する関係性情報学習ステップと、
    　前記環境に作用する出力部の動作を制御する制御ステップと、
    　前記生体情報と、前記環境情報と、前記感情情報と、の間の一対一の関係性を示す情報であって、予め自装置に記憶された情報である関係性情報と、前記出力部によって作用された前記環境の属性を示す環境情報とに基づいて、前記感情情報に基づいて表される前記被験者の感情の大きさを示す数値を出力する報酬出力ステップと、
    　を有し、
    　前記制御ステップにおいて、前記数値に基づいて、前記出力部の動作を制御するための制御パラメータの値が更新される、
    　学習方法。
  8. 　請求項１～４のいずれか一項に記載の学習装置としてコンピュータを機能させるためのコンピュータプログラム。
PCT/JP2019/025846 2018-07-26 2019-06-28 学習装置、学習方法及びコンピュータプログラム WO2020021962A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/261,140 US20210295214A1 (en) 2018-07-26 2019-06-28 Learning apparatus, learning method and computer program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018140113A JP7048893B2 (ja) 2018-07-26 2018-07-26 学習装置、学習方法及びコンピュータプログラム
JP2018-140113 2018-07-26

Publications (1)

Publication Number Publication Date
WO2020021962A1 true WO2020021962A1 (ja) 2020-01-30

Family

ID=69181697

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/025846 WO2020021962A1 (ja) 2018-07-26 2019-06-28 学習装置、学習方法及びコンピュータプログラム

Country Status (3)

Country Link
US (1) US20210295214A1 (ja)
JP (1) JP7048893B2 (ja)
WO (1) WO2020021962A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10961107B2 (en) 2017-03-14 2021-03-30 Gojo Industries, Inc. Refilling systems, refillable containers and method for refilling containers
US11645498B2 (en) * 2019-09-25 2023-05-09 International Business Machines Corporation Semi-supervised reinforcement learning

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017162385A (ja) * 2016-03-11 2017-09-14 トヨタ自動車株式会社 情報提供装置及び情報提供プログラム
JP2018072876A (ja) * 2016-10-24 2018-05-10 富士ゼロックス株式会社 感情推定システム、感情推定モデル生成システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016004525A (ja) 2014-06-19 2016-01-12 株式会社日立製作所 データ分析システム及びデータ分析方法
CN109906461B (zh) 2016-11-16 2022-10-14 本田技研工业株式会社 情感估计装置和情感估计系统
JP6642401B2 (ja) 2016-12-09 2020-02-05 トヨタ自動車株式会社 情報提供システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017162385A (ja) * 2016-03-11 2017-09-14 トヨタ自動車株式会社 情報提供装置及び情報提供プログラム
JP2018072876A (ja) * 2016-10-24 2018-05-10 富士ゼロックス株式会社 感情推定システム、感情推定モデル生成システム

Also Published As

Publication number Publication date
JP2020017104A (ja) 2020-01-30
US20210295214A1 (en) 2021-09-23
JP7048893B2 (ja) 2022-04-06

Similar Documents

Publication Publication Date Title
US10228764B2 (en) Automatic haptic effect adjustment system
US11301775B2 (en) Data annotation method and apparatus for enhanced machine learning
KR102476675B1 (ko) 대화형 뇌-컴퓨터 인터페이스 기반 스마트 홈 제어 방법 및 서버
KR20190053097A (ko) 사회적 상호 작용을 가이드하는 시스템 및 방법
WO2020021962A1 (ja) 学習装置、学習方法及びコンピュータプログラム
TWI711942B (zh) 聽力輔助裝置之調整方法
JP2019056970A (ja) 情報処理装置、人工知能選択方法及び人工知能選択プログラム
US20220406036A1 (en) Analysis apparatus, analysis method, and computer-readable storage medium storing an analysis program
KR102100418B1 (ko) 감정 상태를 개선시키는 방법 및 그 장치
JP2020203051A (ja) コンピュータプログラム、情報処理装置、情報処理方法、学習済みモデルの生成方法及び学習済みモデル
JP2018190318A (ja) データ収集装置及び学習装置
JP2017170253A (ja) 印象評価装置及び印象評価方法
Blauert A perceptionist's view on psychoacoustics
JP7276433B2 (ja) フィッティング支援装置、フィッティング支援方法、及びプログラム
US20210327591A1 (en) System for Efficiently Estimating and Improving Wellbeing
JP6226288B2 (ja) 印象評価装置及び印象評価方法
Pretto et al. Perception-based motion cueing: A cybernetics approach to motion simulation
Johnson et al. Phygital marketing through the lens of neuroscience and phenomenology: an interpretivist account
JP2019028732A (ja) 音声等から気分を解析して動作を制御する装置
Lee et al. Visual influence on auditory perception
KR20210084443A (ko) 시공간 기억 및/또는 현출성의 자동 수동 평가를 위한 시스템 및 방법
JP7043374B2 (ja) 多機能神経フィードバックシステム及び多機能神経フィードバック方法
KR20190067069A (ko) Bci 시스템의 신뢰성 향상 방법
JP7435965B2 (ja) 情報処理装置、情報処理方法、学習モデルの生成方法、及びプログラム
JP7321511B2 (ja) 判定装置、光照射装置、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19841915

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19841915

Country of ref document: EP

Kind code of ref document: A1