WO2024257214A1 - 学習装置 - Google Patents

学習装置 Download PDF

Info

Publication number
WO2024257214A1
WO2024257214A1 PCT/JP2023/021890 JP2023021890W WO2024257214A1 WO 2024257214 A1 WO2024257214 A1 WO 2024257214A1 JP 2023021890 W JP2023021890 W JP 2023021890W WO 2024257214 A1 WO2024257214 A1 WO 2024257214A1
Authority
WO
WIPO (PCT)
Prior art keywords
state
unit
prototype
inference
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/021890
Other languages
English (en)
French (fr)
Inventor
理政 入江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2025526955A priority Critical patent/JPWO2024257214A1/ja
Priority to PCT/JP2023/021890 priority patent/WO2024257214A1/ja
Publication of WO2024257214A1 publication Critical patent/WO2024257214A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • This disclosure relates to a learning device, a learning method, a recording medium, and an inference device.
  • Patent Document 1 describes a device that infers behavior in response to a state input and outputs a typical example (prototype) used during inference.
  • the device learns a sequence of behaviors that serves as a typical example (prototype) during learning.
  • the device obtains a prototype that corresponds to the state that is the subject of inference.
  • the device then infers behavior based on the state and the prototype.
  • the device can output the inferred behavior and the prototype that is the typical example used during inference.
  • one of the objectives of this disclosure is to provide a learning device, a learning method, a recording medium, and an inference device that can solve the above-mentioned problems.
  • the learning device in the present disclosure comprises: an extracting unit that extracts a feature vector by using a mechanism for distributing the feature vector in a feature space in response to an input of a state-action sequence including at least one combination of a state and an action; an update unit that updates a prototype, which is a typical example of the state-action sequence, based on the feature vector extracted by the extraction unit;
  • the configuration has the following:
  • the learning method in the present disclosure includes: An information processing device, extracting a feature vector using a mechanism for distributing the feature vector in a feature space in response to an input of a state-action sequence including at least one combination of a state and an action; Based on the extracted feature vector, a prototype, which is a typical example of the state-action sequence, is updated.
  • the recording medium in the present disclosure is In the information processing device, extracting a feature vector using a mechanism for distributing the feature vector in a feature space in response to an input of a state-action sequence including at least one combination of a state and an action;
  • the inference device in the present disclosure an acquisition unit that acquires a learned prototype using a mechanism for distributing feature vectors in a feature space according to a state to be inferred; an inference unit that infers an action based on a state to be inferred and the prototype acquired by the acquisition unit; an output unit that outputs the behavior inferred by the inference unit and the prototype used at the time of inference;
  • the configuration has the following:
  • FIG. 1 is a diagram illustrating an overview of an inference device according to the present disclosure.
  • FIG. 1 is a block diagram showing a configuration example of an inference device according to the present disclosure.
  • FIG. 13 is a diagram for explaining an example of a state-action sequence.
  • FIG. 13 is a diagram showing an example of option selection.
  • FIG. 13 is a diagram illustrating an example of division of a state-action sequence.
  • FIG. 11 is a diagram for explaining an example of a feature extraction process.
  • FIG. 11 is a diagram for explaining an example of a feature extraction process.
  • FIG. 11 is a diagram for explaining an example of a feature extraction process.
  • FIG. 11 is a diagram for explaining an example of a feature extraction process.
  • FIG. 11 is a diagram for explaining an example of a prototype update process.
  • FIG. 1 is a diagram illustrating an overview of an inference device according to the present disclosure.
  • FIG. 1 is a block diagram showing a configuration example of an inference device according to
  • FIG. 11 is a diagram for explaining an example of a prototype update process.
  • FIG. 11 is a diagram for explaining an example of a prototype update process.
  • FIG. 13 is a diagram illustrating an example of output.
  • 13 is a flowchart showing an example of an operation during learning.
  • 13 is a flowchart showing an example of an operation during inference.
  • FIG. 13 is a diagram illustrating an example of a feature vector.
  • FIG. 13 is a diagram illustrating an example of a feature vector.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of a learning device according to the present disclosure.
  • FIG. 2 is a block diagram showing an example of the configuration of a learning device.
  • 13 is a flowchart showing an example of the operation of the learning device.
  • FIG. 2 is a block diagram showing a configuration example of a second inference device according to the present disclosure.
  • FIG. 1 is a diagram showing an overview of the inference device 100.
  • FIG. 2 is a block diagram showing a configuration example of the inference device 100.
  • FIG. 3 is a diagram for explaining an example of a state-action sequence.
  • FIG. 4 is a diagram showing an example of option selection.
  • FIG. 5 is a diagram showing an example of splitting a state-action sequence.
  • FIGS. 6 to 9 are diagrams for explaining an example of feature extraction processing.
  • FIGS. 10 to 12 are diagrams for explaining an example of prototype update processing.
  • FIG. 13 is a diagram showing an example of output.
  • FIG. 14 is a flowchart showing an example of operation during learning.
  • FIG. 15 is a flowchart showing an example of operation during inference.
  • FIGS. 16 and 17 are diagrams showing examples of feature vectors.
  • the drawings may be associated with one or more embodiments.
  • an inference device 100 (learning device) that is an information processing device that infers an action in response to a state input
  • the inference device 100 learns (by machine learning) a prototype that serves as a typical example based on a state-action sequence that indicates transitions between states and actions.
  • the inference device 100 also acquires a prototype that corresponds to the state that is the subject of inference.
  • the inference device 100 then infers an action based on the state and the prototype.
  • the inference device 100 can then output the inferred action and the prototype that is the typical example used during inference.
  • the inference device 100 described in this disclosure performs the above learning by extracting feature vectors using an architecture having a mechanism for distributing feature vectors in a feature space.
  • the inference device 100 performs the above extraction using an autoencoder architecture that includes an encoder that inputs a state-action sequence to obtain a feature vector, and a decoder that inputs the feature vector to reconstruct the state-action sequence.
  • the feature vector is distributed in the feature space. Therefore, the feature vector of the prototype that is updated according to the extracted feature vector can also be distributed. This allows the inference device 100 to select an appropriate prototype without selecting only a specific prototype during inference.
  • the inference device 100 described in this disclosure can be used, for example, when inferring and imitating the behavior of a subject to be imitated, such as a specialist or other expert.
  • the inference device 100 can be used in retail-related inference and decision-making support, such as inferring the behavior that the subject to be inferred should take from the state and behavior of a good customer and recommending the necessary behavior to perform the inferred behavior.
  • the inference device 100 may also be used in healthcare-related applications, such as supporting decision-making by inferring and presenting the behavior of a user who wishes to improve their health from the state and behavior of a user who has seen the effects of improving their health.
  • the inference device 100 may be used in any situation where it infers behavior according to a state through machine learning and supports various decision-making.
  • a state refers to data indicating the state of an object's attributes, appearance, situation, etc. at a certain point in time.
  • a state can include one or more values.
  • a state can include at least some of the values corresponding to age, sex, BMI (Body Mass Index), body fat percentage, blood pressure, calorie intake, and dietary content.
  • a state may include values other than those exemplified above.
  • an action refers to the content or type of an action taken by an object when in a corresponding state.
  • an action may include values corresponding to the type or content of an action, such as the type of exercise, time, and intensity.
  • an action may include values other than those exemplified above.
  • a state-action sequence refers to a transition between a state and an action, including one or more combinations of a state at a certain point in time and an action corresponding to the state.
  • a state-action sequence may be data indicating a transition between a state and an action for a person in a time series.
  • a state-action sequence may indicate a transition between a state and an action for one or more people in a time series.
  • a prototype refers to a typical example of a transition between a state and an action learned from a state-action sequence.
  • a prototype can include one or more combinations of a state and an action corresponding to the state.
  • a subgoal selected by the option selection unit 120 based on a state or the like is called an option.
  • an option can be associated with a prototype. Therefore, an option can also be said to be identification information for identifying a prototype.
  • the number of options may be preset to k (k is a natural number).
  • Figure 2 shows an example configuration of the inference device 100.
  • the inference device 100 has an acquisition unit 110, an option selection unit 120, a state-action sequence division unit 130, a feature extraction unit 140, a prototype update unit 150, a prototype acquisition unit 170, an action inference unit 180, and an output unit 190.
  • the inference device 100 has a calculation device such as a CPU (Central Processing Unit) and a recording device that stores a program.
  • the inference device 100 can realize the above processing unit by having the above hardware and program work together, by having the calculation device read and execute the program from the storage device.
  • the inference device 100 can also have a state history database 111, a prototype database 160, etc.
  • FIG. 2 illustrates an example in which the functions of the inference device 100 are realized using one information processing device. However, at least some of the functions of the inference device 100 may be realized using multiple information processing devices, for example, on the cloud.
  • the inference device 100 may have configurations other than those illustrated, such as an operation input unit such as a keyboard or mouse, and a screen display device such as a display.
  • the inference device 100 may have a GPU (Graphic Processing Unit), a DSP (Digital Signal Processor), an MPU (Micro Processing Unit), an FPU (Floating point number Processing Unit), a PPU (Physics Processing Unit), a TPU (Tensor Processing Unit), a quantum processor, a microcontroller, or a combination of these.
  • a GPU Graphic Processing Unit
  • DSP Digital Signal Processor
  • MPU Micro Processing Unit
  • FPU Floating point number Processing Unit
  • PPU Physicals Processing Unit
  • TPU Transistor Processing Unit
  • quantum processor a microcontroller, or a combination of these.
  • the acquisition unit 110 acquires state-action sequences to be learned, states to be inferred, etc. For example, the acquisition unit 110 acquires state-action sequences to be learned, states to be inferred, etc. by referring to a state history database 111 that stores state-action sequences.
  • the acquisition unit 110 can acquire a state-action sequence including multiple states.
  • the acquisition unit 110 acquires a state-action sequence including 11 states from states s1 to s11.
  • each state from states s1 to s11 acquired by the acquisition unit 110 includes multiple values such as age, gender, and weight.
  • the state-action sequence may include values of actions corresponding to each state.
  • the acquisition unit 110 may acquire the state-action sequence to be learned and the state to be inferred by a method other than the above examples.
  • the acquisition unit 110 may acquire the state-action sequence to be learned and the state to be inferred by any method, such as accepting input using an operation input unit such as a keyboard or a mouse, or acquiring from another external device.
  • the state history database 111 is a storage device that stores state-action sequences to be learned.
  • the state history database 111 can include one or more state-action sequences.
  • a state-action sequence may include one or more combinations of a state at a certain point in time and an action corresponding to the state.
  • the state history database 111 can also include states to be inferred.
  • the various information included in the state history database 111 is acquired by any means, such as accepting input using an operation input unit such as a keyboard or mouse, or acquiring information from an external device, and is stored in the storage device.
  • state history database 111 may be external to the inference device 100, as illustrated in FIG. 2, or may be included in the inference device 100. In this disclosure, there are no particular limitations on the device that includes the state history database 111.
  • the option selection unit 120 selects an option for the state-action sequence to be learned or the state to be inferred. For example, the option selection unit 120 can select an option for each state included in the state-action sequence or the state to be inferred based on the content of the state to be selected.
  • Figure 4 shows an example of option selection by the option selection unit 120.
  • the option selection unit 120 selects an option for each state included in the state-action sequence.
  • the option selection unit 120 selects option 3 for states s1 and s2.
  • the option selection unit 120 selects option 1 from states s3 to s7, and option 3 from states s8 to s11.
  • the option selection unit 120 can select an option by using a model that has been trained in advance to output an option in response to a state input.
  • the option selection unit 120 may be an option selector that has been trained in advance to output an option in response to a state input.
  • the option selection unit 120 may learn an option selection policy by reinforcement learning or the like.
  • the option selection unit 120 can perform reinforcement learning so that the closer the inference value of an action by the behavior inference unit 180 described below is to a correct answer value, the higher the reward in learning the policy.
  • the option selection unit 120 may learn the policy using a neural network or the like.
  • the option selection unit 120 may also learn using a model other than the example given.
  • the state-action sequence division unit 130 divides the state-action sequence into a plurality of segments based on the options selected by the option selection unit 120.
  • a segment refers to a partial sequence consisting of at least a part of the state-action sequence.
  • the state-action sequence division unit 130 can divide the state-action sequence into each sequence in which the options selected by the option selection unit 120 are consecutive.
  • the option selection unit 120 selects option 3 for states s1 and s2, selects option 1 for states s3 to s7, and selects option 11 for states s8 to s11. Therefore, the state-action sequence division unit 130 divides the state-action sequence into three segments, as shown in the example shown in FIG. 5: states s1 and s2 where option 3 is selected, states s3 to s7 where option 1 is selected, and states s8 to s11 where option 3 is selected.
  • the feature extraction unit 140 extracts the state-action sequence divided by the state-action sequence division unit 130 into successive options as a feature vector in the feature space. In other words, the feature extraction unit 140 extracts a feature vector for each segment divided by the state-action sequence division unit 130 according to the features such as the state contained in the segment. For example, in the example shown in FIG. 5, the state-action sequence is divided into three segments by the state-action sequence division unit 130. Therefore, the feature extraction unit 140 extracts a feature vector for each of the three segments divided by the state-action sequence division unit 130, as shown in the example shown in FIG. 6.
  • the feature extraction unit 140 extracts the feature vector using an architecture having a mechanism for distributing the feature vector in the feature space. For example, as illustrated in FIG. 7, the feature extraction unit 140 performs the above extraction using an autoencoder architecture including an encoder that inputs a segment that is at least a part of the state-action sequence to obtain a feature vector, and a decoder that inputs the feature vector to reconstruct the data of the segment. In other words, the feature extraction unit 140 can calculate the feature vector according to the input of the segment. In addition, when using the autoencoder architecture, the feature extraction unit 140 learns weight parameters and the like so that the data of the input segment and the data of the reconstructed segment are closer to each other.
  • the feature extraction unit 140 can learn the parameters of the encoder and the decoder so as to reduce the loss function L AE shown in Equation 1.
  • a long short-term memory (LSTM) architecture or the like may be adopted for the encoder and the decoder.
  • Equation 2 showing the state in Fig. 7
  • k is a number given to each state-action sequence
  • t is a step number.
  • the equation 3 shows the reconstructed state.
  • vm shows the boundary number of the divided step.
  • the feature extraction unit 140 uses a variational autoencoder (VAE) as an autoencoder as exemplified in Fig. 8.
  • VAE variational autoencoder
  • the feature extraction unit 140 can calculate a feature vector by calculating a latent variable by obtaining a mean ⁇ and a variance ⁇ 2 according to an input of a segment as exemplified in Fig. 8.
  • Equation 9 and Equation 5 show an example of a loss function L VAE when using VAE.
  • the first half of Equation 5 is the same as that of the autoencoder, and the second half is unique to VAE.
  • Equation 4 the standard normal distribution of the feature vector shown in Equation 4.
  • Equation 7 the feature vector (Equation 4) when the state shown in Equation 6 is input can be expressed by Equation 7.
  • Equations 8 and 9 are the mean and variance parameters output by the encoder, respectively.
  • Equation 4 The feature vector (Equation 4) is sampled from the above distribution, but can be obtained from the following equation (Equation 10) using a technique called the Reparameterization Trick, where ⁇ is a random noise sampled from ⁇ to N(0,I).
  • the feature extraction unit 140 extracts latent variables as feature vectors by using an encoder in an autoencoder.
  • the feature extraction unit 140 can learn weight parameters and the like so that the data of the input segment and the data of the reconstructed segment become closer.
  • the prototype update unit 150 updates the prototype using the feature vector extracted by the feature extraction unit 140. For example, as shown in FIG. 10, the prototype update unit 150 can update the feature vector of the prototype according to the evaluation result using the feature vector extracted by the feature extraction unit 140 and the feature vector of the prototype before the update. In addition to updating the feature vector of the prototype, the prototype update unit 150 can also update the state-action sequence of the corresponding prototype as illustrated in FIG. 11.
  • the state-action sequence of the prototype may include data showing states and state-action transitions in a time series. For example, FIG. 11 illustrates data showing states and state-action transitions in a time series corresponding to three prototypes.
  • the prototype update unit 150 then stores the state-action sequence and feature vector of the updated prototype in the prototype database 160.
  • the prototype update unit 150 calculates an update value from the feature vector extracted by the feature extraction unit 140.
  • the prototype update unit 150 can then update the feature vector of the prototype according to the calculated update value.
  • the prototype update unit 150 also updates the state-action sequence of the prototype based on the updated feature vector. For example, the prototype update unit 150 can identify the state-action sequence of the segment from which the feature vector was extracted, and update the state-action sequence of the prototype using states included in the identified state-action sequence.
  • the prototype update unit 150 may update the feature vector and state-action sequence of the prototype using a method similar to the method described in Patent Document 1, as shown in the following equations 11 and 12.
  • o k indicates the feature vector of the prototype
  • k is the prototype number.
  • the prototype update unit 150 can update the prototype using the equations shown in FIG. 12 and the following formulas 13 and 14.
  • o ⁇ k indicates the mean of the prototype feature vectors
  • o ⁇ k indicates the variance of the prototype feature vectors.
  • the feature vectors of segments can be trained to be closer to the prototypes, which can promote cluster structure. Also, by training each prototype to be closer to the features of the closest segment, the interpretability of the prototype can be improved. Also, by training each prototype to be farther apart when the distance between them is close, diversity can be improved.
  • the prototype database 160 is a storage device that stores the feature vectors and state-action sequences of prototypes updated by the prototype update unit 150.
  • the feature vectors and state-action sequences of prototypes may be associated with options.
  • the prototype database 160 is updated in response to the prototype update unit 150 updating the prototypes.
  • prototype database 160 may be included in the inference device 100 as illustrated in FIG. 2, or may be external to the inference device 100. In this disclosure, there are no particular limitations on the device that includes the prototype database 160.
  • the prototype acquisition unit 170 acquires a prototype corresponding to the state to be inferred, according to the selection result by the option selection unit 120 for the state to be inferred. For example, the prototype acquisition unit 170 acquires a feature vector of a prototype associated with the option selected by the option selection unit 120 by referring to the prototype database 160. The prototype acquisition unit 170 may acquire a state-action sequence of the prototype together with the feature vector of the prototype by referring to the prototype database 160.
  • the behavior inference unit 180 infers behavior based on the state to be inferred and the feature vector of the prototype acquired by the prototype acquisition unit 170.
  • the behavior inference unit 180 may infer behavior by using a model that has been trained in advance to output a behavior in response to the input of a state to be inferred and a prototype feature vector.
  • the processing by the behavior inference unit 180 may be similar to the technology described in Patent Document 1.
  • the output unit 190 outputs the result of inference by the behavior inference unit 180.
  • the output unit 190 can output the behavior inferred by the behavior inference unit 180 and the prototype used in the inference.
  • the output unit 190 may output the state-action sequence of the prototype as well as the feature vector of the prototype.
  • the output unit 190 may display the inferred behavior on a screen display device or transmit it to an external device.
  • the output unit 190 can output the prototype used in the inference along with the result of the inference to present the basis for judgment and provide more accurate support for decision-making.
  • FIG. 14 shows an example of the operation of the inference device 100 when updating a prototype.
  • the option selection unit 120 selects an option for the state-action sequence to be learned (step S101).
  • the option selection unit 120 can select an option for each state included in the state-action sequence based on the content of the state to be selected.
  • the state-action sequence division unit 130 divides the state-action sequence into a plurality of segments based on the options selected by the option selection unit 120 (step S102). For example, the state-action sequence division unit 130 divides the state-action sequence into each sequence in which the options selected by the option selection unit 120 are consecutive.
  • the feature extraction unit 140 extracts the state-action sequence divided by the state-action sequence division unit 130 into consecutive options as a feature vector in the feature space (step S103).
  • the feature extraction unit 140 extracts the feature vector using an architecture having a mechanism for distributing the feature vector in the feature space.
  • the feature extraction unit 140 performs the above extraction using an autoencoder architecture that includes an encoder that inputs a segment that is part of the state-action sequence to obtain a feature vector, and a decoder that inputs the feature vector to reconstruct the data of the segment.
  • the prototype update unit 150 updates the prototype using the feature vector extracted by the feature extraction unit 140 (step S104).
  • the prototype update unit 150 can update the feature vector of the prototype as well as the state-action sequence of the corresponding prototype.
  • the prototype update unit 150 also stores the feature vector and state-action sequence of the updated prototype in a storage device as a prototype database 160 (step S105).
  • FIG. 15 shows an example of the operation of the inference device 100 during behavior inference.
  • the option selection unit 120 selects an option for the state to be inferred (step S201).
  • the prototype acquisition unit 170 acquires a prototype corresponding to the state to be inferred, according to the selection result by the option selection unit 120 for the state to be inferred (step S202). For example, the prototype acquisition unit 170 acquires a feature vector of a prototype associated with the option selected by the option selection unit 120 by referring to the prototype database 160.
  • the behavior inference unit 180 infers behavior based on the state to be inferred and the feature vector of the prototype acquired by the prototype acquisition unit 170 (step S203).
  • the behavior inference unit 180 may infer behavior by using a model that has been trained in advance to output a behavior in response to the input of the state to be inferred and the feature vector of the prototype.
  • the output unit 190 outputs the result of the inference by the behavior inference unit 180 (step S204).
  • the output unit 190 can output the behavior inferred by the behavior inference unit 180 and the prototype used for the inference.
  • the above is an example of the operation of the inference device 100 during behavioral inference.
  • the inference device 100 has a feature extraction unit 140 and a prototype update unit 150.
  • the feature extraction unit 140 can extract feature vectors using an architecture having a mechanism for distributing feature vectors in a feature space.
  • the prototype update unit 150 can update the prototype using the feature vector extracted by the feature extraction unit 140 to be distributed.
  • the feature vector of the prototype to be updated according to the extracted feature vector can also be distributed.
  • the prototype updated by the prototype update unit 150 it is possible to select an appropriate prototype without selecting only a specific prototype during inference. As a result, more appropriate support can be realized, for example, when inferring behavior according to a state using machine learning to support various decision-making.
  • FIG. 16 shows an example of a feature vector extracted using the technology described in Patent Document 1, and an example of a feature vector extracted by the feature extraction unit 140 using an architecture having a mechanism for distributing feature vectors in a feature space.
  • the left side is an example of a feature space when the technology described in Patent Document 1 is used
  • the right side is an example of a feature space when a feature vector is extracted using the feature extraction unit 140.
  • Figure 17 shows an example of the feature space when VAE is used. Referring to Figure 17, it is possible to further suppress the bias in distribution in the feature space by applying normalization and restricting the expression using VAE. This makes it possible to further suppress the bias in the feature vectors.
  • Fig. 18 is a diagram showing an example of the hardware configuration of the learning device 200.
  • Fig. 19 is a block diagram showing an example of the configuration of the learning device 200.
  • Fig. 20 is a flowchart showing an example of the operation of the learning device 200.
  • Fig. 21 is a block diagram showing an example of the configuration of the inference device 300.
  • a learning device 200 that learns a prototype that is a typical example based on a state-action sequence that indicates transitions between states and actions will be described. Also, in the present disclosure, an inference device 300 that performs inference using a learning result by the learning device 200 will be described.
  • Fig. 18 shows an example of the hardware configuration of the learning device 200. Referring to Fig. 18, the learning device 200 has, as an example, the following hardware configuration.
  • ⁇ CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • Program group 204 loaded into RAM 203
  • a storage device 205 for storing the programs 204
  • a drive device 206 that reads and writes data from and to a recording medium 210 outside the information processing device.
  • a communication interface 207 that connects to a communication network 211 outside the information processing device
  • Input/output interface 208 for inputting and outputting data
  • a bus 209 that connects each component
  • the learning device 200 can realize the functions of the extraction unit 221 and update unit 222 shown in FIG. 19 by having the CPU 201 acquire and execute the program group 204.
  • the program group 204 is stored in advance in the storage device 205 or ROM 202, for example, and is loaded into the RAM 203 or the like by the CPU 201 for execution as necessary.
  • the program group 204 may be supplied to the CPU 201 via the communication network 211, or may be stored in advance in the recording medium 210, and the drive device 206 may read out the programs and supply them to the CPU 201.
  • FIG. 18 shows an example of the hardware configuration of the learning device 200.
  • the hardware configuration of the learning device 200 is not limited to the above-mentioned case.
  • the learning device 200 may be configured with only a part of the above-mentioned configuration, such as not having the drive device 206.
  • the CPU 201 may be a GPU as exemplified in the first embodiment.
  • the extraction unit 221 extracts a feature vector using a mechanism that distributes feature vectors in a feature space in response to an input of a state-action sequence that includes at least one combination of a state and an action. For example, the extraction unit 221 extracts a feature vector using an autoencoder mechanism that includes an encoder that receives an input of a state-action sequence to obtain a feature vector, and a decoder that receives an input of the feature vector to reconstruct the state-action sequence.
  • the update unit 222 updates the prototype, which is a typical example of a state-action sequence, based on the feature vector extracted by the extraction unit 221.
  • the update unit 222 may store the updated result in a storage device or the like.
  • the above is an example of the configuration of the learning device 200. Next, an example of the operation of the learning device 200 will be described with reference to FIG. 20.
  • FIG. 20 shows an example of the operation of the learning device 200.
  • the extraction unit 221 extracts a feature vector using a mechanism that distributes feature vectors in a feature space in response to an input of a state-action sequence that includes at least one combination of a state and an action (step S301).
  • the extraction unit 221 extracts the feature vector using an autoencoder mechanism that includes an encoder that receives an input of a state-action sequence to obtain a feature vector, and a decoder that receives an input of the feature vector to reconstruct the state-action sequence.
  • the update unit 222 updates the prototype, which is a typical example of the state-action sequence, based on the feature vector extracted by the extraction unit 221 (step S302).
  • the update unit 222 may store the updated result in a storage device or the like.
  • the learning device 200 has an extraction unit 221 and an update unit 222.
  • the extraction unit 221 can extract feature vectors using a mechanism that distributes feature vectors in a feature space.
  • the update unit 222 can update a prototype, which is a typical example of a state-action sequence, based on the feature vector extracted by the extraction unit 221. This allows the prototypes to be distributed, reducing the risk of selecting only a specific prototype during inference. As a result, more appropriate support can be achieved, for example, when inferring actions according to a state using machine learning to support various decision-making.
  • a program in another form of the present disclosure is a program for implementing a process in which, in response to an input of a state-action sequence including at least one combination of state and action, a feature vector is extracted using a mechanism that distributes feature vectors in a feature space in an information processing device, and a prototype, which is a typical example of a state-action sequence, is updated based on the extracted feature vector.
  • the learning method executed by an information processing device such as the learning device 200 described above is a method in which the information processing device extracts a feature vector using a mechanism that distributes feature vectors in a feature space in response to an input of a state-action sequence that includes at least one combination of state and action, and updates a prototype, which is a typical example of the state-action sequence, based on the extracted feature vector.
  • the inference device 300 is an information processing device that performs inference using the prototype learned by the learning device 200.
  • the hardware configuration of the inference device 300 may be similar to that of the learning device 200 illustrated in FIG. 18.
  • the inference device 300 can realize the functions of the acquisition unit 321, the inference unit 322, and the output unit 323 shown in FIG. 21 by the CPU acquiring a group of programs and executing them.
  • the acquisition unit 321 acquires a learned prototype using a mechanism that distributes feature vectors in a feature space according to the state to be inferred.
  • the prototype may be learned by the learning device 200 described above.
  • the inference unit 322 infers an action based on the state to be inferred and the prototype acquired by the acquisition unit 321. For example, the inference unit 322 may infer an action by inputting the state to be inferred and the prototype acquired by the acquisition unit 321 into a model that has been learned in advance.
  • the output unit 323 outputs the behavior inferred by the inference unit 322 and the prototype used during the inference.
  • Such an inference device 300 can achieve the objective of the present disclosure described above, similar to the learning device 200 and the like.
  • (Appendix 1) an extracting unit that extracts a feature vector by using a mechanism for distributing the feature vector in a feature space in response to an input of a state-action sequence including at least one combination of a state and an action; an update unit that updates a prototype, which is a typical example of the state-action sequence, based on the feature vector extracted by the extraction unit;
  • a learning device having (Appendix 2) 2.
  • the extraction unit has an autoencoder mechanism including an encoder that inputs the state-action sequence to obtain the feature vector, and a decoder that inputs the feature vector to reconstruct the state-action sequence. (Appendix 3) 3.
  • the learning device extracts the feature vector from the state-action sequence by calculating a latent variable in response to an input of the state-action sequence.
  • Appendix 4 3.
  • the learning device according to claim 2 A learning device in which the extraction unit uses a variational autoencoder (VAE) as an autoencoder.
  • VAE variational autoencoder
  • Appendix 5 5.
  • the learning device according to claim 4, The update unit updates the prototype by solving the equations shown in Equation 15 and Equation 16. Learning device.
  • (Appendix 6) 2.
  • the learning device according to claim 1 The prototype is data used when inferring an action using a state that is the subject of inference. (Appendix 7) 2.
  • a selection unit that selects an option that is a subgoal for each state included in the state-action sequence; a division unit that divides the state-action sequence into one or more segments based on the option selected by the selection unit; having The extraction unit extracts the feature vector in response to an input of the segment.
  • the division unit divides the state-action sequence into sequences each including a succession of options selected by the selection unit. (Appendix 9) 2.
  • a selection unit that selects an option that is a subgoal for a state that is an inference target; an acquisition unit that acquires the prototype based on the option selected by the selection unit; an inference unit that infers an action based on a state to be inferred and the prototype acquired by the acquisition unit; an output unit that outputs the behavior inferred by the inference unit and the prototype used at the time of inference;
  • a learning device having (Appendix 10) 2.
  • the extraction unit extracts the feature vector using an autoencoder that has undergone machine learning;
  • a selection unit that selects an option that is a subgoal for a state that is an inference target; an acquisition unit that acquires the prototype based on the option selected by the selection unit; an inference unit that infers an action for a user's decision-making based on a state to be inferred and the prototype acquired by the acquisition unit; an output unit that outputs the behavior inferred by the inference unit and the prototype used at the time of inference;
  • a learning device having (Appendix 11) 3.
  • the extraction unit uses a machine-learned variational autoencoder (VAE) as an autoencoder, A selection unit that selects an option that is a subgoal for a state that is an inference target; an acquisition unit that acquires the prototype based on the option selected by the selection unit; an inference unit that infers an action for a user's decision-making based on a state to be inferred and the prototype acquired by the acquisition unit; an output unit that outputs the behavior inferred by the inference unit and the prototype used at the time of inference; A learning device having (Appendix 12) An information processing device, extracting a feature vector using a mechanism for distributing the feature vector in a feature space in response to an input of a state-action sequence including at least one combination of a state and an action; A learning method in which a prototype, which is a typical example of the state-action sequence, is updated based on the extracted feature vector.
  • VAE machine-learned variational autoencoder
  • (Appendix 12-1) 13 The learning method according to claim 12, further comprising: A learning method in which, when extracting the feature vector, an autoencoder mechanism including an encoder that inputs the state-action sequence to obtain the feature vector, and a decoder that inputs the feature vector to reconstruct the state-action sequence is used to extract the feature vector.
  • an autoencoder mechanism including an encoder that inputs the state-action sequence to obtain the feature vector, and a decoder that inputs the feature vector to reconstruct the state-action sequence is used to extract the feature vector.
  • VAE variational autoencoder
  • the feature vector is extracted from the state-action sequence by calculating a latent variable in response to the input of the state-action sequence.
  • a recording medium according to claim 13-1 A recording medium, wherein when extracting the feature vector, a variational autoencoder (VAE) is used as an autoencoder to extract the feature vector.
  • VAE variational autoencoder
  • a recording medium according to claim 13-2 A recording medium comprising: a storage medium for storing a storage medium ...
  • a recording medium according to claim 13-2 The prototype is updated by solving the equations shown in Equation 19 and Equation 20. Recording medium.
  • Appendix 13-5) A recording medium according to claim 13, The prototype is data used when inferring an action using a state that is an inference target. (Appendix 13-6) 14.
  • a recording medium For each state included in the state-action sequence, select an option that is a subgoal; dividing the state-action sequence into one or more segments based on a selected option; A recording medium for extracting the feature vector in response to an input of the segment.
  • Appendix 13-7) A recording medium according to claim 13-6, A recording medium, wherein when dividing the state/action sequence, the state/action sequence is divided for each sequence in which selected options are consecutive among the state/action sequence. (Appendix 13-8) 14.
  • a recording medium Select the subgoal option for the state to be inferred, Obtaining said prototype based on selected options; Inferring an action based on the state to be inferred and the acquired prototype; A computer-readable recording medium having recorded thereon a program for implementing a process of outputting an inferred action and the prototype used at the time of inference.
  • Appendix 14 an acquisition unit that acquires a learned prototype using a mechanism for distributing feature vectors in a feature space according to a state to be inferred; an inference unit that infers an action based on a state to be inferred and the prototype acquired by the acquisition unit; an output unit that outputs the behavior inferred by the inference unit and the prototype used at the time of inference;
  • An inference device having
  • the programs described in the above embodiments and appendices may be stored in a storage device or a computer-readable recording medium.
  • the recording medium may be a portable medium such as a flexible disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • Reference Signs List 100
  • Inference device 110 Acquisition unit 111 State history database 120
  • Option selection unit 130 State/action sequence division unit 140
  • Feature extraction unit 150 Prototype update unit 160
  • Prototype acquisition unit 180 Action inference unit 190
  • Output unit 200 Learning device 201
  • Program group 205 Storage device 206
  • Communication interface 208 Input/output interface 209
  • Bus 210 Recording medium 211 Communication network 221 Extraction unit 222 Update unit 300
  • Inference device 321 Acquisition unit 322 Inference unit 323

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

学習装置は、状態と行動の組み合わせを少なくとも１つ含む状態行動列の入力に応じて、特徴空間上に特徴ベクトルを分散させるような機構を用いて前記特徴ベクトルの抽出を行う抽出部と、前記抽出部が抽出した前記特徴ベクトルに基づいて、前記状態行動列の典型例であるプロトタイプを更新する更新部と、を有する。

Description

学習装置
　本開示は、学習装置、学習方法、記録媒体、推論装置に関する。
　状態に応じて、模倣対象の行動を推論する際に用いられる技術が知られている。
　例えば、特許文献１には、状態の入力に応じて行動を推論するとともに、推論時に用いた典型例（プロトタイプ）を出力する装置が記載されている。例えば、特許文献１に記載の技術の場合、装置は、学習時において、典型例（プロトタイプ）となる行動列を学習しておく。また、推論時において、装置は、推論対象となる状態に応じたプロトタイプを取得する。そして、装置は、状態とプロトタイプとに基づいて行動を推論する。その結果、装置は、推論した行動を出力するとともに、推論時に用いた典型例であるプロトタイプを出力することができる。
国際公開第２０２１／２４２５８５号
　特許文献１に記載の技術の場合、推論時において特定のプロトタイプのみが選択されてしまい、推論の根拠として同一のプロトタイプのみが出力されてしまうことがあった。このように、より適切な根拠の出力を実現することが難しい場合がある、という課題が生じていた。
　そこで、本開示は、上述した課題を解決することが可能な学習装置、学習方法、記録媒体、推論装置を提供することを目的の一つとする。
　かかる目的を達成するため本開示における学習装置は、
　状態と行動の組み合わせを少なくとも１つ含む状態行動列の入力に応じて、特徴空間上に特徴ベクトルを分散させるような機構を用いて前記特徴ベクトルの抽出を行う抽出部と、
　前記抽出部が抽出した前記特徴ベクトルに基づいて、前記状態行動列の典型例であるプロトタイプを更新する更新部と、
　を有する
　という構成をとる。
　また、本開示における学習方法は、
　情報処理装置が、
　状態と行動の組み合わせを少なくとも１つ含む状態行動列の入力に応じて、特徴空間上に特徴ベクトルを分散させるような機構を用いて前記特徴ベクトルの抽出を行い、
　抽出した前記特徴ベクトルに基づいて、前記状態行動列の典型例であるプロトタイプを更新する
　という構成をとる。
　また、本開示における記録媒体は、
　情報処理装置に、
　状態と行動の組み合わせを少なくとも１つ含む状態行動列の入力に応じて、特徴空間上に特徴ベクトルを分散させるような機構を用いて前記特徴ベクトルの抽出を行い、
　抽出した前記特徴ベクトルに基づいて、前記状態行動列の典型例であるプロトタイプを更新する
　処理を実現させるためのプログラムを記録した、コンピュータが読み取り可能な記録媒体である。
　また、本開示における推論装置は、
　推論対象となる状態に応じて、特徴空間上に特徴ベクトルを分散させるような機構を用いて学習されたプロトタイプを取得する取得部と、
　推論対象となる状態と、前記取得部が取得した前記プロトタイプと、に基づいて、行動を推論する推論部と、
　前記推論部が推論した行動と、推論時に用いた前記プロトタイプと、を出力する出力部と、
　を有する
　という構成をとる。
　上述したような各構成によると、より適切な根拠の出力を実現することができる。
本開示における推論装置の概要を示す図である。 本開示にかかる推論装置の構成例を示すブロック図である。 状態行動列の一例を説明するための図である。 オプション選択の一例を示す図である。 状態行動列の分割例を示す図である。 特徴抽出処理の一例を説明するための図である。 特徴抽出処理の一例を説明するための図である。 特徴抽出処理の一例を説明するための図である。 特徴抽出処理の一例を説明するための図である。 プロトタイプ更新処理の一例を説明するための図である。 プロトタイプ更新処理の一例を説明するための図である。 プロトタイプ更新処理の一例を説明するための図である。 出力例を示す図である。 学習時の動作例を示すフローチャートである。 推論時の動作例を示すフローチャートである。 特徴ベクトルの一例を示す図である。 特徴ベクトルの一例を示す図である。 本開示にかかる学習装置のハードウェア構成例を示す図である。 学習装置の構成例を示すブロック図である。 学習装置の動作例を示すフローチャートである。 本開示にかかる第２の推論装置の構成例を示すブロック図である。
［第１の実施形態］
　本開示にかかる第１の推論装置１００の構成例について、図１から図１７までを参照して説明する。図１は、推論装置１００の概要を示す図である。図２は、推論装置１００の構成例を示すブロック図である。図３は、状態行動列の一例を説明するための図である。図４は、オプション選択の一例を示す図である。図５は、状態行動列の分割例を示す図である。図６から図９までは、特徴抽出処理の一例を説明するための図である。図１０から図１２までは、プロトタイプ更新処理の一例を説明するための図である。図１３は、出力例を示す図である。図１４は、学習時の動作例を示すフローチャートである。図１５は、推論時の動作例を示すフローチャートである。図１６、図１７は、特徴ベクトルの一例を示す図である。なお、本開示において、図面は、１以上の各実施形態に関連づけられてよい。
　本開示の第１の実施形態では、状態の入力に応じて行動を推論する情報処理装置である推論装置１００（学習装置）について説明する。例えば、図１で示すように、推論装置１００は、学習時において、状態と行動の遷移を示す状態行動列に基づいて、典型例となるプロトタイプを学習（機械学習）しておく。また、推論装置１００は、推論時において、推論対象となる状態に対応するプロトタイプを取得する。そして、推論装置１００は、状態とプロトタイプとに基づいて行動を推論する。その後、推論装置１００は、推論した行動を出力するとともに、推論時に用いた典型例であるプロトタイプを出力することができる。
　また、本開示において説明する推論装置１００は、プロトタイプを学習する際、特徴空間上に特徴ベクトルを分散させるような機構を持つアーキテクチャを用いて特徴ベクトルの抽出を行って上記学習を行う。例えば、推論装置１００は、状態行動列を入力して特徴ベクトルを得るエンコーダと、特徴ベクトルを入力して状態行動列を再構成するデコーダと、を含むオートエンコーダのアーキテクチャを用いて、上記抽出を行う。このような構成によると、特徴ベクトルが特徴空間上に分散される。そのため、抽出した特徴ベクトルに応じて更新するプロトタイプの特徴ベクトルも分散することができる。これにより、推論装置１００は、推論時において特定のプロトタイプのみを選択してしまうことなく、適切なプロトタイプの選択を行うことができる。
　なお、本開示において説明する推論装置１００は、例えば、専門家そのほかエキスパートなどの模倣対象の行動を推論・模倣する際などに使用することができる。例えば、推論装置１００は、優良顧客の状態及び行動から推論対象の人物が取るべき行動を推論して推論した行動を行うよう必要な行動推薦を行うなど、小売り関連の推論、意思決定の支援時などに用いることができる。また、推論装置１００は、健康改善の効果が見られたユーザの状態及び行動から健康改善を図りたいユーザの行動を推論・提示することで意思決定を支援するなどヘルスケア関連で用いられてもよい。推論装置１００は、上記例示した場合のほか、機械学習により状態に応じた行動を推論して、様々な意思決定を支援する任意の場面で用いられてよい。
　また、本開示において、状態とは、ある時点における対象の属性、様子、状況などのありさまを示すデータのこという。状態には、１つまたは複数の値を含むことができる。例えば、ヘルスケア関連の場合、状態には、年齢、性別、BMI（Body Mass Index）、体脂肪率、血圧、摂取カロリー、食事内容に応じた値などのうちの少なくとも一部の値を含むことができる。状態には、上記例示した以外の値が含まれてもよい。また、行動とは、対応する状態時に対象が行った行いの内容や種類などのことをいう。例えば、ヘルスケア関連の場合、行動には、運動の種類、時間、強度など行動の種類や内容に応じた値が含まれてよい。状態と同様、行動には、上記例示した以外の値が含まれてもよい。また、状態行動列とは、ある時点における状態と状態に対応する行動との組み合わせを１つまたは複数含む、状態と行動の遷移のことをいう。例えば、状態行動列は、ある人物における状態と行動の遷移を時系列で示すデータなどであってよい。状態行動列は、一人または複数の人物の状態と行動の遷移を時系列で示してもよい。
　また、本開示において、プロトタイプとは、状態行動列から学習される状態と行動の遷移の典型例のことをいう。プロトタイプは、状態と状態に対応する行動との組み合わせを１つまたは複数含むことができる。また、本開示において、オプション選択部１２０が状態などに基づいて選択するサブゴールのことをオプションという。例えば、オプションは、プロトタイプと関連づけることができる。そのため、オプションは、プロトタイプを識別するための識別情報ということもできる。例えば、オプションの数は、ｋ個（ｋは自然数）など予め設定してよい。
　図２は、推論装置１００の構成例を示している。図２を参照すると、推論装置１００は、取得部１１０と、オプション選択部１２０と、状態行動列分割部１３０と、特徴抽出部１４０と、プロトタイプ更新部１５０と、プロトタイプ取得部１７０と、行動推論部１８０と、出力部１９０と、を有している。例えば、推論装置１００は、ＣＰＵ（Central Processing Unit）などの演算装置と、プログラムを記憶する記録装置と、を有する。例えば、推論装置１００は、演算装置が記憶装置からプログラムを読み込んで実行することにより、上記ハードウェアとプログラムとを協働させて上記処理部を実現することができる。また、推論装置１００は、状態履歴データベース１１１やプロトタイプデータベース１６０などを有することができる。
　なお、図２では、１台の情報処理装置を用いて推論装置１００としての機能を実現する場合について例示している。しかしながら、推論装置１００としての機能のうちの少なくとも一部は、例えばクラウド上に実現されるなど、複数台の情報処理装置を用いて実現されてもよい。また、推論装置１００は、キーボードやマウスなどの操作入力部やディスプレイなどの画面表示装置など例示した以外の構成を有してもよい。
　また、推論装置１００は、上述したＣＰＵの代わりに、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、ＴＰＵ（Tensor Processing Unit）、量子プロセッサ、マイクロコントローラ、又は、これらの組み合わせなどを有してもよい。
　取得部１１０は、学習対象となる状態行動列や、推論対象となる状態などを取得する。例えば、取得部１１０は、状態行動列を格納する状態履歴データベース１１１などを参照することで、学習対象となる状態行動列や、推論対象となる状態などを取得する。
　例えば、図３で例示するように、取得部１１０は、複数の状態を含む状態行動列を取得することができる。一例として、図３で例示する場合、取得部１１０は、状態ｓ１からｓ１１まで１１個の状態を含む状態行動列を取得する。また、取得部１１０が取得する状態ｓ１からｓ１１までの各状態には、年齢、性別、体重など複数の値が含まれている。なお、図３では例示していないが、状態行動列には、各状態に対応する行動の値が含まれてよい。
　なお、取得部１１０は、上記例示した以外の方法で学習対象となる状態行動列や推論対象となる状態などを取得してもよい。例えば、取得部１１０は、キーボードやマウスなどの操作入力部を用いた入力を受けつけること、そのほか外部装置などから取得することなど任意の方法を用いて、学習対象となる状態行動列や推論対象となる状態などを取得してよい。
　状態履歴データベース１１１は、学習対象となる状態行動列などを記憶する記憶装置である。例えば、状態履歴データベース１１１は、１つまたは複数の状態行動列を含むことができる。上述したように、状態行動列には、ある時点における状態と状態に対応する行動との組み合わせが１つまたは複数含まれてよい。また、状態履歴データベース１１１は、推論対象となる状態などを含むことができる。状態履歴データベース１１１に含まれる各種情報は、キーボードやマウスなどの操作入力部を用いた入力を受け付けること、外部装置などから取得することなど、任意の手段を用いて取得され、記憶装置に格納されている。
　なお、状態履歴データベース１１１は、図２で例示するように推論装置１００の外部にあってもよいし、推論装置１００が有してもよい。本開示においては、状態履歴データベース１１１を有する装置については特に限定しない。
　オプション選択部１２０は、学習対象となる状態行動列や推論対象となる状態などに対してオプションを選択する。例えば、オプション選択部１２０は、状態行動列に含まれる各状態や推論対象となる状態について、選択対象となる状態の内容などに基づいてオプションを選択することができる。
　図４は、オプション選択部１２０によるオプション選択の一例を示している。例えば、図４を参照すると、オプション選択部１２０は、状態行動列に含まれる各状態についてオプションを選択する。一例として、図４で例示する場合、オプション選択部１２０は、状態ｓ１、ｓ２についてオプション３を選択している。また、オプション選択部１２０は、状態ｓ３からｓ７までオプション１を選択しており、状態ｓ８からｓ１１までオプション３を選択している。
　本開示の場合、オプション選択部１２０は、状態の入力に対してオプションを出力するよう予め学習したモデルを用いることなどにより、オプションの選択を行うことができる。換言すると、オプション選択部１２０は、状態の入力に対してオプションを出力するよう予め学習したオプション選択器などであってよい。また、オプション選択部１２０によるオプションの選択方策は、強化学習などにより学習してよい。一例として、オプション選択部１２０は、後述する行動推論部１８０による行動の推論値が正解値に近いほど方策の学習において高い報酬を得るように、強化学習を行うことができる。なお、オプション選択部１２０は、ニューラルネットワークなどを用いた方策の学習を行ってよい。オプション選択部１２０は、例示した以外のモデルを用いて学習を行ってもよい。
　状態行動列分割部１３０は、オプション選択部１２０が選択したオプションに基づいて状態行動列を複数のセグメントに分割する。ここで、セグメントとは、状態行動列のうちの少なくとも一部から構成される部分列のことをいう。例えば、状態行動列分割部１３０は、状態行動列のうちオプション選択部１２０が選択したオプションが連続する列ごとに、状態行動列を分割することができる。
　例えば、図４で例示した場合、オプション選択部１２０は、状態ｓ１、ｓ２についてオプション３を選択しており、状態ｓ３からｓ７までオプション１を選択しており、状態ｓ８からｓ１１までオプション１１を選択している。そこで、状態行動列分割部１３０は、図５で例示するように、オプション３が選択された状態ｓ１、ｓ２、オプション１が選択された状態ｓ３からｓ７、オプション３が選択された状態ｓ８からｓ１１の３つのセグメントに状態行動列を分割する。
　特徴抽出部１４０は、状態行動列分割部１３０によって連続するオプションごとに分割された状態行動列を、特徴空間上に特徴ベクトルとして抽出する。換言すると、特徴抽出部１４０は、状態行動列分割部１３０が分割したセグメントごとに、セグメントに含まれる状態などの特徴に応じた特徴ベクトルの抽出を行う。例えば、図５で例示した場合、状態行動列分割部１３０により状態行動列が３つのセグメントに分解されている。そのため、特徴抽出部１４０は、図６で例示するように、状態行動列分割部１３０が分割した３つのセグメントそれぞれについて特徴ベクトルの抽出を行う。
　本開示の場合、特徴抽出部１４０は、特徴空間上に特徴ベクトルを分散させるような機構を持つアーキテクチャを用いて特徴ベクトルの抽出を行う。例えば、特徴抽出部１４０は、図７で例示するように、状態行動列の少なくとも一部であるセグメントを入力して特徴ベクトルを得るエンコーダと、特徴ベクトルを入力してセグメントのデータを再構成するデコーダと、を含むオートエンコーダのアーキテクチャを用いて、上記抽出を行う。換言すると、特徴抽出部１４０は、セグメントの入力に応じて特徴ベクトルを算出することができる。なお、オートエンコーダのアーキテクチャを用いる場合、特徴抽出部１４０は、入力するセグメントのデータと再構成するセグメントのデータとが近づくように重みパラメータなどの学習を行う。例えば、特徴抽出部１４０は、数１で示す損失関数LAEを小さくするようにエンコーダおよびデコーダのパラメータを学習することができる。また、エンコーダおよびデコーダには、例えば、長・短期記憶（Long Short-Term Memory:LSTM）のアーキテクチャなどを採用してよい。
Figure JPOXMLDOC01-appb-M000003
　なお、図７中の状態を示す数２のうち、ｋは状態行動列ごとに与えられる番号であり、tはステップ番号である。また、数３は、再構成された状態を示す。また、特徴ベクトルを示す数４のうちｖｍは、分割されるステップの境界番号を示す。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　また、より望ましくは、特徴抽出部１４０は、オートエンコーダとして図８で例示するような変分オートエンコーダ（VAE：Variational Auto Encoder）を用いることが望ましい。変分オートエンコーダを用いる場合、特徴抽出部１４０は、図８で例示するように、セグメントの入力に応じて平均μと分散σ2を求めて潜在変数を算出することで、特徴ベクトルを算出することができる。
　図９及び数５は、VAEを用いる場合における損失関数LVAEの一例を示している。数５のうち前半の項部分はオートエンコーダの場合と同様であり、後半の項部分がVAE独自の部分となっている。
Figure JPOXMLDOC01-appb-M000007
　なお、VAEを用いる場合、数４で示した特徴ベクトルの事前分布として、標準正規分布N(0,I)を仮定する。例えば、数６で示す状態が入力されたときの特徴ベクトル（数４）は、数７で表すことができる。ここで、数８及び数９は、それぞれエンコーダによって出力される平均と分散のパラメータである。
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
Figure JPOXMLDOC01-appb-M000011
　また、特徴ベクトル（数４）は、上記分布からサンプリングされるが、Reparameterization Trickという手法を用いて下記数１０で示す式から求めることができる。ここでεは、ε～N(0,I)からサンプルされるランダムノイズである。
Figure JPOXMLDOC01-appb-M000012
　例えば、以上のように、特徴抽出部１４０は、オートエンコーダにおけるエンコーダなどを用いることで、特徴ベクトルとして潜在変数を抽出する。また、特徴抽出部１４０は、入力するセグメントのデータと再構成するセグメントのデータとが近づくように重みパラメータなどの学習を行うことができる。
　プロトタイプ更新部１５０は、特徴抽出部１４０が抽出した特徴ベクトルを用いてプロトタイプを更新する。例えば、プロトタイプ更新部１５０は、図１０で示すように、特徴抽出部１４０によって抽出された特徴ベクトルと更新前におけるプロトタイプの特徴ベクトルとを用いた評価結果に応じて、プロトタイプの特徴ベクトルを更新することができる。また、プロトタイプ更新部１５０は、プロトタイプの特徴ベクトルを更新するととともに、図１１で例示するように、対応するプロトタイプの状態行動列を更新することができる。プロトタイプの状態行動列には、状態や状態と行動の遷移を時系列で示すデータが含まれてよい。例えば、図１１では、３つのプロトタイプに対応する状態や状態と行動の遷移を時系列で示すデータを例示している。その後、プロトタイプ更新部１５０は、更新したプロトタイプの状態行動列や特徴ベクトルなどをプロトタイプデータベース１６０に格納する。
　一例として、プロトタイプ更新部１５０は、特徴抽出部１４０によって抽出された特徴ベクトルから更新値を算出する。そして、プロトタイプ更新部１５０は、算出した更新値に応じてプロトタイプの特徴ベクトルを更新することができる。また、プロトタイプ更新部１５０は、更新した特徴ベクトルに基づいてプロトタイプの状態行動列を更新する。例えば、プロトタイプ更新部１５０は、特徴ベクトル抽出元のセグメントの状態行動列を特定して、特定した状態行動列に含まれる状態などを用いて、プロトタイプの状態行動列を更新することができる。
　なお、特徴抽出部１４０がオートエンコーダのアーキテクチャを用いる場合、プロトタイプ更新部１５０は、下記数１１及び数１２で示すように、特許文献１に記載されている方法と同様の方法を用いてプロトタイプの特徴ベクトルや状態行動列の更新を行ってよい。
Figure JPOXMLDOC01-appb-M000013
Figure JPOXMLDOC01-appb-M000014
 　なお、okは、プロトタイプの特徴ベクトルを示している。また、ｋはプロトタイプの番号である。
　また、VAEのアーキテクチャを用いる場合、プロトタイプ更新部１５０は、図１２や下記数１３、数１４で示すような式を用いて、プロトタイプの更新を行うことができる。
Figure JPOXMLDOC01-appb-M000015
Figure JPOXMLDOC01-appb-M000016
 　なお、oμkは、プロトタイプの特徴ベクトルの平均を示しており、oσkは、プロトタイプの特徴ベクトルの分散を示している。
　例えば、上述したような方法を用いて、セグメントの特徴ベクトルがプロトタイプに近くなるように学習することで、クラスタ構造を促進することができる。また、それぞれのプロトタイプが最も近いセグメントの特徴により近くなるように学習することで、 プロトタイプとしての解釈性を高めることができる。また、それぞれのプロトタイプ間の距離が近い場合に遠ざかるように学習することで、多様性を向上させることができる。
　プロトタイプデータベース１６０は、プロトタイプ更新部１５０により更新されるプロトタイプの特徴ベクトルや状態行動列などを記憶する記憶装置である。プロトタイプデータベース１６０では、プロトタイプの特徴ベクトルや状態行動列などとオプションとが関連付けられていてもよい。例えば、プロトタイプデータベース１６０は、プロトタイプ更新部１５０がプロトタイプの更新を行うことなどに応じて更新される。
　なお、プロトタイプデータベース１６０は、図２で例示するように推論装置１００が有していてもよいし、推論装置１００の外部にあってもよい。本開示においては、プロトタイプデータベース１６０を有する装置については特に限定しない。
　プロトタイプ取得部１７０は、推論対象となる状態に対するオプション選択部１２０による選択結果に応じて、推論対象となる状態に対応するプロトタイプを取得する。例えば、プロトタイプ取得部１７０は、プロトタイプデータベース１６０を参照することで、オプション選択部１２０が選択したオプションと関連づけられているプロトタイプの特徴ベクトルを取得する。プロトタイプ取得部１７０は、プロトタイプデータベース１６０を参照することで、プロトタイプの特徴ベクトルとともにプロトタイプの状態行動列を取得してもよい。
　行動推論部１８０は、推論対象となる状態とプロトタイプ取得部１７０が取得したプロトタイプの特徴ベクトルとに基づいて、行動を推論する。
　例えば、行動推論部１８０は、推論対象となる状態とプロトタイプの特徴ベクトルの入力に対して行動を出力するよう予め学習したモデルを用いることなどにより、行動の推論を行ってよい。行動推論部１８０の処理は、特許文献１に記載されている技術などと同様であってよい。
　出力部１９０は、行動推論部１８０による推論の結果を出力する。例えば、出力部１９０は、図１３で示すように、行動推論部１８０が推論した行動や推論に用いたプロトタイプなどを出力することができる。出力部１９０は、プロトタイプの状態行動列のほか、プロトタイプの特徴ベクトルなどを出力してもよい。例えば、出力部１９０は、推論した行動などを画面表示装置上に表示したり、外部装置などへと送信したりしてよい。例えば、出力部１９０が推論の結果とともに推論に用いたプロトタイプの出力を行うことで、判断根拠を提示することができ、より的確な意思決定の支援などを実現することができる。
　以上が、推論装置１００の構成例である。続いて、図１４、図１５を参照して、推論装置１００の動作例について説明する。
　図１４は、プロトタイプ更新時における推論装置１００の動作例を示している。図１４を参照すると、オプション選択部１２０は、学習対象となる状態行動列に対してオプションを選択する（ステップＳ１０１）。例えば、オプション選択部１２０は、状態行動列に含まれる各状態について、選択対象となる状態の内容などに基づいてオプションを選択することができる。
　状態行動列分割部１３０は、オプション選択部１２０が選択したオプションに基づいて状態行動列を複数のセグメントに分割する（ステップＳ１０２）。例えば、状態行動列分割部１３０は、状態行動列のうちオプション選択部１２０が選択したオプションが連続する列ごとに、状態行動列を分割する。
　特徴抽出部１４０は、状態行動列分割部１３０によって連続するオプションごとに分割された状態行動列を、特徴空間上に特徴ベクトルとして抽出する（ステップＳ１０３）。本開示の場合、特徴抽出部１４０は、特徴空間上に特徴ベクトルを分散させるような機構を持つアーキテクチャを用いて特徴ベクトルの抽出を行う。例えば、特徴抽出部１４０は、状態行動列の一部であるセグメントを入力して特徴ベクトルを得るエンコーダと、特徴ベクトルを入力してセグメントのデータを再構成するデコーダと、を含むオートエンコーダのアーキテクチャを用いて、上記抽出を行う。
　プロトタイプ更新部１５０は、特徴抽出部１４０が抽出した特徴ベクトルを用いてプロトタイプを更新する（ステップＳ１０４）。例えば、プロトタイプ更新部１５０は、プロトタイプの特徴ベクトルを更新するととともに、対応するプロトタイプの状態行動列を更新することができる。
　また、プロトタイプ更新部１５０は、更新したプロトタイプの特徴ベクトルや状態行動列をプロトタイプデータベース１６０として記憶装置に格納する（ステップＳ１０５）。
　以上が、プロトタイプ更新時における推論装置１００の動作例である。続いて、図１５を参照して、行動推論時における推論装置１００の動作例について説明する。
　図１５は、行動推論時における推論装置１００の動作例を示している。図１５を参照すると、取得部１１０による推論対象となる状態の取得に応じて、オプション選択部１２０は、推論対象となる状態に対してオプションを選択する（ステップＳ２０１）。
　プロトタイプ取得部１７０は、推論対象となる状態に対するオプション選択部１２０による選択結果に応じて、推論対象となる状態に対応するプロトタイプを取得する（ステップＳ２０２）。例えば、プロトタイプ取得部１７０は、プロトタイプデータベース１６０を参照することで、オプション選択部１２０が選択したオプションと関連づけられているプロトタイプの特徴ベクトルを取得する。
　行動推論部１８０は、推論対象となる状態とプロトタイプ取得部１７０が取得したプロトタイプの特徴ベクトルとに基づいて、行動を推論する（ステップＳ２０３）。例えば、行動推論部１８０は、推論対象となる状態とプロトタイプの特徴ベクトルの入力に対して行動を出力するよう予め学習したモデルを用いることなどにより、行動の推論を行ってよい。
　出力部１９０は、行動推論部１８０による推論の結果を出力する（ステップＳ２０４）。例えば、出力部１９０は、行動推論部１８０が推論した行動や推論に用いたプロトタイプなどを出力することができる。
　以上が、行動推論時における推論装置１００の動作例である。
　このように、推論装置１００は、特徴抽出部１４０とプロトタイプ更新部１５０とを有している。このような構成によると、特徴抽出部１４０は、特徴空間上に特徴ベクトルを分散させるような機構を持つアーキテクチャを用いて特徴ベクトルの抽出を行うことができる。その結果、プロトタイプ更新部１５０は、特徴抽出部１４０が分散させるように抽出した特徴ベクトルを用いてプロトタイプを更新することができる。つまり、上記構成によると、抽出した特徴ベクトルに応じて更新するプロトタイプの特徴ベクトルも分散することができる。これにより、プロトタイプ更新部１５０が更新したプロトタイプを用いることで、推論時において特定のプロトタイプのみを選択してしまうことなく、適切なプロトタイプの選択を行うことができる。その結果、例えば、機械学習により状態に応じた行動を推論して様々な意思決定を支援する際などにおいて、より適切な支援を実現することができる。
　例えば、図１６は、特許文献１に記載の技術を用いて特徴ベクトルを抽出した際の一例と、特徴空間上に特徴ベクトルを分散させるような機構を持つアーキテクチャを用いて特徴抽出部１４０が特徴ベクトルの抽出を行った際の一例と、を示している。図１６で例示する場合、左側が特許文献１に記載の技術を用いた場合の特徴空間の一例であり、右側が特徴抽出部１４０を用いて特徴ベクトルを抽出した際における特徴空間の一例である。図１６を参照すると、特徴抽出部１４０により特徴ベクトルの抽出を行うことで、より状態行動列の特徴を掴むことができるため、特徴ベクトルが１つに偏りにくくなることが分かる。
　また、図１７は、ＶＡＥを用いた場合における特徴空間の一例である。図１７を参照すると、ＶＡＥにより正規化を加えて表現に制約をかけることで、特徴空間上において分布の偏りをさらに抑制することができる。これにより、より特徴ベクトルの偏りを抑制できていることが分かる。
［第２の実施形態］
　次に、図１８から図２１までを参照して、学習装置２００と推論装置３００について説明する。図１８は、学習装置２００のハードウェア構成例を示す図である。図１９は、学習装置２００の構成例を示すブロック図である。図２０は、学習装置２００の動作例を示すフローチャートである。図２１は、推論装置３００の構成例を示すブロック図である。
　本開示の第２の実施形態においては、状態と行動の遷移を示す状態行動列に基づいて典型例となるプロトタイプを学習する学習装置２００について説明する。また、本開示においては、学習装置２００による学習結果を用いた推論を行う推論装置３００について説明する。図１８は、学習装置２００のハードウェア構成例を示している。図１８を参照すると、学習装置２００は、一例として、以下のようなハードウェア構成を有している。
　・ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２０１（演算装置）
　・ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２０２（記憶装置）
　・ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２０３（記憶装置）
　・ＲＡＭ２０３にロードされるプログラム群２０４
　・プログラム群２０４を格納する記憶装置２０５
　・情報処理装置外部の記録媒体２１０の読み書きを行うドライブ装置２０６
　・情報処理装置外部の通信ネットワーク２１１と接続する通信インタフェース２０７
　・データの入出力を行う入出力インタフェース２０８
　・各構成要素を接続するバス２０９
　また、学習装置２００は、プログラム群２０４をＣＰＵ２０１が取得して当該ＣＰＵ２０１が実行することで、図１９に示す抽出部２２１、更新部２２２としての機能を実現することができる。なお、プログラム群２０４は、例えば、予め記憶装置２０５やＲＯＭ２０２に格納されており、必要に応じてＣＰＵ２０１がＲＡＭ２０３などにロードして実行する。また、プログラム群２０４は、通信ネットワーク２１１を介してＣＰＵ２０１に供給されてもよいし、予め記録媒体２１０に格納されており、ドライブ装置２０６が該プログラムを読み出してＣＰＵ２０１に供給してもよい。
　なお、図１８は、学習装置２００のハードウェア構成例を示している。学習装置２００のハードウェア構成は上述した場合に限定されない。例えば、学習装置２００は、ドライブ装置２０６を有さないなど、上述した構成の一部から構成されてもよい。また、ＣＰＵ２０１は、第１の実施形態で例示したＧＰＵなどであってもよい。
　抽出部２２１は、状態と行動の組み合わせを少なくとも１つ含む状態行動列の入力に応じて、特徴空間上に特徴ベクトルを分散させるような機構を用いて特徴ベクトルの抽出を行う。例えば、抽出部２２１は、状態行動列を入力して特徴ベクトルを得るエンコーダと、特徴ベクトルを入力して状態行動列を再構成するデコーダと、を含むオートエンコーダの機構を用いて特徴ベクトルの抽出を行う。
　更新部２２２は、抽出部２２１が抽出した特徴ベクトルに基づいて、状態行動列の典型例であるプロトタイプを更新する。更新部２２２は、更新した結果を記憶装置などに格納してもよい。
　以上が、学習装置２００の構成例である。続いて、図２０を参照して学習装置２００の動作例について説明する。
　図２０は、学習装置２００の動作例を示している。図２０を参照すると、抽出部２２１は、状態と行動の組み合わせを少なくとも１つ含む状態行動列の入力に応じて、特徴空間上に特徴ベクトルを分散させるような機構を用いて特徴ベクトルの抽出を行う（ステップＳ３０１）。例えば、抽出部２２１は、状態行動列を入力して特徴ベクトルを得るエンコーダと、特徴ベクトルを入力して状態行動列を再構成するデコーダと、を含むオートエンコーダの機構を用いて特徴ベクトルの抽出を行う。
　更新部２２２は、抽出部２２１が抽出した特徴ベクトルに基づいて、状態行動列の典型例であるプロトタイプを更新する（ステップＳ３０２）。更新部２２２は、更新した結果を記憶装置などに格納してもよい。
　このように、学習装置２００は、抽出部２２１と更新部２２２とを有している。このような構成によると、抽出部２２１は、特徴空間上に特徴ベクトルを分散させるような機構を用いて特徴ベクトルの抽出を行うことができる。また、更新部２２２は、抽出部２２１が抽出した特徴ベクトルに基づいて、状態行動列の典型例であるプロトタイプを更新することができる。これにより、プロトタイプを分散させることができ、推論時において特定のプロトタイプのみを選択してしまうおそれを低減させることができる。その結果、例えば、機械学習により状態に応じた行動を推論して様々な意思決定を支援する際などにおいて、より適切な支援を実現することができる
　なお、上述した学習装置２００は、当該学習装置２００などの情報処理装置に所定のプログラムが組み込まれることで実現できる。具体的に、本開示の他の形態であるプログラムは、情報処理装置に、状態と行動の組み合わせを少なくとも１つ含む状態行動列の入力に応じて、特徴空間上に特徴ベクトルを分散させるような機構を用いて特徴ベクトルの抽出を行い、抽出した特徴ベクトルに基づいて、状態行動列の典型例であるプロトタイプを更新する、処理を実現するためのプログラムである。
　また、上述した学習装置２００などの情報処理装置により実行される学習方法は、情報処理装置が、状態と行動の組み合わせを少なくとも１つ含む状態行動列の入力に応じて、特徴空間上に特徴ベクトルを分散させるような機構を用いて前記特徴ベクトルの抽出を行い、抽出した前記特徴ベクトルに基づいて、前記状態行動列の典型例であるプロトタイプを更新する、という方法である。
　上述した構成を有する、プログラム、又は、プログラムを記録したコンピュータが読み取り可能な記録媒体、又は、学習方法、などであっても、上述した学習装置２００と同様の作用・効果を奏するために、上述した本開示の目的を達成することができる。
　また、推論装置３００は、学習装置２００が学習したプロトタイプを用いた推論を行う情報処理装置である。推論装置３００のハードウェア構成は、図１８で例示した学習装置２００と同様であってよい。また、推論装置３００は、プログラム群をＣＰＵが取得して当該ＣＰＵが実行することで、図２１に示す取得部３２１、推論部３２２、出力部３２３としての機能を実現することができる。
　取得部３２１は、推論対象となる状態に応じて、特徴空間上に特徴ベクトルを分散させるような機構を用いて学習されたプロトタイプを取得する。例えば、プロトタイプは、上述した学習装置２００などにより学習されてよい。
　推論部３２２は、推論対象となる状態と、取得部３２１が取得したプロトタイプと、に基づいて、行動を推論する。例えば、推論部３２２は、推論対象となる状態と、取得部３２１が取得したプロトタイプと、を予め学習したモデルに入力することなどに応じて行動の推論を行ってよい。
　出力部３２３は、推論部３２２が推論した行動と、推論時に用いたプロトタイプと、を出力する。
　このような推論装置３００であっても、学習装置２００などと同様に上述した本開示の目的を達成することができる。
　＜付記＞
　上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本開示における学習装置などの概略を説明する。ただし、本開示は、以下の構成に限定されない。
（付記１）
　状態と行動の組み合わせを少なくとも１つ含む状態行動列の入力に応じて、特徴空間上に特徴ベクトルを分散させるような機構を用いて前記特徴ベクトルの抽出を行う抽出部と、
　前記抽出部が抽出した前記特徴ベクトルに基づいて、前記状態行動列の典型例であるプロトタイプを更新する更新部と、
　を有する
　学習装置。
（付記２）
　付記１に記載の学習装置であって、
　前記抽出部は、前記状態行動列を入力して前記特徴ベクトルを得るエンコーダと、前記特徴ベクトルを入力して前記状態行動列を再構成するデコーダと、を含むオートエンコーダの機構を有している
　学習装置。
（付記３）
　付記２に記載の学習装置であって、
　前記抽出部は、前記状態行動列の入力に応じて潜在変数を算出することで、前記状態行動列から前記特徴ベクトルを抽出する
　学習装置。
（付記４）
　付記２に記載の学習装置であって、
　前記抽出部は、オートエンコーダとして変分オートエンコーダ（VAE：Variational Auto Encoder）を用いる
　学習装置。
（付記５）
　付記４に記載の学習装置であって、
　前記更新部は、数１５、数１６で示す式を解くことで前記プロトタイプを更新する
Figure JPOXMLDOC01-appb-M000017
Figure JPOXMLDOC01-appb-M000018
 　学習装置。
（付記６）
　付記１に記載の学習装置であって、
　前記プロトタイプは、推論対象となる状態を用いて行動を推論する際に用いられるデータである
　学習装置。
（付記７）
　付記１に記載の学習装置であって、
　前記状態行動列に含まれる各状態に対して、サブゴールとなるオプションを選択する選択部と、
　前記選択部が選択したオプションに基づいて前記状態行動列を１つまたは複数のセグメントに分割する分割部と、
　を有し、
　前記抽出部は、前記セグメントの入力に応じて前記特徴ベクトルの抽出を行う
　学習装置。
（付記８）
　付記７に記載の学習装置であって、
　前記分割部は、前記状態行動列のうち前記選択部が選択したオプションが連続する列ごとに前記状態行動列を分割する
　学習装置。
（付記９）
　付記１に記載の学習装置であって、
　推論対象となる状態に対してサブゴールとなるオプションを選択する選択部と、
　前記選択部が選択したオプションに基づいて前記プロトタイプを取得する取得部と、
　推論対象となる状態と、前記取得部が取得した前記プロトタイプと、に基づいて、行動を推論する推論部と、
　前記推論部が推論した行動と、推論時に用いた前記プロトタイプと、を出力する出力部と、
　を有する
　学習装置。
（付記１０）
　付記１に記載の学習装置であって、
　前記抽出部は、機械学習済みのオートエンコーダを用いて前記特徴ベクトルの抽出を行い、
　推論対象となる状態に対してサブゴールとなるオプションを選択する選択部と、
　前記選択部が選択したオプションに基づいて前記プロトタイプを取得する取得部と、
　推論対象となる状態と、前記取得部が取得した前記プロトタイプと、に基づいて、ユーザの意思決定のために行動を推論する推論部と、
　前記推論部が推論した行動と、推論時に用いた前記プロトタイプと、を出力する出力部と、
　を有する
　学習装置。
（付記１１）
　付記２に記載の学習装置であって、
　前記抽出部は、オートエンコーダとして機械学習済みの変分オートエンコーダ（VAE：Variational Auto Encoder）を用い、
　推論対象となる状態に対してサブゴールとなるオプションを選択する選択部と、
　前記選択部が選択したオプションに基づいて前記プロトタイプを取得する取得部と、
　推論対象となる状態と、前記取得部が取得した前記プロトタイプと、に基づいて、ユーザの意思決定のために行動を推論する推論部と、
　前記推論部が推論した行動と、推論時に用いた前記プロトタイプと、を出力する出力部と、
　を有する
　学習装置。
（付記１２）
　情報処理装置が、
　状態と行動の組み合わせを少なくとも１つ含む状態行動列の入力に応じて、特徴空間上に特徴ベクトルを分散させるような機構を用いて前記特徴ベクトルの抽出を行い、
　抽出した前記特徴ベクトルに基づいて、前記状態行動列の典型例であるプロトタイプを更新する
　学習方法。
（付記１２－１）
　付記１２に記載の学習方法であって、
　前記特徴ベクトルの抽出を行う際、前記状態行動列を入力して前記特徴ベクトルを得るエンコーダと、前記特徴ベクトルを入力して前記状態行動列を再構成するデコーダと、を含むオートエンコーダの機構を用いて、前記特徴ベクトルの抽出を行う
　学習方法。
（付記１２－２）
　付記１２―１に記載の学習方法であって、
　前記特徴ベクトルの抽出を行う際、オートエンコーダとして変分オートエンコーダ（VAE：Variational Auto Encoder）を用いて、前記特徴ベクトルの抽出を行う
　学習方法。
（付記１２－３）
　付記１２－２に記載の学習方法であって、
　前記特徴ベクトルの抽出を行う際、前記状態行動列の入力に応じて潜在変数を算出することで、前記状態行動列から前記特徴ベクトルを抽出する
　学習方法。
（付記１２－４）
　付記１２－２に記載の学習方法であって、
　数１７、数１８で示す式を解くことで前記プロトタイプを更新する
Figure JPOXMLDOC01-appb-M000019
Figure JPOXMLDOC01-appb-M000020
 　学習方法。
（付記１２－５）
　付記１２に記載の学習方法であって、
　前記プロトタイプは、推論対象となる状態を用いて行動を推論する際に用いられるデータである
　学習方法。
（付記１２－６）
　付記１２に記載の学習方法であって、
　前記状態行動列に含まれる各状態に対して、サブゴールとなるオプションを選択し、
　選択したオプションに基づいて前記状態行動列を１つまたは複数のセグメントに分割し、
　前記特徴ベクトルの抽出を行う際、前記セグメントの入力に応じて前記特徴ベクトルの抽出を行う
　学習方法。
（付記１２－７）
　付記１２－６に記載の学習方法であって、
　前記状態行動列を分割する際、前記状態行動列のうち選択したオプションが連続する列ごとに前記状態行動列を分割する
　学習方法。
（付記１２－８）
　付記１２に記載の学習方法であって、
　推論対象となる状態に対してサブゴールとなるオプションを選択し、
　選択したオプションに基づいて前記プロトタイプを取得し、
　推論対象となる状態と、取得した前記プロトタイプと、に基づいて、行動を推論し、
　推論した行動と、推論時に用いた前記プロトタイプと、を出力する
　学習方法。
（付記１３）
　情報処理装置に、
　状態と行動の組み合わせを少なくとも１つ含む状態行動列の入力に応じて、特徴空間上に特徴ベクトルを分散させるような機構を用いて前記特徴ベクトルの抽出を行い、
　抽出した前記特徴ベクトルに基づいて、前記状態行動列の典型例であるプロトタイプを更新する
　処理を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体。
（付記１３－１）
　付記１３に記載の記録媒体であって、
　前記特徴ベクトルの抽出を行う際、前記状態行動列を入力して前記特徴ベクトルを得るエンコーダと、前記特徴ベクトルを入力して前記状態行動列を再構成するデコーダと、を含むオートエンコーダの機構を用いて、前記特徴ベクトルの抽出を行う
　記録媒体。
（付記１３－２）
　付記１３―１に記載の記録媒体であって、
　前記特徴ベクトルの抽出を行う際、オートエンコーダとして変分オートエンコーダ（VAE：Variational Auto Encoder）を用いて、前記特徴ベクトルの抽出を行う
　記録媒体。
（付記１３－３）
　付記１３－２に記載の記録媒体であって、
　前記特徴ベクトルの抽出を行う際、前記状態行動列の入力に応じて潜在変数を算出することで、前記状態行動列から前記特徴ベクトルを抽出する
　記録媒体。
（付記１３－４）
　付記１３－２に記載の記録媒体であって、
　数１９、数２０で示す式を解くことで前記プロトタイプを更新する
Figure JPOXMLDOC01-appb-M000021
Figure JPOXMLDOC01-appb-M000022
 　記録媒体。
（付記１３－５）
　付記１３に記載の記録媒体であって、
　前記プロトタイプは、推論対象となる状態を用いて行動を推論する際に用いられるデータである
　記録媒体。
（付記１３－６）
　付記１３に記載の記録媒体であって、
　前記状態行動列に含まれる各状態に対して、サブゴールとなるオプションを選択し、
　選択したオプションに基づいて前記状態行動列を１つまたは複数のセグメントに分割する処理を実現させ、
　前記特徴ベクトルの抽出を行う際、前記セグメントの入力に応じて前記特徴ベクトルの抽出を行う
　記録媒体。
（付記１３－７）
　付記１３－６に記載の記録媒体であって、
　前記状態行動列を分割する際、前記状態行動列のうち選択したオプションが連続する列ごとに前記状態行動列を分割する
　記録媒体。
（付記１３－８）
　付記１３に記載の記録媒体であって、
　推論対象となる状態に対してサブゴールとなるオプションを選択し、
　選択したオプションに基づいて前記プロトタイプを取得し、
　推論対象となる状態と、取得した前記プロトタイプと、に基づいて、行動を推論し、
　推論した行動と、推論時に用いた前記プロトタイプと、を出力する
　処理を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体。
（付記１４）
　推論対象となる状態に応じて、特徴空間上に特徴ベクトルを分散させるような機構を用いて学習されたプロトタイプを取得する取得部と、
　推論対象となる状態と、前記取得部が取得した前記プロトタイプと、に基づいて、行動を推論する推論部と、
　前記推論部が推論した行動と、推論時に用いた前記プロトタイプと、を出力する出力部と、
　を有する
　推論装置。
　なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
　以上、上記各実施形態を参照して本開示を説明したが、本開示は、上述した実施形態に限定されるものではない。本開示の構成や詳細には、本開示の範囲内で当業者が理解しうる様々な変更をすることができる。そして、各実施の形態は、適宜他の実施の形態と組み合わせることができる。
１００　推論装置
１１０　取得部
１１１　状態履歴データベース
１２０　オプション選択部
１３０　状態行動列分割部
１４０　特徴抽出部
１５０　プロトタイプ更新部
１６０　プロトタイプデータベース
１７０　プロトタイプ取得部
１８０　行動推論部
１９０　出力部
２００　学習装置
２０１　ＣＰＵ
２０２　ＲＯＭ
２０３　ＲＡＭ
２０４　プログラム群
２０５　記憶装置
２０６　ドライブ装置
２０７　通信インタフェース
２０８　入出力インタフェース
２０９　バス
２１０　記録媒体
２１１　通信ネットワーク
２２１　抽出部
２２２　更新部
３００　推論装置
３２１　取得部
３２２　推論部
３２３　出力部

Claims (14)

  1. 　状態と行動の組み合わせを少なくとも１つ含む状態行動列の入力に応じて、特徴空間上に特徴ベクトルを分散させるような機構を用いて前記特徴ベクトルの抽出を行う抽出部と、
    　前記抽出部が抽出した前記特徴ベクトルに基づいて、前記状態行動列の典型例であるプロトタイプを更新する更新部と、
    　を有する
    　学習装置。
  2. 　請求項１に記載の学習装置であって、
    　前記抽出部は、前記状態行動列を入力して前記特徴ベクトルを得るエンコーダと、前記特徴ベクトルを入力して前記状態行動列を再構成するデコーダと、を含むオートエンコーダの機構を有している
    　学習装置。
  3. 　請求項２に記載の学習装置であって、
    　前記抽出部は、オートエンコーダとして変分オートエンコーダ（VAE：Variational Auto Encoder）を用いる
    　学習装置。
  4. 　請求項３に記載の学習装置であって、
    　前記抽出部は、前記状態行動列の入力に応じて平均と分散を求めて潜在変数を算出することで、前記状態行動列から前記特徴ベクトルを抽出する
    　学習装置。
  5. 　請求項３に記載の学習装置であって、
    　前記更新部は、数１及び数２で示す式を解くことで前記プロトタイプを更新する
    Figure JPOXMLDOC01-appb-M000001
    Figure JPOXMLDOC01-appb-M000002
     　学習装置。
  6. 　請求項１に記載の学習装置であって、
    　前記プロトタイプは、推論対象となる状態を用いて行動を推論する際に用いられるデータである
    　学習装置。
  7. 　請求項１に記載の学習装置であって、
    　前記状態行動列に含まれる各状態に対して、サブゴールとなるオプションを選択する選択部と、
    　前記選択部が選択したオプションに基づいて前記状態行動列を１つまたは複数のセグメントに分割する分割部と、
    　を有し、
    　前記抽出部は、前記セグメントの入力に応じて前記特徴ベクトルの抽出を行う
    　学習装置。
  8. 　請求項７に記載の学習装置であって、
    　前記分割部は、前記状態行動列のうち前記選択部が選択したオプションが連続する列ごとに前記状態行動列を分割する
    　学習装置。
  9. 　請求項１に記載の学習装置であって、
    　推論対象となる状態に対してサブゴールとなるオプションを選択する選択部と、
    　前記選択部が選択したオプションに基づいて前記プロトタイプを取得する取得部と、
    　推論対象となる状態と、前記取得部が取得した前記プロトタイプと、に基づいて、行動を推論する推論部と、
    　前記推論部が推論した行動と、推論時に用いた前記プロトタイプと、を出力する出力部と、
    　を有する
    　学習装置。
  10. 　請求項１に記載の学習装置であって、
    　前記抽出部は、機械学習済みのオートエンコーダを用いて前記特徴ベクトルの抽出を行い、
    　推論対象となる状態に対してサブゴールとなるオプションを選択する選択部と、
    　前記選択部が選択したオプションに基づいて前記プロトタイプを取得する取得部と、
    　推論対象となる状態と、前記取得部が取得した前記プロトタイプと、に基づいて、ユーザの意思決定のために行動を推論する推論部と、
    　前記推論部が推論した行動と、推論時に用いた前記プロトタイプと、を出力する出力部と、
    　を有する
    　学習装置。
  11. 　請求項２に記載の学習装置であって、
    　前記抽出部は、オートエンコーダとして機械学習済みの変分オートエンコーダ（VAE：Variational Auto Encoder）を用い、
    　　推論対象となる状態に対してサブゴールとなるオプションを選択する選択部と、
    　前記選択部が選択したオプションに基づいて前記プロトタイプを取得する取得部と、
    　推論対象となる状態と、前記取得部が取得した前記プロトタイプと、に基づいて、ユーザの意思決定のために行動を推論する推論部と、
    　前記推論部が推論した行動と、推論時に用いた前記プロトタイプと、を出力する出力部と、
    　を有する
    　学習装置。
  12. 　情報処理装置が、
    　状態と行動の組み合わせを少なくとも１つ含む状態行動列の入力に応じて、特徴空間上に特徴ベクトルを分散させるような機構を用いて前記特徴ベクトルの抽出を行い、
    　抽出した前記特徴ベクトルに基づいて、前記状態行動列の典型例であるプロトタイプを更新する
    　学習方法。
  13. 　情報処理装置に、
    　状態と行動の組み合わせを少なくとも１つ含む状態行動列の入力に応じて、特徴空間上に特徴ベクトルを分散させるような機構を用いて前記特徴ベクトルの抽出を行い、
    　抽出した前記特徴ベクトルに基づいて、前記状態行動列の典型例であるプロトタイプを更新する
    　処理を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体。
  14. 　推論対象となる状態に応じて、特徴空間上に特徴ベクトルを分散させるような機構を用いて学習されたプロトタイプを取得する取得部と、
    　推論対象となる状態と、前記取得部が取得した前記プロトタイプと、に基づいて、行動を推論する推論部と、
    　前記推論部が推論した行動と、推論時に用いた前記プロトタイプと、を出力する出力部と、
    　を有する
    　推論装置。
     
PCT/JP2023/021890 2023-06-13 2023-06-13 学習装置 Ceased WO2024257214A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2025526955A JPWO2024257214A1 (ja) 2023-06-13 2023-06-13
PCT/JP2023/021890 WO2024257214A1 (ja) 2023-06-13 2023-06-13 学習装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/021890 WO2024257214A1 (ja) 2023-06-13 2023-06-13 学習装置

Publications (1)

Publication Number Publication Date
WO2024257214A1 true WO2024257214A1 (ja) 2024-12-19

Family

ID=93851585

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/021890 Ceased WO2024257214A1 (ja) 2023-06-13 2023-06-13 学習装置

Country Status (2)

Country Link
JP (1) JPWO2024257214A1 (ja)
WO (1) WO2024257214A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018180983A (ja) * 2017-04-14 2018-11-15 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018180983A (ja) * 2017-04-14 2018-11-15 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KIM, YOUNG TO GYU ET AL.: "Anomaly Detection Using Autoencoder With Feature Vector Frequency Map", IEEE ACCESS, vol. 9, 2021, pages 73808 - 73817, XP011856711, Retrieved from the Internet <URL:https://ieeexplore.ieee.org/abstract/document/9431179> [retrieved on 20230817], DOI: 10.1109/ACCESS.2021.3080330 *
LEE, SU TO JIN ET AL.: "Path Tracking Control Using Imitation Learning with Variational Auto toEncoder", 2019 19TH INTERNATIONAL CONFERENCE ON CONTROL, AUTOMATION AND SYSTEMS (ICCAS, 2019, pages 501 - 505, XP033699250, Retrieved from the Internet <URL:https://ieeexplore.ieee.org/abstract/document/8971711> [retrieved on 20230817], DOI: 10.23919/ICCAS47443.2019.8971711 *

Also Published As

Publication number Publication date
JPWO2024257214A1 (ja) 2024-12-19

Similar Documents

Publication Publication Date Title
Liu et al. Deep learning for procedural content generation
Schwarzer et al. Data-efficient reinforcement learning with self-predictive representations
US11144825B2 (en) Interpretable deep learning framework for mining and predictive modeling of health care data
Ha et al. Collective intelligence for deep learning: A survey of recent developments
CN111027714A (zh) 基于人工智能的对象推荐模型训练方法、推荐方法及装置
JP6569047B1 (ja) 学習方法、コンピュータプログラム、分類器、及び生成器
CN109376844A (zh) 基于云平台和模型推荐的神经网络自动训练方法和装置
CN113966247A (zh) 预测性数据预加载
KR20230024825A (ko) 스트리밍 데이터 기반 영상 편집점 추천 방법, 서버 및 컴퓨터프로그램
CN111861588A (zh) 流失预测模型的训练方法、玩家流失原因分析方法及装置
Ursino et al. Multisensory Bayesian inference depends on synapse maturation during training: theoretical analysis and neural modeling implementation
Yasnitsky Artificial intelligence and medicine: History, current state, and forecasts for the future
US20240173620A1 (en) Predicting the Appearance of Deformable Objects in Video Games
JP2019128904A (ja) 予測システム、シミュレーションシステム、方法およびプログラム
CN111161883A (zh) 基于变分自编码器的疾病预测系统及其电子设备
Meng et al. Robots learn to dance through interaction with humans
JP7582465B2 (ja) 予測装置、学習装置、予測方法、学習方法およびプログラム
US20210283505A1 (en) Video Game Content Provision System and Method
KR102303626B1 (ko) 단일 이미지에 기반하여 비디오 데이터를 생성하기 위한 방법 및 컴퓨팅 장치
Maroto-Gómez et al. A preference learning system for the autonomous selection and personalization of entertainment activities during human-robot interaction
CN113077383A (zh) 一种模型训练方法及模型训练装置
KR20240122122A (ko) 실시간 심박 데이터 기반 학습 능률 판별 방법, 서버 및 컴퓨터 프로그램
US20250086689A1 (en) Extraction system, extraction method, and recording medium
JP2024507656A (ja) Ｓｎｓテキスト基盤の使用者のインテリアースタイル分析モデル提供サーバー、使用者端末及び方法
Xiangyu et al. Data-augmented machine learning for personalized carbohydrate-protein supplement recommendation for endurance

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23941522

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025526955

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025526955

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE