WO2020202308A1 - 状態制御装置、学習装置、状態制御方法、学習方法及びプログラム - Google Patents

状態制御装置、学習装置、状態制御方法、学習方法及びプログラム Download PDF

Info

Publication number
WO2020202308A1
WO2020202308A1 PCT/JP2019/014153 JP2019014153W WO2020202308A1 WO 2020202308 A1 WO2020202308 A1 WO 2020202308A1 JP 2019014153 W JP2019014153 W JP 2019014153W WO 2020202308 A1 WO2020202308 A1 WO 2020202308A1
Authority
WO
WIPO (PCT)
Prior art keywords
input
data
output
neural network
input data
Prior art date
Application number
PCT/JP2019/014153
Other languages
English (en)
French (fr)
Inventor
良徳 大橋
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to US17/435,866 priority Critical patent/US20220147798A1/en
Priority to PCT/JP2019/014153 priority patent/WO2020202308A1/ja
Priority to JP2021511689A priority patent/JP7046267B2/ja
Publication of WO2020202308A1 publication Critical patent/WO2020202308A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Definitions

  • the present invention relates to a state control device, a learning device, a state control method, a learning method, and a program.
  • LSTM model is known in which a unit in the middle layer of a recurrent neural network (RNN) model, which is a machine learning model for processing a series of data such as time series data, is replaced with a long short term memory (LSTM) block. There is. In the LSTM model, it is possible to store the long-term state as the value of a state variable.
  • RNN recurrent neural network
  • LSTM long short term memory
  • the states are not stored infinitely. Therefore, if frequent input is performed, the state may not be saved for a sufficient period of time. For example, in an LSTM model in which 120 inputs are performed per second, the value of a state variable may be unintentionally reset in about a few seconds.
  • the present invention has been made in view of the above problems, and one of the objects thereof is a state control device, a learning device, a state control method, which can prolong the period in which the state associated with the neural network is stored.
  • the purpose is to provide learning methods and programs.
  • the state control device is a given trained neural network capable of associating a state with an input data acquisition unit that acquires input data and the input data is input.
  • the loop processing including the processing execution unit that executes the processing using the output data which is the output of the above, the acquisition of the input data by the input data acquisition unit, and the execution of the processing by the processing execution unit is repeated.
  • It further includes a state control unit that is executed and controls whether or not to limit the update of the state associated with the neural network based on at least one of the input data and the output data.
  • the state control unit controls whether or not to input the input data to the neural network.
  • the processing execution unit when the processing execution unit is controlled to input the input data to the neural network, the processing using the output data, which is an output when the input data is input to the neural network, is performed.
  • the processing execution unit may execute the processing using the output data which is the latest output of the neural network.
  • the state control unit controls whether or not to return the state updated in response to the input of the input data to the neural network to the state before the update.
  • the difference between the learning input data indicating the input to the neural network and the output of the neural network corresponding to the input and the output of the neural network corresponding to the input immediately before the input Further includes an input determination model which is a trained machine learning model in which training is executed using the training data including the teacher data indicating the above, and the state control unit is the input acquired by the input data acquisition unit. Based on the output when the data is input to the input determination model, it is controlled whether or not to limit the update of the state associated with the neural network.
  • the state control unit updates the state associated with the neural network based on a change from the input data acquired immediately before the input data for a part or all of the input data. Controls whether or not to limit.
  • the state control unit is associated with the neural network based on a change from the input data acquired immediately before the input data regarding the relative relationship between the elements included in the input data. Controls whether or not to limit the update of the above state.
  • the state control unit is associated with the neural network based on a comparison result between the output of the neural network corresponding to the input of the input data and the input data acquired next to the input data. Controls whether to limit the update of the state.
  • the neural network is a long short term memory (LSTM) model.
  • LSTM long short term memory
  • the learning device includes learning input data indicating an input to a given trained neural network capable of associating states, an output of the neural network corresponding to the input, and immediately before the input. Whether or not to limit the update of the state associated with the neural network and the training data acquisition unit that acquires the training data including the teacher data indicating the difference from the output of the neural network according to the input.
  • the input determination model which is a machine learning model used for control, and the teacher data included in the training data
  • the input determination model can be used. Includes a learning unit that executes learning.
  • the state control method uses the step of acquiring input data and the output data which is the output of a given trained neural network to which the input data is input and whose states can be associated with each other.
  • the loop processing including the step of executing the processing, the acquisition of the input data, and the execution of the processing is repeatedly executed, and the neural network is based on at least one of the input data and the output data. It further comprises a step of controlling whether or not to limit the update of the associated state.
  • the learning method includes learning input data indicating an input to a given trained neural network capable of associating states, an output of the neural network corresponding to the input, and immediately before the input. Used for the step of acquiring training data including the teacher data indicating the difference from the output of the neural network according to the input, and for controlling whether to limit the update of the state associated with the neural network.
  • the input determination model is trained using the output when the learning input data included in the training data is input to the input determination model, which is a machine learning model, and the teacher data included in the learning data. Including steps to do.
  • the program according to the present invention executes a procedure for acquiring input data and a process using output data which is an output of a given trained neural network to which the input data is input and whose states can be associated with each other.
  • the loop processing including the acquisition of the input data and the execution of the processing is repeatedly executed and associated with the neural network based on at least one of the input data and the output data.
  • the computer is made to perform a procedure for controlling whether or not to limit the update of the state.
  • another program includes training input data indicating an input to a given trained neural network to which states can be associated, an output of the neural network corresponding to the input, and immediately before the input. Used for the procedure for acquiring training data including the teacher data indicating the difference from the output of the neural network in response to the input of the above, and for controlling whether to limit the update of the state associated with the neural network.
  • the input judgment model is trained by using the output when the training input data included in the training data is input to the input judgment model which is the machine learning model to be obtained and the teacher data included in the training data. Have your computer perform the steps you want to take.
  • FIG. 1 is a configuration diagram of an information processing device 10 according to an embodiment of the present invention.
  • the information processing device 10 according to the present embodiment is, for example, a computer such as a game console or a personal computer.
  • the information processing device 10 according to the present embodiment includes, for example, a processor 12, a storage unit 14, an operation unit 16, and a display unit 18.
  • the processor 12 is, for example, a program control device such as a CPU that operates according to a program installed in the information processing device 10.
  • the storage unit 14 is a storage element such as a ROM or RAM, a hard disk drive, or the like. A program or the like executed by the processor 12 is stored in the storage unit 14.
  • the operation unit 16 is a user interface such as a keyboard, a mouse, and a controller of a game console, receives an operation input of the user, and outputs a signal indicating the contents to the processor 12.
  • the display unit 18 is a display device such as a liquid crystal display, and displays various images according to the instructions of the processor 12.
  • the information processing device 10 may include a communication interface such as a network board, an optical disk drive for reading an optical disk such as a DVD-ROM or a Blu-ray (registered trademark) disk, a USB (Universal Serial Bus) port, and the like.
  • a communication interface such as a network board
  • an optical disk drive for reading an optical disk such as a DVD-ROM or a Blu-ray (registered trademark) disk
  • a USB Universal Serial Bus
  • the information processing apparatus 10 is equipped with a given learned neural network capable of associating states.
  • the LSTM model 20 is a machine learning model for processing a series of data such as time series data.
  • the LSTM model 20 shown in FIG. 2 includes an input layer 22, a long short term (LSTM) block 24, and an output block 26.
  • LSTM long short term
  • the input layer 22 accepts inputs to the LSTM model 20.
  • the data input to the trained LSTM model 20 will be referred to as target input data.
  • target input data the data input to the trained LSTM model 20
  • a series of target input data to which each is associated in order is input to the input layer 22 in order according to the associated order.
  • the data in which the target input data is combined with the output of the LSTM block 24 corresponding to the immediately preceding input (hereinafter referred to as combined input data) is transferred to the LSTM block 24. Entered.
  • the LSTM block 24 outputs an LSTM state variable that shows the characteristics of the transition of the target input data such as the time series transition of the target input data.
  • the state variable that is the output from the LSTM block 24 is input to the output block 26. Then, the output block 26 outputs the output data corresponding to the input.
  • the output block 26 includes, for example, two intermediate layers and an output layer.
  • the two intermediate layers are fully connected layers having, for example, a rectified linear function (ReLU) as an activation function.
  • the output layer is, for example, a layer having a linear function as an activation function.
  • the state variable that is the output from the LSTM block 24 is input to the first intermediate layer. Then, the output of the first intermediate layer is input to the second intermediate layer, and the output of the second intermediate layer is input to the output layer. Then, the output layer outputs the output data corresponding to the input.
  • the LSTM model 20 it is possible to save the long-term state as the value of the state variable.
  • a given trained neural network capable of associating states such as the LSTM model 20 does not store states indefinitely. Therefore, if frequent input is performed, the state may not be saved for a sufficient period of time. For example, in the LSTM model 20 in which input is performed 120 times per second, the value of the state variable may be unintentionally reset in about several seconds.
  • the period in which the state is stored can be extended in the neural network that can associate the state as follows.
  • FIG. 3 is a functional block diagram showing an example of the functions implemented in the information processing device 10 according to the present embodiment. It should be noted that the information processing apparatus 10 according to the present embodiment does not have to be equipped with all the functions shown in FIG. 3, and may be equipped with functions other than the functions shown in FIG.
  • the information processing apparatus 10 functionally includes, for example, an LSTM model 20, a target input data acquisition unit 30, a state control unit 32, an input unit 34, and an output data acquisition unit 36. , The output data storage unit 38, and the processing execution unit 40.
  • the LSTM model 20 mainly implements the processor 12 and the storage unit 14.
  • the target input data acquisition unit 30, the state control unit 32, the input unit 34, the output data acquisition unit 36, and the processing execution unit 40 are mainly equipped with the processor 12.
  • the output data storage unit 38 mainly implements the storage unit 14.
  • the above functions may be implemented by executing the program including the commands corresponding to the above functions installed in the information processing device 10 which is a computer on the processor 12.
  • This program may be supplied to the processor 12 via a computer-readable information storage medium such as an optical disk, a magnetic disk, a magnetic tape, a magneto-optical disk, or a flash memory, or via the Internet or the like.
  • the target input data acquisition unit 30 acquires, for example, the above-mentioned target input data.
  • the state control unit 32 controls whether or not to limit the update of the state associated with the given trained neural network based on, for example, at least one of the target input data and the output data. ..
  • the state control unit 32 transfers the target input data to the given trained LSTM model 20 based on whether or not the target input data acquired by the target input data acquisition unit 30 satisfies a predetermined condition. You may control whether or not to input.
  • the input unit 34 when the input unit 34 is controlled by the state control unit 32 to input the target input data to a neural network such as the LSTM model 20 that has already been learned, the input unit 34 inputs the target input data to the LSTM model 20. Input to layer 22.
  • the LSTM model 20 is, for example, a given trained LSTM model 20 which is an example of a given trained neural network capable of associating states in the present embodiment.
  • the LSTM model 20 holds state variables as described above. Then, the LSTM model 20 generates the combined input data in which the target input data input to the input layer 22 and the held state variables are combined. Then, the LSTM model 20 inputs the generated combined input data to the LSTM block 24. Then, the LSTM model 20 inputs a state variable output from the LSTM block 24 to the output block 26 in response to the input. Then, the output block 26 of the LSTM model 20 outputs output data corresponding to the input state variable.
  • the LSTM model 20 updates the held state variable to the state variable output from the LSTM block 24. As described above, in the present embodiment, the value of the state variable held by the LSTM model 20 is updated according to the input to the input layer 22.
  • the output data acquisition unit 36 acquires output data which is the output of the LSTM model 20, for example.
  • the output data acquisition unit 36 is the output data which is the output when the target input data is input to the LSTM model 20. To get. In this case, the output data acquisition unit 36 updates the output data stored in the output data storage unit 38 with the acquired output data.
  • the output data acquisition unit 36 acquires the output data which is the latest output of the LSTM model 20.
  • the output data acquisition unit 36 may acquire the output data stored in the output data storage unit 38, for example.
  • the output data storage unit 38 stores the output data acquired by the output data acquisition unit 36.
  • the output data storage unit 38 may store the output data most recently acquired by the output data acquisition unit 36.
  • the processing execution unit 40 executes processing using output data that is the output of the LSTM model 20, for example.
  • the process execution unit 40 may execute a process using the output data acquired by the output data acquisition unit 36. For example, when the processing execution unit 40 is controlled by the state control unit 32 to input the target input data to the LSTM model 20, the processing execution unit 40 uses the output data which is the output when the target input data is input to the LSTM model 20. You may execute the processing that was done. Then, when the state control unit 32 controls the process execution unit 40 so as not to input the target input data to the LSTM model 20, the process execution unit 40 may execute the process using the output data which is the latest output of the LSTM model 20. Good.
  • a process using the output data stored in the output data storage unit 38 may be executed.
  • the loop processing including the acquisition of the target input data by the target input data acquisition unit 30, the control by the state control unit 32, and the execution of the processing by the processing execution unit 40 is repeatedly executed.
  • the processes shown in S101 to S107 shown in FIG. 4 are repeatedly executed at predetermined time intervals (for example, at 1/120 second intervals). Further, the processes shown in S101 to S107 shown in FIG. 4 are executed in order according to the associated order for each of the series of target input data each of which is associated with the order.
  • the target input data acquisition unit 30 acquires the target input data to be processed in this loop (S101).
  • the target input data whose associated order is the next order of the target input data in which the processes shown in S101 to S107 are executed in the immediately preceding loop is acquired.
  • the state control unit 32 determines whether or not the target input data acquired in the process shown in S101 satisfies a predetermined input suppression condition (S102).
  • the output data acquisition unit 36 acquires the output data stored in the output data storage unit 38 (S103).
  • the input unit 34 When it is determined that the input suppression condition is not satisfied by the process shown in S102 (S102: N), the input unit 34 inputs the target input data acquired in the process shown in S101 into the LSTM model 20 (S104). In this case, as described above, the combined input data in which the target input data and the LSTM state variable held by the LSTM model 20 are combined is input to the LSTM block 24. Further, the LSTM model 20 updates the held state variable to a state variable output by the LSTM block 24 in response to the input.
  • the output data acquisition unit 36 acquires the output data output by the LSTM model 20 in response to the input in the process shown in S104 (S105).
  • the output data acquisition unit 36 updates the output data stored in the output data storage unit 38 to the output data acquired by the process shown in S105 (S106).
  • the process execution unit 40 executes a process using the output data acquired by the output data acquisition unit 36 in the process shown in S103 or S105 (S107), and returns to the process shown in S101.
  • the present embodiment it is controlled whether or not to limit the update of the state associated with the neural network based on at least one of the target input data and the output data. For example, based on the target input data, it is controlled whether or not the target input data is input to the LSTM model 20. Then, if the target input data is not input to the LSTM model 20, the LSTM state variable is not updated. In this way, according to the present embodiment, the period in which the state is stored in a given trained neural network capable of associating the state with the LSTM model 20 or the like can be extended.
  • the process using the output data which is the latest output of the LSTM model 20 is executed. Therefore, it does not take much time and effort to modify the implementation of the subsequent processing using the output data in consideration of the situation where the target input data is not input to the neural network such as the LSTM model 20.
  • the information processing apparatus 10 may include an input determination model 50 in addition to the elements shown in FIG.
  • the elements other than the input determination model 50 shown in FIG. 5 are the same as those shown in FIG. 3, and thus the description thereof will be omitted.
  • the input determination model 50 is a trained machine learning model different from the LSTM model 20 that is used to control whether or not to limit the update of the state associated with the LSTM model 20.
  • the input determination model 50 is a trained machine learning model different from the LSTM model 20, which is used for controlling whether or not the target input data is input to the LSTM model 20.
  • the state control unit 32 controls whether or not to input the target input data into the LSTM model 20 based on the output when the target input data acquired by the target input data acquisition unit 30 is input to the input determination model 50. You may.
  • the input determination model 50 outputs the determination result data Dstop in response to the input of the target input data.
  • the determination result data Dstop may be data having a value of either "0" or "1".
  • the target data when the determination result data Dstop whose value is "1" is output from the input determination model 50 in response to the input of the target input data, the target data is controlled so as not to be input to the LSTM model 20. I will do it. Further, when the determination result data Dstop whose value is "0" is output from the input determination model 50 in response to the input of the target input data, the target data is controlled to be input to the LSTM model 20. To do.
  • FIG. 6 is a diagram schematically showing an example of learning of the input determination model 50.
  • learning using a plurality of learning data sets is executed.
  • FIG. 7 is a diagram showing an example of a training data set.
  • the training data set contains a plurality of training data.
  • the training data includes, for example, the training input data Din input to the input determination model 50 and the determination result teacher data Tstop which is the teacher data to be compared with the output of the input determination model 50 corresponding to the input. ..
  • the plurality of learning input data included in the learning data set is a series of data (Din (1) to Din (n)) associated with an order such as time-series data. Then, Din (1) to Din (n) are associated with the determination result teacher data Tstop (1) to Tstop (n), respectively. Therefore, the determination result teacher data Tstop is also associated with the order.
  • the determination result teacher data Tstop is, for example, teacher data generated by using the LSTM model 20, which is a given trained machine learning model, in the present embodiment.
  • the outputs Dout (1) to Dout (1) to Dout corresponding to each input ( n) is specified.
  • the output Dout (n) of the LSTM model 20 corresponding to the above is specified.
  • the value of Tstop corresponding to the output Dout is determined to be "1".
  • the value of Tstop corresponding to the output Dout is determined to be "0".
  • the value of Tstop (2) is determined to be "1", and when it is not smaller than the threshold value, the value of Tstop (2) is determined. Is determined to be "0".
  • the value of Tstop (n) is determined to be "1", and when it is not smaller than the threshold value, the value of Tstop (n) is determined. Is determined to be "0".
  • the value of Tstop (1) may be determined to be a predetermined value (for example, "0").
  • the values of the judgment result teacher data Tstop (1) to Tstop (n) are determined as described above.
  • a learning data set including the learning input data Din (1) to Din (n) and the determination result teacher data Tstop (1) to Tstop (n) is generated.
  • the value of the determination result data Dstop (1) output by the input determination model 50 may be specified in response to the input of the learning input data Din (1). Then, even if the parameters of the input determination model 50 are updated by the error back propagation method (backpropagation) based on the difference between the value of the determination result data Dstop (1) and the value of the determination result teacher data Tstop (1). Good. Next, even if the parameters of the input determination model 50 are updated based on the difference between the value of Dstop (2) and the value of Tstop (2) output by the input determination model 50 in response to the input of Din (2). Good. After that, the same processing is executed, and finally, the parameter of the input determination model 50 is based on the difference between the value of Dstop (n) and the value of Tstop (n), which is the output corresponding to the input of Din (n). May be updated.
  • backpropagation error back propagation method
  • the learning of the input determination model 50 may be executed by executing the above-mentioned learning for each of the plurality of training data sets.
  • the number of learning data included in the learning data set used for learning the input determination model 50 may or may not be the same.
  • the learning of the input determination model 50 is executed by supervised learning, but the learning of the input determination model 50 may be executed by other methods such as unsupervised learning or reinforcement learning.
  • FIG. 8 is a functional block diagram showing an example of functions related to learning of the input determination model 50 implemented in the information processing device 10.
  • the learning of the input determination model 50 is executed in the information processing device 10, but the learning of the input determination model 50 may be executed in a device different from the information processing device 10. Further, it is not necessary that all the functions shown in FIG. 8 are implemented in the information processing apparatus 10 according to the present embodiment, and functions other than the functions shown in FIG. 8 may be implemented.
  • the information processing apparatus 10 includes an input determination model 50, a learning data storage unit 60, a learning data acquisition unit 62, a learning input unit 64, and determination result data.
  • the acquisition unit 66 and the learning unit 68 are included.
  • the input determination model 50 mainly implements the processor 12 and the storage unit 14.
  • the learning data storage unit 60 is mainly implemented with the storage unit 14.
  • the learning data acquisition unit 62, the learning input unit 64, the determination result data acquisition unit 66, and the learning unit 68 mainly implement the processor 12.
  • the above functions may be implemented by executing the program including the commands corresponding to the above functions installed in the information processing device 10 which is a computer on the processor 12.
  • This program may be supplied to the processor 12 via a computer-readable information storage medium such as an optical disk, a magnetic disk, a magnetic tape, a magneto-optical disk, or a flash memory, or via the Internet or the like.
  • the learning data storage unit 60 stores, for example, a plurality of learning data sets.
  • the training data set contains a plurality of training data.
  • the learning data includes, for example, learning input data Din and determination result teacher data Tstop.
  • the learning data set generated in advance using the LSTM model 20 as described above may be stored in the learning data storage unit 60.
  • the learning data acquisition unit 62 acquires the learning data stored in the learning data storage unit 60, for example.
  • the learning input unit 64 inputs, for example, the learning input data Din included in the learning data acquired by the learning data acquisition unit 62 into the input determination model 50.
  • the input determination model 50 is, for example, a machine learning model that outputs determination result data Dstop in response to input of learning input data Din.
  • the determination result data acquisition unit 66 acquires, for example, the determination result data Dstop output by the input determination model 50.
  • the learning unit 68 executes learning of the input determination model 50 by using, for example, the output when the learning input data Din is input to the input determination model 50.
  • the value of the determination result data Dstop which is the output when the learning input data Din included in the learning data is input to the input determination model 50
  • the value of the determination result teacher data Tstop included in the learning data Differences may be identified.
  • supervised learning may be executed in which the value of the parameter of the input determination model 50 is updated based on the specified difference.
  • the learning data acquisition unit 62 acquires one of the plurality of learning data sets stored in the learning data storage unit 60 for which the processes shown in S202 to S205 have not been executed (S201).
  • the order in which the learning data acquisition unit 62 is associated is Get the smallest one (S202).
  • the learning input unit 64 inputs the learning input data Din included in the learning data acquired in the process shown in S202 into the input determination model 50 (S203).
  • the determination result data acquisition unit 66 acquires the determination result data Dstop output by the input determination model 50 in response to the input in the process shown in S203 (S204).
  • the learning unit 68 uses the determination result data Dstop acquired in the process shown in S204 and the determination result teacher data Tstop included in the learning data acquired in the process shown in S202 of the input determination model 50. Perform learning (S205).
  • the value of the parameter of the input determination model 50 may be updated based on the difference between the value of the determination result data Dstop and the value of the determination result teacher data Tstop.
  • the learning unit 68 confirms whether or not the processes shown in S203 to S205 have been executed for all the learning data included in the learning data set acquired in the process shown in S201 (S206).
  • the learning unit 68 confirms whether or not the processes shown in S202 to S205 have been executed for all the learning data sets stored in the learning data storage unit 60 (S207).
  • the generated trained input determination model 50 may be used to control whether or not the target input data is input to the trained LSTM model 20.
  • whether or not the state control unit 32 limits the update of the state associated with the given trained neural network based on the output when the target input data is input to the input determination model 50. May be controlled.
  • the state control unit 32 may control whether or not to input the target input data into the LSTM model 20 based on the output when the target input data is input to the input determination model 50.
  • the state control unit 32 may input the target input data acquired in the process shown in S101 into the trained input determination model 50. Then, the state control unit 32 may acquire the determination result data Dstop output by the input determination model 50 in response to the input.
  • the state control unit 32 may determine that the input suppression condition is satisfied. In this case, in the process shown in S103, the output data acquisition unit 36 acquires the output data stored in the output data storage unit 38.
  • the state control unit 32 may determine that the input suppression condition is not satisfied. In this case, in the process shown in S104, the input unit 34 inputs the target input data acquired in the process shown in S101 into the LSTM model 20.
  • this embodiment can be applied to body tracking.
  • the LSTM model 20 is a trained machine learning model in which a time series of sensing data, which is a measurement result by a sensor attached to a tracker attached to the end of the user's body, is input. Then, the LSTM model 20 outputs output data indicating the estimation result of the posture of the part of the body closer to the center of the body than the end in response to the input.
  • the LSTM model 20 outputs output data indicating the posture of the wrist in response to input of sensing data indicating the posture of the user's hand. Then, using the output data, a body tracking process including a process of determining the postures of a plurality of parts included in the user's body is executed.
  • the present embodiment may control whether or not the sensing data is input to the LSTM model 20. For example, when the absolute value of the value indicating the change in the posture of the hand is smaller than a predetermined threshold value, the sensing data may not be input to the LSTM model 20.
  • this embodiment can be applied to video analysis.
  • a plurality of frame images included in the video data are sequentially input according to the frame numbers in the trained machine learning model in which the CNN model and the LSTM model 20 are combined.
  • the machine learning model outputs output data indicating the feature amount of the input frame image in response to the input.
  • video analysis processing such as identification of an image of an object appearing in the frame image may be executed.
  • the present embodiment may control whether or not the frame image is input to the machine learning model including the LSTM model 20. For example, when the absolute value of the value indicating the change from the frame image immediately before the frame image is smaller than a predetermined threshold value, the frame image may not be input to the LSTM model 20.
  • control of whether or not to limit the update of the state associated with the neural network is not limited to the above example.
  • the state control unit 32 limits the update of the state associated with the trained LSTM model 20 based on the change from the previously acquired target input data for a part or all of the target input data. You may control whether or not to do so. For example, when the change in a part or all of the target input data is small, the state control unit 32 may control not to input the target input data into the trained LSTM model 20. Further, when the change in a part or all of the target input data is large, the state control unit 32 may control to input the target input data into the trained LSTM model 20.
  • the state control unit 32 may specify the difference between the value of the target input data and the value of the target input data acquired immediately before the target input data. Then, the state control unit 32 may control whether or not to limit the update of the state associated with the learned LSTM model 20 based on the specified difference. Here, for example, the state control unit 32 may control whether or not to input the target input data into the trained LSTM model 20 based on the magnitude of the absolute value of the specified difference.
  • the state control unit 32 may control not to input the target input data into the trained LSTM model 20.
  • the state control unit 32 may control to input the target input data into the trained LSTM model 20.
  • the state control unit 32 is associated with the trained LSTM model 20 based on the change from the target input data acquired immediately before regarding the relative relationship between the elements included in the target input data. You may control whether to limit the update of the present state. For example, when the change in the relative relationship between the elements included in the target input data is small, the state control unit 32 may control not to input the target input data into the trained LSTM model 20. Further, when the change in the relative relationship between the elements included in the target input data is large, the state control unit 32 may control to input the target input data into the trained LSTM model 20.
  • the state control unit 32 may control whether or not to return the state updated in response to the input of the target input data to the neural network such as the LSTM model 20 to the state before the update. For example, whether or not to return the state associated with the LSTM model 20 to the state before the update based on the change from the output data output immediately before the output data for a part or all of the output data. It may be controlled. For example, when the change in a part or all of the output data is small, the state control unit 32 controls so that the state updated in response to the input of the target input data to the LSTM model 20 returns to the immediately preceding state. May be good. Further, when the change in a part or all of the output data is large, the updated state may be maintained in response to the input of the target input data to the LSTM model 20.
  • the state control unit 32 may compare the output of the LSTM model 20 corresponding to the input of the target input data with the target input data acquired next to the target input data. Then, the state control unit 32 may control whether or not to limit the update of the state associated with the LSTM model 20 based on the result of the comparison. In this case as well, as described above, it may be controlled whether or not the state updated in response to the input of the target input data to the LSTM model 20 is returned to the state before the update.
  • the LSTM model 20 outputs data indicating a future head posture in response to input of data indicating a head posture and a hand posture, which are measurement results by a sensor.
  • the absolute value of the difference between the data output from the LSTM model 20 and the data indicating the head posture, which is the measurement result in the next loop processing is smaller than a predetermined threshold value, it is associated with the LSTM model 20. Updates in the current state may be restricted.
  • condition that the output data does not change when the condition that the output data does not change is obvious, whether or not the target input data is input to the trained LSTM model 20 may be controlled based on the condition.
  • condition that the output data does not change in relation to the applicable use case is known in advance from the empirical rule, whether or not to input the target input data to the trained LSTM model 20 based on the condition. May be controlled.
  • the present invention is not limited to the above-described embodiment.
  • the present invention is also applicable to a given trained neural network other than the LSTM model 20, which can be associated with states in some way.
  • the present invention may be applied separately to each element (CEC, InputGate, OutputGate, ForgetGate) included in the LSTM model 20.
  • the present invention is also applicable to a recurrent neural network (RNN) model capable of associating states, which is not the LSTM20 model.
  • RNN recurrent neural network
  • the present invention can also be applied to a neural network in which the current value of a specific layer (for example, a fully connected layer) is taken out and the value is used for the next input. In this case, the value of the specific layer corresponds to the value of the state variable.
  • the "state associated with the neural network” in the present invention is not limited to the state (internal state) of a layer of the neural network that is inherited by the next loop.
  • the "state” is not used as the state of a layer in the next loop, but includes those stored in association with the neural network and used for input and output in the next loop.
  • the present invention is applicable to a neural network capable of outputting the state of a certain layer, the output being given as an input for the next loop, and being set as the initial value of the state of the layer in the loop.
  • the present invention can be applied to a neural network that can output the state of a certain layer, and the output is given as an input of the next loop, but is not used as an initial value of the state of the layer in the loop. is there.
  • the present invention is also applicable to a layer in which a neural network is inherited from the previous input / output and used as an initial value in the input / output of the next loop.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

状態の関連付けが可能なニューラルネットワークにおいて状態が保存される期間を長期化できる状態制御装置、学習装置、状態制御方法、学習方法及びプログラムを提供する。ターゲット入力データ取得部（３０）は、ターゲット入力データを取得する。処理実行部（４０）は、ターゲット入力データが入力される、ＬＳＴＭモデル（２０）の出力である出力データを用いた処理を実行する。ターゲット入力データの取得、及び、処理の実行を含むループ処理は、繰り返し実行される。状態制御部（３２）は、入力データ及び出力データの少なくとも一方に基づいて、ＬＳＴＭモデル（２０）に関連付けられている状態の更新を制限するか否かを制御する。

Description

状態制御装置、学習装置、状態制御方法、学習方法及びプログラム
　本発明は、状態制御装置、学習装置、状態制御方法、学習方法及びプログラムに関する。
　時系列のデータ等の一連のデータを処理するための機械学習モデルである再帰型ニューラルネットワーク（ＲＮＮ）モデルの中間層のユニットをロングショートタームメモリ（ＬＳＴＭ）ブロックに置き換えたＬＳＴＭモデルが知られている。ＬＳＴＭモデルでは、長期的な状態を状態変数の値として保存することが可能である。
　しかし、ＬＳＴＭモデル等の、状態の関連付けが可能なニューラルネットワークであっても、当該状態が無限に保存されるわけではない。そのため、高頻度な入力が行われる場合は充分な期間にわたって状態が保存されないことがある。例えば、１秒あたり１２０回の入力が行われるＬＳＴＭモデルでは、状態変数の値が意図せず数秒程度でリセットされてしまうことがある。
　本発明は上記課題に鑑みてなされたものであって、その目的の１つは、ニューラルネットワークに関連付けられている状態が保存される期間を長期化できる状態制御装置、学習装置、状態制御方法、学習方法及びプログラムを提供することにある。
　上記課題を解決するために、本発明に係る状態制御装置は、入力データを取得する入力データ取得部と、前記入力データが入力される、状態の関連付けが可能な所与の学習済のニューラルネットワークの出力である出力データを用いた処理を実行する処理実行部と、を含み、前記入力データ取得部による前記入力データの取得、及び、前記処理実行部による処理の実行を含むループ処理は、繰り返し実行され、前記入力データ及び前記出力データの少なくとも一方に基づいて、前記ニューラルネットワークに関連付けられている前記状態の更新を制限するか否かを制御する状態制御部、をさらに含む。
　本発明の一態様では、前記状態制御部は、前記ニューラルネットワークに前記入力データを入力するか否かを制御する。
　この態様では、前記処理実行部は、前記ニューラルネットワークに前記入力データを入力するよう制御される場合は、当該入力データを前記ニューラルネットワークに入力した際の出力である前記出力データを用いた処理を実行し、前記処理実行部は、前記ニューラルネットワークに前記入力データを入力しないよう制御される場合は、前記ニューラルネットワークの直近の出力である前記出力データを用いた処理を実行してもよい。
　また、本発明の一態様では、前記状態制御部は、前記ニューラルネットワークへの前記入力データの入力に応じて更新された前記状態を、更新前の状態に戻すか否かを制御する。
　また、本発明の一態様では、前記ニューラルネットワークへの入力を示す学習入力データと、当該入力に応じた前記ニューラルネットワークの出力と当該入力の直前の入力に応じた前記ニューラルネットワークの出力との差を示す教師データと、を含む学習データを用いた学習が実行された学習済の機械学習モデルである入力判定モデルをさらに含み、前記状態制御部は、前記入力データ取得部により取得される前記入力データを前記入力判定モデルに入力した際の出力に基づいて、前記ニューラルネットワークに関連付けられている前記状態の更新を制限するか否かを制御する。
　あるいは、前記状態制御部は、前記入力データの一部又は全部についての、当該入力データの直前に取得された前記入力データからの変化に基づいて、前記ニューラルネットワークに関連付けられている前記状態の更新を制限するか否かを制御する。
　あるいは、前記状態制御部は、前記入力データに含まれる要素間の相対的な関係についての、当該入力データの直前に取得された前記入力データからの変化に基づいて、前記ニューラルネットワークに関連付けられている前記状態の更新を制限するか否かを制御する。
　あるいは、前記状態制御部は、前記入力データの入力に応じた前記ニューラルネットワークの出力と当該入力データの次に取得される前記入力データとの比較結果に基づいて、前記ニューラルネットワークに関連付けられている前記状態の更新を制限するか否かを制御する。
　また、本発明の一態様では、前記ニューラルネットワークは、ロングショートタームメモリ（ＬＳＴＭ）モデルである。
　また、本発明に係る学習装置は、状態の関連付けが可能な所与の学習済のニューラルネットワークへの入力を示す学習入力データと、当該入力に応じた前記ニューラルネットワークの出力と当該入力の直前の入力に応じた前記ニューラルネットワークの出力との差を示す教師データと、を含む学習データを取得する学習データ取得部と、前記ニューラルネットワークに関連付けられている前記状態の更新を制限するか否かの制御に用いられる機械学習モデルである入力判定モデルに前記学習データに含まれる前記学習入力データを入力した際の出力、及び、当該学習データに含まれる前記教師データを用いて、当該入力判定モデルの学習を実行する学習部と、を含む。
　また、本発明に係る状態制御方法は、入力データを取得するステップと、前記入力データが入力される、状態の関連付けが可能な所与の学習済のニューラルネットワークの出力である出力データを用いた処理を実行するステップと、を含み、前記入力データの取得、及び、前記処理の実行を含むループ処理は、繰り返し実行され、前記入力データ及び前記出力データの少なくとも一方に基づいて、前記ニューラルネットワークに関連付けられている前記状態の更新を制限するか否かを制御するステップ、をさらに含む。
　また、本発明に係る学習方法は、状態の関連付けが可能な所与の学習済のニューラルネットワークへの入力を示す学習入力データと、当該入力に応じた前記ニューラルネットワークの出力と当該入力の直前の入力に応じた前記ニューラルネットワークの出力との差を示す教師データと、を含む学習データを取得するステップと、前記ニューラルネットワークに関連付けられている前記状態の更新を制限するか否かの制御に用いられる機械学習モデルである入力判定モデルに前記学習データに含まれる前記学習入力データを入力した際の出力、及び、当該学習データに含まれる前記教師データを用いて、当該入力判定モデルの学習を実行するステップと、を含む。
　また、本発明に係るプログラムは、入力データを取得する手順、前記入力データが入力される、状態の関連付けが可能な所与の学習済のニューラルネットワークの出力である出力データを用いた処理を実行する手順、をコンピュータに実行させ、前記入力データの取得、及び、前記処理の実行を含むループ処理は、繰り返し実行され、前記入力データ及び前記出力データの少なくとも一方に基づいて、前記ニューラルネットワークに関連付けられている前記状態の更新を制限するか否かを制御する手順、をさらに前記コンピュータに実行させる。
　また、本発明に係る別のプログラムは、状態の関連付けが可能な所与の学習済のニューラルネットワークへの入力を示す学習入力データと、当該入力に応じた前記ニューラルネットワークの出力と当該入力の直前の入力に応じた前記ニューラルネットワークの出力との差を示す教師データと、を含む学習データを取得する手順、前記ニューラルネットワークに関連付けられている前記状態の更新を制限するか否かの制御に用いられる機械学習モデルである入力判定モデルに前記学習データに含まれる前記学習入力データを入力した際の出力、及び、当該学習データに含まれる前記教師データを用いて、当該入力判定モデルの学習を実行する手順、をコンピュータに実行させる。
本発明の一実施形態に係る情報処理装置の一例を示す構成図である。 ＬＳＴＭモデルの一例を示す図である。 本発明の一実施形態に係る情報処理装置で実装される機能の一例を示す機能ブロック図である。 本発明の一実施形態に係る情報処理装置で行われる処理の流れの一例を示すフロー図である。 本発明の一実施形態に係る情報処理装置で実装される機能の一例を示す機能ブロック図である。 入力判定モデルの学習の一例を模式的に示す図である。 学習データセットの一例を示す図である。 本発明の一実施形態に係る情報処理装置で実装される機能の一例を示す機能ブロック図である。 本発明の一実施形態に係る情報処理装置で行われる処理の流れの一例を示すフロー図である。
　以下、本発明の一実施形態について図面に基づき詳細に説明する。
　図１は、本発明の一実施形態に係る情報処理装置１０の構成図である。本実施形態に係る情報処理装置１０は、例えば、ゲームコンソールやパーソナルコンピュータなどのコンピュータである。図１に示すように、本実施形態に係る情報処理装置１０は、例えば、プロセッサ１２、記憶部１４、操作部１６、表示部１８を含んでいる。
　プロセッサ１２は、例えば情報処理装置１０にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。
　記憶部１４は、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部１４には、プロセッサ１２によって実行されるプログラムなどが記憶される。
　操作部１６は、キーボード、マウス、ゲームコンソールのコントローラ等のユーザインタフェースであって、ユーザの操作入力を受け付けて、その内容を示す信号をプロセッサ１２に出力する。
　表示部１８は、液晶ディスプレイ等の表示デバイスであって、プロセッサ１２の指示に従って各種の画像を表示する。
　なお、情報処理装置１０は、ネットワークボードなどの通信インタフェース、ＤＶＤ－ＲＯＭやＢｌｕ－ｒａｙ（登録商標）ディスクなどの光ディスクを読み取る光ディスクドライブ、ＵＳＢ（Universal Serial Bus）ポートなどを含んでいてもよい。
　本実施形態に係る情報処理装置１０には、状態の関連付けが可能な所与の学習済のニューラルネットワークが実装されている。以下の説明では、情報処理装置１０に、状態の関連付けが可能な所与の学習済のニューラルネットワークの一例として、図２に例示する、所与の学習済のロングショートタームメモリ（ＬＳＴＭ）モデル２０が実装されていることとする。ＬＳＴＭモデル２０は、時系列のデータ等の一連のデータを処理するための機械学習モデルである。
　図２に示すＬＳＴＭモデル２０には、入力層２２と、ロングショートターム（ＬＳＴＭ）ブロック２４と、出力ブロック２６と、が含まれる。
　入力層２２は、ＬＳＴＭモデル２０に対する入力を受け付ける。以後、学習済のＬＳＴＭモデル２０に入力されるデータをターゲット入力データと呼ぶこととする。本実施形態では、それぞれが順序に対応付けられている一連のターゲット入力データが、対応付けられている順序に従って順番に、入力層２２に入力される。
　ターゲット入力データが入力層２２に入力されると、当該ターゲット入力データが直前の入力に応じたＬＳＴＭブロック２４の出力と結合されたデータ（以後、結合入力データと呼ぶ。）が、ＬＳＴＭブロック２４に入力される。
　ＬＳＴＭブロック２４は、ターゲット入力データの時系列推移などといったターゲット入力データの推移の特徴を示す、ＬＳＴＭの状態変数を出力する。
　そして、ＬＳＴＭブロック２４からの出力である状態変数が出力ブロック２６に入力される。そして、出力ブロック２６は、当該入力に応じた出力データを出力する。
　出力ブロック２６には、例えば、２つの中間層と出力層とが含まれる。２つの中間層は、それぞれ例えば正規化線形関数（ＲｅＬＵ）を活性化関数とする全結合層である。出力層は、例えば線形関数を活性化関数とする層である。
　本実施形態では、ＬＳＴＭブロック２４からの出力である状態変数が１つ目の中間層に入力される。そして、１つ目の中間層の出力が２つ目の中間層に入力され、２つ目の中間層の出力が出力層に入力される。そして、出力層が、当該入力に応じた出力データを出力する。
　ＬＳＴＭモデル２０では、長期的な状態を状態変数の値として保存することが可能である。しかし、ＬＳＴＭモデル２０等の状態の関連付けが可能な所与の学習済のニューラルネットワークであっても状態が無限に保存されるわけではない。そのため、高頻度な入力が行われる場合は充分な期間にわたって状態が保存されないことがある。例えば、１秒あたり１２０回の入力が行われるＬＳＴＭモデル２０では、状態変数の値が意図せず数秒程度でリセットされてしまうことがある。
　そこで本実施形態では以下のようにして、状態の関連付けが可能なニューラルネットワークにおいて状態が保存される期間が長期化できるようにした。
　以下、ＬＳＴＭモデル２０における状態の保存期間の長期化を中心に、本実施形態に係る情報処理装置１０の機能、及び、情報処理装置１０で実行される処理についてさらに説明する。
　図３は、本実施形態に係る情報処理装置１０で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係る情報処理装置１０で、図３に示す機能のすべてが実装される必要はなく、また、図３に示す機能以外の機能が実装されていても構わない。
　図３に示すように、本実施形態に係る情報処理装置１０には、機能的には例えば、ＬＳＴＭモデル２０、ターゲット入力データ取得部３０、状態制御部３２、入力部３４、出力データ取得部３６、出力データ記憶部３８、処理実行部４０、が含まれる。ＬＳＴＭモデル２０は、プロセッサ１２、及び、記憶部１４を主として実装される。ターゲット入力データ取得部３０、状態制御部３２、入力部３４、出力データ取得部３６、処理実行部４０は、プロセッサ１２を主として実装される。出力データ記憶部３８は、記憶部１４を主として実装される。
　以上の機能は、コンピュータである情報処理装置１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１２で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してプロセッサ１２に供給されてもよい。
　ターゲット入力データ取得部３０は、本実施形態では例えば、上述のターゲット入力データを取得する。
　状態制御部３２は、本実施形態では例えば、ターゲット入力データ及び出力データの少なくとも一方に基づいて、所与の学習済のニューラルネットワークに関連付けられている状態の更新を制限するか否かを制御する。ここで状態制御部３２が、ターゲット入力データ取得部３０により取得されるターゲット入力データが所定の条件を満足するか否かに基づいて、所与の学習済のＬＳＴＭモデル２０に当該ターゲット入力データを入力するか否かを制御してもよい。
　入力部３４は、本実施形態では例えば、状態制御部３２により学習済のＬＳＴＭモデル２０等のニューラルネットワークにターゲット入力データを入力するよう制御される場合に、当該ターゲット入力データをＬＳＴＭモデル２０の入力層２２に入力する。
　ＬＳＴＭモデル２０は、上述したように、本実施形態では例えば、状態の関連付けが可能な所与の学習済のニューラルネットワークの一例である、所与の学習済のＬＳＴＭモデル２０である。ＬＳＴＭモデル２０は、上述のように状態変数を保持している。そして、ＬＳＴＭモデル２０は、入力層２２に入力されるターゲット入力データと保持している状態変数とが結合された結合入力データを生成する。そして、ＬＳＴＭモデル２０は、生成される結合入力データをＬＳＴＭブロック２４に入力する。そして、ＬＳＴＭモデル２０は、当該入力に応じてＬＳＴＭブロック２４から出力される状態変数を出力ブロック２６に入力する。そしてＬＳＴＭモデル２０の出力ブロック２６は、入力された状態変数に応じた出力データを出力する。
　また、ＬＳＴＭモデル２０は、保持している状態変数を、ＬＳＴＭブロック２４から出力された状態変数に更新する。このように本実施形態ではＬＳＴＭモデル２０が保持している状態変数の値は、入力層２２への入力に応じて更新される。
　出力データ取得部３６は、本実施形態では例えば、ＬＳＴＭモデル２０の出力である出力データを取得する。
　ここで、状態制御部３２によりＬＳＴＭモデル２０にターゲット入力データを入力するよう制御される場合は、出力データ取得部３６は、当該ターゲット入力データをＬＳＴＭモデル２０に入力した際の出力である出力データを取得する。この場合、出力データ取得部３６は、出力データ記憶部３８に記憶されている出力データを、取得される出力データに更新する。
　一方で、状態制御部３２によりＬＳＴＭモデル２０にターゲット入力データを入力しないよう制御される場合は、出力データ取得部３６は、ＬＳＴＭモデル２０の直近の出力である出力データを取得する。ここで、出力データ取得部３６は、例えば、出力データ記憶部３８に記憶されている出力データを取得してもよい。
　出力データ記憶部３８は、出力データ取得部３６により取得される出力データを記憶する。ここで出力データ記憶部３８は、出力データ取得部３６により直近に取得された出力データを記憶してもよい。
　処理実行部４０は、本実施形態では例えば、ＬＳＴＭモデル２０の出力である出力データを用いた処理を実行する。
　処理実行部４０は、出力データ取得部３６により取得される出力データを用いた処理を実行してもよい。例えば、処理実行部４０は、状態制御部３２によりＬＳＴＭモデル２０にターゲット入力データを入力するよう制御される場合は、当該ターゲット入力データをＬＳＴＭモデル２０に入力した際の出力である出力データを用いた処理を実行してもよい。そして、処理実行部４０は、状態制御部３２によりＬＳＴＭモデル２０にターゲット入力データを入力しないよう制御される場合は、ＬＳＴＭモデル２０の直近の出力である出力データを用いた処理を実行してもよい。ここで例えば、出力データ記憶部３８に記憶されている出力データを用いた処理が実行されてもよい。
　本実施形態では、ターゲット入力データ取得部３０によるターゲット入力データの取得、状態制御部３２による制御、及び、処理実行部４０による処理の実行を含むループ処理は、繰り返し実行される。
　ここで、本実施形態に係る情報処理装置１０で行われる、ＬＳＴＭモデル２０の状態制御に関する処理の流れの一例を、図４に例示するフロー図を参照しながら説明する。
　図４に示すＳ１０１～Ｓ１０７に示す処理は、所定の時間間隔で（例えば１／１２０秒間隔で）繰り返し実行される。また、図４に示すＳ１０１～Ｓ１０７に示す処理は、それぞれが順序に対応付けられている一連のターゲット入力データのそれぞれを対象として、対応付けられている順序に従って順番に実行される。
　まず、ターゲット入力データ取得部３０が、本ループにおける処理対象であるターゲット入力データを取得する（Ｓ１０１）。ここでは、対応付けられている順序が直前のループにおいてＳ１０１～Ｓ１０７に示す処理が実行されたターゲット入力データの次の順序であるターゲット入力データが取得される。
　そして、状態制御部３２が、Ｓ１０１に示す処理で取得されたターゲット入力データが所定の入力抑制条件を満足するか否かを判定する（Ｓ１０２）。
　Ｓ１０２に示す処理で入力抑制条件を満足すると判定された場合は（Ｓ１０２：Ｙ）、出力データ取得部３６が、出力データ記憶部３８に記憶されている出力データを取得する（Ｓ１０３）。
　Ｓ１０２に示す処理で入力抑制条件を満足しないと判定された場合は（Ｓ１０２：Ｎ）、入力部３４が、Ｓ１０１に示す処理で取得されたターゲット入力データをＬＳＴＭモデル２０に入力する（Ｓ１０４）。この場合、上述のように当該ターゲット入力データとＬＳＴＭモデル２０が保持しているＬＳＴＭの状態変数とを結合した結合入力データがＬＳＴＭブロック２４に入力される。また、ＬＳＴＭモデル２０は、保持している状態変数を当該入力に応じてＬＳＴＭブロック２４が出力する状態変数に更新する。
　そして、出力データ取得部３６が、Ｓ１０４に示す処理での入力に応じてＬＳＴＭモデル２０が出力する出力データを取得する（Ｓ１０５）。
　そして、出力データ取得部３６が、出力データ記憶部３８に記憶されている出力データを、Ｓ１０５に示す処理で取得された出力データに更新する（Ｓ１０６）。
　そして、処理実行部４０が、Ｓ１０３又はＳ１０５に示す処理で出力データ取得部３６により取得された出力データを用いた処理を実行して（Ｓ１０７）、Ｓ１０１に示す処理に戻る。
　本実施形態では上述のように、ターゲット入力データ及び出力データの少なくとも一方に基づいて、ニューラルネットワークに関連付けられている状態の更新を制限するか否かが制御される。例えば、ターゲット入力データに基づいて、ＬＳＴＭモデル２０に当該ターゲット入力データを入力するか否かが制御される。そして、ＬＳＴＭモデル２０にターゲット入力データが入力されない場合は、ＬＳＴＭの状態変数は更新されない。このようにして本実施形態によれば、ＬＳＴＭモデル２０等の状態の関連付けが可能な所与の学習済のニューラルネットワークにおいて状態が保存される期間が長期化できることとなる。
　また、本実施形態では、ＬＳＴＭモデル２０にターゲット入力データが入力されない状況でも、ＬＳＴＭモデル２０の直近の出力である出力データを用いた処理が実行される。そのため、ＬＳＴＭモデル２０等のニューラルネットワークにターゲット入力データが入力されない状況を考慮した、出力データを用いた後続の処理の実装の改変の手間があまりかからない。
　また本実施形態において、図５に示すように、本実施形態に係る情報処理装置１０に、図３に示す要素に加え、入力判定モデル５０が含まれるようにしてもよい。図５に示されている入力判定モデル５０以外の要素は、図３に示すものと同様であるので説明を省略する。
　入力判定モデル５０は、ＬＳＴＭモデル２０に関連付けられている状態の更新を制限するか否かの制御に用いられる、ＬＳＴＭモデル２０とは異なる、学習済の機械学習モデルである。ここでは、入力判定モデル５０は、ＬＳＴＭモデル２０にターゲット入力データを入力するか否かの制御に用いられる、ＬＳＴＭモデル２０とは異なる、学習済の機械学習モデルである。状態制御部３２は、ターゲット入力データ取得部３０により取得されるターゲット入力データを入力判定モデル５０に入力した際の出力に基づいて、ＬＳＴＭモデル２０に当該ターゲット入力データを入力するか否かを制御してもよい。
　入力判定モデル５０は、ターゲット入力データの入力に応じて判定結果データＤｓｔｏｐを出力する。ここで例えば、判定結果データＤｓｔｏｐは、「０」又は「１」のいずれかの値をとるデータであってもよい。
　本実施形態では例えば、ターゲット入力データの入力に応じて値が「１」である判定結果データＤｓｔｏｐが入力判定モデル５０から出力された場合は、当該ターゲットデータはＬＳＴＭモデル２０に入力されないよう制御されることとする。また、ターゲット入力データの入力に応じて値が「０」である判定結果データＤｓｔｏｐが入力判定モデル５０から出力された場合は、当該ターゲットデータはＬＳＴＭモデル２０に入力されるよう制御されることとする。
　図６は、入力判定モデル５０の学習の一例を模式的に示す図である。入力判定モデル５０では、例えば複数の学習データセットを用いた学習が実行される。
　図７は、学習データセットの一例を示す図である。学習データセットには、複数の学習データが含まれる。学習データには、例えば、入力判定モデル５０に入力される学習入力データＤｉｎと、当該入力に応じた入力判定モデル５０の出力と比較される教師データである判定結果教師データＴｓｔｏｐと、が含まれる。学習データセットに含まれる複数の学習入力データは、時系列のデータなどといった順序に対応付けられている一連のデータ（Ｄｉｎ（１）～Ｄｉｎ（ｎ））である。そして、Ｄｉｎ（１）～Ｄｉｎ（ｎ）は、判定結果教師データＴｓｔｏｐ（１）～Ｔｓｔｏｐ（ｎ）にそれぞれ対応付けられる。そのため判定結果教師データＴｓｔｏｐも順序に対応付けられることとなる。
　判定結果教師データＴｓｔｏｐは、本実施形態では例えば、所与の学習済の機械学習モデルであるＬＳＴＭモデル２０を用いて生成される教師データである。例えば、学習入力データＤｉｎ（１）～Ｄｉｎ（ｎ）のそれぞれが対応付けられている順序に従ってＬＳＴＭモデル２０に順番に入力された際の、それぞれの入力に対応する出力Ｄｏｕｔ（１）～Ｄｏｕｔ（ｎ）が特定される。例えば、Ｄｉｎ（１）の入力に応じたＬＳＴＭモデル２０の出力Ｄｏｕｔ（１）、Ｄｉｎ（２）の入力に応じたＬＳＴＭモデル２０の出力Ｄｏｕｔ（２）、・・・、Ｄｉｎ（ｎ）の入力に応じたＬＳＴＭモデル２０の出力Ｄｏｕｔ（ｎ）が特定される。
　そしてＬＳＴＭモデル２０の出力Ｄｏｕｔと当該出力Ｄｏｕｔの直前の出力との差の絶対値が所定の閾値よりも小さい場合は、当該出力Ｄｏｕｔに対応するＴｓｔｏｐの値が「１」と決定される。ＬＳＴＭモデル２０の出力Ｄｏｕｔと当該出力Ｄｏｕｔの直前の出力との差の絶対値が所定の閾値よりも小さくない場合は、当該出力Ｄｏｕｔに対応するＴｓｔｏｐの値が「０」と決定される。
　例えば、Ｄｏｕｔ（２）－Ｄｏｕｔ（１）の絶対値が所定の閾値よりも小さい場合はＴｓｔｏｐ（２）の値が「１」と決定され、閾値よりも小さくない場合はＴｓｔｏｐ（２）の値が「０」と決定される。Ｄｏｕｔ（ｎ）－Ｄｏｕｔ（ｎ－１）の絶対値が所定の閾値よりも小さい場合はＴｓｔｏｐ（ｎ）の値が「１」と決定され、閾値よりも小さくない場合はＴｓｔｏｐ（ｎ）の値が「０」と決定される。なお、Ｔｓｔｏｐ（１）の値は所定値（例えば、「０」）と決定されてもよい。
　例えば以上のようにして判定結果教師データＴｓｔｏｐ（１）～Ｔｓｔｏｐ（ｎ）の値は決定される。
　そして、学習入力データＤｉｎ（１）～Ｄｉｎ（ｎ）と、判定結果教師データＴｓｔｏｐ（１）～Ｔｓｔｏｐ（ｎ）とを含む、学習データセットが生成される。
　そしてこのようにして生成される学習データセットを用いて入力判定モデル５０の学習が実行される。例えば、学習入力データＤｉｎ（１）の入力に応じて入力判定モデル５０が出力する判定結果データＤｓｔｏｐ（１）の値が特定されてもよい。そして、判定結果データＤｓｔｏｐ（１）の値と判定結果教師データＴｓｔｏｐ（１）の値との差に基づいて、誤差逆伝搬法（バックプロパゲーション）により入力判定モデル５０のパラメータが更新されてもよい。次に、Ｄｉｎ（２）の入力に応じて入力判定モデル５０が出力するＤｓｔｏｐ（２）の値とＴｓｔｏｐ（２）の値との差に基づいて、入力判定モデル５０のパラメータが更新されてもよい。以後、同様な処理が実行され、最後に、Ｄｉｎ（ｎ）の入力に応じた出力であるＤｓｔｏｐ（ｎ）の値とＴｓｔｏｐ（ｎ）の値との差に基づいて、入力判定モデル５０のパラメータが更新されてもよい。
　そして本実施形態では例えば、複数の学習データセットのそれぞれについて、上述の学習が実行されることで入力判定モデル５０の学習が実行されてもよい。なお入力判定モデル５０の学習に用いられる学習データセットに含まれる学習データの数は同じであってもよいし同じでなくてもよい。
　なお以上の例では、教師あり学習により入力判定モデル５０の学習が実行されたが、教師なし学習あるいは強化学習などの他の手法により入力判定モデル５０の学習が実行されてもよい。
　図８は、情報処理装置１０で実装される入力判定モデル５０の学習に関係する機能の一例を示す機能ブロック図である。ここでは情報処理装置１０において入力判定モデル５０の学習が実行されることとするが、情報処理装置１０とは異なる装置で入力判定モデル５０の学習が実行されてもよい。また、本実施形態に係る情報処理装置１０で、図８に示す機能のすべてが実装される必要はなく、また、図８に示す機能以外の機能が実装されていても構わない。
　図８に示すように、本実施形態に係る情報処理装置１０には、機能的には例えば、入力判定モデル５０、学習データ記憶部６０、学習データ取得部６２、学習入力部６４、判定結果データ取得部６６、学習部６８、が含まれる。入力判定モデル５０は、プロセッサ１２及び記憶部１４を主として実装される。学習データ記憶部６０は、記憶部１４を主として実装される。学習データ取得部６２、学習入力部６４、判定結果データ取得部６６、学習部６８は、プロセッサ１２を主として実装される。
　以上の機能は、コンピュータである情報処理装置１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１２で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してプロセッサ１２に供給されてもよい。
　学習データ記憶部６０は、本実施形態では例えば、複数の学習データセットを記憶する。学習データセットには、複数の学習データが含まれている。学習データには、例えば、学習入力データＤｉｎと、判定結果教師データＴｓｔｏｐと、が含まれる。ここで上述のようにしてＬＳＴＭモデル２０を用いて予め生成された学習データセットが学習データ記憶部６０に記憶されていてもよい。
　学習データ取得部６２は、本実施形態では例えば、学習データ記憶部６０に記憶されている学習データを取得する。
　学習入力部６４は、本実施形態では例えば、学習データ取得部６２により取得される学習データに含まれる学習入力データＤｉｎを、入力判定モデル５０に入力する。
　入力判定モデル５０は、本実施形態では例えば、学習入力データＤｉｎの入力に応じて判定結果データＤｓｔｏｐを出力する機械学習モデルである。
　判定結果データ取得部６６は、本実施形態では例えば、入力判定モデル５０が出力する判定結果データＤｓｔｏｐを取得する。
　学習部６８は、本実施形態では例えば、学習入力データＤｉｎを入力判定モデル５０に入力した際の出力を用いて、入力判定モデル５０の学習を実行する。ここでは例えば、学習データに含まれる学習入力データＤｉｎを入力判定モデル５０に入力した際の出力である判定結果データＤｓｔｏｐの値と、当該学習データに含まれる判定結果教師データＴｓｔｏｐの値と、の差が特定されてもよい。そして特定される差に基づいて入力判定モデル５０のパラメータの値が更新される教師あり学習が実行されてもよい。
　ここで、本実施形態に係る情報処理装置１０で行われる、入力判定モデル５０の学習に関する処理の流れの一例を、図９に例示するフロー図を参照しながら説明する。
　まず、学習データ取得部６２が、学習データ記憶部６０に記憶されている複数の学習データセットのうちから、Ｓ２０２～Ｓ２０５に示す処理が未実行であるものを１つ取得する（Ｓ２０１）。
　そして、学習データ取得部６２が、Ｓ２０１に示す処理で取得された学習データセットに含まれる学習データであって、Ｓ２０３～Ｓ２０５に示す処理が未実行であるもののうち、対応付けられている順序が最も小さなものを取得する（Ｓ２０２）。
　そして、学習入力部６４が、Ｓ２０２に示す処理で取得された学習データに含まれる学習入力データＤｉｎを入力判定モデル５０に入力する（Ｓ２０３）。
　そして、判定結果データ取得部６６が、Ｓ２０３に示す処理での入力に応じて入力判定モデル５０が出力する判定結果データＤｓｔｏｐを取得する（Ｓ２０４）。
　そして、学習部６８が、Ｓ２０４に示す処理で取得された判定結果データＤｓｔｏｐと、Ｓ２０２に示す処理で取得された学習データに含まれる判定結果教師データＴｓｔｏｐと、を用いた、入力判定モデル５０の学習を実行する（Ｓ２０５）。ここで例えば、当該判定結果データＤｓｔｏｐの値と、当該判定結果教師データＴｓｔｏｐの値と、の差に基づいて、入力判定モデル５０のパラメータの値が更新されてもよい。
　そして、学習部６８が、Ｓ２０１に示す処理で取得された学習データセットに含まれるすべての学習データについて、Ｓ２０３～Ｓ２０５に示す処理が実行されたか否かを確認する（Ｓ２０６）。
　Ｓ２０１に示す処理で取得された学習データセットに含まれるすべての学習データについて、Ｓ２０３～Ｓ２０５に示す処理が実行されていない場合は（Ｓ２０６：Ｎ）、Ｓ２０２に示す処理に戻る。
　一方、Ｓ２０１に示す処理で取得された学習データセットに含まれるすべての学習データについて、Ｓ２０３～Ｓ２０５に示す処理が実行されたとする（Ｓ２０６：Ｙ）。この場合は、学習部６８が、学習データ記憶部６０に記憶されているすべての学習データセットについて、Ｓ２０２～Ｓ２０５に示す処理が実行されたか否かを確認する（Ｓ２０７）。
　学習データ記憶部６０に記憶されているすべての学習データセットについて、Ｓ２０２～Ｓ２０５に示す処理が実行されていない場合は（Ｓ２０７：Ｎ）、Ｓ２０１に示す処理に戻る。
　学習データ記憶部６０に記憶されているすべての学習データセットについて、Ｓ２０２～Ｓ２０５に示す処理が実行された場合は（Ｓ２０７：Ｙ）、本処理例に示す処理は終了される。
　そして、以上のようにして生成された学習済の入力判定モデル５０を用いて、所与の学習済のニューラルネットワークに関連付けられている状態の更新を制限するか否かが制御されてもよい。例えば、生成された学習済の入力判定モデル５０を用いて、学習済のＬＳＴＭモデル２０にターゲット入力データを入力するか否かが制御されてもよい。この場合、例えば、状態制御部３２が、ターゲット入力データを入力判定モデル５０に入力した際の出力に基づいて、所与の学習済のニューラルネットワークに関連付けられている状態の更新を制限するか否かが制御されてもよい。例えば、状態制御部３２が、ターゲット入力データを入力判定モデル５０に入力した際の出力に基づいて、ＬＳＴＭモデル２０に当該ターゲット入力データを入力するか否かを制御してもよい。
　例えば上述のＳ１０２に示す処理において、状態制御部３２が、Ｓ１０１に示す処理で取得されたターゲット入力データを学習済の入力判定モデル５０に入力してもよい。そして、状態制御部３２が、当該入力に応じて入力判定モデル５０が出力する判定結果データＤｓｔｏｐを取得してもよい。
　そして、判定結果データＤｓｔｏｐの値が「１」である場合は、状態制御部３２は、入力抑制条件を満足すると判定してもよい。この場合は、Ｓ１０３に示す処理で、出力データ取得部３６が、出力データ記憶部３８に記憶されている出力データを取得する。
　また、判定結果データＤｓｔｏｐの値が「０」である場合は、状態制御部３２は、入力抑制条件を満足しないと判定してもよい。この場合は、Ｓ１０４に示す処理で、入力部３４が、Ｓ１０１に示す処理で取得されたターゲット入力データをＬＳＴＭモデル２０に入力する。
　本実施形態の応用範囲は、特定の技術分野には限定されない。
　例えば、本実施形態をボディトラッキングに応用することができる。ここで例えば、ＬＳＴＭモデル２０が、ユーザの体の末端に装着されたトラッカーが備えるセンサによる計測結果であるセンシングデータの時系列が入力される学習済の機械学習モデルであるとする。そしてＬＳＴＭモデル２０が、当該入力に応じて、当該末端よりも体の中心に近い体の部位の姿勢の推定結果を示す出力データを出力することとする。ここでは例えば、ＬＳＴＭモデル２０は、ユーザの手の姿勢を示すセンシングデータの入力に応じて、手首の姿勢を示す出力データを出力することとする。そして、当該出力データを用いて、当該ユーザの体に含まれる複数の部位の姿勢を決定する処理を含むボディトラッキング処理が実行されることとする。
　このような場面で、本実施形態によって、当該センシングデータをＬＳＴＭモデル２０に入力するか否かが制御されるようにしてもよい。例えば、手の姿勢の変化を示す値の絶対値が所定の閾値より小さい場合に当該センシングデータがＬＳＴＭモデル２０に入力されないようにしてもよい。
　また例えば、本実施形態を、映像解析に応用することができる。ここで例えば、ＣＮＮモデルとＬＳＴＭモデル２０とが結合された学習済の機械学習モデルに、映像データに含まれる複数のフレーム画像がフレーム番号に従って順番に入力されることとする。そして当該機械学習モデルが、当該入力に応じて、入力されたフレーム画像の特徴量を示す出力データを出力することとする。そして、当該出力データを用いて、当該フレーム画像に表れている物体の像の特定などといった映像解析処理が実行されてもよい。
　このような場面で、本実施形態によって、ＬＳＴＭモデル２０を含む当該機械学習モデルに当該フレーム画像を入力するか否かが制御されるようにしてもよい。例えば、当該フレーム画像の直前のフレーム画像からの変化を示す値の絶対値が所定の閾値より小さい場合に当該フレーム画像がＬＳＴＭモデル２０に入力されないようにしてもよい。
　また、本実施形態における、ニューラルネットワークに関連付けられている状態の更新を制限するか否かの制御は、上述の例には限定されない。
　例えば、状態制御部３２は、ターゲット入力データの一部又は全部についての、直前に取得されたターゲット入力データからの変化に基づいて、学習済のＬＳＴＭモデル２０に関連付けられている状態の更新を制限するか否かを制御してもよい。例えば、ターゲット入力データの一部又は全部における変化が小さい場合は、状態制御部３２は、学習済のＬＳＴＭモデル２０に当該ターゲット入力データを入力しないよう制御してもよい。また、ターゲット入力データの一部又は全部における変化が大きい場合は、状態制御部３２は、学習済のＬＳＴＭモデル２０に当該ターゲット入力データを入力するよう制御してもよい。
　また例えば、状態制御部３２は、当該ターゲット入力データの値と当該ターゲット入力データの直前に取得されたターゲット入力データの値との差を特定してもよい。そして、状態制御部３２は、特定される差に基づいて、学習済のＬＳＴＭモデル２０に関連付けられている状態の更新を制限するか否かを制御してもよい。ここで例えば、状態制御部３２は、特定される差の絶対値の大きさに基づいて、学習済のＬＳＴＭモデル２０に当該ターゲット入力データを入力するか否かを制御してもよい。
　例えば、特定される差の絶対値が所定の閾値よりも小さい場合は、状態制御部３２は、学習済のＬＳＴＭモデル２０に当該ターゲット入力データを入力しないよう制御してもよい。逆に、特定される差の絶対値が所定の閾値よりも小さくない場合は、状態制御部３２は、学習済のＬＳＴＭモデル２０に当該ターゲット入力データを入力するよう制御してもよい。
　また例えば、状態制御部３２は、ターゲット入力データに含まれる要素間の相対的な関係についての、直前に取得されたターゲット入力データからの変化に基づいて、学習済のＬＳＴＭモデル２０に関連付けられている状態の更新を制限するか否かを制御してもよい。例えば、ターゲット入力データに含まれる要素間の相対的な関係における変化が小さい場合は、状態制御部３２は、学習済のＬＳＴＭモデル２０に当該ターゲット入力データを入力しないよう制御してもよい。また、ターゲット入力データに含まれる要素間の相対的な関係における変化が大きい場合は、状態制御部３２は、学習済のＬＳＴＭモデル２０に当該ターゲット入力データを入力するよう制御してもよい。
　また、状態制御部３２は、ＬＳＴＭモデル２０等のニューラルネットワークへのターゲット入力データの入力に応じて更新された状態を、更新前の状態に戻すか否かを制御してもよい。例えば、出力データの一部又は全部についての、当該出力データの直前に出力された出力データからの変化に基づいて、ＬＳＴＭモデル２０に関連付けられている状態を更新前の状態に戻すか否かが制御されてもよい。例えば、出力データの一部又は全部における変化が小さい場合は、状態制御部３２は、ＬＳＴＭモデル２０へのターゲット入力データの入力に応じて更新された状態が、直前の状態に戻るよう制御してもよい。また、出力データの一部又は全部における変化が大きい場合は、ＬＳＴＭモデル２０へのターゲット入力データの入力に応じて更新された状態が維持されてもよい。
　また例えば、状態制御部３２は、ターゲット入力データの入力に応じたＬＳＴＭモデル２０の出力と当該ターゲット入力データの次に取得されるターゲット入力データとを比較してもよい。そして状態制御部３２は、当該比較の結果に基づいて、ＬＳＴＭモデル２０に関連付けられている状態の更新を制限するか否かを制御してもよい。この場合も、上述のように、ＬＳＴＭモデル２０へのターゲット入力データの入力に応じて更新された状態を、更新前の状態に戻すか否かが制御されてもよい。
　例えば上述のボディトラッキングにおいて、ＬＳＴＭモデル２０がセンサによる計測結果である頭の姿勢と手の姿勢を示すデータの入力に応じて未来の頭の姿勢を示すデータを出力するものであることとする。この場合、ＬＳＴＭモデル２０の出力であるデータと、次のループ処理における計測結果である頭の姿勢を示すデータとの差の絶対値が、所定の閾値よりも小さい場合は、ＬＳＴＭモデル２０に関連付けられている状態の更新が制限されるようにしてもよい。
　また本実施形態において、出力データが変化しない条件が自明である場合は、当該条件に基づいて、学習済のＬＳＴＭモデル２０にターゲット入力データを入力するか否かが制御されてもよい。また、適用するユースケースとの関係で出力データが変化しない条件が経験則から予め判明している場合は、当該条件に基づいて、学習済のＬＳＴＭモデル２０にターゲット入力データを入力するか否かが制御されてもよい。
　なお、本発明は上述の実施形態に限定されるものではない。
　例えばＬＳＴＭモデル２０以外の、何らかの形で状態の関連付けが可能な所与の学習済のニューラルネットワークについても本発明は適用可能である。例えば、ＬＳＴＭモデル２０に含まれる各要素（ＣＥＣ、Input Gate、Output Gate、Forget Gate）についてばらばらに本発明を適用してもよい。また、ＬＳＴＭ２０モデルではない、状態の関連付けが可能な再帰型ニューラルネットワーク（ＲＮＮ）モデルにも本発明は適用可能である。また、特定の層（例えば全結合層）の現在の値を取り出して、当該値を次の入力に用いるようなニューラルネットワークにも本発明は適用可能である。この場合は、上記特定の層の値が状態変数の値に相当することとなる。
　本発明における「ニューラルネットワークに関連付けられている状態」は、次のループに引き継がれるニューラルネットワークのある層の状態（内部状態）には限定されない。当該「状態」は、次のループにおけるある層の状態としては用いられないが、ニューラルネットワークに関連付けて記憶され、次のループにおける入出力に用いられるものも包含される。例えば本発明は、ニューラルネットワークのある層の状態が出力でき、当該出力が、次のループの入力として与えられ、当該ループにおける当該層の状態の初期値として設定できるものに適用可能である。また本発明は、ニューラルネットワークのある層の状態が出力でき、当該出力が、次のループの入力として与えられるが、当該ループにおける当該層の状態の初期値としては利用されないものにも適用可能である。また本発明は、ニューラルネットワークのある層の状態が、直前の入出力から引き継がれ、次のループの入出力における初期値として利用されるものにも適用可能である。
　また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

Claims (14)

  1. 　入力データを取得する入力データ取得部と、
    　前記入力データが入力される、状態の関連付けが可能な所与の学習済のニューラルネットワークの出力である出力データを用いた処理を実行する処理実行部と、を含み、
    　前記入力データ取得部による前記入力データの取得、及び、前記処理実行部による処理の実行を含むループ処理は、繰り返し実行され、
    　前記入力データ及び前記出力データの少なくとも一方に基づいて、前記ニューラルネットワークに関連付けられている前記状態の更新を制限するか否かを制御する状態制御部、をさらに含む、
    　ことを特徴とする状態制御装置。
  2. 　前記状態制御部は、前記ニューラルネットワークに前記入力データを入力するか否かを制御する、
    　ことを特徴とする請求項１に記載の状態制御装置。
  3. 　前記処理実行部は、前記ニューラルネットワークに前記入力データを入力するよう制御される場合は、当該入力データを前記ニューラルネットワークに入力した際の出力である前記出力データを用いた処理を実行し、
    　前記処理実行部は、前記ニューラルネットワークに前記入力データを入力しないよう制御される場合は、前記ニューラルネットワークの直近の出力である前記出力データを用いた処理を実行する、
    　ことを特徴とする請求項２に記載の状態制御装置。
  4. 　前記状態制御部は、前記ニューラルネットワークへの前記入力データの入力に応じて更新された前記状態を、更新前の状態に戻すか否かを制御する、
    　ことを特徴とする請求項１に記載の状態制御装置。
  5. 　前記ニューラルネットワークへの入力を示す学習入力データと、当該入力に応じた前記ニューラルネットワークの出力と当該入力の直前の入力に応じた前記ニューラルネットワークの出力との差を示す教師データと、を含む学習データを用いた学習が実行された学習済の機械学習モデルである入力判定モデルをさらに含み、
    　前記状態制御部は、前記入力データ取得部により取得される前記入力データを前記入力判定モデルに入力した際の出力に基づいて、前記ニューラルネットワークに関連付けられている前記状態の更新を制限するか否かを制御する、
    　ことを特徴とする請求項１から４のいずれか一項に記載の状態制御装置。
  6. 　前記状態制御部は、前記入力データの一部又は全部についての、当該入力データの直前に取得された前記入力データからの変化に基づいて、前記ニューラルネットワークに関連付けられている前記状態の更新を制限するか否かを制御する、
    　ことを特徴とする請求項１から４のいずれか一項に記載の状態制御装置。
  7. 　前記状態制御部は、前記入力データに含まれる要素間の相対的な関係についての、当該入力データの直前に取得された前記入力データからの変化に基づいて、前記ニューラルネットワークに関連付けられている前記状態の更新を制限するか否かを制御する、
    　ことを特徴とする請求項１から４のいずれか一項に記載の状態制御装置。
  8. 　前記状態制御部は、前記入力データの入力に応じた前記ニューラルネットワークの出力と当該入力データの次に取得される前記入力データとの比較結果に基づいて、前記ニューラルネットワークに関連付けられている前記状態の更新を制限するか否かを制御する、
    　ことを特徴とする請求項１から４のいずれか一項に記載の状態制御装置。
  9. 　前記ニューラルネットワークは、ロングショートタームメモリ（ＬＳＴＭ）モデルである、
    　ことを特徴とする請求項１から８のいずれか一項に記載の状態制御装置。
  10. 　状態の関連付けが可能な所与の学習済のニューラルネットワークへの入力を示す学習入力データと、当該入力に応じた前記ニューラルネットワークの出力と当該入力の直前の入力に応じた前記ニューラルネットワークの出力との差を示す教師データと、を含む学習データを取得する学習データ取得部と、
    　前記ニューラルネットワークに関連付けられている前記状態の更新を制限するか否かの制御に用いられる機械学習モデルである入力判定モデルに前記学習データに含まれる前記学習入力データを入力した際の出力、及び、当該学習データに含まれる前記教師データを用いて、当該入力判定モデルの学習を実行する学習部と、
    　を含むことを特徴とする学習装置。
  11. 　入力データを取得するステップと、
    　前記入力データが入力される、状態の関連付けが可能な所与の学習済のニューラルネットワークの出力である出力データを用いた処理を実行するステップと、を含み、
    　前記入力データの取得、及び、前記処理の実行を含むループ処理は、繰り返し実行され、
    　前記入力データ及び前記出力データの少なくとも一方に基づいて、前記ニューラルネットワークに関連付けられている前記状態の更新を制限するか否かを制御するステップ、をさらに含む、
    　ことを特徴とする状態制御方法。
  12. 　状態の関連付けが可能な所与の学習済のニューラルネットワークへの入力を示す学習入力データと、当該入力に応じた前記ニューラルネットワークの出力と当該入力の直前の入力に応じた前記ニューラルネットワークの出力との差を示す教師データと、を含む学習データを取得するステップと、
    　前記ニューラルネットワークに関連付けられている前記状態の更新を制限するか否かの制御に用いられる機械学習モデルである入力判定モデルに前記学習データに含まれる前記学習入力データを入力した際の出力、及び、当該学習データに含まれる前記教師データを用いて、当該入力判定モデルの学習を実行するステップと、
    　を含むことを特徴とする学習方法。
  13. 　入力データを取得する手順、
    　前記入力データが入力される、状態の関連付けが可能な所与の学習済のニューラルネットワークの出力である出力データを用いた処理を実行する手順、をコンピュータに実行させ、
    　前記入力データの取得、及び、前記処理の実行を含むループ処理は、繰り返し実行され、
    　前記入力データ及び前記出力データの少なくとも一方に基づいて、前記ニューラルネットワークに関連付けられている前記状態の更新を制限するか否かを制御する手順、をさらに前記コンピュータに実行させる、
    　ことを特徴とするプログラム。
  14. 　状態の関連付けが可能な所与の学習済のニューラルネットワークへの入力を示す学習入力データと、当該入力に応じた前記ニューラルネットワークの出力と当該入力の直前の入力に応じた前記ニューラルネットワークの出力との差を示す教師データと、を含む学習データを取得する手順、
    　前記ニューラルネットワークに関連付けられている前記状態の更新を制限するか否かの制御に用いられる機械学習モデルである入力判定モデルに前記学習データに含まれる前記学習入力データを入力した際の出力、及び、当該学習データに含まれる前記教師データを用いて、当該入力判定モデルの学習を実行する手順、
    　をコンピュータに実行させることを特徴とするプログラム。
PCT/JP2019/014153 2019-03-29 2019-03-29 状態制御装置、学習装置、状態制御方法、学習方法及びプログラム WO2020202308A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/435,866 US20220147798A1 (en) 2019-03-29 2019-03-29 State control device, learning device, state control method, learning method, and program
PCT/JP2019/014153 WO2020202308A1 (ja) 2019-03-29 2019-03-29 状態制御装置、学習装置、状態制御方法、学習方法及びプログラム
JP2021511689A JP7046267B2 (ja) 2019-03-29 2019-03-29 状態制御装置、学習装置、状態制御方法、学習方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/014153 WO2020202308A1 (ja) 2019-03-29 2019-03-29 状態制御装置、学習装置、状態制御方法、学習方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2020202308A1 true WO2020202308A1 (ja) 2020-10-08

Family

ID=72667184

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/014153 WO2020202308A1 (ja) 2019-03-29 2019-03-29 状態制御装置、学習装置、状態制御方法、学習方法及びプログラム

Country Status (3)

Country Link
US (1) US20220147798A1 (ja)
JP (1) JP7046267B2 (ja)
WO (1) WO2020202308A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018181273A (ja) * 2017-04-21 2018-11-15 キヤノン株式会社 画像処理装置及びその方法、プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018181273A (ja) * 2017-04-21 2018-11-15 キヤノン株式会社 画像処理装置及びその方法、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LYU, QI ET AL.: "Revisit Long Short-Term Memory: An Optimization Perspective", NIPS 2014 WORKSHOP ON DEEP LEARNING AND REPRESENTATION LEARNING, 17 June 2019 (2019-06-17), pages 1 - 9, Retrieved from the Internet <URL:http://www.dlworkshop.org/24.pdf> *

Also Published As

Publication number Publication date
US20220147798A1 (en) 2022-05-12
JPWO2020202308A1 (ja) 2021-10-21
JP7046267B2 (ja) 2022-04-01

Similar Documents

Publication Publication Date Title
Zaremba et al. Reinforcement learning neural turing machines-revised
CN108830376B (zh) 针对时间敏感的环境的多价值网络深度强化学习方法
CN110471276B (zh) 用于为物理系统创建模型函数的装置
KR102577188B1 (ko) 목표 시스템에 대한 제어 시스템 생성
CN111144580A (zh) 一种基于模仿学习的层级强化学习训练方法和装置
US11897066B2 (en) Simulation apparatus
WO2018227820A1 (zh) 控制机械臂运动的方法及装置、存储介质和终端设备
US20190262990A1 (en) Robot skill management
Lee et al. Hierarchical emotional episodic memory for social human robot collaboration
US10549422B2 (en) Robot controller, machine learning device and machine learning method
JP6703020B2 (ja) 制御装置及び機械学習装置
CN114981825A (zh) 基于自动学习预测及控制时间序列数据的方法及装置
US20220378358A1 (en) EEG With Artificial Intelligence As Control Device
Costi et al. Comparative analysis of model-based predictive shared control for delayed operation in object reaching and recognition tasks with tactile sensing
JP7046267B2 (ja) 状態制御装置、学習装置、状態制御方法、学習方法及びプログラム
WO2020168451A1 (zh) 睡眠预测方法、装置、存储介质及电子设备
Michaud et al. Representation of behavioral history for learning in nonstationary conditions
JP2002133390A (ja) 学習装置および記録媒体
Lima A probabilistic approach to benchmarking and performance evaluation of robot systems
WO2021240664A1 (ja) モデル訓練プログラム、モデル訓練方法および情報処理装置
CN115598967B (zh) 参数整定模型训练、参数确定方法、装置、设备及介质
CN111589158B (zh) Ai模型训练方法、ai模型调用方法、设备及可读存储介质
WO2023026342A1 (ja) 動作規則決定装置、動作規則決定方法および記録媒体
KR102194441B1 (ko) 학습자의 학습내용에 대한 망각 관리 방법 및 시스템
JPWO2022049672A5 (ja) 学習装置、学習方法、制御システムおよびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19922418

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021511689

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19922418

Country of ref document: EP

Kind code of ref document: A1