WO2023218535A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2023218535A1
WO2023218535A1 PCT/JP2022/019840 JP2022019840W WO2023218535A1 WO 2023218535 A1 WO2023218535 A1 WO 2023218535A1 JP 2022019840 W JP2022019840 W JP 2022019840W WO 2023218535 A1 WO2023218535 A1 WO 2023218535A1
Authority
WO
WIPO (PCT)
Prior art keywords
function
unit
parameters
monotonically increasing
survival
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/019840
Other languages
English (en)
French (fr)
Inventor
祥章 瀧本
哲也 杵渕
太一 浅見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2024520123A priority Critical patent/JP7754297B2/ja
Priority to US18/862,979 priority patent/US20250315669A1/en
Priority to PCT/JP2022/019840 priority patent/WO2023218535A1/ja
Publication of WO2023218535A1 publication Critical patent/WO2023218535A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Definitions

  • Embodiments relate to an information processing device, an information processing method, and a program.
  • Some of these events occur only once (including cases that are not expected because the data changes significantly after they occur). Examples of such events include death, accident, marriage, recurrence of illness, and the like. Survival analysis is often used to predict such events.
  • Prediction by survival analysis is usually performed using the following steps. 1. Model learning (or manual design) is performed using data in which an event has occurred and data in which an event has not occurred. 2. Using a model, a hazard function that represents the likelihood of an event occurring and/or a survival function that represents the probability that an event will occur over a certain period of time is determined for data that is actually desired to be predicted.
  • the first problem is that there is not always enough data on the occurrence of the event that we want to predict.
  • the second issue is that there are strong assumptions, such as being based on the COX proportional hazards model.
  • the COX proportional hazards model the relative likelihood of occurrence is known, but the absolute time is not known.
  • time cannot be estimated more accurately than the discretized granularity.
  • the third problem is that if assumptions such as the COX proportional hazards model are not made, the likelihood includes an integral, making optimization difficult or requiring approximation.
  • Non-Patent Document 1 and Non-Patent Document 2 have been proposed to address such issues.
  • Non-Patent Document 1 discloses a method based on the COX proportional hazard model.
  • the method in Non-Patent Document 1 solves the first problem by performing meta-learning using MAML (Model-Agnostic Meta-Learning), and solves the third problem by using the COX proportional hazard model. is avoided.
  • MAML Model-Agnostic Meta-Learning
  • the method of Non-Patent Document 1 cannot solve the second problem because it uses a COX proportional hazard model.
  • Non-Patent Document 2 discloses a method of discretizing time. The method of Non-Patent Document 2 avoids the third problem by discretization. However, with the method of Non-Patent Document 2, the first problem is not solved, and the second problem is not solved because it is discretized.
  • the present invention has been made in view of the above circumstances, and its purpose is to provide a means that enables calculation of at least one of a hazard function and a survival function without making any assumptions.
  • An information processing device includes a latent expression calculation unit, a monotonically increasing neural network, and a function estimation unit.
  • the latent expression calculation unit calculates a latent expression representing a feature amount from processing target data including a feature amount related to a prediction target event.
  • the monotonically increasing neural network is modeled to output a scalar value according to a monotonically increasing function defined by the latent expression calculated by the latent expression calculation unit and time.
  • the function estimator estimates at least one of a hazard function and a survival function based on the scalar value output from the monotonically increasing neural network.
  • FIG. 1 is a block diagram showing an example of the hardware configuration of a survival analysis device as an information processing device according to the first embodiment.
  • FIG. 2 is a block diagram showing an example of the configuration of a learning function of the survival analysis device as the information processing device according to the first embodiment.
  • FIG. 3 is a block diagram illustrating an example of a configuration of a prediction function of a survival analysis device as an information processing device according to the first embodiment.
  • FIG. 4A is a flowchart illustrating an example of a learning operation in the survival analysis device as the information processing device according to the first embodiment.
  • FIG. 4B is a flowchart illustrating an example of a learning operation in the survival analysis device as the information processing device according to the first embodiment.
  • FIG. 1 is a block diagram showing an example of the hardware configuration of a survival analysis device as an information processing device according to the first embodiment.
  • FIG. 2 is a block diagram showing an example of the configuration of a learning function of the survival analysis device as the information processing device according to the first embodiment.
  • FIG. 5 is a flowchart illustrating an example of a prediction operation in the survival analysis device as the information processing device according to the first embodiment.
  • FIG. 6 is a block diagram illustrating an example of the configuration of a learning function of a survival analysis device as an information processing device according to the second embodiment.
  • FIG. 7 is a block diagram illustrating an example of the configuration of a prediction function of a survival analysis device as an information processing device according to the second embodiment.
  • FIG. 8A is a flowchart illustrating an example of a learning operation in the survival analysis device as an information processing device according to the second embodiment.
  • FIG. 8B is a flowchart illustrating an example of a learning operation in the survival analysis device as an information processing device according to the second embodiment.
  • FIG. 9 is a flowchart illustrating an example of a prediction operation in the survival analysis device as an information processing device according to the second embodiment.
  • the survival analysis device has a learning function and a prediction function.
  • the learning function is a function that meta-learns model parameters using data in which an event has occurred and data in which an event has not occurred.
  • the prediction function is a function that calculates a hazard function, cumulative hazard function, and survival function for data that is actually desired to be predicted, based on the parameters of the model learned by the learning function.
  • FIG. 1 is a block diagram showing an example of the hardware configuration of a survival analysis device 1 as an information processing device according to the first embodiment.
  • the survival analysis device 1 includes a control circuit 10, a memory 11, a communication module 12, a user interface 13, and a drive 14.
  • the control circuit 10 is a circuit that controls each component of the survival analysis device 1 as a whole.
  • the control circuit 10 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like. By using a multi-core and multi-threaded CPU, the CPU can execute multiple information processes at the same time. Further, the control circuit 10 may include a plurality of CPUs. Furthermore, the control circuit 10 may include an ASIC (Application Specific Integrated Circuit), a DSP (Digital Signal Processor), an FPGA (field-programmable gate array), a GPU (Graphics Processing Unit), etc. instead of or in addition to the CPU. Can include integrated circuits.
  • ASIC Application Specific Integrated Circuit
  • DSP Digital Signal Processor
  • FPGA field-programmable gate array
  • GPU Graphics Processing Unit
  • the memory 11 is a storage device of the survival analysis device 1.
  • the memory 11 includes, for example, an HDD (Hard Disk Drive), an SSD (Solid State Drive), a memory card, and the like.
  • the memory 11 stores information used for learning operations and predictive operations in the survival analysis device 1.
  • the memory 11 also stores a learning program for causing the control circuit 10 to perform a learning operation and a prediction program for causing the control circuit 10 to perform a predictive operation.
  • the communication module 12 is a circuit used for transmitting and receiving data to and from the outside of the survival analysis device 1 via a network (not shown).
  • the user interface 13 is a circuit for communicating information between the user and the control circuit 10.
  • User interface 13 includes input equipment and output equipment.
  • Input devices include, for example, a touch panel and operation buttons.
  • the output device includes, for example, an LCD (Liquid Crystal Display) or an EL (Electroluminescence) display, and a printer.
  • the user interface 13 outputs, for example, the execution results of various programs received from the control circuit 10 to the user.
  • the drive 14 is a device for reading programs stored in the storage medium 15.
  • the drive 14 includes, for example, a CD (Compact Disk) drive, a DVD (Digital Versatile Disk) drive, and the like.
  • the storage medium 15 is a medium that stores information such as programs through electrical, magnetic, optical, mechanical, or chemical action.
  • the storage medium 15 may store a learning program and a prediction program.
  • FIG. 2 is a block diagram showing an example of the learning function configuration of the survival analysis device 1 as the information processing device according to the first embodiment.
  • the CPU of the control circuit 10 loads the learning program stored in the memory 11 or the storage medium 15 into the RAM.
  • the CPU of the control circuit 10 controls the memory 11, the communication module 12, the user interface 13, the drive 14, and the storage medium 15 by interpreting and executing the learning program developed in the RAM.
  • the computer functions as a computer including sections 29 and 30.
  • the memory 11 of the survival analysis device 1 functions as a learning data set storage section 20 and a learned parameter storage section 31 for storing information used for learning operations.
  • the learning data set storage unit 20 stores a data set (hereinafter referred to as a learning data set) D k corresponding to an event to be predicted. Examples of events to be predicted include mechanical breakdowns, traffic accidents, and life events such as marriage.
  • the learning data set D k is information including d survival time data X for each of k tasks, as described below.
  • k is the task id
  • d is the data id
  • DS k is a data set of task k
  • K is a task set.
  • the survival time data X includes a feature amount x, an indicator variable ⁇ , and a time e.
  • the feature amount x may be any information as long as it can be used for the event to be predicted. For example, it is sufficient that the feature quantity x can be handled by the same differentiable model for all tasks.
  • Differentiable models include, for example, CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), Perceiver, and the like.
  • Perceiver is disclosed in, for example, Andrew Jaegle, et al., “Perceiver: General Perception with Iterative Attention”, arXiv:2103.03206v2 [cs.CV] 23 Jun 2021.
  • the events that we want to predict occur at most once for humans, such as life events, traffic accidents, equipment failures, etc. (including).
  • the feature amount x may be static or time-series.
  • the static feature quantity x is attribute information indicating the person's attributes, such as gender and age
  • the time-series feature quantity x is, for example, money balance, location information history, SNS information, etc. This information includes posting history, etc.
  • Task k in the life event learning data set D k is an event such as marriage, childbirth, moving, going to higher education, finding a job, etc. Taking an example of feature x and event for task k, if we write task k: (feature, event), for example, task 1: (money balance, marriage), task 2: (location information history + SNS history) Posting history, childbirth), Task 3: (expense history, moving), etc.
  • d which is the data ID, is assigned to each person.
  • the static feature quantity x is, for example, attribute information indicating attributes of the driver
  • the time-series feature quantity x is, for example, the history of sensing data of various sensors, Information such as images from a drive recorder.
  • Task k in the learning data set D k for traffic accidents is traffic accidents by country or region, by vehicle type (private car, truck, taxi, bus, etc.).
  • the data ID d will be assigned for each drive.
  • the event to be predicted, the feature amount x for each event, and the learning data set D k listed here are only examples.
  • the event to be predicted is a device failure, and in that case, the feature quantity x is information such as the model, log data, temperature, humidity, etc., and is not limited to the above example.
  • the data dividing unit 21 randomly selects the task k and sets the data set for the task k from the learning data set D k stored in the learning data set storage unit 20.
  • the data dividing unit 21 randomly divides the extracted learning target data set to obtain a support set SS and a query set QS.
  • the data division unit 21 transmits the support set SS to the latent expression calculation unit 23 and the query set QS to the latent expression calculation unit 24.
  • the initialization unit 22 initializes the parameter set ⁇ based on an arbitrary rule R determined in advance.
  • the parameter set ⁇ includes multiple parameters p1 and multiple parameters p2.
  • the initialization unit 22 transmits the plurality of initialized parameters p1 to the latent expression calculation unit 23.
  • the initialization unit 22 transmits the plurality of initialized parameters p2 to the function estimation unit 25. Further, the initialization unit 22 transmits the initialized parameter set ⁇ (a plurality of parameters p1 and p2) to the update unit 28.
  • the plurality of parameters p1 and p2 will be described later.
  • the latent expression calculation unit 23 calculates a latent expression z for the feature x of each piece of data X in the support set SS.
  • the latent expression z is data representing the feature of the feature amount x in the data set.
  • the latent expression calculation unit 23 transmits the calculated latent expression z to the function estimation unit 25.
  • the latent expression calculation unit 23 includes a feature amount extraction unit 231 and a model 232.
  • the feature extraction unit 231 extracts the feature x from the support set SS.
  • the feature extraction unit 231 sends the feature x to the model 232.
  • the model 232 is any differentiable model that can handle the feature quantity x. That is, the model 232 is a mathematical model modeled to input the feature quantity x and output the latent expression z.
  • the model 232 can be, for example, CNN, RNN, Perceiver, or the like.
  • the parameter ⁇ (multiple parameters p1) is applied to the model 232 as a weight and bias term.
  • the model 232 to which the plurality of parameters p1 are applied receives the feature quantity x as input and outputs the latent expression z.
  • the model 232 transmits the output latent expression z to the function estimator 25.
  • the function estimation unit 25 calculates a hazard function h(t, z) based on the latent expression z and the predicted time t.
  • the hazard function h(t,z) is a time function that represents the likelihood of occurrence of an event to be predicted with respect to data to be predicted.
  • the function estimator 25 transmits the calculated hazard function h(t,z) to the updater 27.
  • the function estimation section 25 includes a monotonically increasing neural network 251, a cumulative hazard function calculation section 252, and an automatic differentiation section 253.
  • the monotonically increasing neural network 251 is a mathematical model modeled to calculate as an output a monotonically increasing function defined by the latent expression z and time t.
  • Examples of the monotonically increasing neural network 251 include the one disclosed in Antoine Wehenkel, et al., “Unconstrained Monotonic Neural Networks”, arXiv:1908.05164v3 [cs.LG] 31 Mar 2021, where the activation function has a positive differential ( tanh, etc.) with non-negative constraints placed on the weights, etc. can be used.
  • a plurality of weights and bias terms based on the parameter ⁇ (a plurality of parameters p2) are applied to the monotonically increasing neural network 251.
  • the monotonically increasing neural network 251 to which the plurality of parameters p2 is applied calculates an output f(t, z) as a scalar value according to a monotonically increasing function defined by the latent expression z and the time t.
  • the monotonically increasing neural network 251 transmits the output f(t, z) to the cumulative hazard function calculation unit 252.
  • the cumulative hazard function calculation unit 252 calculates the cumulative hazard function H(t,z) based on the output f(t,z) according to the formula shown below.
  • s is a scale parameter to compensate for the lack of expressive power of the monotonically increasing neural network.
  • S(t) is a survival function and represents the probability that the survival time will be greater than or equal to t.
  • the cumulative hazard function calculation unit 252 transmits the calculated cumulative hazard function H(t,z) to the automatic differentiation unit 253 and the update unit 27.
  • the automatic differentiation section 253 calculates the hazard function h(t,z) by automatically differentiating the cumulative hazard function H(t,z).
  • the automatic differentiator 253 transmits the calculated hazard function h(t,z) to the updater 27.
  • the hazard function h(t,z) is expressed by the differential of the cumulative hazard function H(t,z) as follows.
  • the updating unit 27 calculates an updated parameter set ⁇ (a plurality of parameters p1 and p2) based on the cumulative hazard function H(t, z) and the hazard function h(t, z).
  • the updated parameter set is referred to as an updated parameter set ⁇ '(p1', p2').
  • the updating section 27 transmits the updated parameter set ⁇ ' (a plurality of parameters p1' and p2') to the determining section 29.
  • the update section 27 includes an evaluation function estimation section 271 and an optimization section 272.
  • the evaluation function estimation unit 271 calculates the evaluation function L(SS) based on the cumulative hazard function H(t, z) and the hazard function h(t, z).
  • the evaluation function L(SS) is, for example, the following negative log likelihood.
  • the evaluation function estimation unit 271 transmits the calculated evaluation function L(SS) to the optimization unit 272.
  • the optimization unit 272 optimizes the parameter set ⁇ , that is, the plurality of parameters p1 and p2, based on the evaluation function L(SS). For example, an error backpropagation method is used for the optimization.
  • the optimization unit 272 transmits this optimized parameter set ⁇ (a plurality of parameters p1 and p2) to the determination unit 29 as an updated parameter set ⁇ ' (a plurality of parameters p1' and p2').
  • the determination unit 29 determines whether the first condition is satisfied based on the update parameter set ⁇ ' (a plurality of parameters p1' and p2').
  • the first condition may be, for example, that the number of times the update parameter set ⁇ ' is transmitted to the determination unit 29 (that is, the number of parameter update loops) is equal to or greater than a threshold value.
  • the first condition may be, for example, that the amount of change in the value of the update parameter set ⁇ ' before and after the update is less than or equal to a threshold value.
  • the determination unit 29 applies the updated parameter set ⁇ ' (a plurality of parameters p1' and p2') to the model 232 and the monotonically increasing neural network 251, and the latent expression calculation unit 23 and the function estimation
  • the update section 25 and the update section 27 are caused to perform a parameter update operation based on this update parameter set ⁇ '.
  • the determination unit 29 causes the latent expression calculation unit 23, function estimation unit 25, and update unit 27 to repeatedly execute a parameter update loop.
  • the determination unit 29 terminates the parameter update loop, and transmits the last updated update parameter set ⁇ ′ (the plurality of parameters p1′ and p2′) to the latent expression calculation unit. 24 and the function estimator 26.
  • the determination unit 29 initializes the parameters applied to the latent expression calculation unit 24 and the function estimation unit 26 to this updated parameter set ⁇ ' (a plurality of parameters p1' and p2').
  • the latent expression calculation unit 24 calculates a latent expression z for the feature amount x of each data X of the query set QS.
  • the latent expression calculation unit 24 transmits the calculated latent expression z to the function estimation unit 26.
  • the latent expression calculation unit 24 has a configuration corresponding to the latent expression calculation unit 23. That is, the latent expression calculation unit 24 includes a feature amount extraction unit 241 and a model 242.
  • the feature extraction unit 241 extracts the feature x from the query set QS.
  • the feature extraction unit 241 sends the feature x to the model 242.
  • the model 242 is any differentiable model that can handle the feature x.
  • the updated parameters p1' are applied to the model 242 as weights and bias terms.
  • the model 242 to which the plurality of parameters p1' is applied receives the feature amount x and outputs the latent expression z.
  • the model 232 sends the output latent expression z to the function estimator 26.
  • the function estimation unit 26 calculates the hazard function h(t, z) based on the latent expression z and the predicted time t.
  • the function estimator 26 transmits the calculated hazard function h(t,z) to the updater 27.
  • the function estimation unit 26 includes a monotonically increasing neural network 261, a cumulative hazard function calculation unit 262, and an automatic differentiation unit 263.
  • the monotonically increasing neural network 261 is a mathematical model similar to the monotonically increasing neural network 251.
  • a plurality of weights and bias terms based on the updated plurality of parameters p2' are applied to the monotonically increasing neural network 261.
  • the monotonically increasing neural network 261 to which the plurality of parameters p2' is applied calculates an output f(t, z) as a scalar value according to a monotonically increasing function defined by the latent expression z and time t.
  • the monotonically increasing neural network 261 transmits the output f(t,z) to the cumulative hazard function calculation unit 262.
  • the cumulative hazard function calculation unit 262 is similar to the cumulative hazard function calculation unit 252, and calculates the cumulative hazard function H(t, z) based on the output f(t, z). The cumulative hazard function calculation unit 262 transmits the calculated cumulative hazard function H(t,z) to the automatic differentiation unit 263 and the update unit 28.
  • the automatic differentiation section 263 is similar to the automatic differentiation section 253, and calculates the hazard function h(t,z) by automatically differentiating the cumulative hazard function H(t,z).
  • the automatic differentiator 263 transmits the calculated hazard function h(t,z) to the updater 28.
  • the update unit 28 updates the parameter set ⁇ (a plurality of parameters p1 and p2) from the initialization unit 22 based on the cumulative hazard function H (t, z) and the hazard function h (t, z), and Send to 30.
  • the updating unit 28 includes an evaluation function estimating unit 281 and an optimizing unit 282, like the updating unit 27.
  • the evaluation function estimation unit 281 calculates the evaluation function L(QS) based on the cumulative hazard function H(t, z) and the hazard function h(t, z).
  • the evaluation function L(QS) is, for example, the following negative log likelihood.
  • the evaluation function estimation unit 281 transmits the calculated evaluation function L(QS) to the optimization unit 282.
  • the optimization unit 282 optimizes the parameter set ⁇ , that is, the plurality of parameters p1 and p2, based on the evaluation function L(QS). For example, an error backpropagation method is used for the optimization. More specifically, the optimization unit 282 calculates the second derivative of the evaluation function L2 (QS) with respect to the parameter set ⁇ (the multiple parameters p1 and p2) using the parameter set ⁇ (the multiple parameters p1 and p2). , ⁇ (multiple parameters p1 and p2). The optimization unit 282 transmits this optimized parameter set ⁇ (a plurality of parameters p1 and p2) to the determination unit 30 as an updated parameter set ⁇ (a plurality of parameters p1 and p2).
  • QS evaluation function L2
  • the determination unit 30 determines whether the second condition is satisfied based on the update parameter set ⁇ (a plurality of parameters p1 and p2).
  • the second condition may be, for example, that the number of times the update parameter set ⁇ is transmitted to the determination unit 30 (that is, the number of parameter update loops) is equal to or greater than a threshold value.
  • the second condition may be, for example, that the amount of change in the value of the update parameter set ⁇ before and after the update is less than or equal to a threshold value.
  • the second condition will be explained using an example in which the number of times the update parameter set ⁇ is transmitted to the determination unit 30 is two or more times.
  • the determination unit 30 determines that the update parameter set ⁇ (the plurality of parameters p1 and p2) is , is sent to the optimization unit 282 and applied to the model 232 and the monotonically increasing neural network 251. Thereby, the determining unit 30 causes the latent expression calculating units 23 and 24, the function estimating units 25 and 26, the updating units 27 and 28, and the determining unit 29 to perform parameter updating operations based on this updated parameter set ⁇ . In other words, if the second condition is not satisfied, the determining unit 30 causes the latent expression calculating units 23 and 24, the function estimating units 25 and 26, the updating units 27 and 28, and the determining unit 29 to execute the parameter update loop again. .
  • the determination unit 30 transmits the update parameter set ⁇ (a plurality of parameters p1 and p2) are stored in the learned parameter storage section 31 of the memory 11 as a learned parameter set ⁇ * (a plurality of parameters p1 * and p2 * ).
  • the survival analysis device 1 stores the learned parameter set ⁇ * (a plurality of It has a function of storing parameters p1 * and p2 * ).
  • FIG. 3 is a block diagram showing an example of the configuration of the prediction function of the survival analysis device 1 as the information processing device according to the first embodiment.
  • the CPU of the control circuit 10 loads the prediction program stored in the memory 11 or the storage medium 15 into the RAM.
  • the CPU of the control circuit 10 controls the memory 11, the communication module 12, the user interface 13, the drive 14, and the storage medium 15 by interpreting and executing the prediction program developed in the RAM.
  • the survival analysis device 1 includes latent expression calculation units 32, 33, function estimation units 34, 35, updating unit 36, determination unit 37, conversion unit 38, and output unit 39. It also functions as a computer.
  • the memory 11 of the survival analysis device 1 further functions as a prediction data set storage unit 40 and a prediction target data storage unit 41 for storing information used for prediction operations.
  • FIG. 3 shows a case where a plurality of parameters p1 * and p2 * are applied to the model 322 and the monotonically increasing neural network 341 from the learned parameter storage unit 31, respectively.
  • the prediction data set storage unit 40 stores a data set corresponding to the task to be predicted (hereinafter referred to as a prediction data set).
  • k * is the ID of a task that is not included in the task set K in the learning data set D k . That is, the prediction data set D k * stored in the prediction data set storage unit 40 is a different data set from the learning data set D k .
  • the prediction target data storage unit 41 stores prediction target data (hereinafter referred to as prediction target data).
  • d k * is the id of data that is not included in the data set DS k * of task k * in the prediction data set D k *. That is, the prediction target data X * stored in the prediction target data storage unit 41 is data that is not included in the prediction data set D k * and the learning data set D k .
  • the latent expression calculation unit 32 calculates a latent expression z for the feature quantity x of each data X of the prediction data set D k * based on the prediction data set D k * in the prediction data set storage unit 40. calculate.
  • the latent expression calculation unit 32 transmits the calculated latent expression z to the function estimation unit 34.
  • the latent expression calculation section 32 has a configuration corresponding to the latent expression calculation section 23. That is, the latent expression calculation unit 32 includes a feature amount extraction unit 321 and a model 322.
  • the feature extraction unit 321 extracts the feature x * from the prediction data set D k *.
  • the feature extraction unit 321 sends the feature x * to the model 322.
  • the model 322 is any differentiable model that can handle the feature quantity x * .
  • a plurality of parameters p1 * of the learned parameter set ⁇ * stored in the learned parameter storage unit 31 are applied to the model 322 as weights and bias terms.
  • the model 322 to which the plurality of parameters p1 * is applied receives the feature quantity x * as input and outputs the latent expression z * .
  • the model 322 sends the output latent expression z * to the function estimator 34.
  • the function estimator 34 calculates the hazard function h * (t,z) based on the latent expression z * and the predicted time t.
  • the function estimator 34 transmits the calculated hazard function h * (t,z) to the updater 36.
  • the function estimator 34 includes a monotonically increasing neural network 341, a cumulative hazard function calculator 342, and an automatic differentiator 343.
  • the monotonically increasing neural network 341 is a mathematical model similar to the monotonically increasing neural network 251.
  • a plurality of weights and bias terms based on a plurality of parameters p2 * of the learned parameter ⁇ * stored in the learned parameter storage unit 31 are applied to the monotonically increasing neural network 341.
  • the monotonically increasing neural network 341 to which the plurality of parameters p2 * is applied calculates an output f * (t,z) as a scalar value according to a monotonically increasing function defined by the latent expression z * and time t.
  • the monotonically increasing neural network 341 transmits the output f * (t,z) to the cumulative hazard function calculation unit 342.
  • the cumulative hazard function calculation unit 342 is similar to the cumulative hazard function calculation unit 252, and calculates the cumulative hazard function H * (t,z) based on the output f * (t,z).
  • the cumulative hazard function calculation unit 342 transmits the calculated cumulative hazard function H * (t,z) to the automatic differentiation unit 343 and the update unit 36.
  • the automatic differentiation section 343 is similar to the automatic differentiation section 253, and calculates the hazard function h * (t,z) by automatically differentiating the cumulative hazard function H * (t,z).
  • the automatic differentiator 343 transmits the calculated hazard function h * (t,z) to the updater 36.
  • the updating unit 36 is similar to the updating unit 27 , and updates the updated parameter set ⁇ * ' (a plurality of parameters p1 * ' and p2 * ').
  • the updating section 36 transmits this updated parameter set ⁇ * ' (a plurality of parameters p1 * ' and p2 * ') to the determining section 37.
  • the updating unit 36 includes an evaluation function estimating unit 361 and an optimizing unit 362, like the updating unit 27.
  • the evaluation function estimation unit 361 calculates the evaluation function L*(D) based on the cumulative hazard function H * (t,z) and the hazard function h * (t,z).
  • the evaluation function L * (D) is, for example, the following negative log likelihood.
  • the evaluation function estimation unit 361 transmits the calculated evaluation function L * (D) to the optimization unit 362.
  • the optimization unit 362 optimizes the parameter set ⁇ * , that is, the plurality of parameters p1 * and p2 * , based on the evaluation function L * (D). Similar to the optimization unit 272, the optimization uses, for example, the error backpropagation method.
  • the optimization unit 362 uses this optimized parameter set ⁇ * (a plurality of parameters p1 * and p2 * ) as an updated parameter set ⁇ * ' (a plurality of parameters p1 * ' and p2 * '), and passes it to the determination unit 37. Send to.
  • the determining unit 37 determines whether the first condition is satisfied based on the updated parameter set ⁇ * ' (the plurality of parameters p1 * ' and p2 * '). If the first condition is not satisfied, the determination unit 37 applies the updated parameter set ⁇ * ′ (a plurality of parameters p1 * ′ and p2 * ′) to the model 322 and the monotonically increasing neural network 341, and the latent expression calculation unit 32 , the function estimation section 34 and the updating section 36 are caused to perform parameter updating operations based on this updated parameter set ⁇ * '.
  • the determining unit 37 causes the latent expression calculating unit 32, the function estimating unit 34, and the updating unit 36 to repeatedly execute a parameter updating loop. Further, if the first condition is satisfied, the determination unit 37 ends the parameter update loop, and finally updates the updated parameter set ⁇ * ' (the plurality of parameters p1 * ' and p2 * ') to the latent expression calculation unit. 33 and the function estimator 35. In other words, the determining unit 37 initializes the parameters applied to the latent expression calculating unit 33 and the function estimating unit 35 to this updated parameter set ⁇ * ' (a plurality of parameters p1 * ' and p2 * ').
  • the latent expression calculation unit 33 calculates the latent expression z based on the prediction target data X k * input by the user through the user interface 13 and stored in the prediction target data storage unit 41, for example.
  • the latent expression calculation unit 33 transmits the calculated latent expression z to the function estimation unit 34.
  • the latent expression calculation unit 33 has a configuration corresponding to that of the latent expression calculation unit 23. That is, the latent expression calculation unit 33 includes a feature amount extraction unit 331 and a model 332.
  • the feature amount extraction unit 331 extracts the feature amount x * from the prediction target data Xk *.
  • the feature extraction unit 331 transmits the feature x * to the model 332.
  • the model 332 is any differentiable model that can handle the feature quantity x * .
  • the updated parameters p1 * ' are applied to the model 332 as weights and bias terms.
  • the model 332 to which the plurality of parameters p1 * ' is applied receives the feature amount x * as input and outputs the latent expression z * .
  • the model 332 sends the output latent expression z * to the function estimator 35.
  • the function estimation unit 35 calculates the hazard function h * (t,z) based on the latent expression z * and the predicted time t.
  • the function estimation unit 35 transmits the calculated hazard function h * (t,z) to the output unit 39.
  • the function estimator 35 includes a monotonically increasing neural network 351, a cumulative hazard function calculator 352, and an automatic differentiator 353.
  • the monotonically increasing neural network 351 is a mathematical model similar to the monotonically increasing neural network 251.
  • a plurality of weights and bias terms based on the updated plurality of parameters p2 * ' are applied to the monotonically increasing neural network 351.
  • the monotonically increasing neural network 351 to which the plurality of parameters p2 * ' is applied calculates an output f * (t,z) as a scalar value according to a monotonically increasing function defined by the latent expression z * and time t.
  • the monotonically increasing neural network 351 transmits the output f * (t,z) to the cumulative hazard function calculation unit 352.
  • the cumulative hazard function calculation unit 352 is similar to the cumulative hazard function calculation unit 252, and calculates the cumulative hazard function H * (t,z) based on the output f * (t,z).
  • the cumulative hazard function calculation unit 352 transmits the calculated cumulative hazard function H * (t,z) to the automatic differentiation unit 353, the conversion unit 38, and the output unit 39.
  • the automatic differentiation section 353 is similar to the automatic differentiation section 253, and calculates the hazard function h * (t,z) by automatically differentiating the cumulative hazard function H * (t,z).
  • the automatic differentiation section 353 transmits the calculated hazard function h * (t,z) to the output section 39.
  • the conversion unit 38 converts the cumulative hazard function H * (t,z) sent from the cumulative hazard function calculation unit 352 into a survival function S * (t,z).
  • the conversion unit 38 transmits the converted survival function S * (t,z) to the output unit 39.
  • the output unit 39 sets the hazard function h * (t, z) transmitted from the automatic differentiation unit 353 as the hazard function h * (t
  • the survival analysis device 1 can calculate the prediction target data X k stored in the prediction target data storage unit 41 based on the prediction data set D k * stored in the prediction data set storage unit 40 . It has a function to calculate the hazard function h * (t
  • FIGS. 4A and 4B are a series of flowcharts showing an example of the learning operation in the survival analysis device 1 as the information processing device according to the first embodiment.
  • the learning data set D k is stored in the learning data set storage unit 20 in the memory 11 in advance.
  • the initialization unit 22 in response to a user's instruction to start a learning operation (start), the initialization unit 22 initializes a parameter set ⁇ (a plurality of parameters p1 and p2) based on an arbitrary rule R. (Step S10). For example, the initialization unit 22 initializes the plurality of parameters p1 and p2 based on an arbitrary rule R.
  • the plurality of parameters p1 and p2 initialized by the process in step S10 are applied to the model 232 and the monotonically increasing neural network 251, respectively. Furthermore, this initialized parameter set ⁇ (a plurality of parameters p1 and p2) is sent to the optimization unit 282.
  • the data dividing unit 21 randomly extracts a learning target data set for task k from the learning data set D k stored in the learning data set storage unit 20 . Subsequently, the data dividing unit 21 further extracts a support set SS and a query set QS from the extracted learning target data set (step S11).
  • the feature extraction unit 231 extracts the feature x of each piece of data X in the support set SS from the support set SS extracted in the process of step S11 (step S12).
  • the model 232 to which the plurality of parameters p1 initialized in the process of step S10 is applied uses as input the feature quantity x of the individual data X of the support set SS extracted in the process of step S12, and generates the latent expression z. Calculate (step S13).
  • the monotonically increasing neural network 251 to which the plurality of parameters p2 initialized in the process of step S10 is applied outputs according to the monotonically increasing function defined by the latent expression z calculated in the process of step S13 and the time t. f(e,z) and f(0,z) are calculated (step S14).
  • the cumulative hazard function calculating unit 252 calculates a cumulative hazard function H(e,z) based on the outputs f(e,z) and f(0,z) calculated in the process of step S14 (step S15). .
  • the automatic differentiation unit 253 calculates a hazard function h(e,z) based on the cumulative hazard function H(e,z) calculated in the process of step S15 (step S16).
  • the update unit 27 updates the update parameter set ⁇ ' (a plurality of parameters p1' and p2') are calculated (step S17). Specifically, the evaluation function estimation unit 271 calculates the evaluation function L(SS) based on the cumulative hazard function H(e, z) and the hazard function h(e, z). The optimization unit 272 uses the error backpropagation method to generate a plurality of optimized parameters p1' and p2' based on the evaluation function L(SS), that is, an update parameter set ⁇ ' (a plurality of parameters p1' and p2' ) is calculated.
  • the determination unit 29 determines whether the first condition is satisfied based on the updated parameter set ⁇ ' (a plurality of parameters p1' and p2') (step S18).
  • the determination unit 29 updates the parameters to be applied to the model 232 and the monotonically increasing neural network 251 from the parameter set ⁇ calculated in the process of step S17.
  • the parameter set ⁇ ' (a plurality of parameters p1' and p2') is updated (step S19). Specifically, the determination unit 29 applies the plurality of optimized parameters p1' and p2' to the model 232 and the monotonically increasing neural network 251.
  • the processes of steps S13 to S19 are executed.
  • the updating process of the update parameter set ⁇ ' (the plurality of parameters p1' and p2') is repeated until it is determined in the process of step S18 that the first condition is satisfied.
  • step S19 If the first condition is satisfied (step S19; YES), as shown in FIG. 4B, the determination unit 29 updates the parameters applied to the model 242 and the monotonically increasing neural network 261 in the process of step S18.
  • the updated parameter set ⁇ ' (a plurality of parameters p1' and p2') is initialized (step S20).
  • the feature amount extraction unit 241 extracts the feature amount x of each data X of the query set QS from the query set QS extracted in the process of step S11 above (step S21).
  • the model 242 to which the plurality of parameters p1' initialized in the process of step S20 is applied uses as input the feature quantity x of the individual data X of the query set QS extracted in the process of step S21, and generates a latent expression z. is calculated (step S22).
  • the monotonically increasing neural network 261 to which the plurality of parameters p2' initialized in the process of step S20 is applied follows the monotonically increasing function defined by the latent expression z calculated in the process of step S22 and the time t.
  • Outputs f(e, z) and f(0, z) are calculated (step S23).
  • the cumulative hazard function calculating unit 262 calculates the cumulative hazard function H(e,z) based on the outputs f(e,z) and f(0,z) calculated in the process of step S23 (step S24). .
  • the automatic differentiation unit 263 calculates the hazard function h(e,z) based on the cumulative hazard function H(e,z) calculated in the process of step S24 (step S25).
  • the update unit 28 updates the parameter set ⁇ (a plurality of parameters p1 and p2) initialized in the process of step S10, the cumulative hazard function H(e, z) calculated in the process of step S24, and the cumulative hazard function H(e,z) calculated in step S25.
  • An updated parameter set ⁇ (a plurality of parameters p1 and p2) is calculated based on the calculated hazard function h(e, z) (step S26).
  • the evaluation function estimation unit 281 calculates the evaluation function L(QS) based on the cumulative hazard function H(e, z) and the hazard function h(e, z).
  • the optimization unit 282 uses the error backpropagation method to calculate an optimized update parameter set ⁇ (a plurality of parameters p1 and p2) based on the evaluation function L(QS).
  • the determination unit 30 determines whether the second condition is satisfied based on the updated parameter set ⁇ (a plurality of parameters p1 and p2) (step S27).
  • the second condition is, for example, that the number of times the update parameter set ⁇ has been transmitted to the determination unit 30 is two or more times.
  • the determination unit 30 determines that the second condition is not satisfied. If the second condition is not satisfied (step S27; NO), the determination unit 30 selects the parameters to be applied to the model 232 and the monotonically increasing neural network 251 from the parameter set ⁇ ' (the plurality of parameters p1' and p2') to the updated parameter set ⁇ (a plurality of parameters p1 and p2) calculated in the process of step S26 (step S28). Specifically, the determination unit 30 applies the plurality of optimized parameters p1 and p2 to the model 232 and the monotonically increasing neural network 251.
  • the above steps S11 to S26 are executed based on the updated parameter set ⁇ (a plurality of parameters p1 and p2) updated in the process of step S28.
  • the updated parameter set ⁇ (the plurality of parameters p1 and p2) is calculated again.
  • step S27 the determination unit 30 determines that the second condition is satisfied. If the second condition is satisfied in this way (step S27; YES), the determination unit 30 converts the updated parameter set ⁇ (the plurality of parameters p1 and p2) calculated in step S26 into the learned parameter set ⁇ * ( A plurality of parameters p1 * and p2 * ) are stored in the learned parameter storage unit 31 (step S29).
  • step S29 When the process of step S29 is finished, the learning operation in the survival analysis device 1 ends (end).
  • FIG. 5 is a flowchart showing an example of prediction operation in the survival analysis device 1 as the information processing device according to the first embodiment.
  • the prediction data set D k * is stored in the prediction data set storage unit 40 in the memory 11 due to a learning operation performed in advance.
  • prediction target data X k * is stored in the prediction target data storage section 41 in the memory 11.
  • the parameters to be applied to the model 322 and the monotonically increasing neural network 341 are the learned parameters stored in the learned parameter storage unit 31.
  • the set ⁇ * (a plurality of parameters p1 * and p2 * ) is initialized (step S30).
  • the feature amount extraction unit 321 extracts the feature amount x * of each data X of the prediction data set D k * from the prediction data set D k * stored in the prediction data set storage unit 40 (step S31 ).
  • the model 322 to which the plurality of parameters p1 initialized in the process of step S30 is applied calculates a latent expression z * by inputting the feature quantity x * extracted in the process of step S31 (step S32).
  • the monotonically increasing neural network 341 to which the plurality of parameters p2 initialized in the process of step S30 is applied follows the monotonically increasing function defined by the latent expression z * calculated in the process of step S32 and the time t.
  • Outputs f * (e,z) and f * (0,z) are calculated (step S33).
  • the cumulative hazard function calculating unit 342 calculates a cumulative hazard function H*(e,z) based on the outputs f * (e,z) and f * (0,z) calculated in the process of step S33 ( Step S34).
  • the automatic differentiation unit 343 calculates a hazard function h * (e,z) based on the cumulative hazard function H * (e,z) calculated in the process of step S34 (step S35).
  • the updating unit 36 updates the updated parameter set ⁇ * ( A plurality of parameters p1 * and p2 * ) are calculated (step S36). Specifically, the evaluation function estimation unit 361 calculates the evaluation function L * (D) based on the cumulative hazard function H * (e,z) and the hazard function h * (e,z). The optimization unit 362 uses the error backpropagation method to optimize the plurality of parameters p1 *' and p2 *' based on the evaluation function L(D), that is, the updated parameter set ⁇ * ' (the plurality of parameters p1 * ' and p2 * ').
  • the determining unit 37 determines whether the first condition is satisfied based on the updated parameter set ⁇ * ' (a plurality of parameters p1 * ' and p2 * ') (step S37).
  • step S37 If the first condition is not satisfied (step S37; NO), the determination unit 37 selects the parameters to be applied to the model 322 and the monotonically increasing neural network 341 from the parameter set ⁇ * calculated in the process of step S36.
  • the updated parameter set ⁇ * ' (a plurality of parameters p1 * ' and p2 * ') is updated (step S38). Specifically, the determination unit 37 applies the plurality of optimized parameters p1 * ′ and p2 * ′ to the model 322 and the monotonically increasing neural network 341.
  • step S37 If the first condition is satisfied (step S37; YES), the determination unit 37 sets the parameters to be applied to the model 332 and the monotonically increasing neural network 351 to the updated parameter set ⁇ * that was last updated in the process of step S36 above. ' (a plurality of parameters p1 *' and p2 *' ) (step S39).
  • the feature amount extraction unit 331 extracts the feature amount x * from the prediction target data Xk * stored in the prediction target data storage unit 41 (step S40).
  • the model 332 to which the plurality of parameters p1 *' initialized in the process of step S39 is applied calculates a latent expression z * by inputting the feature quantity x * extracted in the process of step S40 (step S41 ).
  • the monotonically increasing neural network 351 to which the plurality of parameters p2 *' initialized in the process of step S39 is applied has a monotonically increasing function defined by the latent expression z * calculated in the process of step S41 and the time t. Accordingly, outputs f * (e,z) and f * (0,z) are calculated (step S42).
  • the cumulative hazard function calculating unit 352 calculates a cumulative hazard function H*(e,z) based on the outputs f * (e,z) and f * (0,z) calculated in the process of step S42 ( Step S43).
  • the automatic differentiation unit 353 calculates a hazard function h * (e,z) based on the cumulative hazard function H * (e,z) calculated in the process of step S42 (step S44).
  • the conversion unit 38 calculates the survival function S * (e,z) based on the cumulative hazard function H * (e,z) calculated in the process of step S43 (step S45).
  • the output unit 39 sets the hazard function h * (t,z) calculated in the process of step S44 above as the hazard function h* ( t
  • step S46 ends, the prediction operation in the survival analysis device 1 ends (end).
  • the monotonically increasing neural network 351 performs latent expression calculation that calculates a latent expression representing a feature amount from processing target data including a feature amount related to a prediction target event. It is configured to output a scalar value according to a monotonically increasing function defined by the latent expression calculated by the unit 33 and the time.
  • the cumulative hazard function calculation unit 352 and automatic differentiation unit 353 of the function estimation unit 35 estimate a hazard function based on the scalar value output from the monotonically increasing neural network 351. In this way, by modeling using the monotonically increasing neural network 351, integral calculations by approximation can be avoided. Therefore, it is possible to calculate the hazard function for the prediction target data without making any assumptions.
  • the learning function configuration (for learning The data set storage unit 20 to determination unit 29) are further provided. Therefore, even if there is not enough prediction data in which an event to be predicted has occurred, it is possible to calculate a hazard function for the prediction target data.
  • parameters that update the parameters learned by the learning function configuration based on a plurality of prediction data including feature amounts related to the prediction target event stored in the prediction data set storage unit 40 It includes a latent expression calculating section 32, a function estimating section 34, and an updating section 36, which function as an updating section. Therefore, by updating the parameters learned through meta-learning using MAML to parameters according to the prediction target data, a more accurate hazard function can be calculated.
  • the cumulative hazard function calculation unit 352 of the function estimation unit 35 calculates the cumulative hazard function based on the scalar value output from the monotonically increasing neural network 351, and the automatic differentiation unit 353 of the function estimation unit 35 calculates the cumulative hazard function based on the scalar value output from the monotonically increasing neural network 351.
  • the hazard function is calculated by automatically differentiating the cumulative hazard function calculated by the function calculation unit 352. In this way, a hazard function can be calculated based on a monotonically increasing function.
  • the converter further includes a converter 38 that converts the cumulative hazard function calculated by the cumulative hazard function calculator 352 of the function estimator 35 into a survival function. Therefore, it is possible to calculate the survival function as well. In this way, according to the first embodiment, it is possible to calculate at least one of the hazard function and the survival function for the prediction target data without any assumptions.
  • ⁇ is a monotonically increasing and second-order differentiable function whose range is defined by [0, 1], such as a sigmoid function.
  • the hazard function h(t) is calculated by automatically differentiating the survival function S(t). Therefore, the hazard function and survival function can be calculated without calculating the cumulative hazard function as in the first embodiment.
  • a survival analysis device will be described as an example of the information processing device according to the second embodiment, similar to the first embodiment.
  • the configuration and operation that are different from the first embodiment will be mainly explained. Descriptions of configurations and operations equivalent to those of the first embodiment will be omitted as appropriate.
  • FIG. 6 is a block diagram showing an example of the learning function configuration of the survival analysis device 1 as an information processing device according to the second embodiment.
  • FIG. 6 corresponds to FIG. 2 in the first embodiment.
  • the survival analysis device 1 includes a data division section 51, an initialization section 52, latent expression calculation sections 53 and 54, function estimation sections 55 and 56, update sections 57 and 58, and a determination section 59, 60 functions as a computer. Furthermore, the memory 11 of the survival analysis device 1 functions as a learning data set storage section 50 and a learned parameter storage section 61 for storing information used for learning operations.
  • the configurations of the learning dataset storage unit 50 and the data division unit 51 are the same as the configurations of the learning dataset storage unit 20 and the data division unit 21 in FIG. 2 of the first embodiment. That is, the data division unit 51 extracts the support set SS and the query set QS from the learning data set storage unit 50.
  • the configuration of the initialization unit 52 is equivalent to the configuration of the initialization unit 22 in FIG. 2 of the first embodiment. That is, the initialization unit 52 initializes the parameter set ⁇ (a plurality of parameters p1 and p2) based on a predetermined arbitrary rule R. The initialization unit 52 transmits the plurality of initialized parameters p1 to the latent expression calculation unit 53, and transmits the plurality of initialized parameters p2 to the function estimation unit 55. Furthermore, the initialization unit 52 transmits the initialized parameter set ⁇ (a plurality of parameters p1 and p2) to the update unit 58.
  • the configuration of the latent expression calculation unit 53 is equivalent to the configuration of the latent expression calculation unit 23 in FIG. 2 of the first embodiment, and includes a feature amount extraction unit 531 and a model 532. That is, the latent expression calculation unit 53 calculates a latent expression z for the feature amount x of each piece of data X in the support set SS, based on the support set SS. The latent expression calculation unit 53 transmits the calculated latent expression z to the function estimation unit 55.
  • the function estimation unit 55 calculates the survival function S(t, z) and the hazard function h(t, z) based on the latent expression z and time t.
  • the function estimating unit 55 transmits the calculated survival function S(t, z) and hazard function h(t, z) to the updating unit 57.
  • the function estimation section 55 includes a monotonically increasing neural network 551, a survival function calculation section 552, and an automatic differentiation section 553.
  • the configurations of the monotonically increasing neural network 551 and the automatic differentiator 553 are the same as the configurations of the monotonically increasing neural network 251 and the automatic differentiator 253 in FIG. 2 of the first embodiment.
  • the monotonically increasing neural network 551 to which the plurality of parameters p2 are applied calculates the output f(t, z) according to a monotonically increasing function defined by the latent expression z and time t.
  • the monotonically increasing neural network 551 transmits the calculated output f(t,z) to the survival function calculation unit 552.
  • the survival function calculation unit 552 calculates the survival function S(t,z) based on the output f(t,z) from the monotonically increasing neural network 551.
  • the survival function calculation unit 552 transmits the calculated survival function S(t,z) to the automatic differentiation unit 553. Furthermore, the survival function calculating unit 552 transmits the calculated survival function S(t,z) to the updating unit 57.
  • the automatic differentiation section 553 calculates the hazard function h(t,z) by automatically differentiating the survival function S(t,z).
  • the automatic differentiator 553 transmits the calculated hazard function h(t,z) to the updater 57.
  • the updating unit 57 calculates an updated parameter set ⁇ ' (a plurality of parameters p1' and p2') based on the survival function S(t, z) and the hazard function h(t, z).
  • the updating section 57 transmits the updated parameter set ⁇ ' (a plurality of parameters p1' and p2') to the determining section 59.
  • the update section 57 includes an evaluation function estimation section 571 and an optimization section 572.
  • the configuration of the evaluation function estimator 571 is the same as the evaluation function estimator 271 in FIG. 2 of the first embodiment, except that the survival function S(t, z) is used instead of the cumulative hazard function H(t, z). This is equivalent to the configuration of The evaluation function estimation unit 571 calculates the evaluation function L(SS) based on the survival function S(t, z) and the hazard function h(t, z). The evaluation function estimation unit 571 transmits the calculated evaluation function L(SS) to the optimization unit 572.
  • the optimization unit 572 optimizes the parameter set ⁇ , that is, the plurality of parameters p1 and p2, based on the evaluation function L(SS). For example, an error backpropagation method is used for the optimization.
  • the optimization unit 572 transmits this optimized parameter set ⁇ (a plurality of parameters p1 and p2) to the determination unit 59 as an updated parameter set ⁇ ' (a plurality of parameters p1' and p2').
  • the determining unit 59 is equivalent to the determining unit 29 in FIG. 2 of the first embodiment. That is, the determination unit 59 determines whether the first condition is satisfied based on the update parameter set ⁇ ' (a plurality of parameters p1' and p2'). If the first condition is not satisfied, the determination unit 59 causes the latent expression calculation unit 53, function estimation unit 55, and update unit 57 to repeatedly execute a parameter update loop. If the first condition is satisfied, the determination unit 59 terminates the parameter update loop, and updates the last updated parameter set ⁇ ′ (the plurality of parameters p1′ and p2′) to the latent expression calculation unit 54 and It is transmitted to the function estimator 56. In other words, the determining unit 59 initializes the parameters applied to the latent expression calculating unit 54 and the function estimating unit 56 to this updated parameter set ⁇ ' (a plurality of parameters p1' and p2').
  • the configuration of the latent expression calculation unit 54 is equivalent to the configuration of the latent expression calculation unit 24 in FIG. 2 of the first embodiment, and includes a feature amount extraction unit 541 and a model 542. That is, the latent expression calculation unit 54 calculates a latent expression z for the feature amount x of each data X of the query set QS based on the query set QS. The latent expression calculation unit 54 transmits the calculated latent expression z to the function estimation unit 56.
  • the function estimation unit 56 calculates the survival function S(t, z) and the hazard function h(t, z) based on the latent expression z and the predicted time t.
  • the function estimating unit 56 transmits the calculated survival function S(t, z) and hazard function h(t, z) to the updating unit 58.
  • the function estimator 56 includes a monotonically increasing neural network 561, a survival function calculator 562, and an automatic differentiator 563.
  • the configurations of the monotonically increasing neural network 551 and the automatic differentiator 553 are equivalent to the configurations of the monotonically increasing neural network 261 and the automatic differentiator 263 in FIG. 2 of the first embodiment.
  • the monotonically increasing neural network 561 to which the plurality of parameters p2' is applied calculates the output f(t, z) according to a monotonically increasing function defined by the latent expression z and time t.
  • the monotonically increasing neural network 561 transmits the output f(t,z) to the survival function calculation unit 562.
  • the survival function calculation unit 562 is similar to the survival function calculation unit 552, and calculates the survival function S(t,z) based on the output f(t,z) from the monotonically increasing neural network 561.
  • the survival function calculation unit 562 transmits the calculated survival function S(t,z) to the automatic differentiation unit 563 and the update unit 58.
  • the automatic differentiation section 563 is similar to the automatic differentiation section 553, and calculates the hazard function h(t, z) by automatically differentiating the survival function S(t, z).
  • the automatic differentiator 563 transmits the calculated hazard function h(t,z) to the updater 58.
  • the update unit 58 updates the parameter set ⁇ (a plurality of parameters p1 and p2) from the initialization unit 52 based on the survival function S (t, z) and the hazard function h (t, z), and Send to.
  • the update unit 58 includes an evaluation function estimation unit 581 and an optimization unit 582.
  • the evaluation function estimator 581 has the same configuration as the evaluation function estimator 281 in FIG. 2 of the first embodiment, except that the survival function S(t, z) is used instead of the cumulative hazard function H(t, z). is equivalent to
  • the evaluation function estimation unit 581 calculates the evaluation function L (QS) based on the survival function S (t, z) and the hazard function h (t, z).
  • the evaluation function estimation unit 581 transmits the calculated evaluation function L(QS) to the optimization unit 582.
  • the optimization unit 582 optimizes the parameter set ⁇ , that is, the plurality of parameters p1 and p2, based on the evaluation function L(QS). For example, an error backpropagation method is used for the optimization. More specifically, the optimization unit 582 calculates the second derivative of the evaluation function L2 (QS) with respect to the parameter set ⁇ (the multiple parameters p1 and p2) using the parameter set ⁇ (the multiple parameters p1 and p2). , optimize the parameter set ⁇ (a plurality of parameters p1 and p2). The optimization unit 582 transmits this optimized parameter set ⁇ (a plurality of parameters p1 and p2) to the determination unit 60 as an updated parameter set ⁇ (a plurality of parameters p1 and p2).
  • QS evaluation function L2
  • the determining unit 60 is equivalent to the determining unit 30 in FIG. 2 of the first embodiment. That is, the determination unit 60 determines whether the second condition is satisfied based on the updated parameter set ⁇ (a plurality of parameters p1 and p2).
  • the determination unit 60 transmits the updated parameter set ⁇ (a plurality of parameters p1 and p2) to the optimization unit 582 and applies it to the model 532 and the monotonically increasing neural network 551. Thereby, the determining unit 60 causes the latent expression calculating units 53 and 54, the function estimating units 55 and 56, the updating units 57 and 58, and the determining unit 59 to perform parameter updating operations based on this updated parameter set ⁇ . In other words, if the second condition is not satisfied, the determination unit 60 causes the latent expression calculation units 53, 54, function estimation units 55, 56, update units 57, 58, and determination unit 59 to execute the parameter update loop again. .
  • the determination unit 60 sets the updated parameter set ⁇ (the plurality of parameters p1 and p2) as the learned parameter set ⁇ * (the plurality of parameters p1 * and p2 * )
  • the parameters are stored in the parameter storage unit 61.
  • the survival analysis device 1 stores the learned parameter set ⁇ * (a plurality of It has a function of storing parameters p1 * and p2 * ).
  • FIG. 7 is a block diagram illustrating an example of a prediction function configuration of the survival analysis device 1 as an information processing device according to the second embodiment.
  • FIG. 7 corresponds to FIG. 3 in the first embodiment.
  • the survival analysis device 1 further functions as a computer including latent expression calculation units 62 and 63, function estimation units 64 and 65, an update unit 66, a determination unit 67, and an output unit 68. Furthermore, the memory 11 of the survival analysis device 1 further functions as a prediction data set storage unit 69 and a prediction target data storage unit 70 for storing information used for prediction operations. Note that FIG. 7 shows a case where a plurality of parameters p1 * and p2 * are applied to the model 622 and the monotonically increasing neural network 641 from the learned parameter storage unit 61, respectively.
  • the configurations of the prediction data set storage unit 69 and the prediction target data storage unit 70 are equivalent to the configurations of the prediction data set storage unit 40 and the prediction target data storage unit 41 in FIG. 3 of the first embodiment.
  • the configuration of the latent expression calculation unit 62 is the same as the configuration of the latent expression calculation unit 32 in FIG. 3 of the first embodiment, and includes a feature amount extraction unit 621 and a model 622. That is, the latent expression calculation unit 62 calculates a latent expression for the feature x of each data X of the prediction data set D k * based on the prediction data set D k * in the prediction data set storage unit 69. Calculate z. The latent expression calculating unit 62 transmits the calculated latent expression z to the monotonically increasing neural network 641 in the function estimating unit 64.
  • the function estimation unit 64 calculates the survival function S * (t, z) and the hazard function h * (t, z) based on the latent expression z * and the predicted time t.
  • the function estimator 64 transmits the calculated survival function S * (t,z) and hazard function h * (t,z) to the updater 66.
  • the function estimation section 64 includes a monotonically increasing neural network 641, a survival function calculation section 642, and an automatic differentiation section 643, similar to the function estimation section 55.
  • the configurations of the monotonically increasing neural network 641 and the automatic differentiator 643 are equivalent to the configurations of the monotonically increasing neural network 341 and the automatic differentiator 343 in FIG. 3 of the first embodiment.
  • the monotonically increasing neural network 641 to which the plurality of parameters p2 * are applied calculates the output f * (z,t) according to a monotonically increasing function defined by the latent representation z * and the time t.
  • the monotonically increasing neural network 641 transmits the calculated output f * (z,t) to the survival function calculation unit 642.
  • the survival function calculation unit 642 is similar to the survival function calculation unit 552, and calculates the survival function S * (t,z) based on the output f * (t,z) from the monotonically increasing neural network 641.
  • the survival function calculation unit 642 transmits the calculated survival function S * (t,z) to the automatic differentiation unit 643. Furthermore, the survival function calculating unit 642 transmits the calculated survival function S * (t,z) to the updating unit 66.
  • the automatic differentiation section 643 is similar to the automatic differentiation section 553, and calculates the hazard function h * (t,z) by automatically differentiating the survival function S * (t,z).
  • the automatic differentiator 643 transmits the calculated hazard function h * (t,z) to the updater 66.
  • the update unit 66 calculates an updated parameter set ⁇ * ' (a plurality of parameters p1 * ' and p2 * ') based on the survival function S * (t,z) and the hazard function h * (t,z).
  • the updating section 66 transmits this updated parameter set ⁇ * ' (a plurality of parameters p1 * ' and p2 * ') to the determining section 67.
  • the updating section 66 is similar to the updating section 57 and includes an evaluation function estimation section 661 and an optimization section 662.
  • the evaluation function estimation unit 661 is similar to the evaluation function estimation unit 571, and calculates the evaluation function L * (D) based on the survival function S * (t, z) and the hazard function h * (t, z). calculate.
  • the evaluation function estimation unit 661 transmits the calculated evaluation function L * (D) to the optimization unit 662.
  • the optimization unit 662 is similar to the optimization unit 572, and optimizes the parameter set ⁇ * , that is, the plurality of parameters p1 * and p2 * , based on the evaluation function L * (D). For example, an error backpropagation method is used for the optimization.
  • the optimization unit 662 uses this optimized parameter set ⁇ * (a plurality of parameters p1 * and p2 * ) as an updated parameter set ⁇ * ' (a plurality of parameters p1 * ' and p2 * '), and the determination unit 67 Send to.
  • the determining unit 67 determines whether the first condition is satisfied based on the updated parameter set ⁇ * ' (the plurality of parameters p1 * ' and p2 * '). If the first condition is not satisfied, the determination unit 67 applies the updated parameter set ⁇ * ' (a plurality of parameters p1 * ' and p2 * ') to the model 622 and the monotonically increasing neural network 641. That is, if the first condition is not satisfied, the determining unit 67 causes the latent expression calculating unit 62, the function estimating unit 64, and the updating unit 66 to repeatedly execute a parameter updating loop.
  • the determination unit 67 ends the parameter update loop, and finally updates the updated parameter set ⁇ * ' (the plurality of parameters p1 * ' and p2 * ') to the latent expression calculation unit. 63 and the function estimator 65.
  • the determining unit 67 initializes the parameters applied to the latent expression calculating unit 63 and the function estimating unit 65 to this updated parameter set ⁇ * ' (the plurality of parameters p1 * ' and p2 * ').
  • the configuration of the latent expression calculation unit 63 is the same as the configuration of the latent expression calculation unit 33 in FIG. 3 of the first embodiment, and includes a feature amount extraction unit 631 and a model 632. That is, the latent expression calculation unit 63 calculates the latent expression z based on the prediction target data X k * input by the user through the user interface 13 and stored in the prediction target data storage unit 70, for example. The latent expression calculation unit 63 transmits the calculated latent expression z * to the function estimation unit 65.
  • the function estimation unit 65 is similar to the function estimation unit 56, and calculates the survival function S * (t, z) and the hazard function h * (t, z) based on the latent expression z * and the predicted time t. .
  • the function estimation unit 65 transmits the calculated survival function S * (t,z) and hazard function h * (t,z) to the output unit 68.
  • the function estimation section 65 includes a monotonically increasing neural network 651, a survival function calculation section 652, and an automatic differentiation section 653, similar to the function estimation section 56.
  • the configurations of the monotonically increasing neural network 651 and the automatic differentiator 653 are equivalent to the configurations of the monotonically increasing neural network 351 and the automatic differentiator 353 in FIG. 3 of the first embodiment.
  • the monotonically increasing neural network 651 to which the plurality of parameters p2 * ' is applied calculates the output f * (t,z) according to a monotonically increasing function defined by the latent representation z * and the time t.
  • the monotonically increasing neural network 651 transmits the output f * (t,z) to the survival function calculation unit 652.
  • the survival function calculation unit 652 is similar to the survival function calculation unit 562, and calculates the survival function S * (t,z) based on the output f * (t,z) from the monotonically increasing neural network 651.
  • the survival function calculation unit 652 transmits the calculated survival function S * (t,z) to the automatic differentiation unit 653 and the output unit 68.
  • the automatic differentiation section 653 is similar to the automatic differentiation section 563, and calculates the hazard function h * (t,z) by automatically differentiating the survival function S * (t,z). Automatic differentiation section 653 transmits the calculated hazard function h * (t,z) to output section 68.
  • the output unit 68 sets the hazard function h * (t, z) sent from the automatic differentiation unit 653 to the hazard function h * (t
  • the survival analysis device 1 can calculate the prediction target data X k stored in the prediction target data storage unit 70 based on the prediction data set D k * stored in the prediction data set storage unit 69. It has a function to calculate the hazard function h * (t
  • FIGS. 8A and 8B are a series of flowcharts showing an example of the learning operation in the survival analysis device 1 as the information processing device according to the second embodiment. 8A and 8B correspond to FIGS. 4A and 4B in the first embodiment. In the examples of FIGS. 8A and 8B, it is assumed that the learning data set D k is stored in the learning data set storage unit 50 in the memory 11 in advance.
  • steps S50 to S53 are executed.
  • the processing in steps S50 to S53 is equivalent to the processing in steps S10 to S13 in FIG. 4A of the first embodiment. That is, the initialization unit 52 initializes the parameter set ⁇ (a plurality of parameters p1 and p2) based on an arbitrary rule R (step S50).
  • the data division unit 51 randomly extracts a learning target data set for a task k from the learning data set D k stored in the learning data set storage unit 50, and extracts a support set SS and a query from the extracted learning target data set. Further extract the set QS (step S51).
  • the feature extraction unit 531 extracts the feature x of each piece of data X in the support set SS from the support set SS extracted in step S51 (step S52).
  • the model 532 to which the plurality of parameters p1 initialized in the process of step S50 is applied uses as input the feature quantity x of the individual data X of the support set SS extracted in the process of step S52, and generates the latent expression z. Calculate (step S53).
  • the monotonically increasing neural network 551 to which the plurality of parameters p2 initialized in the process of step S50 is applied outputs according to the monotonically increasing function defined by the latent expression z calculated in the process of step S53 and the time t. f(t,z) is calculated (step S54).
  • the survival function calculation unit 552 calculates the survival function S(t,z) based on the output f(t,z) calculated in the process of step S54 (step S55).
  • the automatic differentiation unit 553 calculates the hazard function h(e, z) based on the survival function S(t, z) calculated in the process of step S55 (step S56).
  • the updating unit 57 updates the updated parameter set ⁇ ' (a plurality of parameters p1' and p2') are calculated (step S57).
  • the evaluation function estimation unit 571 calculates the evaluation function L (SS) based on the survival function S (t, z) and the hazard function h (t, z).
  • the optimization unit 572 uses the error backpropagation method to optimize a plurality of parameters p1' and p2' based on the evaluation function L(SS), that is, an update parameter set ⁇ ' (a plurality of parameters p1' and p2'). ) is calculated.
  • step S58 to step S62 are executed.
  • the processing in steps S58 to S62 is equivalent to the processing in steps S18 to S22 in FIGS. 4A and 4B of the first embodiment. That is, the determination unit 59 determines whether the first condition is satisfied based on the updated parameter set ⁇ ' (a plurality of parameters p1' and p2') (step S58). If the first condition is not satisfied (step S58; NO), the determination unit 59 updates the parameters to be applied to the model 532 and the monotonically increasing neural network 551 from the parameter set ⁇ calculated in the process of step S57.
  • the parameter set ⁇ ' (a plurality of parameters p1' and p2') is updated (step S59).
  • the determination unit 59 applies the plurality of optimized parameters p1' and p2' to the model 532 and the monotonically increasing neural network 551. Then, based on the updated parameter set ⁇ ' (a plurality of parameters p1' and p2') updated in the process of step S59, the processes of steps S53 to S59 are executed. As a result, the updating process of the update parameter set ⁇ ' (the plurality of parameters p1' and p2') is repeated until it is determined in the first process of step S58 that the condition is satisfied.
  • step S58 If the first condition is satisfied (step S58; YES), as shown in FIG. 8B, the determination unit 59 updates the parameters applied to the model 542 and the monotonically increasing neural network 561 in the process of step S57.
  • the updated parameter set ⁇ ' (a plurality of parameters p1' and p2') is initialized (step S60).
  • the feature amount extraction unit 541 extracts the feature amount x of each data X of the query set QS from the query set QS extracted in the process of step S51 (step S61).
  • the model 542 to which the plurality of parameters p1' initialized in the process of step S60 is applied uses as input the feature quantity x of the individual data X of the query set QS extracted in the process of step S41, and generates the latent expression z. is calculated (step S62).
  • the monotonically increasing neural network 561 to which the plurality of parameters p2' initialized in the process of step S60 is applied follows the monotonically increasing function defined by the latent expression z calculated in the process of step S62 and the time t.
  • the output f(t,z) is calculated (step S23).
  • the survival function calculation unit 562 calculates the survival function S(t,z) based on the output f(t,z) calculated in the process of step S63 (step S64).
  • the automatic differentiation unit 563 calculates the hazard function h(t,z) based on the survival function S(t,z) calculated in the process of step S64 (step S65).
  • the updating unit 58 updates the parameter set ⁇ (a plurality of parameters p1 and p2) initialized in the process of step S50, the survival function S(t,z) calculated in the process of step S64, and the survival function S(t,z) calculated in step S65.
  • An updated parameter set ⁇ (a plurality of parameters p1 and p2) is calculated based on the calculated hazard function h(t, z) (step S66).
  • the evaluation function estimation unit 581 calculates the evaluation function L(QS) based on the survival function S(t, z) and the hazard function h(t, z).
  • the optimization unit 582 uses the error backpropagation method to calculate an optimized update parameter set ⁇ (a plurality of parameters p1 and p2) based on the evaluation function L(QS).
  • step S67 to S69 is equivalent to the processing in steps S18 to S22 in FIGS. 4A and 4B of the first embodiment. That is, the determination unit 60 determines whether the second condition is satisfied based on the updated parameter set ⁇ (a plurality of parameters p1 and p2) (step S67). If the second condition is not satisfied (step S67; NO), the determination unit 60 selects the parameters to be applied to the model 232 and the monotonically increasing neural network 251 from the parameter set ⁇ ' (the plurality of parameters p1' and p2'). is updated to the updated parameter set ⁇ (a plurality of parameters p1 and p2) calculated in the process of step S26 (step S68).
  • the determination unit 60 applies the plurality of optimized parameters p1 and p2 to the model 532 and the monotonically increasing neural network 551. Thereafter, the processes of steps S51 to S66 are executed based on the updated parameter set ⁇ (a plurality of parameters p1 and p2) updated in the process of step S68. As a result, the updated parameter set ⁇ (the plurality of parameters p1 and p2) is calculated again.
  • step S67 the determination unit 30 converts the updated parameter set ⁇ (the plurality of parameters p1 and p2) calculated in the above step S66 into the learned parameter set ⁇ * (the plurality of parameters p1 * and p2 * ) in the learned parameter storage unit 61 (step S69).
  • step S69 ends, the learning operation in the survival analysis device 1 ends (end).
  • FIG. 9 is a flowchart showing an example of prediction operation in the survival analysis device 1 as an information processing device according to the second embodiment.
  • FIG. 9 corresponds to FIG. 5 in the first embodiment.
  • the prediction data set D k * is stored in the prediction data set storage unit 69 in the memory 11 due to a learning operation performed in advance.
  • prediction target data X k * is stored in the prediction target data storage section 70 in the memory 11.
  • steps S70 to S72 are executed.
  • the processing in steps S70 to S72 is equivalent to the processing in steps S30 to S32 in FIG. 5 of the first embodiment. That is, the parameters applied to the model 622 and the monotonically increasing neural network 641 are initialized to the learned parameter set ⁇ * (a plurality of parameters p1 * and p2 * ) stored in the learned parameter storage unit 61 (step S70).
  • the feature extraction unit 621 extracts the feature x * of each data X of the prediction data set D k * from the prediction data set D k * stored in the prediction data set storage unit 69 (step S71 ).
  • the model 622 to which the plurality of parameters p1 initialized in the process of step S70 is applied calculates a latent expression z * by inputting the feature amount x * extracted in the process of step S71 (step S72).
  • the monotonically increasing neural network 641 to which the plurality of parameters p2 initialized in the process of step S70 is applied follows the monotonically increasing function defined by the latent expression z * calculated in the process of step S72 and the time t.
  • the output f * (t,z) is calculated (step S73).
  • the survival function calculating unit 642 calculates the survival function S * (t,z) based on the output f * (t,z) calculated in the process of step S73 (step S74).
  • the automatic differentiation unit 643 calculates the hazard function h * (t,z) based on the survival function S * (t,z) calculated in the process of step S74 (step S75).
  • the update unit 66 updates the update parameter set ⁇ * (multiple parameters p1 * and p2 * ) are calculated (step S76). Specifically, the evaluation function estimation unit 661 calculates the evaluation function L * (D) based on the survival function S * (t,z) and the hazard function h * (t,z). The optimization unit 662 uses the error backpropagation method to generate a plurality of optimized parameters p1 * and p2 *' based on the evaluation function L(D), that is, an update parameter set ⁇ * ' (a plurality of parameters p1 * ' and p2 * ').
  • step S77 to step S81 are executed.
  • the processing from step S77 to step S81 is equivalent to the processing from step S37 to step S41 in FIG. 5 of the first embodiment. That is, the determination unit 37 determines whether the first condition is satisfied based on the updated parameter set ⁇ * ' (the plurality of parameters p1 * ' and p2 * ') (step S77). If the first condition is not satisfied (step S77; NO), the determination unit 67 determines the parameters to be applied to the model 622 and the monotonically increasing neural network 641 from the parameter set ⁇ * calculated in the process of step S76.
  • the updated parameter set ⁇ * ' (a plurality of parameters p1 * ' and p2 * ') is updated (step S78).
  • the determination unit 67 applies the plurality of optimized parameters p1 * ′ and p2 * ′ to the model 622 and the monotonically increasing neural network 641. Then, based on the updated parameter set ⁇ * ' (a plurality of parameters p1 * ' and p2 * ') updated in the process of step S78, the processes of steps S73 to S78 are executed. As a result, the updating process of the update parameter set ⁇ * ' (the plurality of parameters p1 * ' and p2 * ') is repeated until it is determined in the process of step S77 that the first condition is satisfied.
  • the determination unit 67 sets the parameters to be applied to the model 632 and the monotonically increasing neural network 651 to the updated parameter set ⁇ *' that was last updated in the process of step S76. (a plurality of parameters p1 *' and p2 *' ) (step S79).
  • the feature amount extraction unit 631 extracts the feature amount x * from the prediction target data Xk * stored in the prediction target data storage unit 70 (step S80).
  • the model 632 to which the plurality of parameters p1 *' initialized in the process of step S79 is applied calculates a latent expression z * by inputting the feature amount x * extracted in the process of step S78 (step S81 ).
  • the monotonically increasing neural network 651 to which the plurality of parameters p2 *' initialized in the process of step S79 is applied has a monotonically increasing function defined by the latent expression z * calculated in the process of step S81 and the time t.
  • the output f * (t,z) is calculated according to (step S82).
  • the survival function calculating unit 652 calculates the survival function S * (t,z) based on the output f * (t,z) calculated in the process of step S82 (step S83).
  • the automatic differentiator 653 calculates the hazard function h * (t,z) based on the survival function S * (t,z) calculated in the process of step S83 (step S84).
  • the output unit 68 sets the hazard function h * (t,z) calculated in the process of step S84 as the hazard function h*(t
  • step S85 the prediction operation in the survival analysis device 1 ends (end).
  • the monotonically increasing neural network 651 performs latent expression calculation that calculates a latent expression representing a feature amount from processing target data including a feature amount related to a prediction target event. It is configured to calculate as an output a monotonically increasing function defined by the latent expression calculated by the unit 63 and the time.
  • the survival function calculation unit 652 and automatic differentiation unit 653 of the function estimation unit 65 estimate the survival function and the hazard function based on the monotonically increasing function output from the monotonically increasing neural network 651. In this way, by modeling using the monotonically increasing neural network 651, integral calculations by approximation can be avoided. Therefore, it is possible to calculate the hazard function and survival function for the prediction target data without making any assumptions.
  • a learning function configuration (for learning It further includes a data set storage unit 50 to a determination unit 60). Therefore, even if there is not enough prediction data in which an event to be predicted has occurred, it is possible to calculate the hazard function and survival function for the prediction target data.
  • parameters that update the parameters learned by the learning function configuration based on a plurality of prediction data including feature amounts related to the prediction target event stored in the prediction data set storage unit 69 It includes a latent expression calculating section 62, a function estimating section 64, and an updating section 66, which function as an updating section. Therefore, by updating the parameters learned through meta-learning using MAML to parameters corresponding to the prediction target data, it is possible to more accurately calculate the hazard function and survival function.
  • the survival function calculation unit 652 of the function estimation unit 65 calculates the survival function based on the scalar value output from the monotonically increasing neural network 651, and the automatic differentiation unit 653 of the function estimation unit 65 calculates the survival function based on the scalar value output from the monotonically increasing neural network 651.
  • the hazard function is calculated by automatically differentiating the survival function calculated by . In this way, the hazard function and survival function can be calculated based on the scalar values output from the monotonically increasing neural network 651. Furthermore, since the survival function S(t) satisfies 0 ⁇ S(t) ⁇ 1, unlike the cumulative hazard function, no scale adjustment is required. Therefore, it can be expected that the learning configuration will be easier than in the first embodiment.
  • z ⁇ is z when (x0, . . . , x ⁇ ) is input to the model 232 or the like.
  • the feature quantity x includes both time-series data (x0,..., x ⁇ ,..., xe) and static data xs, the data xs is used to calculate the data z ⁇ .
  • the survival analysis device 1 as an information processing device according to the first and second embodiments, an example has been described in which parameter sets are learned by meta-learning using MAML, but it goes without saying that the meta-learning method is not limited to MAML. It is. A wide variety of advanced versions of MAML have been proposed, and meta-learning may be performed using such advanced versions of MAML. Furthermore, the parameter set may be learned using a meta-learning method other than MAML.
  • the survival analysis device 1 as an information processing device according to the first and second embodiments receives a learning program and a prediction program from a program server on the cloud through the communication module 12, stores them in the memory 11, and stores them in the memory 11. It may also be one that performs operations according to a program. Furthermore, instead of providing the learning data set storage units 20 and 50 and the prediction data set storage units 40 and 69 in the memory 11, data sets on the cloud may be used.
  • the cumulative hazard function may be calculated by converting it from the survival function.
  • learning operations and the predicted operation are executed by the program stored in the survival analysis device 1 as the information processing device according to the embodiment, but this is not limited to this. I can't.
  • learning operations and prediction operations may be performed on computational resources on the cloud.
  • the method described in the embodiments uses a program (software means) that can be executed by a computer (computer), such as a magnetic disk (floppy (registered trademark) disk, hard disk, etc.), an optical disk (CD-ROM, DVD, etc.). It can also be distributed by being stored in a recording medium such as a semiconductor memory (ROM, RAM, flash memory, etc.), or by being transmitted via a communication medium.
  • a computer such as a magnetic disk (floppy (registered trademark) disk, hard disk, etc.), an optical disk (CD-ROM, DVD, etc.
  • a recording medium such as a semiconductor memory (ROM, RAM, flash memory, etc.)
  • the programs stored on the medium side also include a setting program for configuring software means (including not only execution programs but also tables and data structures) in the computer to be executed by the computer.
  • the computer that realizes this device reads a program recorded on a recording medium, and if necessary, constructs software means using a setting program, and executes the above-described processing by controlling the operation of the software means.
  • the recording medium referred to in this specification is not limited to one for distribution, and includes storage media such as a magnetic disk and a semiconductor memory provided inside a computer or in a device connected via a network.
  • the present invention is not limited to the above-described embodiments, and various modifications can be made at the implementation stage without departing from the spirit thereof.
  • each embodiment may be implemented in combination as appropriate as possible, and in that case, the combined effects can be obtained.
  • the embodiments described above include inventions at various stages, and various inventions can be extracted by appropriately combining the plurality of disclosed constituent elements. For example, if a problem can be solved and an effect can be obtained even if some constituent features are deleted from all the constituent features shown in the embodiment, the configuration from which these constituent features are deleted can be extracted as an invention.
  • Prediction data set storage section 41, 70 ...Prediction target data storage unit 231, 241, 321, 331, 531, 541, 621, 631...Feature amount extraction unit 232, 242, 322, 332, 532, 542, 622, 632...Model 251, 261, 341, 351 , 551, 561, 641, 651... Monotonically increasing neural network 252, 262, 342, 352... Cumulative hazard function calculation unit 253, 263, 343, 353, 553, 563, 643, 653... Automatic differentiation unit 271, 281, 361 , 571, 581, 661... Evaluation function estimation section 272, 282, 362, 572, 582, 662... Optimization section 552, 562, 642, 652... Survival function calculation section

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

情報処理装置（１）は、予測対象イベントに関する特徴量を含む処理対象データから、前記特徴量を表す潜在表現を算出する潜在表現算出部（３３；６３）と、潜在表現算出部によって算出された潜在表現及び時刻によって規定される単調増加関数に従ってスカラ値を出力するようにモデル化された単調増加ニューラルネットワーク（３５１；６５１）と、単調増加ニューラルネットワークから出力されたスカラ値に基づいて、ハザード関数及び生存関数の少なくとも一方を推定する関数推定部（３５２，３５３；６５２；６５２，６５３）と、を備える。

Description

情報処理装置、情報処理方法及びプログラム
　実施形態は、情報処理装置、情報処理方法及びプログラムに関する。
　機器の故障、人の行動、犯罪、地震、感染症、等のイベントの発生予測は、様々なアプリケーションで重要となっている。
　このようなイベントの中には、たかだか１度しか発生しないようなものが有る（１度発生後は大きくデータが変わるので想定しない場合を含む）。このようなイベントとしては、例えば、死亡、事故、結婚、病気の再発、等が有る。このようなイベントの予測には、生存分析がよく用いられる。
　生存分析による予測は、通常、以下の手順で行われる。　
　　１．イベントが発生したデータと発生していないデータを用いてモデルの学習（或いは人手による設計）を行う。　
　　２．モデルを利用して、実際に予測したいデータに対して、イベントの発生し易さを表すハザード関数、及び／又は、イベントが或る時間を超えて発生する確率を表す生存関数を求める。
　しかしながら、このような手順では、複数の課題が有る。
　第１の課題は、予測したいイベントが発生したデータが十分に有るとは限らないということである。
　第２の課題は、ＣＯＸ比例ハザードモデルに基づいているなど、強い仮定が有るということである。ＣＯＸ比例ハザードモデルの場合、相対的な発生し易さはわかるが、絶対的な時間はわからない。また、時間を離散化する場合、離散化した粒度よりも正確な時間が推定できない。
　第３の課題は、ＣＯＸ比例ハザードモデルなどの仮定を置かない場合には、尤度に積分が含まれており、最適化が困難になる、又は、近似が必要になるということである。
　このような課題に対して、非特許文献１や非特許文献２が提案されている。
Yeping Lina Qiu, et al., "A meta-learning approach for genomic survival analysis", NATURE COMMUNICATIONS | (2020) 11:6350 | https://doi.org/10.1038/s41467-020-20167-3 | www.nature.com/naturecommunications Shi Hu, et al., "Transformer-Based Deep Survival Analysis", AAAI Spring Symposium 2021 (SP-ACA)
　非特許文献１は、ＣＯＸ比例ハザードモデルに基づく手法を開示している。非特許文献１の手法では、ＭＡＭＬ（Model-Agnostic Meta-Learning）によるメタ学習を行うことで、上記第１の課題を解決し、また、ＣＯＸ比例ハザードモデルを用いることで、上記第３の課題を回避している。しかしながら、非特許文献１の手法では、上記第２の課題については、ＣＯＸ比例ハザードモデルを用いるため、解決できていない。
　また、非特許文献２は、時間を離散化する手法を開示している。非特許文献２の手法では、離散化により上記第３の課題を回避している。しかしながら、非特許文献２の手法では、上記第１の課題については未解決であり、また、上記第２の課題については、離散化しているため解決できていない。
　このように、従来の手法では、第１又は第３の課題を解決又は回避することはできても、上記第２の課題を解決することができていない。
　本発明は、上記事情に着目してなされたもので、その目的とするところは、仮定無しにハザード関数及び生存関数の少なくとも一方の算出を可能にする手段を提供することにある。
　一態様の情報処理装置は、潜在表現算出部と、単調増加ニューラルネットワークと、関数推定部と、を備える。潜在表現算出部は、予測対象イベントに関する特徴量を含む処理対象データから、特徴量を表す潜在表現を算出する。単調増加ニューラルネットワークは、潜在表現算出部によって算出された潜在表現及び時刻によって規定される単調増加関数に従ってスカラ値を出力するようにモデル化されている。関数推定部は、単調増加ニューラルネットワークから出力されたスカラ値に基づいて、ハザード関数及び生存関数の少なくとも一方を推定する。
　実施形態によれば、仮定無しにハザード関数及び生存関数の少なくとも一方の算出を可能にする手段を提供することができる。
図１は、第１実施形態に係る情報処理装置としての生存分析装置のハードウェア構成の一例を示すブロック図である。 図２は、第１実施形態に係る情報処理装置としての生存分析装置の学習機能の構成の一例を示すブロック図である。 図３は、第１実施形態に係る情報処理装置としての生存分析装置の予測機能の構成の一例を示すブロック図である。 図４Ａは、第１実施形態に係る情報処理装置としての生存分析装置における学習動作の一例を示すフローチャートである。 図４Ｂは、第１実施形態に係る情報処理装置としての生存分析装置における学習動作の一例を示すフローチャートである。 図５は、第１実施形態に係る情報処理装置としての生存分析装置における予測動作の一例を示すフローチャートである。 図６は、第２実施形態に係る情報処理装置としての生存分析装置の学習機能の構成の一例を示すブロック図である。 図７は、第２実施形態に係る情報処理装置としての生存分析装置の予測機能の構成の一例を示すブロック図である。 図８Ａは、第２実施形態に係る情報処理装置としての生存分析装置における学習動作の一例を示すフローチャートである。 図８Ｂは、第２実施形態に係る情報処理装置としての生存分析装置における学習動作の一例を示すフローチャートである。 図９は、第２実施形態に係る情報処理装置としての生存分析装置における予測動作の一例を示すフローチャートである。
　以下、図面を参照していくつかの実施形態について説明する。なお、以下の説明において、同一の機能及び構成を有する構成要素については、共通する参照符号を付す。
　１．　第１実施形態
　第１実施形態に係る情報処理装置について説明する。以下では、第１実施形態に係る情報処理装置の一例として、生存分析装置について説明する。
　生存分析装置は、学習機能及び予測機能を備える。学習機能は、イベントが発生したデータと発生していないデータを用いてモデルのパラメータをメタ学習する機能である。予測機能は、学習機能によって学習したモデルのパラメータに基づいて、実際に予測したいデータに対してハザード関数、累積ハザード関数及び生存関数を算出する機能である。
　１．１　構成
　第１実施形態に係る情報処理装置としての生存分析装置の構成について説明する。
　１．１．１　ハードウェア構成
　図１は、第１実施形態に係る情報処理装置としての生存分析装置１のハードウェア構成の一例を示すブロック図である。図１に示すように、生存分析装置１は、制御回路１０、メモリ１１、通信モジュール１２、ユーザインタフェース１３、及びドライブ１４を含む。
　制御回路１０は、生存分析装置１の各構成要素を全体的に制御する回路である。制御回路１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）等を含む。ＣＰＵは、マルチコア及びマルチスレッドのものを用いることで、同時に複数の情報処理を実行することができる。また、制御回路１０は、複数のＣＰＵを備えていても良い。また、制御回路１０は、ＣＰＵに代えて或いはＣＰＵに加えて、ＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（field-programmable gate array）、ＧＰＵ（Graphics Processing Unit）、等の集積回路を含むことができる。
　メモリ１１は、生存分析装置１の記憶装置である。メモリ１１は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、及びメモリカード等を含む。メモリ１１には、生存分析装置１における学習動作及び予測動作に使用される情報が記憶される。また、メモリ１１には、制御回路１０に学習動作を実行させるための学習プログラム、及び予測動作を実行させるための予測プログラムが記憶される。
　通信モジュール１２は、図示されないネットワークを介して、生存分析装置１の外部とのデータの送受信に使用される回路である。
　ユーザインタフェース１３は、ユーザと制御回路１０との間で情報を通信するための回路である。ユーザインタフェース１３は、入力機器及び出力機器を含む。入力機器は、例えば、タッチパネル及び操作ボタン等を含む。出力機器は、例えば、ＬＣＤ（Liquid Crystal Display）又はＥＬ（Electroluminescence）ディスプレイ、並びにプリンタを含む。ユーザインタフェース１３は、例えば、制御回路１０から受信した各種プログラムの実行結果を、ユーザに出力する。
　ドライブ１４は、記憶媒体１５に記憶されたプログラムを読み込むための装置である。ドライブ１４は、例えば、ＣＤ（Compact Disk）ドライブ、及びＤＶＤ（Digital Versatile Disk）ドライブ等を含む。
　記憶媒体１５は、プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。記憶媒体１５は、学習プログラム及び予測プログラムを記憶しても良い。
　１．１．２　学習機能構成
　図２は、第１実施形態に係る情報処理装置としての生存分析装置１の学習機能の構成の一例を示すブロック図である。
　制御回路１０のＣＰＵは、メモリ１１又は記憶媒体１５に記憶された学習プログラムをＲＡＭに展開する。そして、制御回路１０のＣＰＵは、ＲＡＭに展開された学習プログラムを解釈及び実行することにより、メモリ１１、通信モジュール１２、ユーザインタフェース１３、ドライブ１４、及び記憶媒体１５を制御する。これによって、図２に示されるように、生存分析装置１は、データ分割部２１、初期化部２２、潜在表現算出部２３，２４、関数推定部２５，２６、更新部２７，２８、及び判定部２９，３０を備えるコンピュータとして機能する。また、生存分析装置１のメモリ１１は、学習動作に使用される情報を記憶するための、学習用データセット記憶部２０及び学習済みパラメータ記憶部３１として機能する。
　学習用データセット記憶部２０は、予測したいイベントに応じたデータセット（以下、学習用データセットと称する）Ｄkを記憶する。予測したいイベントは、例えば、機械の故障、交通事故、結婚等のライフイベント、等である。学習用データセットＤkは、以下のように、ｋ個のタスクそれぞれに関してｄ個の生存時間データＸを含む情報である。
Figure JPOXMLDOC01-appb-M000001
ここで、ｋはタスクのｉｄであり、ｄはデータのｉｄである。また、ＤＳkはタスクｋのデータ集合であり、Ｋはタスク集合である。
　また、生存時間データＸは、特徴量ｘ、指示変数δ及び時刻ｅを含む。　
　指示変数δは、１又は０の値を取る。δ＝１はイベント発生を示し、δ＝０は打ち切りを示す。打ち切りの場合、当該生存時間データＸは、イベント発生前までの特徴量ｘしか含まないことを示す。
　時刻ｅは、指示変数δの値により、その表す意味が決まる。すなわち、δ＝１の場合、時刻ｅはイベント発生時間を示し、δ＝０の場合には、時刻ｅは打ち切り時間を示すこととなる。
　特徴量ｘは、予測したいイベントに使用できそうな情報であればどのような情報でも良い。例えば、特徴量ｘは、全てのタスクについて同一の微分可能なモデルで扱えれば良い。微分可能なモデルとしては、例えば、ＣＮＮ（Convolutional Neural Network）、ＲＮＮ（Recurrent Neural Network）、Ｐｅｒｃｅｉｖｅｒ、等が有る。Ｐｅｒｃｅｉｖｅｒは、例えば、Andrew Jaegle, et al., “Perceiver: General Perception with Iterative Attention”, arXiv:2103.03206v2 [cs.CV] 23 Jun 2021に開示されている。
　本実施形態においては、予測したいイベントは、例えば、ライフイベント、交通事故、機器の故障、等々の、人間にとって、たかだか１度しか発生しない（１度発生後は大きくデータが変わるので想定しない場合を含む）ような事象である。
　特徴量ｘは、静的なものであっても良いし、時系列なものであっても良い。例えば、ライフイベントでは、静的な特徴量ｘは、例えば性別や年齢等のその人の属性を示す属性情報であり、時系列な特徴量ｘは、例えばお金の収支、位置情報の履歴、ＳＮＳの投稿履歴、等の情報である。ライフイベントでの学習用データセットＤkにおけるタスクｋは、結婚、出産、引っ越し、進学、就職、等のイベントである。タスクｋについて特徴量ｘとイベントの例を挙げると、タスクｋ：（特徴量，イベント）と記せば、例えば、タスク１：（お金の収支，結婚)、タスク２：（位置情報の履歴＋ＳＮＳの投稿履歴，出産）、タスク３：（支出履歴，引っ越し）、…、である。なお、データのｉｄであるｄは、人ごとに付与されることとなる。
　予測したいイベントが例えば、交通事故である場合は、静的な特徴量ｘは、例えば運転手の属性を示す属性情報であり、時系列な特徴量ｘは、例えば各種センサのセンシングデータの履歴、ドライブレコーダの映像、等の情報である。交通事故での学習用データセットＤkにおけるタスクｋは、国や地域別、車種（自家用車、トラック、タクシー、バス等）ごと、等の交通事故である。データのｉｄであるｄは、運転ごとに付与されることとなる。
　ここで挙げた予測したいイベント、各イベントでの特徴量ｘ、及び学習用データセットＤkは、その一例に過ぎない。例えば、予測したいイベントは機器の故障、その場合の特徴量ｘは、機種、ログデータ、温度、湿度、等の情報、というように、上記の例に限定しないことは言うまでもない。
　データ分割部２１は、タスクｋをランダムに選択して、学習用データセット記憶部２０に記憶された学習用データセットＤkの中からタスクｋのデータセット
Figure JPOXMLDOC01-appb-M000002
を抽出する。以下、これを学習対象データセットと称する。データ分割部２１は、抽出された学習対象データセットをランダムに分割して、サポートセットＳＳとクエリセットＱＳを取得する。データ分割部２１は、サポートセットＳＳを潜在表現算出部２３に送信し、クエリセットＱＳを潜在表現算出部２４に送信する。
　初期化部２２は、予め決められた任意の規則Ｒに基づいてパラメータセットθを初期化する。パラメータセットθは、複数のパラメータｐ１及び複数のパラメータｐ２を含む。初期化部２２は、初期化された複数のパラメータｐ１を潜在表現算出部２３に送信する。初期化部２２は、初期化された複数のパラメータｐ２を関数推定部２５に送信する。更に、初期化部２２は、初期化されたパラメータセットθ（複数のパラメータｐ１及びｐ２）を更新部２８に送信する。複数のパラメータｐ１及びｐ２については後述する。
　潜在表現算出部２３は、サポートセットＳＳに基づいて、サポートセットＳＳの個々のデータＸの特徴量ｘに対して潜在表現ｚを算出する。潜在表現ｚは、データセットにおける特徴量ｘの特徴を表すデータである。潜在表現算出部２３は、算出された潜在表現ｚを関数推定部２５に送信する。
　具体的には、潜在表現算出部２３は、特徴量抽出部２３１とモデル２３２を含む。特徴量抽出部２３１は、サポートセットＳＳから特徴量ｘを抽出する。特徴量抽出部２３１は、特徴量ｘをモデル２３２に送信する。モデル２３２は、特徴量ｘを扱える微分可能な任意のモデルである。すなわち、モデル２３２は、特徴量ｘを入力として、潜在表現ｚを出力するようにモデル化された数理モデルである。モデル２３２としては、例えば、ＣＮＮ、ＲＮＮ、Ｐｅｒｃｅｉｖｅｒ、等とすることができる。モデル２３２には、パラメータθ（複数のパラメータｐ１）が重み及びバイアス項として適用される。複数のパラメータｐ１が適用されたモデル２３２は、特徴量ｘを入力として、潜在表現ｚを出力する。モデル２３２は、出力された潜在表現ｚを関数推定部２５に送信する。
　関数推定部２５は、潜在表現ｚ及び予測時刻ｔに基づき、ハザード関数ｈ（ｔ，ｚ）を算出する。ハザード関数ｈ（ｔ，ｚ）は、予測対象のデータに対する予測したいイベントの発生し易さを表す時間の関数である。関数推定部２５は、算出されたハザード関数ｈ（ｔ，ｚ）を更新部２７に送信する。
　具体的には、関数推定部２５は、単調増加ニューラルネットワーク２５１、累積ハザード関数算出部２５２、及び自動微分部２５３を含む。
　単調増加ニューラルネットワーク２５１は、潜在表現ｚ及び時刻ｔによって規定される単調増加関数を出力として算出するようにモデル化された数理モデルである。単調増加ニューラルネットワーク２５１としては、例えば、Antoine Wehenkel, et al., “Unconstrained Monotonic Neural Networks”, arXiv:1908.05164v3 [cs.LG] 31 Mar 2021に開示されたもの、活性化関数を微分が正（ｔａｎｈなど）のものにして重みに非負の制約をかけたもの、等が利用できる。単調増加ニューラルネットワーク２５１には、パラメータθ（複数のパラメータｐ２）に基づく複数の重み及びバイアス項が適用される。複数のパラメータｐ２が適用された単調増加ニューラルネットワーク２５１は、潜在表現ｚ及び時刻ｔによって規定される単調増加関数に従って、スカラ値として出力ｆ（ｔ，ｚ）を算出する。単調増加ニューラルネットワーク２５１は、出力ｆ（ｔ，ｚ）を累積ハザード関数算出部２５２に送信する。
　累積ハザード関数算出部２５２は、以下に示す式に従って、出力ｆ（ｔ，ｚ）に基づいて、累積ハザード関数Ｈ（ｔ，ｚ）を算出する。　
Figure JPOXMLDOC01-appb-M000003
ここで、ｓは単調増加ニューラルネットワークの表現力不足を補うためのスケールパラメータである。このスケールパラメータｓの決定方法としては、ニューラルネットワークのパラメータと同時に推定する方法と、学習データ等から定数として決定する方法とが考えられる。後者の決定方法では、例えば、Ｈ（ｔ）＝－logＳ（ｔ）から考慮するｔの上限から決定する。なお、Ｓ（ｔ）は生存関数であり、生存時間がｔ以上になる確率を表す。累積ハザード関数算出部２５２は、算出された累積ハザード関数Ｈ（ｔ，ｚ）を、自動微分部２５３及び更新部２７に送信する。
　自動微分部２５３は、累積ハザード関数Ｈ（ｔ，ｚ）を自動微分することにより、ハザード関数ｈ（ｔ，ｚ）を算出する。自動微分部２５３は、算出されたハザード関数ｈ（ｔ，ｚ）を更新部２７に送信する。ハザード関数ｈ（ｔ，ｚ）は、以下のように、累積ハザード関数Ｈ（ｔ，ｚ）の微分で表される。
Figure JPOXMLDOC01-appb-M000004
　更新部２７は、累積ハザード関数Ｈ（ｔ，ｚ）及びハザード関数ｈ（ｔ，ｚ）に基づいて、更新されたパラメータセットθ（複数のパラメータｐ１及びｐ２）を算出する。更新されたパラメータセットを、更新パラメータセットθ’（ｐ１’，ｐ２’）と記す。更新部２７は、更新パラメータセットθ’（複数のパラメータｐ１’及びｐ２’）を判定部２９に送信する。
　具体的には、更新部２７は、評価関数推定部２７１及び最適化部２７２を含む。　
　評価関数推定部２７１は、累積ハザード関数Ｈ（ｔ，ｚ）及びハザード関数ｈ（ｔ，ｚ）に基づいて、評価関数Ｌ（ＳＳ）を算出する。評価関数Ｌ（ＳＳ）は、例えば、以下のような負の対数尤度である。
Figure JPOXMLDOC01-appb-M000005
評価関数推定部２７１は、算出された評価関数Ｌ（ＳＳ）を最適化部２７２に送信する。
　最適化部２７２は、評価関数Ｌ（ＳＳ）に基づいて、パラメータセットθすなわち複数のパラメータｐ１及びｐ２を最適化する。最適化には、例えば、誤差逆伝播法が用いられる。最適化部２７２は、この最適化されたパラメータセットθ（複数のパラメータｐ１及びｐ２）を、更新パラメータセットθ’（複数のパラメータｐ１’及びｐ２’）として、判定部２９に送信する。
　判定部２９は、更新パラメータセットθ’（複数のパラメータｐ１’及びｐ２’）に基づいて、第１条件が満たされたか否かを判定する。第１条件は、例えば、更新パラメータセットθ’が判定部２９に送信された回数（すなわち、パラメータの更新ループ数）が閾値以上となることであって良い。第１条件は、例えば、更新パラメータセットθ’の更新前後の値の変化量が閾値以下となることであっても良い。
　第１条件が満たされない場合、判定部２９は、更新パラメータセットθ’（複数のパラメータｐ１’及びｐ２’）を、モデル２３２及び単調増加ニューラルネットワーク２５１に適用し、潜在表現算出部２３、関数推定部２５及び更新部２７に、この更新パラメータセットθ’に基づくパラメータの更新動作を行わせる。言い換えると、条件が満たされない場合、判定部２９は、潜在表現算出部２３、関数推定部２５及び更新部２７によるパラメータの更新ループを繰り返し実行させる。
　また、第１条件が満たされた場合、判定部２９は、パラメータの更新ループを終了させると共に、最後に更新された更新パラメータセットθ’（複数のパラメータｐ１’及びｐ２’）を潜在表現算出部２４及び関数推定部２６に送信する。言い換えると、判定部２９は、潜在表現算出部２４及び関数推定部２６に適用されるパラメータを、この更新パラメータセットθ’（複数のパラメータｐ１’及びｐ２’）に初期化する。
　潜在表現算出部２４は、クエリセットＱＳに基づいて、クエリセットＱＳの個々のデータＸの特徴量ｘに対して潜在表現ｚを算出する。潜在表現算出部２４は、算出された潜在表現ｚを関数推定部２６に送信する。
　具体的には、潜在表現算出部２４は、潜在表現算出部２３と対応する構成を有する。すなわち、潜在表現算出部２４は、特徴量抽出部２４１とモデル２４２を含む。特徴量抽出部２４１は、クエリセットＱＳから特徴量ｘを抽出する。特徴量抽出部２４１は、特徴量ｘをモデル２４２に送信する。モデル２４２は、特徴量ｘを扱える微分可能な任意のモデルである。モデル２４２には、更新された複数のパラメータｐ１’が重み及びバイアス項として適用される。複数のパラメータｐ１’が適用されたモデル２４２は、特徴量ｘを入力として、潜在表現ｚを出力する。モデル２３２は、出力された潜在表現ｚを関数推定部２６に送信する。
　関数推定部２６は、関数推定部２５と同様に、潜在表現ｚ及び予測時刻ｔに基づき、ハザード関数ｈ（ｔ，ｚ）を算出する。関数推定部２６は、算出されたハザード関数ｈ（ｔ，ｚ）を更新部２７に送信する。
　具体的には、関数推定部２６は、関数推定部２５と同様に、単調増加ニューラルネットワーク２６１、累積ハザード関数算出部２６２、及び自動微分部２６３を含む。
　単調増加ニューラルネットワーク２６１は、単調増加ニューラルネットワーク２５１と同様の数理モデルである。単調増加ニューラルネットワーク２６１には、更新された複数のパラメータｐ２’に基づく複数の重み及びバイアス項が適用される。複数のパラメータｐ２’が適用された単調増加ニューラルネットワーク２６１は、潜在表現ｚ及び時刻ｔによって規定される単調増加関数に従って、スカラ値として出力ｆ（ｔ，ｚ）を算出する。単調増加ニューラルネットワーク２６１は、出力ｆ（ｔ，ｚ）を累積ハザード関数算出部２６２に送信する。
　累積ハザード関数算出部２６２は、累積ハザード関数算出部２５２と同様のものであり、出力ｆ（ｔ，ｚ）に基づいて、累積ハザード関数Ｈ（ｔ，ｚ）を算出する。累積ハザード関数算出部２６２は、算出された累積ハザード関数Ｈ（ｔ，ｚ）を、自動微分部２６３及び更新部２８に送信する。
　自動微分部２６３は、自動微分部２５３と同様のものであり、累積ハザード関数Ｈ（ｔ，ｚ）を自動微分することにより、ハザード関数ｈ（ｔ，ｚ）を算出する。自動微分部２６３は、算出されたハザード関数ｈ（ｔ，ｚ）を更新部２８に送信する。
　更新部２８は、累積ハザード関数Ｈ（ｔ，ｚ）及びハザード関数ｈ（ｔ，ｚ）に基づいて、初期化部２２からのパラメータセットθ（複数のパラメータｐ１及びｐ２）を更新し、判定部３０に送信する。
　具体的には、更新部２８は、更新部２７と同様に、評価関数推定部２８１及び最適化部２８２を含む。　
　評価関数推定部２８１は、累積ハザード関数Ｈ（ｔ，ｚ）及びハザード関数ｈ（ｔ，ｚ）に基づいて、評価関数Ｌ（ＱＳ）を算出する。評価関数Ｌ（ＱＳ）は、例えば、以下のような負の対数尤度である。
Figure JPOXMLDOC01-appb-M000006
評価関数推定部２８１は、算出された評価関数Ｌ（ＱＳ）を最適化部２８２に送信する。
　最適化部２８２は、評価関数Ｌ（ＱＳ）に基づいて、パラメータセットθすなわち複数のパラメータｐ１及びｐ２を最適化する。最適化には、例えば、誤差逆伝播法が用いられる。より具体的には、最適化部２８２は、パラメータセットθ（複数のパラメータｐ１及びｐ２）を用いて評価関数Ｌ２（ＱＳ）のパラメータセットθ（複数のパラメータｐ１及びｐ２）に関する二階微分を算出し、θ（複数のパラメータｐ１及びｐ２）を最適化する。最適化部２８２は、この最適化されたパラメータセットθ（複数のパラメータｐ１及びｐ２）を、更新パラメータセットθ（複数のパラメータｐ１及びｐ２）として、判定部３０に送信する。
　判定部３０は、更新パラメータセットθ（複数のパラメータｐ１及びｐ２）に基づいて、第２条件が満たされたか否かを判定する。第２条件は、例えば、更新パラメータセットθが判定部３０に送信された回数（すなわち、パラメータの更新ループ数）が閾値以上となることであって良い。第２条件は、例えば、更新パラメータセットθの更新前後の値の変化量が閾値以下となることであっても良い。以下、第２条件を、更新パラメータセットθが判定部３０に送信されたてきた回数が２回以上とした場合を例にして説明する。
　第２条件が満たされない場合、すなわち、更新パラメータセットθが判定部３０に送信されたてきたのが１回目である場合、判定部３０は、更新パラメータセットθ（複数のパラメータｐ１及びｐ２）を、最適化部２８２に送信する共に、モデル２３２及び単調増加ニューラルネットワーク２５１に適用する。これにより、判定部３０は、潜在表現算出部２３，２４、関数推定部２５，２６、更新部２７，２８及び判定部２９に、この更新パラメータセットθに基づくパラメータの更新動作を行わせる。言い換えると、第２条件が満たされない場合、判定部３０は、潜在表現算出部２３，２４、関数推定部２５，２６、更新部２７，２８及び判定部２９によるパラメータの更新ループを再度、実行させる。
　また、第２条件が満たされた場合、すなわち、更新パラメータセットθが判定部３０に送信されたてきた回数が２回目となった場合、判定部３０は、更新パラメータセットθ（複数のパラメータｐ１及びｐ２）を、学習済みパラメータセットθ＊（複数のパラメータｐ１＊及びｐ２＊）として、メモリ１１の学習済みパラメータ記憶部３１に記憶させる。
　以上のような構成により、生存分析装置１は、学習用データセット記憶部２０に記憶された学習用データセットＤkに基づいて、学習済みパラメータ記憶部３１に学習済みパラメータセットθ＊（複数のパラメータｐ１*及びｐ２＊）を記憶させる機能を有する。
　１．１．３　予測機能構成
　図３は、第１実施形態に係る情報処理装置としての生存分析装置１の予測機能の構成の一例を示すブロック図である。
　制御回路１０のＣＰＵは、メモリ１１又は記憶媒体１５に記憶された予測プログラムをＲＡＭに展開する。そして、制御回路１０のＣＰＵは、ＲＡＭに展開された予測プログラムを解釈及び実行することによりメモリ１１、通信モジュール１２、ユーザインタフェース１３、ドライブ１４、及び記憶媒体１５を制御する。これによって、図３に示されるように、生存分析装置１は、潜在表現算出部３２，３３、関数推定部３４，３５、更新部３６、判定部３７、変換部３８、及び出力部３９を備えるコンピュータとして更に機能する。また、生存分析装置１のメモリ１１は、予測動作に使用される情報を記憶するための、予測用データセット記憶部４０及び予測対象データ記憶部４１として更に機能する。なお、図３では、モデル３２２及び単調増加ニューラルネットワーク３４１にそれぞれ学習済みパラメータ記憶部３１から複数のパラメータｐ１＊及びｐ２＊が適用されている場合が示される。
　予測用データセット記憶部４０は、予測対象のタスクに応じたデータセット（以下、予測用データセットと称する）
Figure JPOXMLDOC01-appb-M000007
を記憶する。なおここで、ｋ＊は学習用データセットＤkにおけるタスク集合Ｋに含まれないタスクのｉｄである。すなわち、予測用データセット記憶部４０に記憶される予測用データセットＤk*は、学習用データセットＤkとは異なるデータセットである。
　予測対象データ記憶部４１は、予測対象のデータ（以下、予測対象データと称する）
Figure JPOXMLDOC01-appb-M000008
を記憶する。なおここで、ｄk*は予測用データセットＤk*におけるタスクｋ＊のデータ集合ＤＳk*に含まれないデータのｉｄである。すなわち、予測対象データ記憶部４１に記憶される予測対象データＸ＊は、予測用データセットＤk*及び学習用データセットＤkには含まれないデータである。
　潜在表現算出部３２は、予測用データセット記憶部４０内の予測用データセットＤk*に基づいて、予測用データセットＤk*の個々のデータＸの特徴量ｘに対して潜在表現ｚを算出する。潜在表現算出部３２は、算出された潜在表現ｚを関数推定部３４に送信する。
　具体的には、潜在表現算出部３２は、潜在表現算出部２３と対応する構成を有する。すなわち、潜在表現算出部３２は、特徴量抽出部３２１とモデル３２２を含む。特徴量抽出部３２１は、予測用データセットＤk*から特徴量ｘ＊を抽出する。特徴量抽出部３２１は、特徴量ｘ＊をモデル３２２に送信する。モデル３２２は、特徴量ｘ＊を扱える微分可能な任意のモデルである。モデル３２２には、学習済みパラメータ記憶部３１に記憶された学習済みパラメータセットθ＊の複数のパラメータｐ１＊が重み及びバイアス項として適用される。複数のパラメータｐ１＊が適用されたモデル３２２は、特徴量ｘ＊を入力として、潜在表現ｚ＊を出力する。モデル３２２は、出力された潜在表現ｚ＊を関数推定部３４に送信する。
　関数推定部３４は、関数推定部２５と同様に、潜在表現ｚ＊及び予測時刻ｔに基づき、ハザード関数ｈ＊（ｔ，ｚ）を算出する。関数推定部３４は、算出されたハザード関数ｈ＊（ｔ，ｚ）を更新部３６に送信する。
　具体的には、関数推定部３４は、関数推定部２５と同様に、単調増加ニューラルネットワーク３４１、累積ハザード関数算出部３４２、及び自動微分部３４３を含む。
　単調増加ニューラルネットワーク３４１は、単調増加ニューラルネットワーク２５１と同様の数理モデルである。単調増加ニューラルネットワーク３４１には、学習済みパラメータ記憶部３１に記憶された学習済みパラメータθ＊の複数のパラメータｐ２＊に基づく複数の重み及びバイアス項が適用される。複数のパラメータｐ２＊が適用された単調増加ニューラルネットワーク３４１は、潜在表現ｚ＊及び時刻ｔによって規定される単調増加関数に従って、スカラ値として出力ｆ＊（ｔ，ｚ）を算出する。単調増加ニューラルネットワーク３４１は、出力ｆ＊（ｔ，ｚ）を累積ハザード関数算出部３４２に送信する。
　累積ハザード関数算出部３４２は、累積ハザード関数算出部２５２と同様のものであり、出力ｆ＊（ｔ，ｚ）に基づいて、累積ハザード関数Ｈ＊（ｔ，ｚ）を算出する。累積ハザード関数算出部３４２は、算出された累積ハザード関数Ｈ＊（ｔ，ｚ）を、自動微分部３４３及び更新部３６に送信する。
　自動微分部３４３は、自動微分部２５３と同様のものであり、累積ハザード関数Ｈ＊（ｔ，ｚ）を自動微分することにより、ハザード関数ｈ＊（ｔ，ｚ）を算出する。自動微分部３４３は、算出されたハザード関数ｈ＊（ｔ，ｚ）を更新部３６に送信する。
　更新部３６は、更新部２７と同様のものであり、累積ハザード関数Ｈ＊（ｔ，ｚ）及びハザード関数ｈ＊（ｔ，ｚ）に基づいて、更新パラメータセットθ＊’（複数のパラメータｐ１＊’及びｐ２＊’）を算出する。更新部３６は、この更新パラメータセットθ＊’（複数のパラメータｐ１＊’及びｐ２＊’）を、判定部３７に送信する。
　具体的には、更新部３６は、更新部２７と同様に、評価関数推定部３６１及び最適化部３６２を含む。　
　評価関数推定部３６１は、累積ハザード関数Ｈ＊（ｔ，ｚ）及びハザード関数ｈ＊（ｔ，ｚ）に基づいて、評価関数Ｌ＊（Ｄ）を算出する。評価関数Ｌ＊（Ｄ）は、例えば、以下のような負の対数尤度である。
Figure JPOXMLDOC01-appb-M000009
評価関数推定部３６１は、算出された評価関数Ｌ＊（Ｄ）を最適化部３６２に送信する。
　最適化部３６２は、評価関数Ｌ＊（Ｄ）に基づいて、パラメータセットθ＊すなわち複数のパラメータｐ１＊及びｐ２＊を最適化する。最適化には、最適化部２７２と同様に、例えば、誤差逆伝播法が用いられる。最適化部３６２は、この最適化されたパラメータセットθ＊（複数のパラメータｐ１＊及びｐ２＊）を、更新パラメータセットθ＊’（複数のパラメータｐ１＊’及びｐ２＊’）として、判定部３７に送信する。
　判定部３７は、判定部２９と同様に、更新パラメータセットθ＊’（複数のパラメータｐ１＊’及びｐ２＊’）に基づいて、第１条件が満たされたか否かを判定する。第１条件が満たされない場合、判定部３７は、更新パラメータセットθ＊’（複数のパラメータｐ１＊’及びｐ２＊’）を、モデル３２２及び単調増加ニューラルネットワーク３４１に適用し、潜在表現算出部３２、関数推定部３４及び更新部３６に、この更新パラメータセットθ＊’に基づくパラメータの更新動作を行わせる。言い換えると、第１条件が満たされない場合、判定部３７は、潜在表現算出部３２、関数推定部３４及び更新部３６によるパラメータの更新ループを繰り返し実行させる。また、第１条件が満たされた場合、判定部３７は、パラメータの更新ループを終了させると共に、最後に更新パラメータセットθ＊’（複数のパラメータｐ１＊’及びｐ２＊’）を潜在表現算出部３３及び関数推定部３５に送信する。言い換えると、判定部３７は、潜在表現算出部３３及び関数推定部３５に適用されるパラメータを、この更新パラメータセットθ＊’（複数のパラメータｐ１＊’及びｐ２＊’）に初期化する。
　潜在表現算出部３３は、例えばユーザインタフェース１３によりユーザから入力されて予測対象データ記憶部４１に記憶された予測対象データＸk*に基づいて、潜在表現ｚを算出する。潜在表現算出部３３は、算出された潜在表現ｚを関数推定部３４に送信する。
　具体的には、潜在表現算出部３３は、潜在表現算出部２３と対応する構成を有する。すなわち、潜在表現算出部３３は、特徴量抽出部３３１とモデル３３２を含む。特徴量抽出部３３１は、予測対象データＸk*から特徴量ｘ＊を抽出する。特徴量抽出部３３１は、特徴量ｘ＊をモデル３３２に送信する。モデル３３２は、特徴量ｘ＊を扱える微分可能な任意のモデルである。モデル３３２には、更新された複数のパラメータｐ１＊’が重み及びバイアス項として適用される。複数のパラメータｐ１＊’が適用されたモデル３３２は、特徴量ｘ＊を入力として、潜在表現ｚ＊を出力する。モデル３３２は、出力された潜在表現ｚ＊を関数推定部３５に送信する。
　関数推定部３５は、関数推定部２５と同様に、潜在表現ｚ＊及び予測時刻ｔに基づき、ハザード関数ｈ＊（ｔ，ｚ）を算出する。関数推定部３５は、算出されたハザード関数ｈ＊（ｔ，ｚ）を出力部３９に送信する。
　具体的には、関数推定部３５は、関数推定部２５と同様に、単調増加ニューラルネットワーク３５１、累積ハザード関数算出部３５２、及び自動微分部３５３を含む。
　単調増加ニューラルネットワーク３５１は、単調増加ニューラルネットワーク２５１と同様の数理モデルである。単調増加ニューラルネットワーク３５１には、更新された複数のパラメータｐ２＊’に基づく複数の重み及びバイアス項が適用される。複数のパラメータｐ２＊’が適用された単調増加ニューラルネットワーク３５１は、潜在表現ｚ＊及び時刻ｔによって規定される単調増加関数に従って、スカラ値として出力ｆ＊（ｔ，ｚ）を算出する。単調増加ニューラルネットワーク３５１は、出力ｆ＊（ｔ，ｚ）を累積ハザード関数算出部３５２に送信する。
　累積ハザード関数算出部３５２は、累積ハザード関数算出部２５２と同様のものであり、出力ｆ＊（ｔ，ｚ）に基づいて、累積ハザード関数Ｈ＊（ｔ，ｚ）を算出する。累積ハザード関数算出部３５２は、算出された累積ハザード関数Ｈ＊（ｔ，ｚ）を、自動微分部３５３、変換部３８及び出力部３９に送信する。
　自動微分部３５３は、自動微分部２５３と同様のものであり、累積ハザード関数Ｈ＊（ｔ，ｚ）を自動微分することにより、ハザード関数ｈ＊（ｔ，ｚ）を算出する。自動微分部３５３は、算出されたハザード関数ｈ＊（ｔ，ｚ）を出力部３９に送信する。
　変換部３８は、累積ハザード関数算出部３５２から送信されてきた累積ハザード関数Ｈ＊（ｔ，ｚ）を生存関数Ｓ＊（ｔ，ｚ）に変換する。変換部３８は、変換した生存関数Ｓ＊（ｔ，ｚ）を出力部３９に送信する。
　出力部３９は、自動微分部３５３から送信されてきたハザード関数ｈ＊（ｔ，ｚ）をハザード関数ｈ＊（ｔ|ｘ）とし、また、変換部３８から送信されてきた生存関数Ｓ＊（ｔ，ｚ）を生存関数Ｓ＊（ｔ|ｘ）として、それぞれユーザに出力する。更に、出力部３９は、累積ハザード関数算出部３５２から送信されてきた累積ハザード関数Ｈ＊（ｔ，ｚ）を累積ハザード関数Ｈ＊（ｔ|ｘ）として、ユーザに出力する。
　以上のような構成により、生存分析装置１は、予測用データセット記憶部４０に記憶された予測用データセットＤk*に基づいて、予測対象データ記憶部４１に記憶された予測対象データＸk*についてのハザード関数ｈ＊（ｔ|ｘ）及び生存関数Ｓ＊（ｔ|ｘ）（並びに累積ハザード関数Ｈ＊（ｔ|ｘ））を算出する機能を有する。
　１．２．　動作
　次に、第１実施形態に係る情報処理装置としての生存分析装置１の動作について説明する。
　１．２．１　学習動作
　図４Ａ及び図４Ｂは、第１実施形態に係る情報処理装置としての生存分析装置１における学習動作の一例を示す一連のフローチャートである。図４Ａ及び図４Ｂの例では、予めメモリ１１内の学習用データセット記憶部２０に学習用データセットＤkが記憶されているものとする。
　図４Ａに示すように、ユーザからの学習動作の開始指示に応じて（開始）、初期化部２２は、任意の規則Ｒに基づいて、パラメータセットθ（複数のパラメータｐ１及びｐ２）を初期化する（ステップＳ１０）。例えば、初期化部２２は、複数のパラメータｐ１及びｐ２を任意の規則Ｒに基づいて初期化する。ステップＳ１０の処理によって初期化された複数のパラメータｐ１及びｐ２はそれぞれ、モデル２３２及び単調増加ニューラルネットワーク２５１に適用される。更に、この初期化されたパラメータセットθ（複数のパラメータｐ１及びｐ２）は、最適化部２８２へ送信される。
　データ分割部２１は、学習用データセット記憶部２０に記憶された学習用データセットＤkからランダムにタスクｋの学習対象データセットを抽出する。続いて、データ分割部２１は、抽出された学習対象データセットからサポートセットＳＳ及びクエリセットＱＳを更に抽出する（ステップＳ１１）。
　特徴量抽出部２３１は、ステップＳ１１の処理で抽出されたサポートセットＳＳからサポートセットＳＳの個々のデータＸの特徴量ｘを抽出する（ステップＳ１２）。
　上記ステップＳ１０の処理で初期化された複数のパラメータｐ１が適用されたモデル２３２は、ステップＳ１２の処理で抽出されたサポートセットＳＳの個々のデータＸの特徴量ｘを入力として、潜在表現ｚを算出する（ステップＳ１３）。
　上記ステップＳ１０の処理で初期化された複数のパラメータｐ２が適用された単調増加ニューラルネットワーク２５１は、ステップＳ１３の処理で算出された潜在表現ｚ、及び時刻ｔによって規定される単調増加関数に従って、出力ｆ（ｅ，ｚ）及びｆ（０，ｚ）を算出する（ステップＳ１４）。
　累積ハザード関数算出部２５２は、ステップＳ１４の処理で算出された出力ｆ（ｅ，ｚ）及びｆ（０，ｚ）に基づいて、累積ハザード関数Ｈ（ｅ，ｚ）を算出する（ステップＳ１５）。
　自動微分部２５３は、ステップＳ１５の処理で算出された累積ハザード関数Ｈ（ｅ，ｚ）に基づいて、ハザード関数ｈ（ｅ，ｚ）を算出する（ステップＳ１６）。
　更新部２７は、上記ステップＳ１５の処理で算出された累積ハザード関数Ｈ（ｅ，ｚ）及びステップＳ１６で算出されたハザード関数ｈ（ｅ，ｚ）に基づいて、更新パラメータセットθ’（複数のパラメータｐ１’及びｐ２’）を算出する（ステップＳ１７）。具体的には、評価関数推定部２７１は、累積ハザード関数Ｈ（ｅ，ｚ）及びハザード関数ｈ（ｅ，ｚ）に基づいて、評価関数Ｌ（ＳＳ）を算出する。最適化部２７２は、誤差逆伝播法を用いて、評価関数Ｌ（ＳＳ）に基づく最適化された複数のパラメータｐ１’及びｐ２’、すなわち更新パラメータセットθ’（複数のパラメータｐ１’及びｐ２’）を算出する。
　判定部２９は、更新パラメータセットθ’（複数のパラメータｐ１’及びｐ２’）に基づいて、第１条件が満たされたか否かを判定する（ステップＳ１８）。
　第１条件が満たされていない場合（ステップＳ１８；ＮＯ）、判定部２９は、モデル２３２及び単調増加ニューラルネットワーク２５１に適用するパラメータを、上記パラメータセットθから上記ステップＳ１７の処理で算出された更新パラメータセットθ’（複数のパラメータｐ１’及びｐ２’）に更新する（ステップＳ１９）。具体的には、判定部２９は、最適化された複数のパラメータｐ１’及びｐ２’を、モデル２３２及び単調増加ニューラルネットワーク２５１に適用する。
　そして、このステップＳ１９の処理で更新された更新パラメータセットθ’（複数のパラメータｐ１’及びｐ２’）に基づいて、上記ステップＳ１３乃至ステップＳ１９の処理が実行される。これにより、ステップＳ１８の処理で第１条件が満たされると判定されるまで、更新パラメータセットθ’（複数のパラメータｐ１’及びｐ２’）の更新処理が繰り返される。
　第１条件が満たされた場合（ステップＳ１９；ＹＥＳ）、図４Ｂに示すように、判定部２９は、モデル２４２及び単調増加ニューラルネットワーク２６１に適用するパラメータを、上記ステップＳ１８の処理で最後に更新された更新パラメータセットθ’（複数のパラメータｐ１’及びｐ２’）に初期化する（ステップＳ２０）。
　特徴量抽出部２４１は、上記ステップＳ１１の処理で抽出されたクエリセットＱＳからクエリセットＱＳの個々のデータＸの特徴量ｘを抽出する（ステップＳ２１）。
　上記ステップＳ２０の処理で初期化された複数のパラメータｐ１’が適用されたモデル２４２は、ステップＳ２１の処理で抽出されたクエリセットＱＳの個々のデータＸの特徴量ｘを入力として、潜在表現ｚを算出する（ステップＳ２２）。
　上記ステップＳ２０の処理で初期化された複数のパラメータｐ２’が適用された単調増加ニューラルネットワーク２６１は、ステップＳ２２の処理で算出された潜在表現ｚ、及び時刻ｔによって規定される単調増加関数に従って、出力ｆ（ｅ，ｚ）及びｆ（０，ｚ）を算出する（ステップＳ２３）。
　累積ハザード関数算出部２６２は、ステップＳ２３の処理で算出された出力ｆ（ｅ，ｚ）及びｆ（０，ｚ）に基づいて、累積ハザード関数Ｈ（ｅ，ｚ）を算出する（ステップＳ２４）。
　自動微分部２６３は、ステップＳ２４の処理で算出された累積ハザード関数Ｈ（ｅ，ｚ）に基づいて、ハザード関数ｈ（ｅ，ｚ）を算出する（ステップＳ２５）。
　更新部２８は、上記ステップＳ１０の処理で初期化されたパラメータセットθ（複数のパラメータｐ１及びｐ２）、上記ステップＳ２４の処理で算出された累積ハザード関数Ｈ（ｅ，ｚ）及びステップＳ２５で算出されたハザード関数ｈ（ｅ，ｚ）に基づいて、更新パラメータセットθ（複数のパラメータｐ１及びｐ２）を算出する（ステップＳ２６）。具体的には、評価関数推定部２８１は、累積ハザード関数Ｈ（ｅ，ｚ）及びハザード関数ｈ（ｅ，ｚ）に基づいて、評価関数Ｌ（ＱＳ）を算出する。最適化部２８２は、誤差逆伝播法を用いて、評価関数Ｌ（ＱＳ）に基づく最適化された更新パラメータセットθ（複数のパラメータｐ１及びｐ２）を算出する。
　判定部３０は、更新パラメータセットθ（複数のパラメータｐ１及びｐ２）に基づいて、第２条件が満たされたか否かを判定する（ステップＳ２７）。ここでは、第２条件は、例えば、更新パラメータセットθが判定部３０に送信されたてきた回数が２回以上であることとする。
　更新パラメータセットθが判定部３０に送信されたてきたのが１回目である場合、判定部３０は、第２条件が満たされていないと判断する。このように第２条件が満たされていない場合（ステップＳ２７；ＮＯ）、判定部３０は、モデル２３２及び単調増加ニューラルネットワーク２５１に適用するパラメータを、上記パラメータセットθ’（複数のパラメータｐ１’及びｐ２’）から上記ステップＳ２６の処理で算出された更新パラメータセットθ（複数のパラメータｐ１及びｐ２）に更新する（ステップＳ２８）。具体的には、判定部３０は、最適化された複数のパラメータｐ１及びｐ２を、モデル２３２及び単調増加ニューラルネットワーク２５１に適用する。
　その後、このステップＳ２８の処理で更新された更新パラメータセットθ（複数のパラメータｐ１及びｐ２）に基づいて、上記ステップＳ１１乃至ステップＳ２６処理が実行される。これにより、再度、更新パラメータセットθ（複数のパラメータｐ１及びｐ２）が算出される。
　こうして、更新パラメータセットθ（複数のパラメータｐ１及びｐ２）が再び算出されて判定部３０に送信されたならば、更新パラメータセットθが判定部３０に送信されたてきた回数が２回となるので、上記ステップＳ２７の処理で、判定部３０は第２条件が満たされたと判定することとなる。このように第２条件が満たされた場合（ステップＳ２７；ＹＥＳ）、判定部３０は、上記ステップＳ２６で算出した更新パラメータセットθ（複数のパラメータｐ１及びｐ２）を、学習済みパラメータセットθ＊（複数のパラメータｐ１＊及びｐ２＊）として、学習済みパラメータ記憶部３１に記憶させる（ステップＳ２９）。
　ステップＳ２９の処理が終わると、生存分析装置１における学習動作は、終了となる（終了）。
　１．２．２　予測動作
　図５は、第１実施形態に係る情報処理装置としての生存分析装置１における予測動作の一例を示すフローチャートである。図５の例では、予め実行された学習動作によって、メモリ１１内の予測用データセット記憶部４０に予測用データセットＤk*が記憶されているものとする。また、図５の例では、メモリ１１内の予測対象データ記憶部４１に予測対象データＸk*が記憶されているものとする。
　図５に示すように、ユーザからの予測動作の開始指示に応じて（開始）、モデル３２２及び単調増加ニューラルネットワーク３４１に適用するパラメータが、学習済みパラメータ記憶部３１内に記憶さている学習済みパラメータセットθ＊（複数のパラメータｐ１＊及びｐ２＊）に初期化される（ステップＳ３０）。
　特徴量抽出部３２１は、予測用データセット記憶部４０に記憶されている予測用データセットＤk*から予測用データセットＤk*の個々のデータＸの特徴量ｘ＊を抽出する（ステップＳ３１）。
　上記ステップＳ３０の処理で初期化された複数のパラメータｐ１が適用されたモデル３２２は、ステップＳ３１の処理で抽出された特徴量ｘ＊を入力として、潜在表現ｚ＊を算出する（ステップＳ３２）。
　上記ステップＳ３０の処理で初期化された複数のパラメータｐ２が適用された単調増加ニューラルネットワーク３４１は、ステップＳ３２の処理で算出された潜在表現ｚ＊、及び時刻ｔによって規定される単調増加関数に従って、出力ｆ＊（ｅ，ｚ）及びｆ＊（０，ｚ）を算出する（ステップＳ３３）。
　累積ハザード関数算出部３４２は、ステップＳ３３の処理で算出された出力ｆ＊（ｅ，ｚ）及びｆ＊（０，ｚ）に基づいて、累積ハザード関数Ｈ＊（ｅ，ｚ）を算出する（ステップＳ３４）。
　自動微分部３４３は、ステップＳ３４の処理で算出された累積ハザード関数Ｈ＊（ｅ，ｚ）に基づいて、ハザード関数ｈ＊（ｅ，ｚ）を算出する（ステップＳ３５）。
　更新部３６は、上記ステップＳ３４の処理で算出された累積ハザード関数Ｈ＊（ｅ，ｚ）及びステップＳ３５で算出されたハザード関数ｈ＊（ｅ，ｚ）に基づいて、更新パラメータセットθ＊（複数のパラメータｐ１＊及びｐ２＊）を算出する（ステップＳ３６）。具体的には、評価関数推定部３６１は、累積ハザード関数Ｈ＊（ｅ，ｚ）及びハザード関数ｈ＊（ｅ，ｚ）に基づいて、評価関数Ｌ＊（Ｄ）を算出する。最適化部３６２は、誤差逆伝播法を用いて、評価関数Ｌ（Ｄ）に基づく最適化された複数のパラメータｐ１＊’及びｐ２＊’、すなわち更新パラメータセットθ＊’（複数のパラメータｐ１＊’及びｐ２＊’）を算出する。
　判定部３７は、更新パラメータセットθ＊’（複数のパラメータｐ１＊’及びｐ２＊’）に基づいて、第１条件が満たされたか否かを判定する（ステップＳ３７）。
　第１条件が満たされていない場合（ステップＳ３７；ＮＯ）、判定部３７は、モデル３２２及び単調増加ニューラルネットワーク３４１に適用するパラメータを、上記パラメータセットθ＊から上記ステップＳ３６の処理で算出された更新パラメータセットθ＊’（複数のパラメータｐ１＊’及びｐ２＊’）に更新する（ステップＳ３８）。具体的には、判定部３７は、最適化された複数のパラメータｐ１＊’及びｐ２＊’を、モデル３２２及び単調増加ニューラルネットワーク３４１に適用する。
　そして、このステップＳ３８の処理で更新された更新パラメータセットθ＊’（複数のパラメータｐ１＊’及びｐ２＊’）に基づいて、上記ステップＳ３３乃至ステップＳ３８の処理が実行される。これにより、ステップＳ３７の処理で第１条件が満たされると判定されるまで、更新パラメータセットθ＊’（複数のパラメータｐ１＊’及びｐ２＊’）の更新処理が繰り返される。
　第１条件が満たされた場合（ステップＳ３７；ＹＥＳ）、判定部３７は、モデル３３２及び単調増加ニューラルネットワーク３５１に適用するパラメータを、上記ステップＳ３６の処理で最後に更新された更新パラメータセットθ＊’（複数のパラメータｐ１＊’及びｐ２＊’）に初期化する（ステップＳ３９）。
　特徴量抽出部３３１は、予測対象データ記憶部４１に記憶された予測対象データＸk*から特徴量ｘ＊を抽出する（ステップＳ４０）。
　上記ステップＳ３９の処理で初期化された複数のパラメータｐ１＊’が適用されたモデル３３２は、ステップＳ４０の処理で抽出された特徴量ｘ＊を入力として、潜在表現ｚ＊を算出する（ステップＳ４１）。
　上記ステップＳ３９の処理で初期化された複数のパラメータｐ２＊’が適用された単調増加ニューラルネットワーク３５１は、ステップＳ４１の処理で算出された潜在表現ｚ＊、及び時刻ｔによって規定される単調増加関数に従って、出力ｆ＊（ｅ，ｚ）及びｆ＊（０，ｚ）を算出する（ステップＳ４２）。
　累積ハザード関数算出部３５２は、ステップＳ４２の処理で算出された出力ｆ＊（ｅ，ｚ）及びｆ＊（０，ｚ）に基づいて、累積ハザード関数Ｈ＊（ｅ，ｚ）を算出する（ステップＳ４３）。
　自動微分部３５３は、ステップＳ４２の処理で算出された累積ハザード関数Ｈ＊（ｅ，ｚ）に基づいて、ハザード関数ｈ＊（ｅ，ｚ）を算出する（ステップＳ４４）。
　変換部３８は、上記ステップＳ４３の処理で算出された累積ハザード関数Ｈ＊（ｅ，ｚ）に基づいて、生存関数Ｓ＊（ｅ，ｚ）を算出する（ステップＳ４５）。
　出力部３９は、上記ステップＳ４４の処理で算出されたハザード関数ｈ＊（ｔ，ｚ）をハザード関数ｈ＊（ｔ|ｘ）とし、上記ステップＳ４３の処理で算出された累積ハザード関数Ｈ＊（ｔ，ｚ）を累積ハザード関数Ｈ＊（ｔ|ｘ）とし、ステップＳ４５の処理で算出された生存関数Ｓ＊（ｔ，ｚ）を生存関数Ｓ＊（ｔ|ｘ）として、ユーザに出力する（ステップＳ４６）。
　ステップＳ４６の処理が終わると、生存分析装置１における予測動作は、終了となる（終了）。
　１．３　第１実施形態に係る効果
　第１実施形態によれば、単調増加ニューラルネットワーク３５１は、予測対象イベントに関する特徴量を含む処理対象データから、特徴量を表す潜在表現を算出する潜在表現算出部３３によって算出された潜在表現及び時刻によって規定される単調増加関数に従ってスカラ値を出力するように構成される。関数推定部３５の累積ハザード関数算出部３５２及び自動微分部３５３は、単調増加ニューラルネットワーク３５１から出力されたスカラ値に基づいて、ハザード関数を推定する。このように、単調増加ニューラルネットワーク３５１を用いてモデル化することにより近似による積分計算を回避することができる。よって、仮定無しに、予測対象データについてのハザード関数の算出が可能となる。
　また、第１実施形態によれば、潜在表現算出部３３及び単調増加ニューラルネットワーク３５１の複数のパラメータｐ１＊及びｐ２＊（パラメータセットθ＊）をＭＡＭＬによるメタ学習により学習する学習機能構成（学習用データセット記憶部２０～判定部２９）を更に備える。よって、予測したいイベントが発生した予測用データが十分に揃っていなくても、予測対象データについてのハザード関数の算出が可能となる。
　また、第１実施形態によれば、予測用データセット記憶部４０に記憶された、予測対象イベントに関する特徴量を含む複数の予測用データに基づいて、学習機能構成によって学習したパラメータを更新するパラメータ更新部として機能する、潜在表現算出部３２、関数推定部３４及び更新部３６を備える。よって、ＭＡＭＬによるメタ学習により学習したパラメータを、予測対象データに応じたパラメータに更新することで、より正確なハザード関数の算出が可能となる。
　なお、関数推定部３５の累積ハザード関数算出部３５２は、単調増加ニューラルネットワーク３５１から出力されたスカラ値に基づいて、累積ハザード関数を算出し、関数推定部３５の自動微分部３５３は、累積ハザード関数算出部３５２が算出した累積ハザード関数を自動微分することによりハザード関数を算出する。このようにして、単調増加関数に基づいてハザード関数を算出することができる。
　また、第１実施形態によれば、関数推定部３５の累積ハザード関数算出部３５２が算出した累積ハザード関数を生存関数に変換する変換部３８を更に備える。よって、生存関数についても算出することが可能である。このように、第１実施形態によれば、仮定無しに、予測対象データについてのハザード関数及び生存関数の少なくとも一方の算出が可能となる。
　２．　第２実施形態
　次に、第２実施形態に係る情報処理装置について説明する。
　第２実施形態に係る情報処理装置では、生存関数Ｓ（ｔ）をＳ（ｔ）＝１－σ（ｆ（ｔ，ｚ））と定義する。よって、累積ハザード関数Ｈ（ｔ）は、Ｈ（ｔ）＝－logＳ（ｔ）＝－log｛１－σ（ｆ（ｔ，ｚ））｝と定義される。ここで、σは、シグモイド関数等の値域が［０，１］で定義される単調増加で二階微分可能な関数である。ハザード関数ｈ（ｔ）は、生存関数Ｓ（ｔ）を自動微分することにより算出される。よって、第１実施形態のように累積ハザード関数を算出しなくても、ハザード関数及び生存関数を算出することができる。
　以下では、第２実施形態に係る情報処理装置の一例として、第１実施形態と同様、生存分析装置について説明する。以下では、第１実施形態と異なる構成及び動作について主に説明する。第１実施形態と同等の構成及び動作については、適宜説明を省略する。
　２．１　構成
　第２実施形態に係る情報処理装置としての生存分析装置１の構成について説明する。
　２．１．１　学習機能構成
　図６は、第２実施形態に係る情報処理装置としての生存分析装置１の学習機能の構成の一例を示すブロック図である。図６は、第１実施形態における図２に対応する。
　図６に示されるように、生存分析装置１は、データ分割部５１、初期化部５２、潜在表現算出部５３，５４、関数推定部５５，５６、更新部５７，５８、及び判定部５９，６０を備えるコンピュータとして機能する。また、生存分析装置１のメモリ１１は、学習動作に使用される情報を記憶するための、学習用データセット記憶部５０及び学習済みパラメータ記憶部６１として機能する。
　学習用データセット記憶部５０、データ分割部５１の構成は、第１実施形態の図２における学習用データセット記憶部２０及びデータ分割部２１の構成と同等である。すなわち、データ分割部５１は、学習用データセット記憶部５０からサポートセットＳＳ及びクエリセットＱＳを抽出する。
　初期化部５２の構成は、第１実施形態の図２における初期化部２２の構成と同等である。すなわち、初期化部５２は、予め決められた任意の規則Ｒに基づいてパラメータセットθ（複数のパラメータｐ１及びｐ２）を初期化する。初期化部５２は、初期化された複数のパラメータｐ１を潜在表現算出部５３に送信し、初期化された複数のパラメータｐ２を関数推定部５５に送信する。更に、初期化部５２は、初期化されたパラメータセットθ（複数のパラメータｐ１及びｐ２）を更新部５８に送信する。
　潜在表現算出部５３の構成は、第１実施形態の図２における潜在表現算出部２３の構成と同等であり、特徴量抽出部５３１及びモデル５３２を有する。すなわち、潜在表現算出部５３は、サポートセットＳＳに基づいて、サポートセットＳＳの個々のデータＸの特徴量ｘに対して潜在表現ｚを算出する。潜在表現算出部５３は、算出された潜在表現ｚを関数推定部５５に送信する。
　関数推定部５５は、潜在表現ｚ及び時刻ｔに基づき、生存関数Ｓ（ｔ，ｚ）及びハザード関数ｈ（ｔ，ｚ）を算出する。関数推定部５５は、算出された生存関数Ｓ（ｔ，ｚ）及びハザード関数ｈ（ｔ，ｚ）を更新部５７に送信する。具体的には、関数推定部５５は、単調増加ニューラルネットワーク５５１、生存関数算出部５５２、及び自動微分部５５３を含む。単調増加ニューラルネットワーク５５１及び自動微分部５５３の構成は、第１実施形態の図２における単調増加ニューラルネットワーク２５１及び自動微分部２５３の構成と同等である。
　複数のパラメータｐ２が適用された単調増加ニューラルネットワーク５５１は、潜在表現ｚ及び時刻ｔによって規定される単調増加関数に従って、出力ｆ（ｔ，ｚ）を算出する。単調増加ニューラルネットワーク５５１は、算出された出力ｆ（ｔ，ｚ）を生存関数算出部５５２に送信する。
　生存関数算出部５５２は、単調増加ニューラルネットワーク５５１からの出力ｆ（ｔ，ｚ）に基づいて生存関数Ｓ（ｔ，ｚ）を算出する。生存関数算出部５５２は、算出された生存関数Ｓ（ｔ，ｚ）を自動微分部５５３に送信する。また、生存関数算出部５５２は、算出された生存関数Ｓ（ｔ，ｚ）を更新部５７に送信する。
　自動微分部５５３は、生存関数Ｓ（ｔ，ｚ）を自動微分することにより、ハザード関数ｈ（ｔ，ｚ）を算出する。自動微分部５５３は、算出されたハザード関数ｈ（ｔ，ｚ）を更新部５７に送信する。
　更新部５７は、生存関数Ｓ（ｔ，ｚ）及びハザード関数ｈ（ｔ，ｚ）に基づいて、更新パラメータセットθ’（複数のパラメータｐ１’及びｐ２’）を算出する。更新部５７は、更新パラメータセットθ’（複数のパラメータｐ１’及びｐ２’）を判定部５９に送信する。
　具体的には、更新部５７は、評価関数推定部５７１、及び最適化部５７２を含む。　
　評価関数推定部５７１の構成は、累積ハザード関数Ｈ（ｔ，ｚ）に代えて生存関数Ｓ（ｔ，ｚ）を使用する点を除いて、第１実施形態の図２における評価関数推定部２７１の構成と同等である。評価関数推定部５７１は、生存関数Ｓ（ｔ，ｚ）及びハザード関数ｈ（ｔ，ｚ）に基づいて、評価関数Ｌ（ＳＳ）を算出する。評価関数推定部５７１は、算出された評価関数Ｌ（ＳＳ）を最適化部５７２に送信する。
　最適化部５７２は、評価関数Ｌ（ＳＳ）に基づいて、パラメータセットθすなわち複数のパラメータｐ１及びｐ２を最適化する。最適化には、例えば、誤差逆伝播法が用いられる。最適化部５７２は、この最適化されたパラメータセットθ（複数のパラメータｐ１及びｐ２）を、更新パラメータセットθ’（複数のパラメータｐ１’及びｐ２’）として、判定部５９に送信する。
　判定部５９は、第１実施形態の図２における判定部２９と同等である。すなわち、判定部５９は、更新パラメータセットθ’（複数のパラメータｐ１’及びｐ２’）に基づいて、第１条件が満たされたか否かを判定する。第１条件が満たされない場合、判定部５９は、潜在表現算出部５３、関数推定部５５及び更新部５７によるパラメータの更新ループを繰り返し実行させる。第１条件が満たされた場合、判定部５９は、パラメータの更新ループを終了させると共に、最後に更新された更新パラメータセットθ’（複数のパラメータｐ１’及びｐ２’）を潜在表現算出部５４及び関数推定部５６に送信する。言い換えると、判定部５９は、潜在表現算出部５４及び関数推定部５６に適用されるパラメータを、この更新パラメータセットθ’（複数のパラメータｐ１’及びｐ２’）に初期化する。
　潜在表現算出部５４の構成は、第１実施形態の図２における潜在表現算出部２４の構成と同等であり、特徴量抽出部５４１及びモデル５４２を有する。すなわち、潜在表現算出部５４は、クエリセットＱＳに基づいて、クエリセットＱＳの個々のデータＸの特徴量ｘに対して潜在表現ｚを算出する。潜在表現算出部５４は、算出された潜在表現ｚを関数推定部５６に送信する。
　関数推定部５６は、関数推定部５５と同様に、潜在表現ｚ及び予測時刻ｔに基づき、生存関数Ｓ（ｔ，ｚ）及びハザード関数ｈ（ｔ，ｚ）を算出する。関数推定部５６は、算出された生存関数Ｓ（ｔ，ｚ）及びハザード関数ｈ（ｔ，ｚ）を更新部５８に送信する。
　具体的には、関数推定部５６は、関数推定部５５と同様に、単調増加ニューラルネットワーク５６１、生存関数算出部５６２、及び自動微分部５６３を含む。単調増加ニューラルネットワーク５５１及び自動微分部５５３の構成は、第１実施形態の図２における単調増加ニューラルネットワーク２６１及び自動微分部２６３の構成と同等である。
　複数のパラメータｐ２’が適用された単調増加ニューラルネットワーク５６１は、潜在表現ｚ及び時刻ｔによって規定される単調増加関数に従って、出力ｆ（ｔ，ｚ）を算出する。単調増加ニューラルネットワーク５６１は、出力ｆ（ｔ，ｚ）を生存関数算出部５６２に送信する。
　生存関数算出部５６２は、生存関数算出部５５２と同様のものであり、単調増加ニューラルネットワーク５６１からの出力ｆ（ｔ，ｚ）に基づいて生存関数Ｓ（ｔ，ｚ）を算出する。生存関数算出部５６２は、算出された生存関数Ｓ（ｔ，ｚ）を、自動微分部５６３及び更新部５８に送信する。
　自動微分部５６３は、自動微分部５５３と同様のものであり、生存関数Ｓ（ｔ，ｚ）を自動微分することにより、ハザード関数ｈ（ｔ，ｚ）を算出する。自動微分部５６３は、算出されたハザード関数ｈ（ｔ，ｚ）を更新部５８に送信する。
　更新部５８は、生存関数Ｓ（ｔ，ｚ）及びハザード関数ｈ（ｔ，ｚ）に基づいて、初期化部５２からのパラメータセットθ（複数のパラメータｐ１及びｐ２）を更新し、判定部３０に送信する。
　具体的には、更新部５８は、評価関数推定部５８１、及び最適化部５８２を含む。　
　評価関数推定部５８１は、累積ハザード関数Ｈ（ｔ，ｚ）に代えて生存関数Ｓ（ｔ，ｚ）を使用する点を除いて、第１実施形態の図２における評価関数推定部２８１の構成と同等である。評価関数推定部５８１は、生存関数Ｓ（ｔ，ｚ）及びハザード関数ｈ（ｔ，ｚ）に基づいて、評価関数Ｌ（ＱＳ）を算出する。評価関数推定部５８１は、算出された評価関数Ｌ（ＱＳ）を最適化部５８２に送信する。
　最適化部５８２は、評価関数Ｌ（ＱＳ）に基づいて、パラメータセットθすなわち複数のパラメータｐ１及びｐ２を最適化する。最適化には、例えば、誤差逆伝播法が用いられる。より具体的には、最適化部５８２は、パラメータセットθ（複数のパラメータｐ１及びｐ２）を用いて評価関数Ｌ２（ＱＳ）のパラメータセットθ（複数のパラメータｐ１及びｐ２）に関する二階微分を算出し、パラメータセットθ（複数のパラメータｐ１及びｐ２）を最適化する。最適化部５８２は、この最適化されたパラメータセットθ（複数のパラメータｐ１及びｐ２）を、更新パラメータセットθ（複数のパラメータｐ１及びｐ２）として、判定部６０に送信する。
　判定部６０は、第１実施形態の図２における判定部３０と同等である。すなわち、判定部６０は、更新パラメータセットθ（複数のパラメータｐ１及びｐ２）に基づいて、第２条件が満たされたか否かを判定する。
　第２条件が満たされない場合、判定部６０は、更新パラメータセットθ（複数のパラメータｐ１及びｐ２）を、最適化部５８２に送信する共に、モデル５３２及び単調増加ニューラルネットワーク５５１に適用する。これにより、判定部６０は、潜在表現算出部５３，５４、関数推定部５５，５６、更新部５７，５８及び判定部５９に、この更新パラメータセットθに基づくパラメータの更新動作を行わせる。言い換えると、第２条件が満たされない場合、判定部６０は、潜在表現算出部５３，５４、関数推定部５５，５６、更新部５７，５８及び判定部５９によるパラメータの更新ループを再度、実行させる。
　また、第２条件が満たされた場合、判定部６０は、更新パラメータセットθ（複数のパラメータｐ１及びｐ２）を、学習済みパラメータセットθ＊（複数のパラメータｐ１＊及びｐ２＊）として、学習済みパラメータ記憶部６１に記憶させる。
　以上のような構成により、生存分析装置１は、学習用データセット記憶部５０に記憶された学習用データセットＤkに基づいて、学習済みパラメータ記憶部６１に学習済みパラメータセットθ＊（複数のパラメータｐ１＊及びｐ２＊）を記憶させる機能を有する。
　２．１．２　予測機能構成
　図７は、第２実施形態に係る情報処理装置としての生存分析装置１の予測機能の構成の一例を示すブロック図である。図７は、第１実施形態における図３に対応する。
　図７に示されるように、生存分析装置１は、潜在表現算出部６２，６３、関数推定部６４，６５、更新部６６、判定部６７、及び出力部６８を備えるコンピュータとして更に機能する。また、生存分析装置１のメモリ１１は、予測動作に使用される情報を記憶するための、予測用データセット記憶部６９及び予測対象データ記憶部７０として更に機能する。なお、図７では、モデル６２２及び単調増加ニューラルネットワーク６４１にそれぞれ学習済みパラメータ記憶部６１から複数のパラメータｐ１＊及びｐ２＊が適用されている場合が示される。
　予測用データセット記憶部６９及び予測対象データ記憶部７０の構成は、第１実施形態の図３における予測用データセット記憶部４０及び予測対象データ記憶部４１の構成と同等である。
　潜在表現算出部６２の構成は、第１実施形態の図３における潜在表現算出部３２の構成と同等であり、特徴量抽出部６２１及びモデル６２２を有する。すなわち、潜在表現算出部６２は、予測用データセット記憶部６９内の予測用データセットＤk*に基づいて、予測用データセットＤk*の個々のデータＸの特徴量ｘに対して潜在表現ｚを算出する。潜在表現算出部６２は、算出された潜在表現ｚを関数推定部６４内の単調増加ニューラルネットワーク６４１に送信する。
　関数推定部６４は、関数推定部５５と同様に、潜在表現ｚ＊及び予測時刻ｔに基づき、生存関数Ｓ＊（ｔ，ｚ）及びハザード関数ｈ＊（ｔ，ｚ）を算出する。関数推定部６４は、算出された生存関数Ｓ＊（ｔ，ｚ）及びハザード関数ｈ＊（ｔ，ｚ）を更新部６６に送信する。
　具体的には、関数推定部６４は、関数推定部５５と同様に、単調増加ニューラルネットワーク６４１、生存関数算出部６４２、及び自動微分部６４３を含む。単調増加ニューラルネットワーク６４１及び自動微分部６４３の構成は、第１実施形態の図３における単調増加ニューラルネットワーク３４１及び自動微分部３４３の構成と同等である。
　複数のパラメータｐ２＊が適用された単調増加ニューラルネットワーク６４１は、潜在表現ｚ＊及び時刻ｔによって規定される単調増加関数に従って、出力ｆ＊（ｚ，ｔ）を算出する。単調増加ニューラルネットワーク６４１は、算出された出力ｆ＊（ｚ，ｔ）を生存関数算出部６４２に送信する。
　生存関数算出部６４２は、生存関数算出部５５２と同様のものであり、単調増加ニューラルネットワーク６４１からの出力ｆ＊（ｔ，ｚ）に基づいて生存関数Ｓ＊（ｔ，ｚ）を算出する。生存関数算出部６４２は、算出された生存関数Ｓ＊（ｔ，ｚ）を自動微分部６４３に送信する。また、生存関数算出部６４２は、算出された生存関数Ｓ＊（ｔ，ｚ）を更新部６６に送信する。
　自動微分部６４３は、自動微分部５５３と同様のものであり、生存関数Ｓ＊（ｔ，ｚ）を自動微分することにより、ハザード関数ｈ＊（ｔ，ｚ）を算出する。自動微分部６４３は、算出されたハザード関数ｈ＊（ｔ，ｚ）を更新部６６に送信する。
　更新部６６は、生存関数Ｓ＊（ｔ，ｚ）及びハザード関数ｈ＊（ｔ，ｚ）に基づいて、更新パラメータセットθ＊’（複数のパラメータｐ１＊’及びｐ２＊’）を算出する。更新部６６は、この更新パラメータセットθ＊’（複数のパラメータｐ１＊’及びｐ２＊’）を、判定部６７に送信する。
　具体的には、更新部６６は、更新部５７と同様のものであり、評価関数推定部６６１、及び最適化部６６２を含む。　
　評価関数推定部６６１は、評価関数推定部５７１と同様のものであり、生存関数Ｓ＊（ｔ，ｚ）及びハザード関数ｈ＊（ｔ，ｚ）に基づいて、評価関数Ｌ＊（Ｄ）を算出する。評価関数推定部６６１は、算出された評価関数Ｌ＊（Ｄ）を最適化部６６２に送信する。
　最適化部６６２は、最適化部５７２と同様のものであり、評価関数Ｌ＊（Ｄ）に基づいて、パラメータセットθ＊すなわち複数のパラメータｐ１＊及びｐ２＊を最適化する。最適化には、例えば、誤差逆伝播法が用いられる。最適化部６６２は、この最適化されたパラメータセットθ＊（複数のパラメータｐ１＊及びｐ２＊）を、更新パラメータセットθ＊’（複数のパラメータｐ１＊’及びｐ２＊’）として、判定部６７に送信する。
　判定部６７は、判定部５９と同様に、更新パラメータセットθ＊’（複数のパラメータｐ１＊’及びｐ２＊’）に基づいて、第１条件が満たされたか否かを判定する。第１条件が満たされない場合、判定部６７は、更新パラメータセットθ＊’（複数のパラメータｐ１＊’及びｐ２＊’）を、モデル６２２及び単調増加ニューラルネットワーク６４１に適用する。すなわち、第１条件が満たされない場合、判定部６７は、潜在表現算出部６２、関数推定部６４及び更新部６６によるパラメータの更新ループを繰り返し実行させる。そして、第１条件が満たされた場合、判定部６７は、パラメータの更新ループを終了させると共に、最後に更新パラメータセットθ＊’（複数のパラメータｐ１＊’及びｐ２＊’）を潜在表現算出部６３及び関数推定部６５に送信する。言い換えると、判定部６７は、潜在表現算出部６３及び関数推定部６５に適用されるパラメータを、この更新パラメータセットθ＊’（複数のパラメータｐ１＊’及びｐ２＊’）に初期化する。
　潜在表現算出部６３の構成は、第１実施形態の図３における潜在表現算出部３３の構成と同等であり、特徴量抽出部６３１及びモデル６３２を有する。すなわち、潜在表現算出部６３は、例えばユーザインタフェース１３によりユーザから入力されて予測対象データ記憶部７０に記憶された予測対象データＸk*に基づいて、潜在表現ｚを算出する。潜在表現算出部６３は、算出された潜在表現ｚ＊を関数推定部６５に送信する。
　関数推定部６５は、関数推定部５６と同様のものであり、潜在表現ｚ＊及び予測時刻ｔに基づき、生存関数Ｓ＊（ｔ，ｚ）及びハザード関数ｈ＊（ｔ，ｚ）を算出する。関数推定部６５は、算出された生存関数Ｓ＊（ｔ，ｚ）及びハザード関数ｈ＊（ｔ，ｚ）を出力部６８に送信する。
　具体的には、関数推定部６５は、関数推定部５６と同様に、単調増加ニューラルネットワーク６５１、生存関数算出部６５２、及び自動微分部６５３を含む。単調増加ニューラルネットワーク６５１及び自動微分部６５３の構成は、第１実施形態の図３における単調増加ニューラルネットワーク３５１及び自動微分部３５３の構成と同等である。
　複数のパラメータｐ２＊’が適用された単調増加ニューラルネットワーク６５１は、潜在表現ｚ＊及び時刻ｔによって規定される単調増加関数に従って、出力ｆ＊（ｔ，ｚ）を算出する。単調増加ニューラルネットワーク６５１は、出力ｆ＊（ｔ，ｚ）を生存関数算出部６５２に送信する。
　生存関数算出部６５２は、生存関数算出部５６２と同様のものであり、単調増加ニューラルネットワーク６５１からの出力ｆ＊（ｔ，ｚ）に基づいて生存関数Ｓ＊（ｔ，ｚ）を算出する。生存関数算出部６５２は、算出された生存関数Ｓ＊（ｔ，ｚ）を、自動微分部６５３及び出力部６８に送信する。
　自動微分部６５３は、自動微分部５６３と同様のものであり、生存関数Ｓ＊（ｔ，ｚ）を自動微分することにより、ハザード関数ｈ＊（ｔ，ｚ）を算出する。自動微分部６５３は、算出されたハザード関数ｈ＊（ｔ，ｚ）を出力部６８に送信する。
　出力部６８は、自動微分部６５３から送信されてきたハザード関数ｈ＊（ｔ，ｚ）をハザード関数ｈ＊（ｔ|ｘ）とし、また、生存関数算出部６５２から送信されてきた生存関数Ｓ＊（ｔ，ｚ）を生存関数Ｓ＊（ｔ|ｘ）として、それぞれユーザに出力する。
　以上のような構成により、生存分析装置１は、予測用データセット記憶部６９に記憶された予測用データセットＤk*に基づいて、予測対象データ記憶部７０に記憶された予測対象データＸk*についてのハザード関数ｈ＊（ｔ|ｘ）及び生存関数Ｓ＊（ｔ|ｘ）を算出する機能を有する。
　２．２　動作
　次に、第２実施形態に係る情報処理装置としての生存分析装置１の動作について説明する。
　２．２．１　学習動作
　図８Ａ及び図８Ｂは、第２実施形態に係る情報処理装置としての生存分析装置１における学習動作の一例を示す一連のフローチャートである。図８Ａ及び図８Ｂは、第１実施形態における図４Ａ及び図４Ｂに対応する。図８Ａ及び図８Ｂの例では、予めメモリ１１内の学習用データセット記憶部５０に学習用データセットＤkが記憶されているものとする。
　図８Ａに示すように、ユーザからの学習動作の開始指示に応じて（開始）、ステップＳ５０乃至ステップＳ５３の処理が実行される。これらステップＳ５０乃至ステップＳ５３の処理は、第１実施形態の図４ＡにおけるステップＳ１０乃至ステップＳ１３の処理と同等である。すなわち、初期化部５２は、任意の規則Ｒに基づいて、パラメータセットθ（複数のパラメータｐ１及びｐ２）を初期化する（ステップＳ５０）。データ分割部５１は、学習用データセット記憶部５０に記憶された学習用データセットＤkからランダムにタスクｋの学習対象データセットを抽出し、抽出された学習対象データセットからサポートセットＳＳ及びクエリセットＱＳを更に抽出する（ステップＳ５１）。特徴量抽出部５３１は、ステップＳ５１の処理で抽出されたサポートセットＳＳからサポートセットＳＳの個々のデータＸの特徴量ｘを抽出する（ステップＳ５２）。上記ステップＳ５０の処理で初期化された複数のパラメータｐ１が適用されたモデル５３２は、ステップＳ５２の処理で抽出されたサポートセットＳＳの個々のデータＸの特徴量ｘを入力として、潜在表現ｚを算出する（ステップＳ５３）。
　上記ステップＳ５０の処理で初期化された複数のパラメータｐ２が適用された単調増加ニューラルネットワーク５５１は、ステップＳ５３の処理で算出された潜在表現ｚ、及び時刻ｔによって規定される単調増加関数に従って、出力ｆ（ｔ，ｚ）を算出する（ステップＳ５４）。
　生存関数算出部５５２は、ステップＳ５４の処理で算出された出力ｆ（ｔ，ｚ）に基づいて、生存関数Ｓ（ｔ，ｚ）を算出する（ステップＳ５５）。
　自動微分部５５３は、ステップＳ５５の処理で算出された生存関数Ｓ（ｔ，ｚ）に基づいて、ハザード関数ｈ（ｅ，ｚ）を算出する（ステップＳ５６）。
　更新部５７は、上記ステップＳ５５の処理で算出された生存関数Ｓ（ｔ，ｚ）及びステップＳ５６で算出されたハザード関数ｈ（ｔ，ｚ）に基づいて、更新パラメータセットθ’（複数のパラメータｐ１’及びｐ２’）を算出する（ステップＳ５７）。具体的には、評価関数推定部５７１は、生存関数Ｓ（ｔ，ｚ）及びハザード関数ｈ（ｔ，ｚ）に基づいて、評価関数Ｌ（ＳＳ）を算出する。最適化部５７２は、誤差逆伝播法を用いて、評価関数Ｌ（ＳＳ）に基づく最適化された複数のパラメータｐ１’及びｐ２’ 、すなわち更新パラメータセットθ’（複数のパラメータｐ１’及びｐ２’）を算出する。
　その後、ステップＳ５８乃至ステップＳ６２の処理が実行される。これらステップＳ５８乃至ステップＳ６２の処理は、第１実施形態の図４Ａ及び図４ＢにおけるステップＳ１８乃至ステップＳ２２の処理と同等である。すなわち、判定部５９は、更新パラメータセットθ’（複数のパラメータｐ１’及びｐ２’）に基づいて、第１条件が満たされたか否かを判定する（ステップＳ５８）。第１条件が満たされていない場合（ステップＳ５８；ＮＯ）、判定部５９は、モデル５３２及び単調増加ニューラルネットワーク５５１に適用するパラメータを、上記パラメータセットθから上記ステップＳ５７の処理で算出された更新パラメータセットθ’（複数のパラメータｐ１’及びｐ２’）に更新する（ステップＳ５９）。具体的には、判定部５９は、最適化された複数のパラメータｐ１’及びｐ２’を、モデル５３２及び単調増加ニューラルネットワーク５５１に適用する。そして、このステップＳ５９の処理で更新された更新パラメータセットθ’（複数のパラメータｐ１’及びｐ２’）に基づいて、上記ステップＳ５３乃至ステップＳ５９の処理が実行される。これにより、ステップＳ５８の第１処理で条件が満たされると判定されるまで、更新パラメータセットθ’（複数のパラメータｐ１’及びｐ２’）の更新処理が繰り返される。
　第１条件が満たされた場合（ステップＳ５８；ＹＥＳ）、図８Ｂに示すように、判定部５９は、モデル５４２及び単調増加ニューラルネットワーク５６１に適用するパラメータを、上記ステップＳ５７の処理で最後に更新された更新パラメータセットθ’（複数のパラメータｐ１’及びｐ２’）に初期化する（ステップＳ６０）。特徴量抽出部５４１は、上記ステップＳ５１の処理で抽出されたクエリセットＱＳからクエリセットＱＳの個々のデータＸの特徴量ｘを抽出する（ステップＳ６１）。上記ステップＳ６０の処理で初期化された複数のパラメータｐ１’が適用されたモデル５４２は、ステップＳ４１の処理で抽出されたクエリセットＱＳの個々のデータＸの特徴量ｘを入力として、潜在表現ｚを算出する（ステップＳ６２）。
　上記ステップＳ６０の処理で初期化された複数のパラメータｐ２’が適用された単調増加ニューラルネットワーク５６１は、ステップＳ６２の処理で算出された潜在表現ｚ、及び時刻ｔによって規定される単調増加関数に従って、出力ｆ（ｔ，ｚ）を算出する（ステップＳ２３）。
　生存関数算出部５６２は、ステップＳ６３の処理で算出された出力ｆ（ｔ，ｚ）に基づいて、生存関数Ｓ（ｔ，ｚ）を算出する（ステップＳ６４）。
　自動微分部５６３は、ステップＳ６４の処理で算出された生存関数Ｓ（ｔ，ｚ）に基づいて、ハザード関数ｈ（ｔ，ｚ）を算出する（ステップＳ６５）。
　更新部５８は、上記ステップＳ５０の処理で初期化されたパラメータセットθ（複数のパラメータｐ１及びｐ２）、上記ステップＳ６４の処理で算出された生存関数Ｓ（ｔ，ｚ）及びステップＳ６５で算出されたハザード関数ｈ（ｔ，ｚ）に基づいて、更新パラメータセットθ（複数のパラメータｐ１及びｐ２）を算出する（ステップＳ６６）。具体的には、評価関数推定部５８１は、生存関数Ｓ（ｔ，ｚ）及びハザード関数ｈ（ｔ，ｚ）に基づいて、評価関数Ｌ（ＱＳ）を算出する。最適化部５８２は、誤差逆伝播法を用いて、評価関数Ｌ（ＱＳ）に基づく最適化された更新パラメータセットθ（複数のパラメータｐ１及びｐ２）を算出する。
　その後、ステップＳ６７乃至ステップＳ６９の処理が実行される。これらステップＳ６７乃至ステップＳ６９の処理は、第１実施形態の図４Ａ及び図４ＢにおけるステップＳ１８乃至ステップＳ２２の処理と同等である。すなわち、判定部６０は、更新パラメータセットθ（複数のパラメータｐ１及びｐ２）に基づいて、第２条件が満たされたか否かを判定する（ステップＳ６７）。第２条件が満たされていない場合（ステップＳ６７；ＮＯ）、判定部６０は、モデル２３２及び単調増加ニューラルネットワーク２５１に適用するパラメータを、上記パラメータセットθ’（複数のパラメータｐ１’及びｐ２’）から上記ステップＳ２６の処理で算出された更新パラメータセットθ（複数のパラメータｐ１及びｐ２）に更新する（ステップＳ６８）。具体的には、判定部６０は、最適化された複数のパラメータｐ１及びｐ２を、モデル５３２及び単調増加ニューラルネットワーク５５１に適用する。その後、このステップＳ６８の処理で更新された更新パラメータセットθ（複数のパラメータｐ１及びｐ２）に基づいて、上記ステップＳ５１乃至ステップＳ６６の処理が実行される。これにより、再度、更新パラメータセットθ（複数のパラメータｐ１及びｐ２）が算出される。
　こうして、更新パラメータセットθ（複数のパラメータｐ１及びｐ２）が再び算出されたならば、上記ステップＳ６７の処理で第２条件が満たされると判定されることとなる。よって、この場合（ステップＳ６７；ＹＥＳ）、判定部３０は、上記ステップＳ６６で算出した更新パラメータセットθ（複数のパラメータｐ１及びｐ２）を、学習済みパラメータセットθ＊（複数のパラメータｐ１＊及びｐ２＊）として、学習済みパラメータ記憶部６１に記憶させる（ステップＳ６９）。
　ステップＳ６９の処理が終わると、生存分析装置１における学習動作は、終了となる（終了）。
　２．２．２　予測動作
　図９は、第２実施形態に係る情報処理装置としての生存分析装置１における予測動作の一例を示すフローチャートである。図９は、第１実施形態における図５に対応する。図９の例では、予め実行された学習動作によって、メモリ１１内の予測用データセット記憶部６９に予測用データセットＤk*が記憶されているものとする。また、図９の例では、メモリ１１内の予測対象データ記憶部７０に予測対象データＸk*が記憶されているものとする。
　図９に示すように、ユーザからの予測動作の開始指示に応じて（開始）、ステップＳ７０乃至ステップＳ７２の処理が実行される。これらステップＳ７０乃至ステップＳ７２の処理は、第１実施形態の図５におけるステップＳ３０乃至ステップＳ３２の処理と同等である。すなわち、モデル６２２及び単調増加ニューラルネットワーク６４１に適用するパラメータが、学習済みパラメータ記憶部６１内に記憶さている学習済みパラメータセットθ＊（複数のパラメータｐ１＊及びｐ２＊）に初期化される（ステップＳ７０）。特徴量抽出部６２１は、予測用データセット記憶部６９に記憶されている予測用データセットＤk*から予測用データセットＤk*の個々のデータＸの特徴量ｘ＊を抽出する（ステップＳ７１）。上記ステップＳ７０の処理で初期化された複数のパラメータｐ１が適用されたモデル６２２は、ステップＳ７１の処理で抽出された特徴量ｘ＊を入力として、潜在表現ｚ＊を算出する（ステップＳ７２）。
　上記ステップＳ７０の処理で初期化された複数のパラメータｐ２が適用された単調増加ニューラルネットワーク６４１は、ステップＳ７２の処理で算出された潜在表現ｚ＊、及び時刻ｔによって規定される単調増加関数に従って、出力ｆ＊（ｔ，ｚ）を算出する（ステップＳ７３）。
　生存関数算出部６４２は、ステップＳ７３の処理で算出された出力ｆ＊（ｔ，ｚ）に基づいて、生存関数Ｓ＊（ｔ，ｚ）を算出する（ステップＳ７４）。
　自動微分部６４３は、ステップＳ７４の処理で算出された生存関数Ｓ＊（ｔ，ｚ）に基づいて、ハザード関数ｈ＊（ｔ，ｚ）を算出する（ステップＳ７５）。
　更新部６６は、上記ステップＳ７４の処理で算出された生存関数Ｓ＊（ｔ，ｚ）及びステップＳ７５で算出されたハザード関数ｈ＊（ｔ，ｚ）に基づいて、更新パラメータセットθ＊（複数のパラメータｐ１＊及びｐ２＊）を算出する（ステップＳ７６）。具体的には、評価関数推定部６６１は、生存関数Ｓ＊（ｔ，ｚ）及びハザード関数ｈ＊（ｔ，ｚ）に基づいて、評価関数Ｌ＊（Ｄ）を算出する。最適化部６６２は、誤差逆伝播法を用いて、評価関数Ｌ（Ｄ）に基づく最適化された複数のパラメータｐ１＊及びｐ２＊’、すなわち更新パラメータセットθ＊’（複数のパラメータｐ１＊’及びｐ２＊’）を算出する。
　その後、ステップＳ７７乃至ステップＳ８１の処理が実行される。これらステップＳ７７乃至ステップＳ８１の処理は、第１実施形態の図５におけるステップＳ３７乃至ステップＳ４１の処理と同等である。すなわち、判定部３７は、更新パラメータセットθ＊’（複数のパラメータｐ１＊’及びｐ２＊’）に基づいて、第１条件が満たされたか否かを判定する（ステップＳ７７）。第１条件が満たされていない場合（ステップＳ７７；ＮＯ）、判定部６７は、モデル６２２及び単調増加ニューラルネットワーク６４１に適用するパラメータを、上記パラメータセットθ＊から上記ステップＳ７６の処理で算出された更新パラメータセットθ＊’（複数のパラメータｐ１＊’及びｐ２＊’）に更新する（ステップＳ７８）。具体的には、判定部６７は、最適化された複数のパラメータｐ１＊’及びｐ２＊’を、モデル６２２及び単調増加ニューラルネットワーク６４１に適用する。そして、このステップＳ７８の処理で更新された更新パラメータセットθ＊’（複数のパラメータｐ１＊’及びｐ２＊’）に基づいて、上記ステップＳ７３乃至ステップＳ７８の処理が実行される。これにより、ステップＳ７７の処理で第１条件が満たされると判定されるまで、更新パラメータセットθ＊’（複数のパラメータｐ１＊’及びｐ２＊’）の更新処理が繰り返される。
　第１条件が満たされた場合（ステップＳ７７；ＹＥＳ）、判定部６７は、モデル６３２及び単調増加ニューラルネットワーク６５１に適用するパラメータを、ステップＳ７６の処理で最後に更新された更新パラメータセットθ＊’（複数のパラメータｐ１＊’及びｐ２＊’）に初期化する（ステップＳ７９）。特徴量抽出部６３１は、予測対象データ記憶部７０に記憶された予測対象データＸk*から特徴量ｘ＊を抽出する（ステップＳ８０）。上記ステップＳ７９の処理で初期化された複数のパラメータｐ１＊’が適用されたモデル６３２は、ステップＳ７８の処理で抽出された特徴量ｘ＊を入力として、潜在表現ｚ＊を算出する（ステップＳ８１）。
　上記ステップＳ７９の処理で初期化された複数のパラメータｐ２＊’が適用された単調増加ニューラルネットワーク６５１は、ステップＳ８１の処理で算出された潜在表現ｚ＊、及び時刻ｔによって規定される単調増加関数に従って、出力ｆ＊（ｔ，ｚ）を算出する（ステップＳ８２）。
　生存関数算出部６５２は、ステップＳ８２の処理で算出された出力ｆ＊（ｔ，ｚ）に基づいて、生存関数Ｓ＊（ｔ，ｚ）を算出する（ステップＳ８３）。
　自動微分部６５３は、ステップＳ８３の処理で算出された生存関数Ｓ＊（ｔ，ｚ）に基づいて、ハザード関数ｈ＊（ｔ，ｚ）を算出する（ステップＳ８４）。
　出力部６８は、ステップＳ８４の処理で算出されたハザード関数ｈ＊（ｔ，ｚ）をハザード関数ｈ＊（ｔ|ｘ）とし、上記ステップＳ８３の処理で算出された生存関数Ｓ＊（ｔ，ｚ）を生存関数Ｓ＊（ｔ|ｘ）として、ユーザに出力する（ステップＳ８５）。
　ステップＳ８５の処理が終わると、生存分析装置１における予測動作は、終了となる（終了）。
　２．３　第２実施形態に係る効果
　第２実施形態によれば、単調増加ニューラルネットワーク６５１は、予測対象イベントに関する特徴量を含む処理対象データから、特徴量を表す潜在表現を算出する潜在表現算出部６３によって算出された潜在表現及び時刻によって規定される単調増加関数を出力として算出するように構成される。関数推定部６５の生存関数算出部６５２及び自動微分部６５３は、単調増加ニューラルネットワーク６５１から出力された単調増加関数に基づいて、生存関数及びハザード関数を推定する。このように、単調増加ニューラルネットワーク６５１を用いてモデル化することにより近似による積分計算を回避することができる。よって、仮定無しに、予測対象データについてのハザード関数及び生存関数の算出が可能となる。
　また、第２実施形態によれば、潜在表現算出部６３及び単調増加ニューラルネットワーク６５１の複数のパラメータｐ１＊及びｐ２＊（パラメータセットθ＊）をＭＡＭＬによるメタ学習により学習する学習機能構成（学習用データセット記憶部５０～判定部６０）を更に備える。よって、予測したいイベントが発生した予測用データが十分に揃っていなくても、予測対象データについてのハザード関数及び生存関数の算出が可能となる。
　また、第２実施形態によれば、予測用データセット記憶部６９に記憶された、予測対象イベントに関する特徴量を含む複数の予測用データに基づいて、学習機能構成によって学習したパラメータを更新するパラメータ更新部として機能する、潜在表現算出部６２、関数推定部６４及び更新部６６を備える。よって、ＭＡＭＬによるメタ学習により学習したパラメータを、予測対象データに応じたパラメータに更新することで、より正確なハザード関数及び生存関数の算出が可能となる。
　なお、関数推定部６５の生存関数算出部６５２は、単調増加ニューラルネットワーク６５１から出力されたスカラ値に基づいて生存関数を算出し、関数推定部６５の自動微分部６５３は、生存関数算出部６５２が算出した生存関数を自動微分することによりハザード関数を算出する。このようにして、単調増加ニューラルネットワーク６５１から出力されたスカラ値に基づいてハザード関数及び生存関数を算出することができる。また、生存関数Ｓ（ｔ）は０≦Ｓ（ｔ）≦１であるので、累積ハザード関数とは異なりスケールの調整が不要である。よって、学習構成が第１実施形態よりも容易になることが期待できる。
　３．　変形例
　上述した第１及び第２実施形態には、種々の変形を適用され得る。　
　例えば、特徴量ｘが時系列データ（ｘ０，…．ｘτ，…，ｘｅ）の場合、尤度を各時刻について計算可能であるため、第１及び第２実施形態における評価関数である負の対数尤度についても、それに応じて変更することができる。例えば、第１実施形態における評価関数Ｌ（ＳＳ）は、以下のように変更することができる。
Figure JPOXMLDOC01-appb-M000010
なおここで、ｚτは、モデル２３２等に（ｘ０，…，ｘτ）を入力とした場合のｚである。　
　他の評価関数についても同様である。　
　なお、特徴量ｘが時系列データ（ｘ０，…，ｘτ，…，ｘｅ）と静的なデータｘｓとの双方を含む場合には、データｘｓはデータｚτの計算に用いられる。
　また、第１及び第２実施形態に係る情報処理装置としての生存分析装置１では、パラメータセットをＭＡＭＬによるメタ学習によって学習する例を説明したが、メタ学習の手法はＭＡＭＬに限定しないことは勿論である。ＭＡＭＬには多種多様な発展型が提案されており、そのようなＭＡＭＬの発展型によってメタ学習を行っても良い。更には、ＭＡＭＬ以外のメタ学習手法によりパラメータセットを学習するようにしても良い。
　また、第１及び第２実施形態に係る情報処理装置としての生存分析装置１は、通信モジュール１２により、クラウド上のプログラムサーバから学習プログラムや予測プログラムを受信して、メモリ１１に記憶し、そのプログラムに従った動作を行うものとしても良い。また、学習用データセット記憶部２０，５０や予測用データセット記憶部４０，６９についても、メモリ１１に設ける代わりに、クラウド上のデータセットを利用するようにしても構わない。
　また、第２実施形態において、累積ハザード関数もユーザに出力する場合には、生存関数から変換して算出すれば良い。
　また、第１及び第２実施形態では、学習動作及び予測動作が、実施形態に係る情報処理装置としての生存分析装置１内に記憶されたプログラムで実行される場合について説明したが、これに限られない。例えば、学習動作及び予測動作は、クラウド上の計算リソースで実行されても良い。
　また、実施形態に記載した手法は、計算機（コンピュータ）に実行させることができるプログラム（ソフトウェア手段）として、例えば磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記録媒体に格納して、又は通信媒体により伝送して、頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウェア手段（実行プログラムのみならずテーブル、データ構造も含む）を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウェア手段を構築し、このソフトウェア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部或いはネットワークを介して接続される機器に設けられた磁気ディスク、半導体メモリ等の記憶媒体を含むものである。
　要するに、この発明は上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施しても良く、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
　　　１…生存分析装置
　　１０…制御回路
　　１１…メモリ
　　１２…通信モジュール
　　１３…ユーザインタフェース
　　１４…ドライブ
　　１５…記憶媒体
　　２０，５０…学習用データセット記憶部
　　２１，５１…データ分割部
　　２２，５２…初期化部
　　２３，２４，３２，３３，５３，５４，６２，６３…潜在表現算出部
　　２５，２６，３４，３５，５５，５６，６４，６５…関数推定部
　　２７，２８，３６，５７，５８，６６…更新部
　　２９，３０，３７，５９，６０，６７…判定部
　　３１，６１…学習済みパラメータ記憶部
　　３８…変換部
　　３９，６８…出力部
　　４０，６９…予測用データセット記憶部
　　４１，７０…予測対象データ記憶部
　２３１，２４１，３２１，３３１，５３１，５４１，６２１，６３１…特徴量抽出部
　２３２，２４２，３２２，３３２，５３２，５４２，６２２，６３２…モデル
　２５１，２６１，３４１，３５１，５５１，５６１，６４１，６５１…単調増加ニューラルネットワーク
　２５２，２６２，３４２，３５２…累積ハザード関数算出部
　２５３，２６３，３４３，３５３，５５３，５６３，６４３，６５３…自動微分部
　２７１，２８１，３６１，５７１，５８１，６６１…評価関数推定部
　２７２，２８２，３６２，５７２，５８２，６６２…最適化部
　５５２，５６２，６４２，６５２…生存関数算出部

 

Claims (8)

  1. 　予測対象イベントに関する特徴量を含む処理対象データから、前記特徴量を表す潜在表現を算出する潜在表現算出部と、
    　前記潜在表現算出部によって算出された前記潜在表現及び時刻によって規定される単調増加関数に従ってスカラ値を出力するようにモデル化された単調増加ニューラルネットワークと、
    　前記単調増加ニューラルネットワークから出力された前記スカラ値に基づいて、ハザード関数及び生存関数の少なくとも一方を推定する関数推定部と、
    　を備える、情報処理装置。
  2. 　前記潜在表現算出部及び前記単調増加ニューラルネットワークのパラメータをメタ学習により学習する学習部を更に備える、
    　請求項１に記載の情報処理装置。
  3. 　前記予測対象イベントに関する前記特徴量を含む複数の予測用データに基づいて、前記学習部によって学習した前記パラメータを更新するパラメータ更新部を更に備える、
    　請求項２に記載の情報処理装置。
  4. 　前記関数推定部は、
    　　前記単調増加ニューラルネットワークから出力された前記スカラ値に基づいて、累積ハザード関数を算出する関数算出部と、
    　　前記関数算出部が算出した前記累積ハザード関数を自動微分することにより前記ハザード関数を算出する自動微分部と、
    を含む、
    　請求項１乃至３の何れか１項に記載の情報処理装置。
  5. 　前記関数算出部が算出した前記累積ハザード関数を前記生存関数に変換する変換部を更に備える、
    　請求項４に記載の情報処理装置。
  6. 　前記関数推定部は、
    　　前記単調増加ニューラルネットワークから出力された前記スカラ値に基づいて、前記生存関数を算出する関数算出部と、
    　　前記関数算出部が算出した前記生存関数を自動微分することにより前記ハザード関数を算出する自動微分部と、
    を含む、
    　請求項１乃至３の何れか１項に記載の情報処理装置。
  7. 　予測対象イベントに関する特徴量を含む処理対象データから、前記特徴量を表す潜在表現を算出することと、
    　前記潜在表現及び時刻によって規定される単調増加関数に従ってスカラ値を出力するようにモデル化された単調増加ニューラルネットワークに、前記算出した前記潜在表現を入力して前記スカラ値を出力することと、
    　前記単調増加ニューラルネットワークから出力された前記スカラ値に基づいて、ハザード関数及び生存関数の少なくとも一方を推定することと、
    　を備える、情報処理方法。
  8. 　コンピュータを、請求項１に記載の情報処理装置が備える各部として機能させるためのプログラム。

     
PCT/JP2022/019840 2022-05-10 2022-05-10 情報処理装置、情報処理方法及びプログラム Ceased WO2023218535A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2024520123A JP7754297B2 (ja) 2022-05-10 2022-05-10 情報処理装置、情報処理方法及びプログラム
US18/862,979 US20250315669A1 (en) 2022-05-10 2022-05-10 Information processing apparatus, information processing method, and program
PCT/JP2022/019840 WO2023218535A1 (ja) 2022-05-10 2022-05-10 情報処理装置、情報処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/019840 WO2023218535A1 (ja) 2022-05-10 2022-05-10 情報処理装置、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2023218535A1 true WO2023218535A1 (ja) 2023-11-16

Family

ID=88730007

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/019840 Ceased WO2023218535A1 (ja) 2022-05-10 2022-05-10 情報処理装置、情報処理方法及びプログラム

Country Status (3)

Country Link
US (1) US20250315669A1 (ja)
JP (1) JP7754297B2 (ja)
WO (1) WO2023218535A1 (ja)

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OMI TAKAHIRO, UEDA NAONORI, AIHARA KAZUYUKI: "Fully Neural Network based Model for General Temporal Point Processes", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, ARXIV.ORG, ITHACA, 23 May 2019 (2019-05-23), Ithaca, XP093107262, [retrieved on 20231130], DOI: 10.48550/arxiv.1905.09690 *

Also Published As

Publication number Publication date
US20250315669A1 (en) 2025-10-09
JPWO2023218535A1 (ja) 2023-11-16
JP7754297B2 (ja) 2025-10-15

Similar Documents

Publication Publication Date Title
JP7344149B2 (ja) 最適化装置及び最適化方法
CN107909427A (zh) 一种提升推荐模型时序数据挖掘能力的循环神经网络方法
EP3596662B1 (en) Imagination-based agent neural networks
US20230186092A1 (en) Learning device, learning method, computer program product, and learning system
CN114897173A (zh) 基于变分量子线路确定PageRank的方法及装置
US20200066377A1 (en) Method and apparatus for generating chemical structure using neural network
CN106022517A (zh) 一种基于核极限学习机的风险预测的方法和装置
CN111178986A (zh) 用户-商品偏好的预测方法及系统
WO2021106111A1 (ja) 学習装置、推定装置、学習方法、推定方法、及びプログラム
JP2024170949A (ja) 機械学習プログラム、機械学習方法および情報処理装置
US12248534B2 (en) Automated feature engineering for predictive modeling using deep reinforcement learning
US20220405640A1 (en) Learning apparatus, classification apparatus, learning method, classification method and program
CN112905809B (zh) 知识图谱学习方法和系统
CN115718740A (zh) 用于稀疏时间序列数据集的数据插补的方法和装置
JP7754297B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN117893274A (zh) 基于高维多目标优化的商品推荐方法、装置、设备及介质
KR20200107347A (ko) 클릭율 최대화를 위한 이미지 디자인 파라미터 최적화 방법 및 시스템
JP7489275B2 (ja) 情報処理装置、情報処理システムおよび情報処理方法
CN116185568A (zh) 一种容器扩容方法、装置、电子设备及存储介质
JP7283548B2 (ja) 学習装置、予測システム、方法およびプログラム
CN115423186A (zh) 基于神经网络模型的成本预测方法、装置、介质及设备
JP7718004B1 (ja) 学習装置、学習方法、推論装置、推論方法及びプログラム
JP7625404B2 (ja) 計画作成装置、計画作成方法、およびプログラム
JP7568090B2 (ja) 予測装置、予測方法およびプログラム
WO2021250753A1 (ja) 学習方法、学習装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22941617

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024520123

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18862979

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22941617

Country of ref document: EP

Kind code of ref document: A1

WWP Wipo information: published in national office

Ref document number: 18862979

Country of ref document: US