WO2020235066A1 - イベント発生時刻学習装置、イベント発生時刻推定装置、イベント発生時刻学習方法、イベント発生時刻推定方法、イベント発生時刻学習プログラム、及びイベント発生時刻推定プログラム - Google Patents

イベント発生時刻学習装置、イベント発生時刻推定装置、イベント発生時刻学習方法、イベント発生時刻推定方法、イベント発生時刻学習プログラム、及びイベント発生時刻推定プログラム Download PDF

Info

Publication number
WO2020235066A1
WO2020235066A1 PCT/JP2019/020346 JP2019020346W WO2020235066A1 WO 2020235066 A1 WO2020235066 A1 WO 2020235066A1 JP 2019020346 W JP2019020346 W JP 2019020346W WO 2020235066 A1 WO2020235066 A1 WO 2020235066A1
Authority
WO
WIPO (PCT)
Prior art keywords
time
event
series data
data
occurrence
Prior art date
Application number
PCT/JP2019/020346
Other languages
English (en)
French (fr)
Inventor
祥章 瀧本
佑典 田中
倉島　健
山本　修平
真耶 大川
浩之 戸田
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/613,062 priority Critical patent/US20220222915A1/en
Priority to PCT/JP2019/020346 priority patent/WO2020235066A1/ja
Priority to JP2021519993A priority patent/JP7338680B2/ja
Publication of WO2020235066A1 publication Critical patent/WO2020235066A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • the present disclosure relates to an event occurrence time learning device, an event occurrence time estimation device, an event occurrence time learning method, an event occurrence time estimation method, an event occurrence time learning program, and an event occurrence time estimation program.
  • Non-Patent Document 1 the time from a series of images of a drive recorder to the occurrence of an event (for example, the occurrence of a pedestrian) is estimated by using survival analysis and deep learning technology (particularly, RNN (Recurrent Neural Network)). Is made possible by modeling the non-linear relationship between features such as the positions of surrounding pedestrians and cars and the time until the occurrence of a hiyari hat.
  • RNN Recurrent Neural Network
  • Non-Patent Document 2 there is a technique for estimating the time from the information at the time of estimation (for example, medical data) until the event occurs without assuming the event occurrence distribution.
  • the time of estimation for example, medical data
  • the time interval e.g., during the day of the procedure or the next day.
  • Non-Patent Document 1 it is necessary to predetermine the relationship between the elapsed time from the estimation time point and the distribution of the likelihood of event occurrence as shown in FIG. 8, and therefore, when complicated time changes are involved, Or, if the relationship cannot be grasped in advance, the time until the event occurs cannot be properly grasped.
  • an image taken by a drive recorder is assumed as an input and a traffic accident is assumed as an event.
  • the susceptibility to a traffic accident is considered to change depending on the position and relative speed of surrounding objects, but the method of influence (magnitude of risk and time of influence) is very complicated. For example, the likelihood of a collision with a vehicle running in parallel does not change over time.
  • a pedestrian in front may collide after 1 to 3 seconds, but there is no possibility of collision at other times. Further, it is conceivable that even the same pedestrian is likely to collide only immediately after, depending on the speed of the own vehicle. Assuming such various states, it is difficult to grasp the shape of the distribution in advance, and the estimation accuracy is limited.
  • Non-Patent Document 2 cannot handle time-series data as input, so there is a problem that the time change of input cannot be properly captured. For example, in the same manner as above, consider a case where an image taken by a drive recorder is assumed as an input and a traffic accident is assumed as an event. In order to estimate the timing of a traffic accident, it is necessary to consider the movement of the object, whether the surrounding pedestrians are approaching or distant, and the speed of the pedestrians. However, this cannot be captured by the technique described in Non-Patent Document 2.
  • the disclosed technology was made in view of the above points, and is an event occurrence time learning device capable of learning a hazard function for accurately estimating the time when an event occurs from time series data, and an event occurrence time. It is an object of the present invention to provide a learning method and an event occurrence time learning program.
  • Another object of the present invention is to provide an event occurrence time estimation device, an event occurrence time estimation method, and an event occurrence time estimation program that can accurately estimate the time when an event occurs from time series data.
  • the first aspect of the present disclosure is an event occurrence time learning device, which is time-series data composed of a series of a plurality of data in which the occurrence time of an event related to the data is given in advance, and the event occurs.
  • a hazard estimation unit that estimates the likelihood of occurrence of the event according to a hazard function for each of the plurality of time series data including the time series data that did not exist and the time series data in which the event occurred, and the plurality of times. To optimize the likelihood function represented by including the occurrence time of the event given for each of the series data and the likelihood of the event estimated for each of the plurality of time series data.
  • the hazard function includes a parameter estimation unit that estimates the parameters of the hazard function, and the hazard function includes the feature quantities of each of the plurality of data included in the time-series data and the estimation target time of the likelihood of occurrence of the event. From the feature amount, the likelihood of the event occurring at the estimation target time is estimated.
  • the second aspect of the present disclosure is an event occurrence time estimation device, which is an input unit that accepts input of a target time series data composed of a series of a plurality of data, and generation of an event related to the target time series data.
  • An event occurrence time estimation that estimates the time when the next event occurs based on the hazard estimation unit that estimates the ease of use according to the hazard function using the learned parameters and the estimated probability of the event.
  • the hazard function includes the part, and the hazard function is estimated from the feature amount of each of the plurality of data included in the target time series data and the feature amount of the estimated target time of the likelihood of occurrence of the event. Estimate the likelihood of the event occurring in.
  • a third aspect of the present disclosure is an event occurrence time learning method, wherein the hazard estimation unit is time-series data composed of a series of a plurality of data in which the occurrence times of events related to the data are given in advance.
  • the likelihood of the event occurring is estimated according to a hazard function
  • the parameter estimation unit Is a likelihood function that includes the time of occurrence of the event given for each of the plurality of time series data and the estimated likelihood of occurrence of the event for each of the plurality of time series data.
  • the hazard function includes estimating the parameters of the hazard function so as to be optimized, and the hazard function is an estimation target of each feature amount of a plurality of data included in the time series data and the likelihood of the event occurring.
  • the likelihood of the event occurring at the estimation target time is estimated from the time feature amount.
  • a fourth aspect of the present disclosure is an event occurrence time estimation method, in which an input unit accepts input of a target time series data composed of a series of a plurality of data, and a hazard estimation unit performs data on the target time series data.
  • the likelihood of an event related to is estimated according to a hazard function using learned parameters, and the event occurrence time estimation unit then generates an event based on the estimated likelihood of the event.
  • the hazard function includes estimating the time to be performed, and the hazard function is described from the feature amount of each of the plurality of data included in the target time series data and the feature amount of the estimated target time of the event occurrence. Estimate the likelihood of the event occurring at the estimation target time.
  • a fifth aspect of the present disclosure is an event occurrence time learning program, which is time-series data composed of a series of a plurality of data in which the occurrence times of events related to the data are given in advance, and the event occurs.
  • the likelihood of the event occurring was estimated according to a hazard function, and each of the plurality of time-series data.
  • the hazard function of the hazard function so as to optimize the likelihood function represented by including the time of occurrence of the event given for and the likelihood of occurrence of the event estimated for each of the plurality of time series data.
  • This is a program that estimates the likelihood of the event occurring at the estimated target time from the feature amount of the estimated target time.
  • a sixth aspect of the present disclosure is an event occurrence time estimation program, which accepts input of target time series data composed of a series of a plurality of data, and is likely to generate data-related events for the target time series data. Is estimated according to a hazard function using learned parameters, and the event occurrence time for causing the computer to estimate the time when the next event will occur based on the estimated probability of occurrence of the event.
  • the hazard function is an estimation program, and the hazard function is based on the feature amount of each of a plurality of data included in the target time series data and the feature amount of the estimation target time of the likelihood of occurrence of the event. It is a program that estimates the likelihood of the event occurring in the above.
  • Non-Patent Document 2 the technique described in Non-Patent Document 2 is extended to handle time-series data, and a non-linear relationship between the time-series data and the likelihood of an event occurring in each time interval is obtained.
  • Model as shown in FIG. 1 without assuming a specific distribution.
  • the time granularity to be estimated in advance is determined only by considering the calculation amount and the time granularity required at the time of output, and highly accurate estimation is possible even in the above case.
  • an image taken by a drive recorder is assumed as an input and a traffic accident is assumed as an event.
  • Non-Patent Document 2 the technique described in Non-Patent Document 2 is extended so that time series data can be handled, and a time change of input is captured by using RNN (Recurrent Neural Network).
  • RNN Recurrent Neural Network
  • FIG. 2 is a block diagram showing a hardware configuration of the event occurrence time estimation device 10 of the present embodiment.
  • the event occurrence time estimation device 10 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a storage 14, an input unit 15, and a display unit 16. It has a communication interface (I / F) 17. Each configuration is communicably connected to each other via a bus 19.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • storage 14 an input unit
  • display unit 16 has a communication interface (I / F) 17.
  • I / F communication interface
  • the CPU 11 is a central arithmetic processing unit that executes various programs and controls each part. That is, the CPU 11 reads the program from the ROM 12 or the storage 14, and executes the program using the RAM 13 as a work area. The CPU 11 controls each of the above configurations and performs various arithmetic processes according to the program stored in the ROM 12 or the storage 14.
  • the ROM 12 or the storage 14 stores an event occurrence time learning program for learning the hazard function for estimating the event occurrence time, and an event occurrence time estimation program for estimating the event occurrence time. ..
  • the event occurrence time learning program and the event occurrence time estimation program may be one program, or may be a program group composed of a plurality of programs or modules.
  • the ROM 12 stores various programs and various data.
  • the RAM 13 temporarily stores a program or data as a work area.
  • the storage 14 is composed of an HDD (Hard Disk Drive) or an SSD (Solid State Drive), and stores various programs including an operating system and various data.
  • the input unit 15 includes a pointing device such as a mouse and a keyboard, and is used for performing various inputs.
  • the display unit 16 is, for example, a liquid crystal display and displays various types of information.
  • the display unit 16 may adopt a touch panel method and function as an input unit 15.
  • the communication interface 17 is an interface for communicating with other devices, and for example, standards such as Ethernet (registered trademark), FDDI, and Wi-Fi (registered trademark) are used.
  • FIG. 3 is a block diagram showing an example of the functional configuration of the event occurrence time estimation device 10.
  • the event occurrence time estimation device 10 has a hazard estimation unit 21, a parameter estimation unit 22, a parameter storage unit 23, an event occurrence time estimation unit 24, and an input unit 15 as functional configurations.
  • Each functional configuration is realized by the CPU 11 reading the event occurrence time learning program and the event occurrence time estimation program stored in the ROM 12 or the storage 14, deploying them in the RAM 13, and executing them.
  • the solid line arrow indicates the direction of data communication and communication when functioning as the event occurrence time learning device
  • the broken line arrow indicates the data communication and communication when functioning as the event occurrence time estimation device. It represents the direction.
  • the event occurrence time estimation device 10 is connected to the history time series database 2 via a communication means and communicates with each other. Any known communication means can be used.
  • the event occurrence time estimation device 10 may be connected to the history time series database 2 via a communication means such as the Internet that communicates according to a TCP / IP (Transmission Protocol / Internet Protocol) protocol.
  • the communication means may be a communication means according to another protocol.
  • the history time series database 2 is composed of a computer or a server computer equipped with well-known hardware such as an arithmetic processing device, a main storage device, an auxiliary storage device, a data bus, an input / output interface, and a communication interface. ..
  • the history time series database 2 is provided outside the event occurrence time estimation device 10 will be described, but it may be provided inside the event occurrence time estimation device 10.
  • the historical time-series database 2 is a time-series data obtained in advance at predetermined fixed time intervals prepared for learning. And, about the data, K sets of three sets of the time when the event occurred or the cutoff time ek and the indicator variable ⁇ k which becomes 1 when the event occurs and becomes 0 when the event occurs are stored. ing.
  • the censoring time is the time when the observation of the data is completed. Identifier of time series data
  • the vector x k i is a vector representing the i-th data included in the time series data X k , and
  • the data x k i is the data obtained at the time t k i . However, t k 0 represents the observation start time. And any For the combination of Meet.
  • the time-series data is, for example, a time-series image group consisting of a series of a plurality of images in which the event occurrence time is given in advance.
  • the time-series image group is composed of a series of a plurality of images taken at predetermined time intervals, and the series of a plurality of images is, for example, a video image.
  • Events include events related to the photographer, the photographed person, or the object to be photographed. Further, the event may be an event that appears in the image such as an event in which the photographed person or the object to be photographed changes, or an event that does not appear in the image such as an event related to the photographer.
  • the time-series image is not limited to an image recorded by shooting a moving image with a video camera or the like, but may be an image taken by a digital still camera at predetermined time intervals, for example, a time-lapse image.
  • the photographer is a person, an animal, or a robot or an automobile provided with a device for photographing and recording a person, an animal, etc. Vehicles, etc.
  • the input unit 15 receives the target time series data.
  • the target time-series data is time-series data X from a certain point in the past to the present, and if the identifier is c, it is the same as the time-series data in the history time-series database 2. Can be expressed by. The event may or may not occur during Xc .
  • Hazard estimation unit 21 includes a series data X k when the event has not occurred, for each of a plurality of time-series data X k containing a time series data X k when the event occurs, the occurrence ease of events, Estimate according to the hazard function. Specifically, according to the hazard function using the neural network, the feature amount of each of the plurality of data included in the time series data and the elapsed time from the time corresponding to the final data of the time series data to the estimated target time. The feature amount is extracted, and the likelihood of event occurrence is estimated based on the extracted feature amount.
  • the hazard estimation unit 21 first receives the time series data X from the history time series database 2 or the target time series data, receives the model parameter ⁇ from the parameter storage unit 23 described later, and utilizes deep learning technology or the like to perform an event. Outputs the hazard functions h i0 , ..., H iJ , which are conditional probabilities that represent the likelihood of occurrence of. Incidentally, h ij when performing the estimation at time t i, represents the occurrence ease of events after Delta] t j-1 until after Delta] t j, defined formula are as follows.
  • ⁇ t j ⁇ ⁇ t j -1 ⁇ t k i + 1 ⁇ t k i .
  • ⁇ t e represents the time required from the estimation time to the occurrence of the event, and ⁇ t J is the longest time to be considered at the time of estimation.
  • a function f represented by a neural network including a network structure capable of handling a sequence such as RNN can be used.
  • r i and j represent hidden layers such as RNN.
  • FIG. 4 shows a specific example of the network structure.
  • the network includes an embedded layer A30, an embedded layer B31, an RNN layer 32, a fully connected layer 33, and an output layer 34.
  • the embedded layer A30 is a layer that extracts a feature amount from each data of time series data and embeds it in the feature space.
  • the features of each data are extracted and vectorized by the fully connected layer, the convolutional layer, and the combination of the fully connected layer and the convolutional layer.
  • the embedded layer B31 is a layer that extracts a feature amount from an estimated target time and embeds it in the feature space.
  • the feature amount of the estimation target time is extracted and vectorized by the fully connected layer, the convolutional layer, and the combination of the fully connected layer and the convolutional layer.
  • the vector obtained by adding the vector representing the feature amount of the data extracted by the embedded layer A30 and the vector representing the feature amount of the estimated target time extracted by the embedded layer B31 is added to the RNN. Input to layer 32.
  • the RNN layer 32 is a layer that further abstracts the feature amount embedded in the feature space as series data. Specifically, it receives time-series data, circulates past abstracted information, and repeatedly performs non-linear transformation.
  • a known structure can be used as long as it has a network structure capable of appropriately abstracting time series data. For example, the structure described in Non-Patent Document 3 can be used.
  • Non-Patent Document 3 Kyunghyun Cho et al. “Learning phrase representations using RNN encoder-decoder for statistical machine translation”. In: arXiv preprint arXiv: 1406.1078 (2014).
  • the fully connected layer 33 and the output layer 34 compress the abstracted series features into a one-dimensional vector (that is, a scalar value), and further project the abstracted series features from 0 to 1 using a sigmoid function or the like. Calculate h ij .
  • hij (2) It is also possible to calculate h i0 , ..., HiJ at once by defining as.
  • hij represented by the above equation (1) can explicitly learn the estimated target time, it is possible to learn considering the input feature amount and the time difference until it affects it, but a large amount of calculation is required. Is. Although hij represented by the above equation (2) has a small amount of calculation, it has a drawback that it cannot be learned in consideration of the order of estimated target times.
  • the parameter estimation unit 22 provides a likelihood function represented by including the occurrence time of an event given for each of the plurality of time series data and the likelihood of occurrence of the estimated event for each of the plurality of time series data. Estimate the parameters of the hazard function to optimize.
  • the parameter estimation unit 22 collates the hazard function, which is the output of the hazard estimation unit 21, with the event occurrence time or the cutoff time, and the indicator variable for each time series data stored in the history time series database 2. Therefore, the model parameter ⁇ is optimized by maximizing the likelihood function or the like, and the optimized model parameter ⁇ is stored in the parameter storage unit 23.
  • L k b ( ⁇ ), L k e ( ⁇ ), and L k a ( ⁇ ) are estimated when the target time is before the event occurs, when the event occurs, and after the event occurs, respectively.
  • the likelihood is considering, w b, a hyper-parameter w e, w a is to adjust the scale and importance of each of the likelihood.
  • the likelihood for K time series data can be obtained as the product of the likelihoods for each data as shown in the following equation.
  • the logarithm of the likelihood function multiplied by -1 can be realized as a loss function by minimizing it by a known technique such as backpropagation.
  • the parameter storage unit 23 stores the model parameter ⁇ estimated by the parameter estimation unit 22.
  • the event occurrence time estimation unit 24 estimates the time when the next event occurs based on the value of the hazard function estimated by the hazard estimation unit 21, and outputs it to the display unit 16. For example, a simulation based on a hazard function can be performed, a survival function derived from the hazard function (probability that an event does not occur until after ⁇ t seconds) and a threshold value can be compared, and the probability of occurrence at each estimated target time. Estimates the time when the next event will occur by calculating.
  • FIG. 5 is a flowchart showing the flow of the event occurrence time learning process by the event occurrence time estimation device 10.
  • the event occurrence time learning process is performed by the CPU 11 reading the event occurrence time learning program from the ROM 12 or the storage 14, expanding it into the RAM 13 and executing it.
  • step S1 the CPU 11 stores the parameter ⁇ of the hazard function determined by a random number or the like as an initial value in the parameter storage unit 23.
  • step S2 the CPU 11 passes the time series data X 0 , ..., X K included in the history time series database 2 to the hazard estimation unit 21.
  • K is the number of time series data included in the history time series database 2.
  • the time-series data X k to be passed to the hazard estimation unit 21 may pass all K of each time-series data X k in the history time-series database 2, or may be in the history time-series database 2. Only a part of the time series data X k may be passed to the hazard estimation unit 21.
  • step S3 the CPU 11 sets the parameter ⁇ obtained from the parameter storage unit 23 as the hazard estimation unit 21 as the parameter of the neural network in the hazard function.
  • step S4 CPU 11, as the hazard estimation unit 21, for each time-series data X k (k is 1 ⁇ N), when performing the prediction at time t i, the estimated target time Delta] t j (j is The process of obtaining the hazard function hij representing the likelihood of an event occurring in 0 to J) is repeated (see FIG. 4). The hazard function hij obtained for all the time series data X k is passed to the parameter estimation unit 22.
  • step S5 the CPU 11 receives the event occurrence time or the cutoff time and the indicator variable included in the history time series database 2 corresponding to each time series data X k as the parameter estimation unit 22.
  • step S6 the CPU 11 maximizes the likelihood function L ( ⁇ ) represented by the parameter estimation unit 22 using the passed hazard function hij , the event occurrence time or the cutoff time, and the indicator variable. By doing so, the parameter ⁇ of the hazard function is optimized.
  • step S7 the CPU 11 stores the optimized hazard function parameter ⁇ in the parameter storage unit 23 as the parameter estimation unit 22.
  • step S8 the CPU 11 determines whether or not a predetermined reference (for example, a predetermined number of times or a change amount of the likelihood function is equal to or less than the reference value) has been reached. If step S8 is denied, the CPU 11 returns to step S2.
  • a predetermined reference for example, a predetermined number of times or a change amount of the likelihood function is equal to or less than the reference value
  • step S2 the CPU 11 again passes the time series data ⁇ X 0 , ..., X K ⁇ included in the history time series database 2 to the hazard estimation unit 21.
  • the same time series data X k may be passed to the hazard estimation unit 21 each time, but different time series data X k may be passed to the hazard estimation unit 21.
  • all K pieces of time series data X k in the history time series database 2 may be passed to the hazard estimation unit 21 each time.
  • the time series data X k of another part different from a part of the time series data X k in the history time series database 2 first passed to the hazard estimation unit 21 is passed, and the time series data X k is sequentially passed.
  • a part of the time series data X k included in the series database 2 may be passed.
  • the same time series data X k may be passed a plurality of times.
  • step S8 the CPU 11 determines whether or not the predetermined reference has been reached, and repeatedly executes the processes of steps S2 to S7 until the predetermined reference is reached. If the determination in step S8 is affirmed, the CPU 11 ends the optimization.
  • FIG. 6 is a flowchart showing the flow of the event occurrence time estimation process by the event occurrence time estimation device 10.
  • the event occurrence time estimation process is performed by the CPU 11 reading the event occurrence time estimation program from the ROM 12 or the storage 14, deploying it in the RAM 13 and executing it.
  • step S11 the CPU 11 passes the parameter ⁇ of the optimized hazard function stored in the parameter storage unit 23 to the hazard estimation unit 21.
  • step S12 the CPU 11 inputs the target time series data Xc from the input unit 15 and passes it to the hazard estimation unit 21.
  • step S13 the CPU 11 acts as a hazard estimation unit 21 to determine the elapsed time from the end time of the target time series data X c based on each data ic of the target time series data X c and each estimated target time ⁇ t j.
  • the hazard function h is calculated for each estimated target time ⁇ t j , and is passed to the event occurrence time estimation unit 24.
  • step S14 the CPU 11 estimates the occurrence time e c of the next event based on the value of the hazard function h for each estimation target time ⁇ t j as the event occurrence time estimation unit 24. Further, in step S15, CPU 11 outputs the display unit 16 and the estimated occurrence time e c.
  • the event occurrence time estimation device 10 of the present embodiment has, for each of the plurality of time-series data, the feature amount of each of the plurality of data included in the time-series data and the feature amount of the estimation target time. From, the likelihood of event occurrence is estimated according to the hazard function that estimates the likelihood of event occurrence at the estimation target time.
  • the event occurrence time estimation device 10 includes the likelihood of occurrence of an event given for each of the plurality of time series data and the likelihood of occurrence of the estimated event for each of the plurality of time series data. Estimate the parameters of the hazard function to optimize the function. This makes it possible to learn a hazard function for accurately estimating the time when an event occurs from time series data.
  • the event occurrence time estimation device 10 of the present embodiment is likely to generate an event at the estimation target time from the feature amount of each of the plurality of data included in the target time series data and the feature amount of the estimation target time. Estimates the likelihood of an event according to the hazard function that estimates. The event occurrence time estimation device 10 estimates the time when the next event occurs based on the estimated probability of event occurrence. This makes it possible to accurately estimate the time when the event occurs from the time series data.
  • the event occurrence time learning device and the event occurrence time estimation device are configured by one device, but as shown in FIG. 7, the event occurrence time learning device 10a and the event occurrence time estimation device 10b have been described. And may be configured by different devices.
  • the hardware configuration, each component, and the processing flow are the same as when the event occurrence time learning device 10a and the event occurrence time estimation device 10b are the same device, and thus are omitted.
  • various processors other than the CPU may execute the event occurrence time learning process and the event occurrence time estimation process executed by the CPU reading the software (program).
  • the processors include GPU (Graphics Processing Unit), FPGA (Field-Programmable Gate Array), etc., and PLD (Programmable Logic Device) whose circuit configuration can be changed after production, and ASIC (Application Device) Specific Special.
  • An example is a dedicated electric circuit or the like, which is a processor having a circuit configuration specially designed for executing the processing of.
  • the event occurrence time learning process and the event occurrence time estimation process may be executed by one of these various processors, or a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs). , And a combination of CPU and FPGA, etc.).
  • the hardware structure of these various processors is, more specifically, an electric circuit in which circuit elements such as semiconductor elements are combined.
  • the program is a non-temporary storage medium such as a CD-ROM (Compact Disk Read Only Memory), a DVD-ROM (Digital entirely Disk Online Memory), and a USB (Universal Serial Bus) memory. It may be provided in the form. Further, the program may be downloaded from an external device via a network.
  • (Appendix 1) With memory With at least one processor connected to the memory Including The processor Time-series data consisting of a series of a plurality of data in which the occurrence time of an event related to the data is given in advance, the time-series data in which the event did not occur and the time-series data in which the event occurred For each of the plurality of time series data including the data, the likelihood of the event occurring is estimated according to the hazard function. Optimize a likelihood function that includes the time of occurrence of the event given for each of the plurality of time series data and the estimated likelihood of occurrence of the event for each of the plurality of time series data.
  • the hazard function is based on the feature amount of each of the plurality of data included in the time series data and the feature amount of the estimated target time of the event occurrence probability, and the event occurrence probability at the estimated target time.
  • An event occurrence time learning device that estimates the data.
  • the event occurrence time learning process is Time-series data consisting of a series of a plurality of data in which the occurrence time of an event related to the data is given in advance, the time-series data in which the event did not occur and the time-series data in which the event occurred
  • the likelihood of the event occurring is estimated according to the hazard function. Optimize a likelihood function that includes the time of occurrence of the event given for each of the plurality of time series data and the estimated likelihood of occurrence of the event for each of the plurality of time series data.
  • the hazard function is based on the feature amount of each of the plurality of data included in the time series data and the feature amount of the estimated target time of the event occurrence probability, and the event occurrence probability at the estimated target time.
  • a non-temporary storage medium that estimates the time of day.
  • a non-temporary storage medium that stores a program that can be executed by a computer to execute event occurrence time estimation processing.
  • the event occurrence time estimation process is Accepts input of target time series data consisting of a series of multiple data, With respect to the target time series data, the likelihood of events related to the data is estimated according to a hazard function using learned parameters. Based on the estimated likelihood of the event, the time when the next event will occur is estimated. The hazard function generates the event at the estimated target time from the feature amount of each of the plurality of data included in the target time series data and the feature amount of the estimated target time of the likelihood of occurrence of the event.
  • a non-temporary storage medium that estimates ease.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

ハザード推定部２１が、データに関連するイベントの発生時刻が予め与えられた、一連の複数のデータから成る時系列データであって、イベントが発生しなかった時系列データと、イベントが発生した時系列データとを含む複数の時系列データの各々について、イベントの発生し易さを、ハザード関数に従って推定する。パラメータ推定部２２が、複数の時系列データの各々について与えられたイベントの発生時刻と、複数の時系列データの各々について推定されたイベントの発生し易さとを含んで表される尤度関数を最適化するように、ハザード関数のパラメータを推定する。

Description

イベント発生時刻学習装置、イベント発生時刻推定装置、イベント発生時刻学習方法、イベント発生時刻推定方法、イベント発生時刻学習プログラム、及びイベント発生時刻推定プログラム
　本開示は、イベント発生時刻学習装置、イベント発生時刻推定装置、イベント発生時刻学習方法、イベント発生時刻推定方法、イベント発生時刻学習プログラム、及びイベント発生時刻推定プログラムに関する。
　従来、時系列に沿って取得された一連の複数のデータを用いてイベントが発生するまでの時間を推定する技術が存在する。例えば、非特許文献１では、生存分析と深層学習技術（特に、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ））を用いることにより、ドライブレコーダの一連の画像からイベント発生（例えば、ヒヤリハットの発生）までの時間の推定を、周囲の歩行者や車などの位置等の特徴とヒヤリハットの発生までの時間との非線形的な関係をモデル化することにより、可能にしている。
　また、非特許文献２のように推定時点の情報（例えば、診療データ）からイベントが発生するまでの時間をイベントの発生分布に対する仮定なしで推定する技術が存在する。具体的には、生存分析と深層学習技術（特にＲＮＮ）を用いて、診療データと、各時間区間（例えば診療当日中又はその翌日中）でのイベントの発生し易さとの間の非線形的な関係（例えば、診療データ中の血圧及び血中コレステロール値などの数値と病気の発症率との関係）をモデル化することにより、イベントが発生するまでの時間の推定を可能にしている。
瀧本ら、「ドライブレコーダデータに基づくヒヤリハット発生推定」、DEIM2019、インターネット<URL:http://db-event.jpn.org/deim2019/post/papers/388.pdf> Kan Ren et al.,"Deep Recurrent Survival Analysis". In: arXiv preprint arXiv:1809.02403 (2018).
　しかしながら、上記の従来技術には未解決の点がある。
　非特許文献１に記載の技術では、推定時点からの経過時間とイベントの発生し易さの分布との関係性を図８のように予め定める必要があるため、複雑な時間変化を伴う場合、又は予め関係性を捉えられない場合に、適切にイベント発生までの時間が捉えられない。例えば、入力としてドライブレコーダによって撮影された映像を想定し、イベントとして交通事故を想定する場合を考察する。交通事故の発生のし易さは周囲の物体の位置及び相対速度等によって変化すると考えられるが、その影響の仕方（危険度の大きさ及び影響を与える時間）は非常に複雑である。例えば、並走している車両との衝突の可能性は時間によって変化しない。一方、前方にいる歩行者は、１秒後から３秒後には衝突する可能性があるが、それ以外の時間には衝突する可能性はない。また、同一の歩行者であっても、自車の速度によっては直後にのみ衝突し易いことなどが考えられる。このように多様な状態を想定し、予め分布の形状を事前に捉えることは困難であり、推定精度が制限される。
　非特許文献２に記載の技術では、入力として時系列データを扱えないため、入力の時間変化を適切に捉えられない、といった問題がある。例えば、上記と同様に、入力としてドライブレコーダによって撮影された映像を想定し、イベントとして交通事故を想定する場合を考察する。交通事故が発生するタイミングを推定するには、物体の動きを考慮し、周囲の歩行者が近づいているのか、離れているか、及び、その歩行者の速さを考慮する必要がある。しかし、非特許文献２に記載の技術では、これを捉えることができない。
　開示の技術は、上記の点に鑑みてなされたものであり、時系列データからイベントが発生する時刻を精度よく推定するためのハザード関数を学習することができるイベント発生時刻学習装置、イベント発生時刻学習方法、及びイベント発生時刻学習プログラムを提供することを目的とする。
　また、時系列データからイベントが発生する時間を精度よく推定することができるイベント発生時刻推定装置、イベント発生時刻推定方法、及びイベント発生時刻推定プログラムを提供することを目的とする。
本開示の第１態様は、イベント発生時刻学習装置であって、データに関連するイベントの発生時刻が予め与えられた、一連の複数のデータから成る時系列データであって、前記イベントが発生しなかった時系列データと、前記イベントが発生した時系列データとを含む複数の時系列データの各々について、前記イベントの発生し易さを、ハザード関数に従って推定するハザード推定部と、前記複数の時系列データの各々について与えられた前記イベントの発生時刻と、前記複数の時系列データの各々について推定された前記イベントの発生し易さとを含んで表される尤度関数を最適化するように、前記ハザード関数のパラメータを推定するパラメータ推定部と、を含み、前記ハザード関数は、前記時系列データに含まれる複数のデータの各々の特徴量と、前記イベントの発生し易さの推定対象時刻の特徴量とから、前記推定対象時刻における前記イベントの発生し易さを推定する。
　本開示の第２態様は、イベント発生時刻推定装置であって、一連の複数のデータから成る対象時系列データの入力を受け付ける入力部と、前記対象時系列データについて、データに関連するイベントの発生し易さを、学習済みのパラメータを用いたハザード関数に従って推定するハザード推定部と、前記推定されたイベントの発生し易さに基づいて、次にイベントが発生する時刻を推定するイベント発生時刻推定部と、を含み、前記ハザード関数は、前記対象時系列データに含まれる複数のデータの各々の特徴量と、前記イベントの発生し易さの推定対象時刻の特徴量とから、前記推定対象時刻における前記イベントの発生し易さを推定する。
　本開示の第３態様は、イベント発生時刻学習方法であって、ハザード推定部が、データに関連するイベントの発生時刻が予め与えられた、一連の複数のデータから成る時系列データであって、前記イベントが発生しなかった時系列データと、前記イベントが発生した時系列データとを含む複数の時系列データの各々について、前記イベントの発生し易さを、ハザード関数に従って推定し、パラメータ推定部が、前記複数の時系列データの各々について与えられた前記イベントの発生時刻と、前記複数の時系列データの各々について推定された前記イベントの発生し易さとを含んで表される尤度関数を最適化するように、前記ハザード関数のパラメータを推定することを含み、前記ハザード関数は、前記時系列データに含まれる複数のデータの各々の特徴量と、前記イベントの発生し易さの推定対象時刻の特徴量とから、前記推定対象時刻における前記イベントの発生し易さを推定する。
　本開示の第４態様は、イベント発生時刻推定方法であって、入力部が、一連の複数のデータから成る対象時系列データの入力を受け付け、ハザード推定部が、前記対象時系列データについて、データに関連するイベントの発生し易さを、学習済みのパラメータを用いたハザード関数に従って推定し、イベント発生時刻推定部が、前記推定されたイベントの発生し易さに基づいて、次にイベントが発生する時刻を推定することを含み、前記ハザード関数は、前記対象時系列データに含まれる複数のデータの各々の特徴量と、前記イベントの発生し易さの推定対象時刻の特徴量とから、前記推定対象時刻における前記イベントの発生し易さを推定する。
　本開示の第５態様は、イベント発生時刻学習プログラムであって、データに関連するイベントの発生時刻が予め与えられた、一連の複数のデータから成る時系列データであって、前記イベントが発生しなかった時系列データと、前記イベントが発生した時系列データとを含む複数の時系列データの各々について、前記イベントの発生し易さを、ハザード関数に従って推定し、前記複数の時系列データの各々について与えられた前記イベントの発生時刻と、前記複数の時系列データの各々について推定された前記イベントの発生し易さとを含んで表される尤度関数を最適化するように、前記ハザード関数のパラメータを推定することをコンピュータに実行させるためのイベント発生時刻学習プログラムであって、前記ハザード関数は、前記時系列データに含まれる複数のデータの各々の特徴量と、前記イベントの発生し易さの推定対象時刻の特徴量とから、前記推定対象時刻における前記イベントの発生し易さを推定する、プログラムである。
　本開示の第６態様は、イベント発生時刻推定プログラムであって、一連の複数のデータから成る対象時系列データの入力を受け付け、前記対象時系列データについて、データに関連するイベントの発生し易さを、学習済みのパラメータを用いたハザード関数に従って推定し、前記推定されたイベントの発生し易さに基づいて、次にイベントが発生する時刻を推定することをコンピュータに実行させるためのイベント発生時刻推定プログラムであって、前記ハザード関数は、前記対象時系列データに含まれる複数のデータの各々の特徴量と、前記イベントの発生し易さの推定対象時刻の特徴量とから、前記推定対象時刻における前記イベントの発生し易さを推定する、プログラムである。
　開示の技術によれば、時系列データからイベントが発生する時刻を精度よく推定するためのハザード関数を学習することができる。
　また、開示の技術によれば、時系列データからイベントが発生する時間を精度よく推定することができる。
本実施形態に係るハザード推定の方法を説明するための図である。 本実施形態に係るイベント発生時刻推定装置として機能するコンピュータの一例の概略ブロック図である。 本実施形態に係るイベント発生時刻推定装置の構成を示すブロック図である。 本実施形態に係るニューラルネットワークの構造を示すブロック図である。 本実施形態に係るイベント発生時刻学習処理の流れを示すフローチャートである。 本実施形態に係るイベント発生時刻推定処理の流れを示すフローチャートである。 本実施形態に係るイベント発生時刻学習装置とイベント発生時刻推定装置を異なる装置で構成した時のブロック図である。 従来技術におけるハザード推定の方法を説明するための図である。
　以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
［本実施形態の概要］
　本実施形態では、非特許文献２に記載の技術を、時系列データを扱えるように拡張し、時系列データと、各時間区間中のイベントの発生し易さとの間の非線形的な関係を、特定の分布を仮定せずに図１のようにモデル化する。これにより、事前に推定する時間の粒度を、計算量や出力時に必要な時間の粒度を考慮して決定するのみで、上記のような場合でも高精度な推定を可能にする。前述と同様に入力としてドライブレコーダによって撮影された映像を想定し、イベントとして交通事故を想定する場合を考察する。推定する時間を離散化するものの、予め特定の分布を仮定しないため、周囲の物体の位置、周囲の物体との相対速度、及び周囲の物体の種類等に依存する複雑な交通事故の発生し易さに与える影響を柔軟に捉え、任意の形状の分布でイベントのハザードのし易さを捉えられる。従って、非特許文献１に記載の技術より高精度にイベントの発生し易さを捉えられるようになる。
　また、本実施形態では、非特許文献２に記載の技術を、時系列データを扱えるように拡張し、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）を用いて入力の時間変化を捉える。これにより、交通事故が発生するタイミングを推定する際に、物体の動きを考慮し、周囲の歩行者が近づいているのか、離れているか、及び、周囲の歩行者の速さを考慮することができ、交通事故発生のタイミングを推定可能になる。
＜本実施形態のイベント発生時刻推定装置の構成＞
　以下、図面を参照して本開示の実施の形態を詳細に説明する。
　本実施形態では、イベント発生時刻学習装置とイベント発生時刻推定装置とが、同一の装置内に設けられる場合について説明する。以下、イベント発生時刻学習装置とイベント発生時刻推定装置とを合わせて、イベント発生時刻推定装置として構成した場合を例に説明する。
　図２は、本実施形態のイベント発生時刻推定装置１０のハードウェア構成を示すブロック図である。
　図２に示すように、イベント発生時刻推定装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６及び通信インタフェース（Ｉ／Ｆ）１７を有する。各構成は、バス１９を介して相互に通信可能に接続されている。
　ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２又はストレージ１４には、イベント発生時刻を推定するためのハザード関数を学習するイベント発生時刻学習プログラム、及びイベント発生時刻を推定するためのイベント発生時刻推定プログラムが格納されている。イベント発生時刻学習プログラム、及びイベント発生時刻推定プログラムは、１つのプログラムであっても良いし、複数のプログラム又はモジュールで構成されるプログラム群であっても良い。
　ＲＯＭ１２は、各種プログラム及び各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。
　入力部１５は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。
　表示部１６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能しても良い。
　通信インタフェース１７は、他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。
　次に、イベント発生時刻推定装置１０の機能構成について説明する。図３は、イベント発生時刻推定装置１０の機能構成の例を示すブロック図である。
　図３に示すように、イベント発生時刻推定装置１０は、機能構成として、ハザード推定部２１、パラメータ推定部２２、パラメータ格納部２３、イベント発生時刻推定部２４、及び入力部１５を有する。各機能構成は、ＣＰＵ１１がＲＯＭ１２又はストレージ１４に記憶されたイベント発生時刻学習プログラム及びイベント発生時刻推定プログラムを読み出し、ＲＡＭ１３に展開して実行することにより実現される。
　なお、同図において、実線矢印は、イベント発生時刻学習装置として機能する時のデータの通信と通信の方向を示し、破線矢印は、イベント発生時刻推定装置として機能する時のデータの通信と通信の方向を表している。
　また、イベント発生時刻推定装置１０は、履歴時系列データベース２と通信手段を介して接続されて相互に通信する。通信手段は、任意の公知のものを用いることができる。例えば、イベント発生時刻推定装置１０は、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ　Ｃｏｎｔｒｏｌ　Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ）のプロトコルに従って通信するインターネット等の通信手段を介して履歴時系列データベース２に接続されていてもよい。通信手段は、他のプロトコルに従った通信手段であってもよい。
　また、履歴時系列データベース２は、演算処理装置、主記憶装置、補助記憶装置、データバス、入出力インタフェース、及び通信インタフェース等の周知のハードウェアを備えたコンピュータ、あるいはサーバコンピュータにより構成されている。本実施形態では、履歴時系列データベース２がイベント発生時刻推定装置１０の外部に設けられる場合について説明するが、イベント発生時刻推定装置１０内に設けられてもよい。
　履歴時系列データベース２は、学習用に事前に用意された予め定められた一定の時間間隔で得られた時系列データ
Figure JPOXMLDOC01-appb-I000001

と、データについてイベントが発生した時刻または打ち切り時刻ｅｋと、イベントが発生した場合に１となり、打ち切りの場合０となる指示変数δｋとの三つを１組とした組みをＫ個格納している。ここで、打ち切り時刻とは、データの観測を終了した時刻である。時系列データの識別子を
Figure JPOXMLDOC01-appb-I000002

とする。また、ベクトルｘｋ ｉは、時系列データＸｋに含まれるｉ番目のデータを表すベクトルであり、｜Ｘｋ｜は時系列データＸｋの長さを表す。また、データｘｋ ｉは時刻ｔｋ ｉにおいて得られたデータである。ただし、ｔｋ ０が観測開始時刻を表し、
Figure JPOXMLDOC01-appb-I000003

であり、任意の
Figure JPOXMLDOC01-appb-I000004

の組合せに対し、
Figure JPOXMLDOC01-appb-I000005

を満たす。
　時系列データは、例えば、イベントの発生時刻が予め与えられた一連の複数の画像から成る時系列画像群である。時系列画像群は、所定の時間間隔で撮影された一連の複数の画像で構成され、一連の複数の画像は、例えば、ビデオ映像である。イベントには、撮影者、被撮影者、又は被撮影物に関連するイベントが含まれる。また、イベントは、被撮影者又は被撮影物に変化が生じるイベントのように映像に現れるイベントであっても、撮影者に関するイベントのように映像には現れていないイベントであってもよい。
　なお、時系列画像は、ビデオカメラ等により動画を撮影して録画された画像に限らず、デジタルスチルカメラが所定の時間間隔で撮影した画像で、例えば、タイムラプス画像であってもよい。
　また、撮影者は、ビデオカメラ又はデジタルスチルカメラ等の時系列画像を撮影して録画する装置を用いて撮影を行っている人物、動物、又は撮影して録画する装置を設けたロボット又は自動車等の乗り物等である。
　入力部１５は、対象時系列データを受け付ける。対象時系列データは過去のある時点から現在までの時系列データＸであり、識別子をｃとすると履歴時系列データベース２内の時系列データと同様に、
Figure JPOXMLDOC01-appb-I000006

で表せる。なお、イベントはＸｃ中に発生していても、していなくてもよい。
　ハザード推定部２１は、イベントが発生しなかった時系列データＸｋと、イベントが発生した時系列データＸｋとを含む複数の時系列データＸｋの各々について、イベントの発生し易さを、ハザード関数に従って推定する。具体的には、ニューラルネットワークを用いたハザード関数に従って、時系列データに含まれる複数のデータの各々の特徴量と、時系列データの最終データに対応する時刻から、推定対象時刻までの経過時間の特徴量とを抽出し、抽出した特徴量に基づいて、イベントの発生し易さを推定する。
　例えば、ハザード推定部２１は、まず、履歴時系列データベース２または対象時系列データから時系列データＸを受け取り、後述するパラメータ格納部２３からモデルパラメータθを受け取り、深層学習技術等を活用し、イベントの発生し易さを表す条件付き確率であるハザード関数ｈｉ０，…，ｈｉＪを出力する。なお、ｈｉｊは時刻ｔｉで推定を行ったときに、Δｔｊ－１後からΔｔｊ後までのイベントの発生し易さを表し、定義式は以下の通りである。
Figure JPOXMLDOC01-appb-M000007
　なお、Δｔｊは推定時点からの経過時間（以下、推定対象時刻）を表し、Δｔ０＝０であり、Δｔｊ－Δｔｊ－１＝Δｔｊ’－Δｔｊ’－１である。ただし、一般にΔｔｊ－Δｔｊ－１≠ｔｋ ｉ＋１－ｔｋ ｉである。なお、Δｔｊ－Δｔｊ－１＝ｔｋ ｉ＋１－ｔｋ ｉでもかまわない。また、Δｔｅは推定時点からイベント発生までにかかる時間を表し、ΔｔＪは推定時に考慮する最長の時間である。
　具体的なｈｉｊの計算方法としては
Figure JPOXMLDOC01-appb-M000008
                                                               （１）
のようにＲＮＮ等のシーケンスを扱えるネットワーク構造を含むニューラルネットワークで表される関数ｆを用いることができる。ただし、ｒｉ，ｊはＲＮＮ等の隠れ層を表す。
　具体的なネットワーク構造例として図４を示す。ネットワークは、埋め込み層Ａ３０、埋め込み層Ｂ３１、ＲＮＮ層３２、全結合層３３、及び出力層３４を含んで構成される。
　埋め込み層Ａ３０は、時系列データの各データから特徴量を抽出し、特徴空間に埋め込む層である。ここでは、全結合層、畳み込み層、及び全結合層と畳み込み層との組合せによって各データの特徴量を抽出し、ベクトル化する。
　埋め込み層Ｂ３１は、推定対象時刻から特徴量を抽出し、特徴空間に埋め込む層である。ここでは、全結合層、畳み込み層、及び全結合層と畳み込み層との組合せによって推定対象時刻の特徴量を抽出し、ベクトル化する。
　図４の例では、埋め込み層Ａ３０によって抽出されたデータの特徴量を表すベクトルと、埋め込み層Ｂ３１によって抽出された推定対象時刻の特徴量を表すベクトルとを加算して得られたベクトルを、ＲＮＮ層３２に入力する。
　ＲＮＮ層３２は、特徴空間に埋め込められた特徴量を更に系列データとして抽象化する層である。具体的には、時系列データを受け取り、過去の抽象化された情報を循環させ、繰り返し非線形変換する。ＲＮＮ層３２には時系列データを適切に抽象化できるネットワーク構造であれば公知の構造を利用することもでき、例えば、非特許文献３に記載の構造を利用することもできる。
［非特許文献３］Kyunghyun Cho et al.“Learning phrase representations using RNN encoder-decoder for statistical machine translation”. In: arXiv preprint arXiv:1406.1078 (2014).
　全結合層３３及び出力層３４は、抽象化された系列特徴を、１次元のベクトル（即ち、スカラ値）に圧縮し、更にシグモイド関数等を利用して、０から１の値に射影し、ｈｉｊを算出する。
　また、上記の代わりにｈｉｊを
Figure JPOXMLDOC01-appb-I000009

                                                               （２）
のように定義し、ｈｉ０，…，ｈｉＪを一括で計算することも可能である。
　上記式（１）で表されるｈｉｊは推定対象時刻を明示的に学習できるため、入力特徴量とそれが影響を与えるまでの時間差を考慮した学習が可能であるが、計算量が多く必要である。上記式（２）で表されるｈｉｊは計算量が少ない一方で、推定対象時刻の順序を考慮した学習ができないという欠点がある。
　パラメータ推定部２２は、複数の時系列データの各々について与えられたイベントの発生時刻と、複数の時系列データの各々について推定されたイベントの発生し易さとを含んで表される尤度関数を最適化するように、ハザード関数のパラメータを推定する。
　具体的には、パラメータ推定部２２は、履歴時系列データベース２内に格納される各時系列データについて、ハザード推定部２１の出力であるハザード関数とイベント発生時刻または打ち切り時刻と指示変数とを突き合わせて、尤度関数の最大化等によりモデルパラメータθを最適化し、最適化したモデルパラメータθをパラメータ格納部２３に保存する。
　例えば、時系列データＸｋに対して、イベント発生時刻または打ち切り時刻ｅｋ、指示変数δｋを用いると、時系列データＸｋに対する尤度は
Figure JPOXMLDOC01-appb-M000010
のように得られる。ただし、Ｊ´は
Figure JPOXMLDOC01-appb-I000011

を満たす自然数である。また、部分尤度Ｌｋ ｂ（θ）、Ｌｋ ｅ（θ）、Ｌｋ ａ（θ）はそれぞれ、推定対象時刻がイベントの発生前、イベントの発生時、及びイベントの発生後である場合の尤度を考慮しており、ｗｂ、ｗｅ、ｗａはそれぞれの尤度のスケールや重要度を調整するハイパーパラメータである。
　ここで、Ｔｊ＝（Δｔｊ－１，Δｔｊ］と置くと、
Figure JPOXMLDOC01-appb-M000012
となる。このことから以下の式が得られる。
Figure JPOXMLDOC01-appb-M000013
　また、同様に、以下の式が得られる。
Figure JPOXMLDOC01-appb-M000014
Figure JPOXMLDOC01-appb-M000015
　また、Ｋ個の時系列データに対する尤度は、以下の式のように各データに対する尤度の積として得ることができる。
Figure JPOXMLDOC01-appb-M000016
　具体的な最適化の方法として、例えば、尤度関数の対数に－１をかけたものを損失関数として、バックプロパゲーションなどの公知の技術によって最小化することで実現できる。
　パラメータ格納部２３は、パラメータ推定部２２で推定したモデルパラメータθを格納する。
　イベント発生時刻推定部２４は、ハザード推定部２１で推定したハザード関数の値に基づいて次にイベントが発生する時刻を推定し、表示部１６により出力する。例えば、ハザード関数に基づくシミュレーションを行ったり、ハザード関数から導出される生存関数（Δｔ秒後までイベントが発生しない確率）の値と閾値の比較を行ったり、各推定対象時刻に発生する確率
Figure JPOXMLDOC01-appb-I000017

を計算することによって、次にイベントが発生する時刻を推定する。
＜本実施形態に係るイベント発生時刻推定装置の作用＞
　図５は、イベント発生時刻推定装置１０によるイベント発生時刻学習処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４からイベント発生時刻学習プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、イベント発生時刻学習処理が行なわれる。
　ステップＳ１において、ＣＰＵ１１は、初期値として乱数等で決定したハザード関数のパラメータθをパラメータ格納部２３に格納する。
　次に、ステップＳ２で、ＣＰＵ１１は、履歴時系列データベース２に含まれる時系列データＸ０，・・・，ＸＫをハザード推定部２１に渡す。なお、Ｋは、履歴時系列データベース２に含まれる時系列データ数である。ここで、ハザード推定部２１に渡す時系列データＸｋは、履歴時系列データベース２の中の各時系列データＸｋをＫ個全て渡してもよいし、あるいは、履歴時系列データベース２の中の時系列データＸｋの一部のみをハザード推定部２１に渡すようにしてもよい。
　ステップＳ３で、ＣＰＵ１１は、ハザード推定部２１として、パラメータ格納部２３から得られたパラメータθを、ハザード関数内のニューラルネットワークのパラメータとして設定する。
　ステップＳ４で、ＣＰＵ１１は、ハザード推定部２１として、各時系列データＸｋ（ｋは１～Ｎ）に対して、時刻ｔｉで予測を行ったときの、各推定対象時刻Δｔｊ（ｊは０～Ｊ）におけるイベントの発生し易さを表すハザード関数ｈｉｊを得る処理（図４参照）を繰り返す。全ての時系列データＸｋについて得られたハザード関数ｈｉｊを、パラメータ推定部２２に渡す。
　ステップＳ５で、ＣＰＵ１１は、パラメータ推定部２２として、各時系列データＸｋに対応する履歴時系列データベース２に含まれるイベント発生時刻又は打ち切り時刻と指示変数とを受け取る。
　ステップＳ６では、ＣＰＵ１１は、パラメータ推定部２２として、渡されたハザード関数ｈｉｊと、イベント発生時刻又は打ち切り時刻と、指示変数とを用いて表される尤度関数Ｌ（θ）を最大化することにより、ハザード関数のパラメータθの最適化を行う。
　ステップＳ７では、ＣＰＵ１１は、パラメータ推定部２２として、最適化したハザード関数のパラメータθをパラメータ格納部２３に格納する。
　ステップＳ８では、ＣＰＵ１１は、予め定めた基準（例えば、事前に決定した回数、又は、尤度関数の変化量が基準値以下になった等）に到達しているか否かを判断する。ステップＳ８が否定された場合は、ＣＰＵ１１は、ステップＳ２に戻る。
　ステップＳ２では、ＣＰＵ１１は、再度、履歴時系列データベース２に含まれる時系列データ｛Ｘ０、・・・、ＸＫ｝をハザード推定部２１に渡す。毎回、同じ時系列データＸｋをハザード推定部２１に渡してもよいが、異なる時系列データＸｋをハザード推定部２１に渡してもよい。例えば、毎回、ハザード推定部２１に履歴時系列データベース２の中の時系列データＸｋのＫ個を全て渡すようにしてもよい。あるいは、最初にハザード推定部２１に渡した履歴時系列データベース２の中の時系列データＸｋの一部とは異なる他の部分の時系列データＸｋを渡すようにして、逐次的に履歴時系列データベース２に含まれる一部の時系列データＸｋを渡すようにしてもよい。また、同一の時系列データＸｋを複数回渡してもよい。
　続いて、ＣＰＵ１１は、ステップＳ３～ステップＳ７の処理を実行して新しいハザード関数ｈｉｊのパラメータθを求める。ステップＳ８で、ＣＰＵ１１は、予め定めた基準に到達しているか否かを判断し、予め定めた基準に到達するまで繰り返しステップＳ２～ステップＳ７の処理を実行する。ステップＳ８の判断が肯定されると、ＣＰＵ１１は、最適化を終了する。
　図６は、イベント発生時刻推定装置１０によるイベント発生時刻推定処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４からイベント発生時刻推定プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、イベント発生時刻推定処理が行なわれる。
　ステップＳ１１において、ＣＰＵ１１は、パラメータ格納部２３に格納されている最適化されたハザード関数のパラメータθを、ハザード推定部２１に渡す。
　ステップＳ１２で、ＣＰＵ１１は、入力部１５から対象時系列データＸｃを入力して、ハザード推定部２１に渡す。
　ステップＳ１３で、ＣＰＵ１１は、ハザード推定部２１として、対象時系列データＸｃの各データｘｉｃと、各推定対象時刻Δｔｊとに基づいて、対象時系列データＸｃの終了時刻からの経過時間である各推定対象時刻Δｔｊについてハザード関数ｈを計算し、イベント発生時刻推定部２４に渡す。
　ステップＳ１４で、ＣＰＵ１１は、イベント発生時刻推定部２４として、各推定対象時刻Δｔｊについてのハザード関数ｈの値に基づいて、次のイベントの発生時刻ｅｃを推定する。さらに、ステップＳ１５で、ＣＰＵ１１は、推定した発生時刻ｅｃを表示部１６により出力する。
　以上説明したように、本実施形態のイベント発生時刻推定装置１０は、複数の時系列データの各々について、時系列データに含まれる複数のデータの各々の特徴量と、推定対象時刻の特徴量とから、推定対象時刻におけるイベントの発生し易さを推定するハザード関数に従って、イベントの発生し易さを推定する。イベント発生時刻推定装置１０は、複数の時系列データの各々について与えられたイベントの発生時刻と、複数の時系列データの各々について推定されたイベントの発生し易さとを含んで表される尤度関数を最適化するように、ハザード関数のパラメータを推定する。これにより、時系列データからイベントが発生する時刻を精度よく推定するためのハザード関数を学習することができる。
　また、本実施形態のイベント発生時刻推定装置１０は、対象時系列データに含まれる複数のデータの各々の特徴量と、推定対象時刻の特徴量とから、推定対象時刻におけるイベントの発生し易さを推定するハザード関数に従って、イベントの発生し易さを推定する。イベント発生時刻推定装置１０は、推定されたイベントの発生し易さに基づいて、次にイベントが発生する時刻を推定する。これにより、時系列データからイベントが発生する時間を精度よく推定することができる。
　本実施形態では、イベント発生時刻学習装置とイベント発生時刻推定装置が１つの装置で構成される場合について説明したが、図７に示すように、イベント発生時刻学習装置１０ａとイベント発生時刻推定装置１０ｂとが、異なる装置で構成されるようにしてもよい。ハードウェア構成、各構成要素、及び処理の流れは、イベント発生時刻学習装置１０ａとイベント発生時刻推定装置１０ｂを同一の装置とした場合と同じであるので省略する。
　なお、上記各実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行したイベント発生時刻学習処理とイベント発生時刻推定処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、イベント発生時刻学習処理とイベント発生時刻推定処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
　また、上記各実施形態では、イベント発生時刻学習プログラムとイベント発生時刻推定プログラムがストレージ１４に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）メモリ等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
　以上の実施形態に関し、更に以下の付記を開示する。
　（付記項１）
　メモリと、
　前記メモリに接続された少なくとも１つのプロセッサと、
　を含み、
　前記プロセッサは、
　データに関連するイベントの発生時刻が予め与えられた、一連の複数のデータから成る時系列データであって、前記イベントが発生しなかった時系列データと、前記イベントが発生した時系列データとを含む複数の時系列データの各々について、前記イベントの発生し易さを、ハザード関数に従って推定し、
　前記複数の時系列データの各々について与えられた前記イベントの発生時刻と、前記複数の時系列データの各々について推定された前記イベントの発生し易さとを含んで表される尤度関数を最適化するように、前記ハザード関数のパラメータを推定する、
　ように構成され、
　前記ハザード関数は、前記時系列データに含まれる複数のデータの各々の特徴量と、前記イベントの発生し易さの推定対象時刻の特徴量とから、前記推定対象時刻における前記イベントの発生し易さを推定する、イベント発生時刻学習装置。
　（付記項２）
　メモリと、
　前記メモリに接続された少なくとも１つのプロセッサと、
　を含み、
　前記プロセッサは、
　一連の複数のデータから成る対象時系列データの入力を受け付け、
　前記対象時系列データについて、データに関連するイベントの発生し易さを、学習済みのパラメータを用いたハザード関数に従って推定し、
　前記推定されたイベントの発生し易さに基づいて、次にイベントが発生する時刻を推定する、
　ように構成され、
　前記ハザード関数は、前記対象時系列データに含まれる複数のデータの各々の特徴量と、前記イベントの発生し易さの推定対象時刻の特徴量とから、前記推定対象時刻における前記イベントの発生し易さを推定する、イベント発生時刻推定装置。
　（付記項３）
　イベント発生時刻学習処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
　前記イベント発生時刻学習処理は、
　データに関連するイベントの発生時刻が予め与えられた、一連の複数のデータから成る時系列データであって、前記イベントが発生しなかった時系列データと、前記イベントが発生した時系列データとを含む複数の時系列データの各々について、前記イベントの発生し易さを、ハザード関数に従って推定し、
　前記複数の時系列データの各々について与えられた前記イベントの発生時刻と、前記複数の時系列データの各々について推定された前記イベントの発生し易さとを含んで表される尤度関数を最適化するように、前記ハザード関数のパラメータを推定し、
　前記ハザード関数は、前記時系列データに含まれる複数のデータの各々の特徴量と、前記イベントの発生し易さの推定対象時刻の特徴量とから、前記推定対象時刻における前記イベントの発生し易さを推定する、非一時的記憶媒体。
　（付記項４）
　イベント発生時刻推定処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
　前記イベント発生時刻推定処理は、
　一連の複数のデータから成る対象時系列データの入力を受け付け、
　前記対象時系列データについて、データに関連するイベントの発生し易さを、学習済みのパラメータを用いたハザード関数に従って推定し、
　前記推定されたイベントの発生し易さに基づいて、次にイベントが発生する時刻を推定し、
　前記ハザード関数は、前記対象時系列データに含まれる複数のデータの各々の特徴量と、前記イベントの発生し易さの推定対象時刻の特徴量とから、前記推定対象時刻における前記イベントの発生し易さを推定する、非一時的記憶媒体。
２     履歴時系列データベース
１０、１０ｂ  イベント発生時刻推定装置
１０ａ イベント発生時刻学習装置
１５   入力部
２１   ハザード推定部
２２   パラメータ推定部
２３   パラメータ格納部
２４   イベント発生時刻推定部

Claims (8)

  1. 　データに関連するイベントの発生時刻が予め与えられた、一連の複数のデータから成る時系列データであって、前記イベントが発生しなかった時系列データと、前記イベントが発生した時系列データとを含む複数の時系列データの各々について、前記イベントの発生し易さを、ハザード関数に従って推定するハザード推定部と、
    　前記複数の時系列データの各々について与えられた前記イベントの発生時刻と、前記複数の時系列データの各々について推定された前記イベントの発生し易さとを含んで表される尤度関数を最適化するように、前記ハザード関数のパラメータを推定するパラメータ推定部と、
    　を含み、
    　前記ハザード関数は、前記時系列データに含まれる複数のデータの各々の特徴量と、前記イベントの発生し易さの推定対象時刻の特徴量とから、前記推定対象時刻における前記イベントの発生し易さを推定する、
    　イベント発生時刻学習装置。
  2. 　前記ハザード推定部は、ニューラルネットワークを用いた前記ハザード関数に従って、前記時系列データに含まれる複数のデータの各々の特徴量と、前記時系列データの最終データに対応する時刻から、前記推定対象時刻までの経過時間の特徴量とを抽出し、前記抽出した特徴量に基づいて、前記イベントの発生し易さを推定する請求項１に記載のイベント発生時刻学習装置。
  3. 　前記時系列データは、一連の複数の画像から成る時系列画像群であり、
    　前記イベントは、画像の撮影者、被撮影者、又は被撮影物に関連するイベントである請求項１又は請求項２に記載のイベント発生時刻学習装置。
  4. 　一連の複数のデータから成る対象時系列データの入力を受け付ける入力部と、
    　前記対象時系列データについて、データに関連するイベントの発生し易さを、学習済みのパラメータを用いたハザード関数に従って推定するハザード推定部と、
    　前記推定されたイベントの発生し易さに基づいて、次にイベントが発生する時刻を推定するイベント発生時刻推定部と、
    　を含み、
    　前記ハザード関数は、前記対象時系列データに含まれる複数のデータの各々の特徴量と、前記イベントの発生し易さの推定対象時刻の特徴量とから、前記推定対象時刻における前記イベントの発生し易さを推定する、
    　イベント発生時刻推定装置。
  5. 　ハザード推定部が、データに関連するイベントの発生時刻が予め与えられた、一連の複数のデータから成る時系列データであって、前記イベントが発生しなかった時系列データと、前記イベントが発生した時系列データとを含む複数の時系列データの各々について、前記イベントの発生し易さを、ハザード関数に従って推定し、
    　パラメータ推定部が、前記複数の時系列データの各々について与えられた前記イベントの発生時刻と、前記複数の時系列データの各々について推定された前記イベントの発生し易さとを含んで表される尤度関数を最適化するように、前記ハザード関数のパラメータを推定すること
    　を含み、
    　前記ハザード関数は、前記時系列データに含まれる複数のデータの各々の特徴量と、前記イベントの発生し易さの推定対象時刻の特徴量とから、前記推定対象時刻における前記イベントの発生し易さを推定する、
    　イベント発生時刻学習方法。
  6. 　入力部が、一連の複数のデータから成る対象時系列データの入力を受け付け、
    　ハザード推定部が、前記対象時系列データについて、データに関連するイベントの発生し易さを、学習済みのパラメータを用いたハザード関数に従って推定し、
    　イベント発生時刻推定部が、前記推定されたイベントの発生し易さに基づいて、次にイベントが発生する時刻を推定すること
    　を含み、
    　前記ハザード関数は、前記対象時系列データに含まれる複数のデータの各々の特徴量と、前記イベントの発生し易さの推定対象時刻の特徴量とから、前記推定対象時刻における前記イベントの発生し易さを推定する、
    　イベント発生時刻推定方法。
  7. 　データに関連するイベントの発生時刻が予め与えられた、一連の複数のデータから成る時系列データであって、前記イベントが発生しなかった時系列データと、前記イベントが発生した時系列データとを含む複数の時系列データの各々について、前記イベントの発生し易さを、ハザード関数に従って推定し、
    　前記複数の時系列データの各々について与えられた前記イベントの発生時刻と、前記複数の時系列データの各々について推定された前記イベントの発生し易さとを含んで表される尤度関数を最適化するように、前記ハザード関数のパラメータを推定する
    　ことをコンピュータに実行させるためのイベント発生時刻学習プログラムであって、
    　前記ハザード関数は、前記時系列データに含まれる複数のデータの各々の特徴量と、前記イベントの発生し易さの推定対象時刻の特徴量とから、前記推定対象時刻における前記イベントの発生し易さを推定する、
    　イベント発生時刻学習プログラム。
  8. 　一連の複数のデータから成る対象時系列データの入力を受け付け、
    　前記対象時系列データについて、データに関連するイベントの発生し易さを、学習済みのパラメータを用いたハザード関数に従って推定し、
    　前記推定されたイベントの発生し易さに基づいて、次にイベントが発生する時刻を推定する
    　ことをコンピュータに実行させるためのイベント発生時刻推定プログラムであって、
    　前記ハザード関数は、前記対象時系列データに含まれる複数のデータの各々の特徴量と、前記イベントの発生し易さの推定対象時刻の特徴量とから、前記推定対象時刻における前記イベントの発生し易さを推定する、
    　イベント発生時刻推定プログラム。
PCT/JP2019/020346 2019-05-22 2019-05-22 イベント発生時刻学習装置、イベント発生時刻推定装置、イベント発生時刻学習方法、イベント発生時刻推定方法、イベント発生時刻学習プログラム、及びイベント発生時刻推定プログラム WO2020235066A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/613,062 US20220222915A1 (en) 2019-05-22 2019-05-22 Event occurrence time learning device, event occurrence time estimation device, event occurrence time learning method, event occurrence time estimation method,event occurrence time learning program, and event occurrence time estimation program
PCT/JP2019/020346 WO2020235066A1 (ja) 2019-05-22 2019-05-22 イベント発生時刻学習装置、イベント発生時刻推定装置、イベント発生時刻学習方法、イベント発生時刻推定方法、イベント発生時刻学習プログラム、及びイベント発生時刻推定プログラム
JP2021519993A JP7338680B2 (ja) 2019-05-22 2019-05-22 イベント発生時刻学習装置、イベント発生時刻推定装置、イベント発生時刻学習方法、イベント発生時刻推定方法、イベント発生時刻学習プログラム、及びイベント発生時刻推定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/020346 WO2020235066A1 (ja) 2019-05-22 2019-05-22 イベント発生時刻学習装置、イベント発生時刻推定装置、イベント発生時刻学習方法、イベント発生時刻推定方法、イベント発生時刻学習プログラム、及びイベント発生時刻推定プログラム

Publications (1)

Publication Number Publication Date
WO2020235066A1 true WO2020235066A1 (ja) 2020-11-26

Family

ID=73458970

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/020346 WO2020235066A1 (ja) 2019-05-22 2019-05-22 イベント発生時刻学習装置、イベント発生時刻推定装置、イベント発生時刻学習方法、イベント発生時刻推定方法、イベント発生時刻学習プログラム、及びイベント発生時刻推定プログラム

Country Status (3)

Country Link
US (1) US20220222915A1 (ja)
JP (1) JP7338680B2 (ja)
WO (1) WO2020235066A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7092062B2 (ja) * 2019-02-20 2022-06-28 日本電信電話株式会社 イベント発生時刻学習装置、イベント発生時刻推定装置、イベント発生時刻推定方法、イベント発生時刻学習プログラム、及びイベント発生時刻推定プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011081697A (ja) * 2009-10-09 2011-04-21 Hitachi Ltd 設備状態監視方法、監視システム及び監視プログラム
WO2017038166A1 (ja) * 2015-08-28 2017-03-09 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US20170181711A1 (en) * 2015-12-29 2017-06-29 International Business Machines Corporation Time-varying risk profiling from health sensor data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011081697A (ja) * 2009-10-09 2011-04-21 Hitachi Ltd 設備状態監視方法、監視システム及び監視プログラム
WO2017038166A1 (ja) * 2015-08-28 2017-03-09 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US20170181711A1 (en) * 2015-12-29 2017-06-29 International Business Machines Corporation Time-varying risk profiling from health sensor data

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YAMAMOTO, SHUHEI ET AL.: "Traffic Near-miss Target Classification on Event Recorder Data", IPSJ SYMPOSIUM SERIES: MULTIMEDIA, DISTRIBUTED, COOPERATIVE AND MOBILE SYMPOSIUM (DICOMO2018), 27 June 2018 (2018-06-27), pages 542 - 553, ISSN: 1882-0840 *

Also Published As

Publication number Publication date
JPWO2020235066A1 (ja) 2020-11-26
US20220222915A1 (en) 2022-07-14
JP7338680B2 (ja) 2023-09-05

Similar Documents

Publication Publication Date Title
CN110476172B (zh) 用于卷积神经网络的神经架构搜索
CN110326004B (zh) 使用路径一致性学习训练策略神经网络
US11574164B2 (en) Neural network cooperation
JP6917508B2 (ja) 強化学習を用いた環境予測
EP2437034B1 (en) System and method for conditional multi-output regression for machine condition monitoring
US20220405682A1 (en) Inverse reinforcement learning-based delivery means detection apparatus and method
US20210209507A1 (en) Processing a model trained based on a loss function
CN111753952A (zh) 学习包括高斯过程的概率模型的参数
Luleci et al. A literature review: Generative adversarial networks for civil structural health monitoring
JP2007215354A (ja) 電力負荷予測方法、及び電力負荷予測処理プログラム
Zeng et al. Data-driven control of spatiotemporal chaos with reduced-order neural ODE-based models and reinforcement learning
JP6853955B2 (ja) 人流パターン推定システム、人流パターン推定方法および人流パターン推定プログラム
Naing et al. Data-driven microscopic traffic modelling and simulation using dynamic lstm
Peled et al. Model-based machine learning for transportation
EP3783538A1 (en) Analysing interactions between multiple physical objects
WO2020235066A1 (ja) イベント発生時刻学習装置、イベント発生時刻推定装置、イベント発生時刻学習方法、イベント発生時刻推定方法、イベント発生時刻学習プログラム、及びイベント発生時刻推定プログラム
JP6853968B2 (ja) パラメータ推定システム、パラメータ推定方法およびパラメータ推定プログラム
WO2019225011A1 (ja) 学習装置、情報処理システム、学習方法、および学習プログラム
Navaneeth et al. Koopman operator for time-dependent reliability analysis
Drovandi ABC and indirect inference
US11699239B2 (en) Image processing method and apparatus
Naing et al. Dynamic car-following model calibration with deep reinforcement learning
CN112242959B (zh) 微服务限流控制方法、装置、设备及计算机存储介质
CN114730380A (zh) 神经网络的深度并行训练
JP7092062B2 (ja) イベント発生時刻学習装置、イベント発生時刻推定装置、イベント発生時刻推定方法、イベント発生時刻学習プログラム、及びイベント発生時刻推定プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19929754

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021519993

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19929754

Country of ref document: EP

Kind code of ref document: A1