WO2022059194A1 - 異常判定プログラム、装置、及び方法 - Google Patents

異常判定プログラム、装置、及び方法 Download PDF

Info

Publication number
WO2022059194A1
WO2022059194A1 PCT/JP2020/035559 JP2020035559W WO2022059194A1 WO 2022059194 A1 WO2022059194 A1 WO 2022059194A1 JP 2020035559 W JP2020035559 W JP 2020035559W WO 2022059194 A1 WO2022059194 A1 WO 2022059194A1
Authority
WO
WIPO (PCT)
Prior art keywords
input data
probability distribution
unit
conditional probability
data
Prior art date
Application number
PCT/JP2020/035559
Other languages
English (en)
French (fr)
Inventor
裕一 鎌田
章 中川
圭造 加藤
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to JP2022550312A priority Critical patent/JP7435806B2/ja
Priority to PCT/JP2020/035559 priority patent/WO2022059194A1/ja
Publication of WO2022059194A1 publication Critical patent/WO2022059194A1/ja
Priority to US18/180,401 priority patent/US20230229893A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Definitions

  • the disclosed technology relates to an abnormality determination program, an abnormality determination device, and an abnormality determination method.
  • abnormal data is detected by learning the probability distribution of normal data by unsupervised learning and comparing the probability distribution of the data to be judged with the probability distribution of normal data.
  • an auto-encoder that applies the Rate-Distortion theory that minimizes the entropy of latent variables acquires the probability distribution of the latent space proportional to the probability distribution in the real space, and obtains anomalous data from the difference in the probability distribution of the latent space.
  • Techniques for detection have been proposed.
  • the characteristics of the input data have various probability distributions
  • the characteristics of the probability distribution indicated by the abnormal data may be buried in the differences of the various probability distributions, and it may not be possible to accurately determine normality or abnormality. , There is a problem.
  • the disclosed technology aims to accurately determine normality or abnormality even when the characteristics of the input data have various probability distributions.
  • the disclosed technique uses a condition based on the data in the peripheral region of the data of interest in the input data for a low-dimensional feature quantity having a lower number of dimensions than the input data obtained by encoding the input data. Estimate as a conditional probability distribution. Further, the disclosed technique is based on a cost including an error between the output data obtained by decoding the feature amount obtained by adding noise to the low-dimensional feature amount and the input data, and the entropy of the conditional probability distribution. Adjust the respective parameters of the coding, the estimation, and the decoding. Then, the disclosed technique uses the adjusted parameters to determine whether or not the input data to be determined is normal, and the conditional probability distribution based on the data in the peripheral region of the input data to be determined. The determination is executed based on.
  • FIG. 1 schematically shows an example of a medical image as input data.
  • the state in which no vacuole is generated is determined to be normal, and the state in which vacuole is generated is determined to be abnormal.
  • the low-dimensional features extracted from the target medical image are based on the entropy of the low-dimensional features extracted from the medical image without vacuoles, as in the "other" medical image shown in FIG. Evaluate entropy and determine normal or abnormal.
  • the medical image of "other (vacuum)" is abnormal due to the difference between the entropy of "other” indicating normality and the entropy of "other (vacuum)". Can be determined to be.
  • the medical image may include tissues such as glomeruli, renal tubules, and blood, and a background, and the entropy varies depending on the tissues and background contained therein. Occurs. Therefore, when the "other" entropy indicating normality is used as a reference, the entropy of the abnormal data is buried in the difference in entropy for each tissue or the like as described above, and normality or abnormality cannot be accurately determined.
  • control is performed so that normality or abnormality can be accurately determined even when the probability distributions showing low-dimensional features extracted from the input data are various probability distributions.
  • the abnormality determination device 10 includes an autoencoder 20, an estimation unit 12, an adjustment unit 14, and a determination unit 16.
  • the estimation unit 12 and the adjustment unit 14 function, and when determining an abnormality using the autoencoder 20, the estimation unit 12 and the determination unit 16 function.
  • the functions of each functional unit will be described together with a more detailed configuration of the autoencoder 20 at the time of learning and at the time of determination.
  • the autoencoder 20 includes a coding unit 22, a noise generation unit 24, an addition unit 26, and a decoding unit 28.
  • the coding unit 22 encodes the multidimensional input data to extract a latent variable y which is a low-dimensional feature quantity having a lower number of dimensions than the input data. Specifically, the coding unit 22 extracts the latent variable y from the input data x by the coding function f ⁇ (x) including the parameter ⁇ . For example, the coding unit 22 can apply a CNN (Convolutional Neural Network) algorithm as the coding function f ⁇ (x). The coding unit 22 outputs the extracted latent variable y to the adding unit 26.
  • a CNN Convolutional Neural Network
  • the noise generation unit 24 generates noise ⁇ which is a random number based on a Gaussian distribution having the same number of dimensions as the latent variable y, each dimension having no correlation with each other, an average of 0, and a variance of ⁇ 2 .
  • the noise generation unit 24 outputs the generated noise ⁇ to the addition unit 26.
  • the addition unit 26 is a latent variable y ⁇ which is the sum of the latent variable y input from the coding unit 22 and the noise ⁇ input from the noise generation unit 24 (in the figure, “ ⁇ (hat)" is placed on “y”. ) ”) Is generated and output to the decoding unit 28.
  • the decoding unit 28 decodes the latent variable y ⁇ input from the addition unit 26 to output data x ⁇ having the same number of dimensions as the input data x (in the figure, " ⁇ (hat)" is placed on “x”. ") Is generated. Specifically, the decoding unit 28 generates output data x ⁇ from the latent variable y ⁇ by the decoding function g ⁇ (y ⁇ ) including the parameter ⁇ . For example, the decoding unit 28 can apply the algorithm of transposed CNN as the decoding function g ⁇ (y ⁇ ).
  • the estimation unit 12 acquires the latent variable y extracted by the coding unit 22, and estimates the latent variable y as a conditional probability distribution under the context of the latent variable y.
  • the context in this embodiment is related information about the data of interest.
  • the context is the information possessed by the data around the attention data when the input data is two-dimensional like the image data, and before and after the attention data when the input data is one-dimensional time-series data. It is the information that the data of.
  • the estimation unit 12 extracts the context y con from the latent variable y by the extraction function h ⁇ 2 including the parameter ⁇ 2. Then, the estimation unit 12 has a conditional probability distribution P ⁇ y (y
  • an algorithm using an AR (Auto-Regressive) model such as masked CNN can be applied.
  • the AR model is a model that predicts the next frame from the frame immediately before that.
  • the estimation unit 12 uses the following equation (1) to perform the parameters ⁇ (y) and ⁇ ( . y) is estimated.
  • the estimation unit 12 has pixels m-1, n-1 y, m-1, n y, m- in the peripheral region of the pixels m, n y of interest.
  • the information of 1, n + 1 y and m, n-1 y is extracted as a context.
  • the peripheral region as shown in FIG. 5, the entire peripheral region of the pixels of interest m and ny may be used.
  • equation (2) can also be used.
  • i is a variable that identifies the element of each dimension of the latent variable y ( m, n y in the above image data example).
  • the adjusting unit 14 decodes the coding unit 22 based on the learning cost including the error between the input data x and the output data x ⁇ corresponding to the input data and the entropy R calculated by the estimation unit 12.
  • the parameters ⁇ , ⁇ , ⁇ 1 and ⁇ 2 of the unit 28 and the estimation unit 12 are adjusted.
  • the adjusting unit 14 minimizes the learning cost L1 represented by the weighted sum of the error between x and x ⁇ and the entropy R as shown in the following equation (3).
  • ⁇ , ⁇ 1 and ⁇ 2 are updated, and the process of generating the output data x ⁇ from the input data x is repeated.
  • the parameters of the autoencoder 20 and the estimation unit 12 are learned.
  • ⁇ is a weighting coefficient
  • the input data at the time of determination is an example of "input data to be determined" in the disclosed technology.
  • the coding unit 22 extracts the latent variable y from the input data x by encoding the input data x based on the coding function f ⁇ (x) in which the parameter ⁇ adjusted by the adjusting unit 14 is set. ..
  • the estimation unit 12 acquires the latent variable y extracted by the coding unit 22, and the latent variable y is set by the extraction function h ⁇ 2 and the estimation function h ⁇ 1 in which the parameters ⁇ 1 and ⁇ 2 adjusted by the adjustment unit 14 are set. Estimate the parameters ⁇ (y) and ⁇ (y) of the conditional probability distribution P ⁇ y (y
  • the determination unit 16 evaluates the entropy of the conditional probability distribution P ⁇ y (y
  • the abnormality determination device 10 can be realized by, for example, the computer 40 shown in FIG. 7.
  • the computer 40 includes a CPU (Central Processing Unit) 41, a memory 42 as a temporary storage area, and a non-volatile storage unit 43. Further, the computer 40 includes an input / output device 44 such as an input unit and a display unit, and an R / W (Read / Write) unit 45 that controls reading and writing of data to the storage medium 49. Further, the computer 40 includes a communication I / F (Interface) 46 connected to a network such as the Internet.
  • the CPU 41, the memory 42, the storage unit 43, the input / output device 44, the R / W unit 45, and the communication I / F 46 are connected to each other via the bus 47.
  • the storage unit 43 can be realized by an HDD (Hard Disk Drive), an SSD (Solid State Drive), a flash memory, or the like.
  • the storage unit 43 as a storage medium stores the abnormality determination program 50 for causing the computer 40 to function as the abnormality determination device 10 and executing the learning process and the determination process described later.
  • the abnormality determination program 50 includes an autoencoder process 60, an estimation process 52, an adjustment process 54, and a determination process 56.
  • the CPU 41 reads the abnormality determination program 50 from the storage unit 43, expands it into the memory 42, and sequentially executes the processes included in the abnormality determination program 50.
  • the CPU 41 operates as the autoencoder 20 shown in FIG. 2 by executing the autoencoder process 60. Further, the CPU 41 operates as the estimation unit 12 shown in FIG. 2 by executing the estimation process 52. Further, the CPU 41 operates as the adjustment unit 14 shown in FIG. 2 by executing the adjustment process 54. Further, the CPU 41 operates as the determination unit 16 shown in FIG. 2 by executing the determination process 56.
  • the computer 40 that has executed the abnormality determination program 50 functions as the abnormality determination device 10.
  • the CPU 41 that executes the program is hardware.
  • the function realized by the abnormality determination program 50 can also be realized by, for example, a semiconductor integrated circuit, more specifically, an ASIC (Application Specific Integrated Circuit) or the like.
  • a semiconductor integrated circuit more specifically, an ASIC (Application Specific Integrated Circuit) or the like.
  • the abnormality determination device 10 executes the determination process shown in FIG.
  • the learning process and the determination process are examples of the abnormality determination method of the disclosed technology.
  • step S12 the coding unit 22 extracts the latent variable y from the input data x by the coding function f ⁇ (x) including the parameter ⁇ , and outputs the latent variable y to the adding unit 26.
  • step S14 the estimation unit 12 extracts the context y con of the latent variable y from the latent variable y by the extraction function h ⁇ 2 including the parameter ⁇ 2. Then, the estimation unit 12 uses the estimation function h ⁇ 1 including the parameter ⁇ 1 to obtain the parameters ⁇ (y) and ⁇ ( y) of the conditional probability distribution P ⁇ y (y
  • the noise generation unit 24 generates a noise ⁇ which is a random number based on a Gaussian distribution having the same number of dimensions as the latent variable y, each dimension having no correlation with each other, an average of 0, and a variance of ⁇ 2 .
  • the addition unit 26 generates a latent variable y ⁇ by adding the latent variable y input from the coding unit 22 and the noise ⁇ input from the noise generation unit 24, and outputs the latent variable y ⁇ to the decoding unit 28. ..
  • the decoding unit 28 decodes the latent variable y ⁇ by the decoding function g ⁇ (y ⁇ ) including the parameter ⁇ , and generates the output data x ⁇ .
  • step S22 the adjusting unit 14 updates the parameter ⁇ of the coding unit 22, the parameter ⁇ of the decoding unit 28, and the parameters ⁇ 1 and ⁇ 2 of the estimation unit 12 so that the learning cost L1 becomes smaller. ..
  • step S24 the adjusting unit 14 determines whether or not the learning has converged. For example, when the number of times the parameter update is repeated reaches a predetermined number of times , or when the value of the learning cost L1 does not change, it can be determined that the learning has converged. If the learning has not converged, the process returns to step S12, and the processes of steps S12 to S22 are repeated for the next input data x. When the learning converges, the learning process ends.
  • the determination process is started with the parameters ⁇ , ⁇ 1 and ⁇ 2 adjusted by the learning process set in each of the coding unit 22 and the estimation unit 12.
  • step S32 the coding unit 22 extracts the latent variable y from the input data x by the coding function f ⁇ (x) including the adjusted parameter ⁇ .
  • step S34 the estimation unit 12 extracts the context y con of the latent variable y from the latent variable y by the extraction function h ⁇ 2 including the adjusted parameter ⁇ 2. Then, the estimation unit 12 uses the estimation function h ⁇ 1 including the adjusted parameter ⁇ 1 to obtain the parameters ⁇ (y) of the conditional probability distribution P ⁇ y (y
  • step S36 the estimation unit 12 calculates the entropy R from the estimated ⁇ (y) and ⁇ (y) by the equation (2), and the expected value of the entropy calculated from the estimated ⁇ (y) .
  • the difference ⁇ R with and from is calculated by the equation (4).
  • step S38 the determination unit 16 compares the difference ⁇ R of the entropy calculated by the estimation unit 12 in step S36 with the predetermined determination standard to determine whether the input data x is normal or abnormal. Is determined.
  • step S40 the determination unit 16 outputs a determination result of whether it is normal or abnormal, and the determination process ends.
  • the abnormality determination device has a latent variable having a lower number of dimensions than the input data obtained by encoding the input data under a context representing the global characteristics of the input data. Estimate as a conditional probability distribution.
  • the context is the information of the peripheral data of the attention data of the latent variable.
  • the abnormality determination device encodes, estimates, and estimates based on the cost including the error between the output data obtained by decoding the feature amount obtained by adding noise to the latent variable and the input data, and the entropy of the conditional probability distribution. And adjust each parameter of decoding. Then, the abnormality determination device evaluates the entropy of the conditional probability distribution in the determination of whether or not the input data to be determined is normal using the adjusted parameters.
  • the local characteristics indicated by the latent variable can be evaluated and normal or abnormal can be determined. That is, it is possible to evaluate the local characteristics of the latent variable under the condition of the characteristics according to the type of input data (the type of tissue or the like in the example of FIG. 1) by the global characteristics of the latent variable. Therefore, even if the characteristics of the input data have various probability distributions and the difference between normal and abnormal is in the local characteristics, it is suppressed that it becomes difficult to distinguish between normal and abnormal, and normal or abnormal is judged accurately. can do.
  • the abnormality determination device 210 includes an autoencoder 220, an estimation unit 212, an adjustment unit 214, and a determination unit 16.
  • the estimation unit 212 and the adjustment unit 214 function, and when determining an abnormality using the autoencoder 220, the estimation unit 212 and the determination unit 16 function.
  • the functions of each functional unit will be described together with a more detailed configuration of the autoencoder 220 at the time of learning and at the time of determination.
  • the autoencoder 220 includes a lower coding unit 221, an upper coding unit 222, a lower noise generation unit 223, an upper noise generation unit 224, a lower addition unit 225, and an upper addition unit 226. And the lower decoding unit 227 and the upper decoding unit 228.
  • the lower coding unit 221 extracts the lower latent variable y from the input data x by the coding function f ⁇ y (x) including the parameter ⁇ y.
  • the lower latent variable y represents a local feature of the input data.
  • the lower coding unit 221 outputs the extracted lower latent variable y to the lower addition unit 225 and the upper coding unit 222.
  • the upper coding unit 222 extracts a lower-dimensional upper latent variable z from the lower latent variable y by the coding function f ⁇ z (y) including the parameter ⁇ z.
  • the upper latent variable z represents the global characteristics of the input data.
  • the upper coding unit 222 outputs the extracted lower latent variable z to the upper addition unit 226.
  • the CNN algorithm can be applied.
  • the lower noise generation unit 223 generates noise ⁇ y having the same number of dimensions as the lower latent variable y and outputs it to the lower addition unit 225.
  • the upper noise generation unit 224 generates noise ⁇ z having the same number of dimensions as the upper latent variable z and outputs the noise ⁇ z to the upper addition unit 226.
  • the noises ⁇ y and ⁇ z are random numbers based on a Gaussian distribution in which the dimensions are uncorrelated with each other, the mean is 0, and the variance is ⁇ 2 .
  • the lower addition unit 225 generates a lower latent variable y ⁇ by adding the lower latent variable y input from the lower coding unit 221 and the noise ⁇ y input from the lower noise generation unit 223, and performs lower decoding. Output to unit 227.
  • the upper latent variable z ⁇ (in the figure, “z” in the figure) is the sum of the upper latent variable z input from the upper coding unit 222 and the noise ⁇ z input from the upper noise generation unit 224. " ⁇ (Hat)”) is generated above and output to the upper decoding unit 228.
  • the lower decoding unit 227 decodes the lower latent variable y ⁇ input from the lower addition unit 225 by the decoding function g ⁇ y (y ⁇ ) including the parameter ⁇ y, so that the lower level decoding unit 227 has the same number of dimensions as the input data x. Generate output data x ⁇ .
  • the upper decoding unit 228 has the same number of dimensions as the lower latent variable y by decoding the upper latent variable z ⁇ input from the upper addition unit 226 by the decoding function g ⁇ z (z ⁇ ) including the parameter ⁇ z. Generate high-level output data y ⁇ '.
  • the decoding functions g ⁇ y (z ⁇ ) and g ⁇ z (z ⁇ ) the algorithm of transposed CNN can be applied.
  • the estimation unit 212 acquires the upper latent variable z extracted by the upper coding unit 222, and estimates the upper latent variable z as a probability distribution. Specifically, the estimation unit 212 estimates the probability distribution P ⁇ z (z) by a model of a probability distribution in which a plurality of distributions are mixed, including the parameter ⁇ z. In this embodiment, a case where the model of the probability distribution is a GMM (Gaussian mixture model) will be described. In this case, the estimation unit 212 estimates the probability distribution P ⁇ z (z) by calculating the parameters ⁇ , ⁇ , and ⁇ of the following equation (5) by the maximum likelihood estimation method or the like.
  • GMM Gausian mixture model
  • K is the number of normal distributions contained in the GMM
  • ⁇ k is the mean vector of the kth normal distribution
  • ⁇ k is the variance-covariance matrix of the kth normal distribution
  • ⁇ k is the kth normal. It is the weight of the distribution (mixing coefficient), and the sum of ⁇ k is 1.
  • the estimation unit 212 uses the lower latent variable y as the conditional probability distribution P ⁇ y (y
  • the context extracted from the upper output data y ⁇ 'output from the upper decoding unit 228 is also used.
  • the estimation unit 212 extracts the context y con from the lower latent variable y and the upper output data y ⁇ 'by the extraction function h ⁇ 2y including the parameter ⁇ 2y. Then, the estimation unit 212 has a conditional probability distribution P ⁇ y (y
  • the estimation unit 212 uses the following equation (6) to set the parameters ⁇ (y) and ⁇ ( . y) is estimated.
  • the estimation unit 212 uses the estimated ⁇ (y) and ⁇ (y) as in the estimation unit 12 in the first embodiment, and uses the conditional probability distribution P ⁇ y (y
  • the entropy R y -log (P ⁇ y (y
  • the adjusting unit 214 calculates the learning cost L 2 including the error between the input data x and the output data x ⁇ corresponding to the input data, and the entropy R z and R y calculated by the estimation unit 212. Based on the learning cost L2, the adjusting unit 214 has parameters ⁇ y, ⁇ z, and ⁇ y of the lower coding unit 22, the upper coding unit 222, the lower decoding unit 227, the upper decoding unit 228, and the estimation unit 212, respectively. , ⁇ z, ⁇ z, ⁇ 1y, ⁇ 2y.
  • the adjusting unit 214 minimizes the learning cost L 2 represented by the weighted sum of the error D between x and x ⁇ and the entropy R z and R y as shown in the following equation (7).
  • the process of generating the output data x ⁇ from the input data x is repeated while updating the parameters ⁇ y, ⁇ z, ⁇ y, ⁇ z, ⁇ z, ⁇ 1y, and ⁇ 2y.
  • the parameters of the autoencoder 220 and the estimation unit 212 are learned.
  • the lower coding unit 221 encodes the input data x based on the coding function f ⁇ y (x) in which the parameter ⁇ y adjusted by the adjustment unit 214 is set, so that the lower latent variable y is obtained from the input data x. It is extracted and input to the upper coding unit 222.
  • the upper latent variable 222 encodes the lower latent variable y based on the coding function f ⁇ z (y) in which the parameter ⁇ z adjusted by the adjusting unit 214 is set, so that the lower latent variable y to the upper latent variable z is extracted and input to the upper decoding unit 228.
  • the upper decoding unit 228 decodes the upper latent variable z input from the upper coding unit 222 by the decoding function g ⁇ z (z) including the parameter ⁇ z adjusted by the adjustment unit 214, thereby causing the lower latent variable. "Generate high-level output data y'with the same number of dimensions as y.
  • the estimation unit 212 acquires the lower latent variable y extracted by the lower coding unit 221 and the upper output data y'generated by the upper decoding unit 228. Then, the estimation unit 212 extracts the context y con from the latent variable y and the upper output data y'by the extraction function h ⁇ 2y including the parameter ⁇ 2y adjusted by the adjustment unit 214. Further, the estimation unit 212 has a conditional probability distribution P ⁇ y (y
  • the estimation unit 212 has the entropy R y calculated by the equation (2) from the estimated ⁇ (y) and ⁇ (y ) and the estimated ⁇ ( y), similarly to the estimation unit 12 in the first embodiment.
  • the difference ⁇ R from the expected value of entropy calculated from is calculated by Eq. (4).
  • the abnormality determination device 210 can be realized by, for example, the computer 40 shown in FIG.
  • the abnormality determination program 250 for causing the computer 40 to function as the abnormality determination device 210 and executing the learning process and the determination process described later is stored.
  • the abnormality determination program 250 includes an autoencoder process 260, an estimation process 252, an adjustment process 254, and a determination process 56.
  • the CPU 41 reads the abnormality determination program 250 from the storage unit 43, expands it into the memory 42, and sequentially executes the processes included in the abnormality determination program 250.
  • the CPU 41 operates as the autoencoder 220 shown in FIG. 2 by executing the autoencoder process 260. Further, the CPU 41 operates as the estimation unit 212 shown in FIG. 2 by executing the estimation process 252. Further, the CPU 41 operates as the adjustment unit 214 shown in FIG. 2 by executing the adjustment process 254. Further, the CPU 41 operates as the determination unit 16 shown in FIG. 2 by executing the determination process 56.
  • the computer 40 that has executed the abnormality determination program 250 functions as the abnormality determination device 210.
  • the function realized by the abnormality determination program 250 can also be realized by, for example, a semiconductor integrated circuit, more specifically, an ASIC or the like.
  • the abnormality determination device 210 executes the determination process shown in FIG.
  • step S212 the lower coding unit 221 extracts the lower latent variable y from the input data x by the coding function f ⁇ y (x) including the parameter ⁇ y, and outputs the lower latent variable y to the lower addition unit 225 and the upper coding unit 222. .. Further, the upper coding unit 222 extracts the upper latent variable z from the lower latent variable y by the coding function f ⁇ z (y) including the parameter ⁇ z, and outputs the upper latent variable z to the upper addition unit 226.
  • the lower noise generation unit 223 is a random number based on a Gaussian distribution having the same number of dimensions as the lower latent variable y, each dimension is uncorrelated with each other, the average is 0, and the variance is ⁇ 2 .
  • the lower addition unit 225 generates a lower latent variable y ⁇ obtained by adding the lower latent variable y input from the lower coding unit 221 and the noise ⁇ y input from the lower noise generation unit 223 to generate the lower latent variable y ⁇ . It is output to the decoding unit 227.
  • the lower decoding unit 227 decodes the lower latent variable y ⁇ by the decoding function g ⁇ y (y ⁇ ) including the parameter ⁇ y, and generates the lower output data x ⁇ .
  • the upper noise generation unit 224 is a random number based on a Gaussian distribution having the same number of dimensions as the upper latent variable z, each dimension is uncorrelated with each other, the average is 0, and the variance is ⁇ 2 .
  • the upper latent variable unit 226 generates the upper latent variable z ⁇ which is the sum of the upper latent variable z input from the upper coding unit 222 and the noise ⁇ z input from the upper noise generation unit 224, and the upper latent variable z ⁇ is generated. It is output to the decoding unit 228.
  • the upper decoding unit 228 decodes the upper latent variable z ⁇ by the decoding function g ⁇ z (z ⁇ ) including the parameter ⁇ z, and generates the upper output data y ⁇ '.
  • step S216 the estimation unit 212 extracts the context y con from the lower latent variable y and the upper output data y ⁇ 'by the extraction function h ⁇ 2y including the parameter ⁇ 2y. Then, the estimation unit 212 expresses a multidimensional Gaussian distribution by the extraction function h ⁇ 1y including the parameter ⁇ 1y, and the conditional probability distribution P ⁇ y (y
  • step S219 the adjusting unit 214 updates the parameters so that the learning cost L 2 becomes small.
  • the parameters to be updated are the parameters ⁇ y, ⁇ z, ⁇ y, ⁇ z, ⁇ z, ⁇ 1y, ⁇ 2y of the lower coding unit 221, the upper coding unit 222, the lower decoding unit 227, the upper decoding unit 228, and the estimation unit 212, respectively. Is.
  • step S24 the adjustment unit 214 determines whether or not the learning has converged. If the learning has not converged, the process returns to step S212, and the processes of steps S212 to S219 are repeated for the next input data x. When the learning converges, the learning process ends.
  • the determination process will be described in detail with reference to FIG.
  • the parameters ⁇ y, ⁇ z, ⁇ z, ⁇ 1y, and ⁇ 2y adjusted by the learning process are set in each of the lower coding unit 221, the upper coding unit 222, the upper decoding unit 228, and the estimation unit 212, respectively. Start with the state.
  • step S232 the lower coding unit 221 extracts the lower latent variable y from the input data x by the coding function f ⁇ y (x) including the adjusted parameter ⁇ y, and the lower addition unit 225 and the upper coding unit 222. Output to. Further, the upper coding unit 222 extracts the upper latent variable z from the lower latent variable y by the coding function f ⁇ z (y) including the adjusted parameter ⁇ z, and outputs the upper latent variable z to the upper addition unit 226.
  • step S233 the upper decoding unit 228 decodes the upper latent variable z by the decoding function g ⁇ z (z) including the adjusted parameter ⁇ z, and generates the upper output data y'.
  • step S234 the estimation unit 212 extracts the context y con from the lower latent variable y and the upper output data y'by the extraction function h ⁇ 2y including the parameter ⁇ 2y. Then, the estimation unit 212 expresses a multidimensional Gaussian distribution by the extraction function h ⁇ 1y including the parameter ⁇ 1y, and the conditional probability distribution P ⁇ y (y
  • step S236 the estimation unit 212 is calculated from the entropy R y calculated by the equation (2) from ⁇ (y) and ⁇ (y) estimated in step S234, and the estimated ⁇ (y) .
  • the difference ⁇ R from the expected value of the entropy is calculated by the equation (4).
  • the determination unit 16 determines whether the input data x is normal or abnormal by comparing the difference ⁇ R of the entropy with the predetermined determination criterion. Then, the judgment result is output, and the judgment process ends.
  • the anomaly determination device further uses a context based on a lower-dimensional upper latent variable in which the lower latent variable is encoded, and conditions for the lower latent variable under the context. Estimate the conditional probability distribution. Then, the abnormality determination device determines whether or not the input data to be determined is normal by using the entropy of the estimated conditional probability distribution and the determination criterion. As a result, as compared with the first embodiment, more global features can be used as the context, so that normality or abnormality can be determined more accurately.
  • the noise ⁇ added to the latent variable y in order to generate the latent variable y ⁇ may be a uniform distribution U (-1 / 2, 1/2).
  • the noise ⁇ y to be added to the lower latent variable y in order to generate the lower latent variable y ⁇ may be a uniform distribution U (-1 / 2, 1/2).
  • y con ) estimated at the time of learning is given by the following equation (8).
  • the difference ⁇ R of the entropy calculated at the time of estimation is given by the following equation (9).
  • C in Eq. (9) is a constant that is empirically determined according to the designed model.
  • a cumulative probability function may be expressed in the form of a composite function, and a method of estimating a probability distribution in which each dimension is independent may be used as a group of derivatives factored by the chain rule.
  • the input data is image data
  • the input data may be waveform data such as an electrocardiogram or an electroencephalogram.
  • one-dimensionally converted CNN or the like may be used as an algorithm for coding or the like.
  • the determination control device including each functional unit at the time of learning and at the time of determination has been described in one computer, but the present invention is not limited to this.
  • a learning device including an autoencoder, an estimation unit, and an adjustment unit before the parameters are adjusted, and a determination device including an autoencoder, an estimation unit, and a determination unit whose parameters are adjusted are configured by different computers. You may do so.
  • the mode in which the abnormality determination program is stored (installed) in the storage unit in advance has been described, but the present invention is not limited to this.
  • the program according to the disclosed technology can also be provided in a form stored in a storage medium such as a CD-ROM, a DVD-ROM, or a USB memory.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Complex Calculations (AREA)

Abstract

符号化部（２２）が、調整部で調整されたパラメータθが設定された符号化関数ｆθ（ｘ）に基づいて入力データｘを符号化することにより、入力データｘから潜在変数ｙを抽出する。推定部１２が、調整部で調整されたパラメータψ２が設定された抽出関数ｈψ２により、潜在変数ｙから周辺データの情報をコンテクストｙｃｏｎとして抽出し、パラメータψ１が設定された推定関数ｈψ１により、潜在変数ｙの条件付き確率分布Ｐψｙ（ｙ｜ｙｃｏｎ）のパラメータμ（ｙ）及びσ（ｙ）を推定し、推定したμ（ｙ）及びσ（ｙ）から算出されるエントロピーＲと、推定したσ（ｙ）から算出されるエントロピーの期待値との差分ΔＲと、予め定めた判定基準とを比較することにより、入力データの特徴が様々な確率分布となる場合でも、精度良く正常又は異常を判定する。

Description

異常判定プログラム、装置、及び方法
　開示の技術は、異常判定プログラム、異常判定装置、及び異常判定方法に関する。
　従来、教師なし学習により正常データの確率分布を学習し、判定対象のデータの確率分布と正常データの確率分布とを比較することにより、異常データを検出することが行われている。
　例えば、潜在変数のエントロピーを最小化するＲａｔｅ－Ｄｉｓｔｏｒｔｉｏｎ理論を応用したオートエンコーダにより、実空間での確率分布に比例した潜在空間の確率分布を獲得し、潜在空間の確率分布の相違から異常データを検出する技術が提案されている。
Rate-Distortion Optimization Guided Autoencoder for Isometric Embedding in Euclidean Latent Space（ICML2020） "Fujitsu Develops World's First AI technology to Accurately Capture Characteristics of High-Dimensional Data Without Labeled Training Data"、［online］、２０２０年７月１３日、［２０２０年９月１３日検索］、インターネット＜URL：https://www.fujitsu.com/global/about/resources/news/press-releases/2020/0713-01.html＞
　しかしながら、入力データの特徴が様々な確率分布となる場合、異常データが示す確率分布の特徴が、様々な確率分布の差に埋もれてしまい、精度良く正常又は異常を判定することができない場合がある、という問題がある。
　一つの側面として、開示の技術は、入力データの特徴が様々な確率分布となる場合でも、精度良く正常又は異常を判定することを目的とする。
　一つの態様として、開示の技術は、入力データを符号化して得られる前記入力データよりも次元数の低い低次元特徴量を、前記入力データにおける注目データの周辺領域のデータに基づく条件を用いた条件付き確率分布として推定する。また、開示の技術は、前記低次元特徴量にノイズを加算した特徴量を復号化した出力データと、前記入力データとの誤差と、前記条件付き確率分布のエントロピーとを含むコストに基づいて、前記符号化、前記推定、及び前記復号化の各々のパラメータを調整する。そして、開示の技術は、調整後の前記パラメータを用いた、判定対象の入力データが正常であるか否かの判定において、前記判定対象の入力データの周辺領域のデータに基づく前記条件付き確率分布に基づいて、前記判定が実行される。
　一つの側面として、入力データの特徴が様々な確率分布となる場合でも、精度良く正常又は異常を判定することができる、という効果を有する。
低次元特徴量の確率分布を用いて異常判定する場合の問題点を説明するための図である。 異常判定装置の機能ブロック図である。 第１実施形態における学習時の機能について説明するための図である。 注目画素の周辺領域を説明するための図である。 注目画素の周辺領域を説明するための図である。 第１実施形態における判定時の機能について説明するための図である。 異常判定装置として機能するコンピュータの概略構成を示すブロック図である。 第１実施形態における学習処理の一例を示すフローチャートである。 第１実施形態における判定処理の一例を示すフローチャートである。 第２実施形態における学習時の機能について説明するための図である。 第２実施形態における判定時の機能について説明するための図である。 第２実施形態における学習処理の一例を示すフローチャートである。 第２実施形態における判定処理の一例を示すフローチャートである。
　以下、図面を参照して、開示の技術に係る実施形態の一例を説明する。
　まず、各実施形態の詳細を説明する前に、入力データから抽出される低次元特徴を示す確率分布を用いて正常又は異常を判定する場合において、入力データの特徴が様々な確率分布となる場合における問題点について説明する。
　ここでは、入力データを人体等の臓器を撮影した医療画像とする場合を例に説明する。図１の下部に、入力データとなる医療画像の一例を概略的に示す。図１の例では、空胞が生じていない状態を正常、空胞が生じている状態を異常と判定するものとする。この場合、図１に示す「その他」の医療画像のように、空胞が生じていない医療画像から抽出される低次元特徴のエントロピーを基準として、対象の医療画像から抽出される低次元特徴のエントロピーを評価し、正常又は異常を判定する。具体的には、図１の上部に示すように、正常を示す「その他」のエントロピーと、「その他（空胞）」のエントロピーとの相違から、「その他（空胞）」の医療画像を異常であると判定することができる。
　しかし、図１の下部に示すように、医療画像には、糸球体、尿細管、血液等の組織や、背景が含まれている場合もあり、それぞれ含まれる組織や背景によって、エントロピーに高低が生じる。したがって、正常を示す「その他」のエントロピーを基準とした場合、上記のような組織等毎のエントロピーの差に、異常データのエントロピーが埋もれてしまい、精度良く正常又は異常を判定することができない。
　そこで、以下の各実施形態では、入力データから抽出される低次元特徴を示す確率分布が様々な確率分布となる場合でも、精度良く正常又は異常を判定することができるように制御する。
＜第１実施形態＞
　第１実施形態に係る異常判定装置１０は、機能的には、図２に示すように、オートエンコーダ２０と、推定部１２と、調整部１４と、判定部１６とを含む。オートエンコーダ２０の学習時には、推定部１２及び調整部１４が機能し、オートエンコーダ２０を用いた異常の判定時には、推定部１２及び判定部１６が機能する。以下、学習時及び判定時のそれぞれについて、オートエンコーダ２０のより詳細な構成と共に、各機能部の機能について説明する。
　まず、図３を参照して、学習時に機能する機能部について 説明する。
　オートエンコーダ２０は、図３に示すように、符号化部２２と、ノイズ生成部２４と、加算部２６と、復号化部２８とを含む。
　符号化部２２は、多次元の入力データを符号化することにより、入力データよりも次元数の低い低次元特徴量である潜在変数ｙを抽出する。具体的には、符号化部２２は、パラメータθを含む符号化関数ｆθ（ｘ）により、入力データｘから潜在変数ｙを抽出する。例えば、符号化部２２は、符号化関数ｆθ（ｘ）として、ＣＮＮ（Convolutional Neural Network）のアルゴリズムを適用することができる。符号化部２２は、抽出した潜在変数ｙを加算部２６へ出力する。
　ノイズ生成部２４は、潜在変数ｙと同じ次元数で、各次元が互いに無相関、かつ平均が０、分散がσ２であるガウス分布に基づく乱数であるノイズεを生成する。ノイズ生成部２４は、生成したノイズεを加算部２６へ出力する。
　加算部２６は、符号化部２２から入力された潜在変数ｙと、ノイズ生成部２４から入力されたノイズεとを加算した潜在変数ｙ＾（図中では「ｙ」の上に「＾（ハット）」）を生成して、復号化部２８へ出力する。
　復号化部２８は、加算部２６から入力された潜在変数ｙ＾を復号することにより、入力データｘと同じ次元数の出力データｘ＾（図中では「ｘ」の上に「＾（ハット）」）を生成する。具体的には、復号化部２８は、パラメータφを含む復号化関数ｇφ（ｙ＾）により、潜在変数ｙ＾から出力データｘ＾を生成する。例えば、復号化部２８は、復号化関数ｇφ（ｙ＾）として、ｔｒａｎｓｐｏｓｅｄ　ＣＮＮのアルゴリズムを適用することができる。
　推定部１２は、符号化部２２で抽出された潜在変数ｙを取得し、潜在変数ｙを、潜在変数ｙのコンテクストの下での条件付き確率分布として推定する。本実施形態におけるコンテクストとは、注目データについての関連情報である。例えば、コンテクストは、入力データが画像データのように２次元の場合には、注目データの周辺のデータが持つ情報であり、入力データが１次元の時系列データの場合には、注目データの前後のデータが持つ情報である。
　具体的には、推定部１２は、パラメータψ２を含む抽出関数ｈψ２により、潜在変数ｙからコンテクストｙｃｏｎを抽出する。そして、推定部１２は、パラメータψ１を含む抽出関数ｈψ１により、多次元ガウス分布で表される、コンテクストｙｃｏｎの下での潜在変数ｙの条件付き確率分布Ｐψｙ（ｙ｜ｙｃｏｎ）＝Ｎ（μ（ｙ），　σ（ｙ） ２）のパラメータμ（ｙ）及びσ（ｙ）を推定する。抽出関数ｈψ２及び推定関数ｈψ１は、例えば、ｍａｓｋｅｄ　ＣＮＮ等のようなＡＲ（Auto-Regressive：自己回帰）モデルを用いたアルゴリズムを適用することができる。ＡＲモデルは、その直前までのフレームから次のフレームを予測するモデルである。
　例えば、入力データを画像データとした場合において、カーネルサイズ２ｋ＋１（ｋは任意の整数）のｍａｓｋｅｄ　ＣＮＮを利用する場合、推定部１２は、下記（１）式により、パラメータμ（ｙ）及びσ（ｙ）を推定する。
Figure JPOXMLDOC01-appb-M000001
　例えば、ｋ＝１とした場合、推定部１２は、図４に示すように、注目画素ｍ，ｎｙの周辺領域の画素ｍ－１，ｎ－１ｙ、ｍ－１，ｎｙ、ｍ－１，ｎ＋１ｙ、及びｍ，ｎ－１ｙの情報をコンテクストとして抽出する。なお、周辺領域としては、図５に示すように、注目画素ｍ，ｎｙの周辺領域の全てを利用してもよい。
　また、推定部１２は、推定したμ（ｙ）及びσ（ｙ）を用いて、条件付き確率分布Ｐψｙ（ｙ｜ｙｃｏｎ）のエントロピーＲ＝－ｌｏｇ（Ｐψｙ（ｙ｜ｙｃｏｎ））を算出する。エントロピーＲの算出の別の形態として、（２）式を用いることもできる。なお、（２）式において、ｉは潜在変数ｙの持つ各次元の要素（上記画像データの例では、ｍ，ｎｙ）を識別する変数である。
Figure JPOXMLDOC01-appb-M000002
　調整部１４は、入力データｘと、その入力データに対応する出力データｘ＾との誤差と、推定部１２により算出されたエントロピーＲとを含む学習コストに基づいて、符号化部２２、復号化部２８、及び推定部１２の各々のパラメータθ、φ、ψ１、ψ２を調整する。例えば、調整部１４は、下記（３）式に示すような、ｘとｘ＾との誤差と、エントロピーＲとの重み付き和で表される学習コストＬ１を最小化するように、パラメータθ、φ、ψ１、ψ２を更新しながら、入力データｘから出力データｘ＾を生成する処理を繰り返す。これにより、オートエンコーダ２０及び推定部１２のパラメータが学習される。
Figure JPOXMLDOC01-appb-M000003
　なお、（３）式において、λは重み係数であり、Ｄはｘとｘ＾との誤差、例えば、Ｄ＝（ｘ－ｘ＾）２である。
　次に、図６を参照して、判定時に機能する機能部について 説明する。なお、判定時における入力データは、開示の技術の「判定対象の入力データ」の一例である。
　符号化部２２は、調整部１４で調整されたパラメータθが設定された符号化関数ｆθ（ｘ）に基づいて入力データｘを符号化することにより、入力データｘから潜在変数ｙを抽出する。
　推定部１２は、符号化部２２で抽出された潜在変数ｙを取得し、調整部１４で調整されたパラメータψ１及びψ２が設定された抽出関数ｈψ２及び推定関数ｈψ１により、潜在変数ｙの条件付き確率分布Ｐψｙ（ｙ｜ｙｃｏｎ）のパラメータμ（ｙ）及びσ（ｙ）を推定する。また、推定部１２は、推定したμ（ｙ）及びσ（ｙ）から（２）式により算出されるエントロピーＲと、推定したσ（ｙ）から算出されるエントロピーの期待値との差分ΔＲを、下記（４）式により算出する。
Figure JPOXMLDOC01-appb-M000004
　判定部１６は、調整後のパラメータθ、ψ１、ψ２を用いた、判定対象の入力データが正常であるか否かの判定において、条件付き確率分布Ｐψｙ（ｙ｜ｙｃｏｎ）のエントロピーを評価する。具体的には、判定部１６は、判定対象の入力データｘについて、推定部１２により算出されたエントロピーの差分ΔＲと、予め定めた判定基準とを比較することにより、入力データｘが正常か又は異常かを判定し、判定結果を出力する。判定基準は、実験的又は経験的に決定することができる。
　異常判定装置１０は、例えば図７に示すコンピュータ４０で実現することができる。コンピュータ４０は、ＣＰＵ（Central Processing Unit）４１と、一時記憶領域としてのメモリ４２と、不揮発性の記憶部４３とを備える。また、コンピュータ４０は、入力部、表示部等の入出力装置４４と、記憶媒体４９に対するデータの読み込み及び書き込みを制御するＲ／Ｗ（Read/Write）部４５とを備える。また、コンピュータ４０は、インターネット等のネットワークに接続される通信Ｉ／Ｆ（Interface）４６を備える。ＣＰＵ４１、メモリ４２、記憶部４３、入出力装置４４、Ｒ／Ｗ部４５、及び通信Ｉ／Ｆ４６は、バス４７を介して互いに接続される。
　記憶部４３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部４３には、コンピュータ４０を、異常判定装置１０として機能させ、後述する学習処理及び判定処理を実行するための異常判定プログラム５０が記憶される。異常判定プログラム５０は、オートエンコーダプロセス６０と、推定プロセス５２と、調整プロセス５４と、判定プロセス５６とを有する。
　ＣＰＵ４１は、異常判定プログラム５０を記憶部４３から読み出してメモリ４２に展開し、異常判定プログラム５０が有するプロセスを順次実行する。ＣＰＵ４１は、オートエンコーダプロセス６０を実行することで、図２に示すオートエンコーダ２０として動作する。また、ＣＰＵ４１は、推定プロセス５２を実行することで、図２に示す推定部１２として動作する。また、ＣＰＵ４１は、調整プロセス５４を実行することで、図２に示す調整部１４として動作する。また、ＣＰＵ４１は、判定プロセス５６を実行することで、図２に示す判定部１６として動作する。これにより、異常判定プログラム５０を実行したコンピュータ４０が、異常判定装置１０として機能することになる。なお、プログラムを実行するＣＰＵ４１はハードウェアである。
　なお、異常判定プログラム５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。
　次に、第１実施形態に係る異常判定装置１０の作用について説明する。オートエンコーダ２０及び推定部１２のパラメータの調整時に、異常判定装置１０に学習用の入力データｘが入力されると、異常判定装置１０において、図８に示す学習処理が実行される。また、正常又は異常の判定時に、異常判定装置１０に判定対象の入力データｘが入力されると、異常判定装置１０において、図９に示す判定処理が実行される。なお、学習処理及び判定処理は、開示の技術の異常判定方法の一例である。
　まず、図８を参照して、学習処理について詳述する。
　ステップＳ１２で、符号化部２２が、パラメータθを含む符号化関数ｆθ（ｘ）により、入力データｘから潜在変数ｙを抽出し、加算部２６へ出力する。
　次に、ステップＳ１４で、推定部１２が、パラメータψ２を含む抽出関数ｈψ２により、潜在変数ｙから、潜在変数ｙのコンテクストｙｃｏｎを抽出する。そして、推定部１２が、パラメータψ１を含む推定関数ｈψ１により、コンテクストｙｃｏｎの下での潜在変数ｙの条件付き確率分布Ｐψｙ（ｙ｜ｙｃｏｎ）のパラメータμ（ｙ）及びσ（ｙ）を推定する。
　次に、ステップＳ１６で、推定したμ（ｙ）及びσ（ｙ）を用いて、（２）式により、条件付き確率分布Ｐψｙ（ｙ｜ｙｃｏｎ）のエントロピーＲ＝－ｌｏｇ（Ｐψｙ（ｙ｜ｙｃｏｎ））を算出する。
　次に、ステップＳ１８で、ノイズ生成部２４が、潜在変数ｙと同じ次元数で、各次元が互いに無相関、かつ平均が０、分散がσ２であるガウス分布に基づく乱数であるノイズεを生成し、加算部２６へ出力する。そして、加算部２６が、符号化部２２から入力された潜在変数ｙと、ノイズ生成部２４から入力されたノイズεとを加算した潜在変数ｙ＾を生成して、復号化部２８へ出力する。さらに、復号化部２８が、パラメータφを含む復号化関数ｇφ（ｙ＾）により、潜在変数ｙ＾を復号して、出力データｘ＾を生成する。
　次に、ステップＳ２０で、調整部１４が、入力データｘと、上記ステップＳ１８で生成された出力データｘ＾との誤差を、例えば、Ｄ＝（ｘ－ｘ＾）２のように算出する。そして、調整部１４が、例えば（３）式に示すような、算出した誤差Ｄと、上記ステップＳ１６で推定部１２により算出されたエントロピーＲとの重み付き和で表される学習コストＬ１を算出する。
　次に、ステップＳ２２で、調整部１４が、学習コストＬ１が小さくなるように、符号化部２２のパラメータθ、復号化部２８のパラメータφ、及び推定部１２のパラメータψ１、ψ２を更新する。
　次に、ステップＳ２４で、調整部１４が、学習が収束したか否かを判定する。例えば、パラメータの更新の繰り返し回数が所定回数に達した場合、学習コストＬ１の値が変化しなくなった場合等に、学習が収束したと判定することができる。学習が収束していない場合には、処理はステップＳ１２に戻り、次の入力データｘについて、ステップＳ１２～Ｓ２２の処理を繰り返す。学習が収束した場合には、学習処理は終了する。
　次に、図９を参照して、判定処理について詳述する。判定処理は、符号化部２２及び推定部１２の各々に、学習処理により調整されたパラメータθ、ψ１、ψ２がそれぞれ設定された状態で開始する。
　ステップＳ３２で、符号化部２２が、調整されたパラメータθを含む符号化関数ｆθ（ｘ）により、入力データｘから潜在変数ｙを抽出する。
　次に、ステップＳ３４で、推定部１２が、調整されたパラメータψ２を含む抽出関数ｈψ２により、潜在変数ｙから、潜在変数ｙのコンテクストｙｃｏｎを抽出する。そして、推定部１２が、調整されたパラメータψ１を含む推定関数ｈψ１により、コンテクストｙｃｏｎの下での潜在変数ｙの条件付き確率分布Ｐψｙ（ｙ｜ｙｃｏｎ）のパラメータμ（ｙ）及びσ（ｙ）を推定する。
　次に、ステップＳ３６で、推定部１２が、推定したμ（ｙ）及びσ（ｙ）から（２）式により算出されるエントロピーＲと、推定したσ（ｙ）から算出されるエントロピーの期待値との差分ΔＲを、（４）式により算出する。
　次に、ステップＳ３８で、判定部１６が、上記ステップＳ３６で推定部１２により算出されたエントロピーの差分ΔＲと、予め定めた判定基準とを比較することにより、入力データｘが正常か又は異常かを判定する。
　次に、ステップＳ４０で、判定部１６が、正常か異常かの判定結果を出力し、判定処理は終了する。
　以上説明したように、第１実施形態に係る異常判定装置は、入力データを符号化して得られる入力データよりも次元数の低い潜在変数を、入力データの大局的特徴を表すコンテクストの下での条件付き確率分布として推定する。コンテクストは、潜在変数の注目データの周辺データの情報である。また、異常判定装置は、潜在変数にノイズを加算した特徴量を復号化した出力データと、入力データとの誤差と、条件付き確率分布のエントロピーとを含むコストに基づいて、符号化、推定、及び復号化の各々のパラメータを調整する。そして、異常判定装置は、調整後のパラメータを用いた、判定対象の入力データが正常であるか否かの判定において、条件付き確率分布のエントロピーを評価する。これにより、潜在変数のコンテクストが示す大局的な特徴の下、潜在変数が示す局所的な特徴を評価して、正常又は異常を判定することができる。すなわち、潜在変数の大局的な特徴により、入力データの種類（図１の例では組織等の種類）に応じた特徴による条件下で、潜在変数の局所的な特徴を評価することができる。したがって、入力データの特徴が様々な確率分布となり、正常と異常との相違が局所的特徴にある場合でも、正常と異常との区別が困難になることを抑制し、精度良く正常又は異常を判定することができる。
＜第２実施形態＞
　次に、第２実施形態について説明する。なお、第２実施形態に係る異常判定装置において、第１実施形態に係る異常判定装置１０と共通する部分については、詳細な説明を省略する。
　第２実施形態に係る異常判定装置２１０は、機能的には、図２に示すように、オートエンコーダ２２０と、推定部２１２と、調整部２１４と、判定部１６とを含む。オートエンコーダ２２０の学習時には、推定部２１２及び調整部２１４が機能し、オートエンコーダ２２０を用いた異常の判定時には、推定部２１２及び判定部１６が機能する。以下、学習時及び判定時のそれぞれについて、オートエンコーダ２２０のより詳細な構成と共に、各機能部の機能について説明する。
　まず、図１０を参照して、学習時に機能する機能部について 説明する。
　オートエンコーダ２２０は、図１０に示すように、下位符号化部２２１と、上位符号化部２２２と、下位ノイズ生成部２２３と、上位ノイズ生成部２２４と、下位加算部２２５と、上位加算部２２６と、下位復号化部２２７と、上位復号化部２２８とを含む。
　下位符号化部２２１は、パラメータθｙを含む符号化関数ｆθｙ（ｘ）により、入力データｘから下位潜在変数ｙを抽出する。下位潜在変数ｙは、入力データの局所的な特徴を表す。下位符号化部２２１は、抽出した下位潜在変数ｙを下位加算部２２５及び上位符号化部２２２へ出力する。上位符号化部２２２は、パラメータθｚを含む符号化関数ｆθｚ（ｙ）により、下位潜在変数ｙから、より低次元の上位潜在変数ｚを抽出する。上位潜在変数ｚは、入力データの大局的な特徴を表す。上位符号化部２２２は、抽出した下位潜在変数ｚを上位加算部２２６へ出力する。符号化関数ｆθｙ（ｘ）及びｆθｚ（ｙ）としては、ＣＮＮのアルゴリズムを適用することができる。
　下位ノイズ生成部２２３は、下位潜在変数ｙと同じ次元数のノイズεｙを生成し、下位加算部２２５へ出力する。上位ノイズ生成部２２４は、上位潜在変数ｚと同じ次元数のノイズεｚを生成し、上位加算部２２６へ出力する。ノイズεｙ及びεｚは、各次元が互いに無相関、かつ平均が０、分散がσ２であるガウス分布に基づく乱数である。
　下位加算部２２５は、下位符号化部２２１から入力された下位潜在変数ｙと、下位ノイズ生成部２２３から入力されたノイズεｙとを加算した下位潜在変数ｙ＾を生成して、下位復号化部２２７へ出力する。上位加算部２２６は、上位符号化部２２２から入力された上位潜在変数ｚと、上位ノイズ生成部２２４から入力されたノイズεｚとを加算した上位潜在変数ｚ＾（図中では「ｚ」の上に「＾（ハット）」）を生成して、上位復号化部２２８へ出力する。
　下位復号化部２２７は、下位加算部２２５から入力された下位潜在変数ｙ＾を、パラメータφｙを含む復号化関数ｇφｙ（ｙ＾）により復号することにより、入力データｘと同じ次元数の下位出力データｘ＾を生成する。上位復号化部２２８は、上位加算部２２６から入力された上位潜在変数ｚ＾を、パラメータφｚを含む復号化関数ｇφｚ（ｚ＾）により復号することにより、下位潜在変数ｙと同じ次元数の上位出力データｙ＾’を生成する。復号化関数ｇφｙ（ｚ＾）及びｇφｚ（ｚ＾）としては、ｔｒａｎｓｐｏｓｅｄ　ＣＮＮのアルゴリズムを適用することができる。
　推定部２１２は、上位符号化部２２２で抽出された上位潜在変数ｚを取得し、上位潜在変数ｚを確率分布として推定する。具体的には、推定部２１２は、パラメータψｚを含み、複数の分布が混合された確率分布のモデルにより、確率分布Ｐψｚ（ｚ）を推定する。本実施形態では、確率分布のモデルが、ＧＭＭ（Gaussian mixture model）である場合について説明する。この場合、推定部２１２は、下記（５）式のパラメータπ、Σ、μを、最尤推定法等で計算することにより、確率分布Ｐψｚ（ｚ）を推定する。
Figure JPOXMLDOC01-appb-M000005
　（５）式において、ＫはＧＭＭに含まれる正規分布の数、μｋはｋ番目の正規分布の平均ベクトル、Σｋはｋ番目の正規分布の分散共分散行列、πｋはｋ番目の正規分布の重み（混合係数）であり、πｋの総和は１である。また、推定部２１２は、確率分布Ｐψｚ（ｚ）のエントロピーＲｚ＝－ｌｏｇ（Ｐψｚ（ｚ））を算出する。
　また、推定部２１２は、第１実施形態における推定部１２と同様に、下位潜在変数ｙを、下位潜在変数ｙのコンテクストｙｃｏｎの下での条件付き確率分布Ｐψｙ（ｙ｜ｙｃｏｎ）として推定する。第２実施形態では、下位潜在変数ｙの注目データの周辺データの情報に加え、上位復号化部２２８から出力される上位出力データｙ＾’から抽出されるコンテクストも用いる。
　具体的には、推定部２１２は、パラメータψ２ｙを含む抽出関数ｈψ２ｙにより、下位潜在変数ｙ及び上位出力データｙ＾’からコンテクストｙｃｏｎを抽出する。そして、推定部２１２は、パラメータψ１ｙを含む抽出関数ｈψ１ｙにより、多次元ガウス分布で表される、コンテクストｙｃｏｎの下での下位潜在変数ｙの条件付き確率分布Ｐψｙ（ｙ｜ｙｃｏｎ）のパラメータμ（ｙ）及びσ（ｙ）を推定する。
　例えば、入力データを画像データとした場合において、カーネルサイズ２ｋ＋１（ｋは任意の整数）のｍａｓｋｅｄ　ＣＮＮを利用する場合、推定部２１２は、下記（６）式により、パラメータμ（ｙ）及びσ（ｙ）を推定する。
Figure JPOXMLDOC01-appb-M000006
　また、推定部２１２は、第１実施形態における推定部１２と同様に、推定したμ（ｙ）及びσ（ｙ）を用いて、（２）式により、条件付き確率分布Ｐψｙ（ｙ｜ｙｃｏｎ）のエントロピーＲｙ＝－ｌｏｇ（Ｐψｙ（ｙ｜ｙｃｏｎ））を算出する。
　調整部２１４は、入力データｘと、その入力データに対応する出力データｘ＾との誤差と、推定部２１２により算出されたエントロピーＲｚ及びＲｙとを含む学習コストＬ２を算出する。調整部２１４は、学習コストＬ２に基づいて、下位符号化部２２１、上位符号化部２２２、下位復号化部２２７、上位復号化部２２８、及び推定部２１２の各々のパラメータθｙ、θｚ、φｙ、φｚ、ψｚ、ψ１ｙ、ψ２ｙを調整する。例えば、調整部２１４は、下記（７）式に示すような、ｘとｘ＾との誤差Ｄと、エントロピーＲｚ及びＲｙとの重み付き和で表される学習コストＬ２を最小化するように、パラメータθｙ、θｚ、φｙ、φｚ、ψｚ、ψ１ｙ、ψ２ｙを更新しながら、入力データｘから出力データｘ＾を生成する処理を繰り返す。これにより、オートエンコーダ２２０及び推定部２１２のパラメータが学習される。
Figure JPOXMLDOC01-appb-M000007
　次に、図１１を参照して、判定時に機能する機能部について 説明する。
　下位符号化部２２１は、調整部２１４で調整されたパラメータθｙが設定された符号化関数ｆθｙ（ｘ）に基づいて入力データｘを符号化することにより、入力データｘから下位潜在変数ｙを抽出し、上位符号化部２２２へ入力する。
　上位符号化部２２２は、調整部２１４で調整されたパラメータθｚが設定された符号化関数ｆθｚ（ｙ）に基づいて下位潜在変数ｙを符号化することにより、下位潜在変数ｙから上位潜在変数ｚを抽出し、上位復号化部２２８へ入力する。
　上位復号化部２２８は、上位符号化部２２２から入力された上位潜在変数ｚを、調整部２１４で調整されたパラメータφｚを含む復号化関数ｇφｚ（ｚ）により復号することにより、下位潜在変数」ｙと同じ次元数の上位出力データｙ’を生成する。
　推定部２１２は、下位符号化部２２１で抽出された下位潜在変数ｙ、及び上位復号化部２２８で生成された上位出力データｙ’を取得する。そして、推定部２１２は、調整部２１４で調整されたパラメータψ２ｙを含む抽出関数ｈψ２ｙにより、潜在変数ｙ及び上位出力データｙ’からコンテクストｙｃｏｎを抽出する。また、推定部２１２は、パラメータψ１ｙを含む抽出関数ｈψ１ｙにより、多次元ガウス分布で表される、コンテクストｙｃｏｎの下での潜在変数ｙの条件付き確率分布Ｐψｙ（ｙ｜ｙｃｏｎ）のパラメータμ（ｙ）及びσ（ｙ）を推定する。なお、推定部２１２は、判定時においては、（６）式の「ｙ＾’」を「ｙ’」に読み替えた式により、パラメータμ（ｙ）及びσ（ｙ）を推定する。
　また、推定部２１２は、第１実施形態における推定部１２と同様に、推定したμ（ｙ）及びσ（ｙ）から（２）式により算出されるエントロピーＲｙと、推定したσ（ｙ）から算出されるエントロピーの期待値との差分ΔＲを（４）式により算出する。
　異常判定装置２１０は、例えば図７に示すコンピュータ４０で実現することができる。コンピュータ４０の記憶部４３には、コンピュータ４０を、異常判定装置２１０として機能させ、後述する学習処理及び判定処理を実行するための異常判定プログラム２５０が記憶される。異常判定プログラム２５０は、オートエンコーダプロセス２６０と、推定プロセス２５２と、調整プロセス２５４と、判定プロセス５６とを有する。
　ＣＰＵ４１は、異常判定プログラム２５０を記憶部４３から読み出してメモリ４２に展開し、異常判定プログラム２５０が有するプロセスを順次実行する。ＣＰＵ４１は、オートエンコーダプロセス２６０を実行することで、図２に示すオートエンコーダ２２０として動作する。また、ＣＰＵ４１は、推定プロセス２５２を実行することで、図２に示す推定部２１２として動作する。また、ＣＰＵ４１は、調整プロセス２５４を実行することで、図２に示す調整部２１４として動作する。また、ＣＰＵ４１は、判定プロセス５６を実行することで、図２に示す判定部１６として動作する。これにより、異常判定プログラム２５０を実行したコンピュータ４０が、異常判定装置２１０として機能することになる。
　なお、異常判定プログラム２５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。
　次に、第２実施形態に係る異常判定装置２１０の作用について説明する。オートエンコーダ２２０及び推定部２１２のパラメータの調整時に、異常判定装置２１０に学習用の入力データｘが入力されると、異常判定装置２１０において、図１２に示す学習処理が実行される。また、正常又は異常の判定時に、異常判定装置２１０に判定対象の入力データｘが入力されると、異常判定装置２１０において、図１３に示す判定処理が実行される。
　まず、図１２を参照して、学習処理について詳述する。
　ステップＳ２１２で、下位符号化部２２１が、パラメータθｙを含む符号化関数ｆθｙ（ｘ）により、入力データｘから下位潜在変数ｙを抽出し、下位加算部２２５及び上位符号化部２２２へ出力する。また、上位符号化部２２２が、パラメータθｚを含む符号化関数ｆθｚ（ｙ）により、下位潜在変数ｙから上位潜在変数ｚを抽出し、上位加算部２２６へ出力する。
　次に、ステップＳ２１３で、推定部２１２が、パラメータψｚを含むＧＭＭにより、上位潜在変数ｚの確率分布Ｐψｚ（ｚ）を推定する。また、推定部２１２が、確率分布Ｐψｚ（ｚ）のエントロピーＲｚ＝－ｌｏｇ（Ｐψｚ（ｚ））を算出する。
　次に、ステップＳ２１４で、下位ノイズ生成部２２３が、下位潜在変数ｙと同じ次元数で、各次元が互いに無相関、かつ平均が０、分散がσ２であるガウス分布に基づく乱数であるノイズεｙを生成し、下位加算部２２５へ出力する。そして、下位加算部２２５が、下位符号化部２２１から入力された下位潜在変数ｙと、下位ノイズ生成部２２３から入力されたノイズεｙとを加算した下位潜在変数ｙ＾を生成して、下位復号化部２２７へ出力する。さらに、下位復号化部２２７が、パラメータφｙを含む復号化関数ｇφｙ（ｙ＾）により、下位潜在変数ｙ＾を復号して、下位出力データｘ＾を生成する。
　次に、ステップＳ２１５で、上位ノイズ生成部２２４が、上位潜在変数ｚと同じ次元数で、各次元が互いに無相関、かつ平均が０、分散がσ２であるガウス分布に基づく乱数であるノイズεｚを生成し、上位加算部２２６へ出力する。そして、上位加算部２２６が、上位符号化部２２２から入力された上位潜在変数ｚと、上位ノイズ生成部２２４から入力されたノイズεｚとを加算した上位潜在変数ｚ＾を生成して、上位復号化部２２８へ出力する。さらに、上位復号化部２２８が、パラメータφｚを含む復号化関数ｇφｚ（ｚ＾）により、上位潜在変数ｚ＾を復号して、上位出力データｙ＾’を生成する。
　次に、ステップＳ２１６で、推定部２１２が、パラメータψ２ｙを含む抽出関数ｈψ２ｙにより、下位潜在変数ｙ及び上位出力データｙ＾’からコンテクストｙｃｏｎを抽出する。そして、推定部２１２が、パラメータψ１ｙを含む抽出関数ｈψ１ｙにより、多次元ガウス分布で表される、コンテクストｙｃｏｎの下での下位潜在変数ｙの条件付き確率分布Ｐψｙ（ｙ｜ｙｃｏｎ）のパラメータμ（ｙ）及びσ（ｙ）を推定する。
　次に、ステップＳ２１７で、推定部２１２が、推定したμ（ｙ）及びσ（ｙ）を用いて、（２）式により、条件付き確率分布Ｐψｙ（ｙ｜ｙｃｏｎ）のエントロピーＲｙ＝－ｌｏｇ（Ｐψｙ（ｙ｜ｙｃｏｎ））を算出する。
　次に、ステップＳ２１８で、調整部２１４が、入力データｘと、上記ステップＳ２１４で生成された出力データｘ＾との誤差を、例えば、Ｄ＝（ｘ－ｘ＾）２のように算出する。そして、調整部２１４が、例えば（７）式に示すような、算出した誤差Ｄと、上記ステップＳ２１３及びＳ２１７で算出されたエントロピーＲｚ及びＲｙとの重み付き和で表される学習コストＬ２を算出する。
　次に、ステップＳ２１９で、調整部２１４が、学習コストＬ２が小さくなるように、パラメータを更新する。更新するパラメータは、下位符号化部２２１、上位符号化部２２２、下位復号化部２２７、上位復号化部２２８、及び推定部２１２の各々のパラメータθｙ、θｚ、φｙ、φｚ、ψｚ、ψ１ｙ、ψ２ｙである。
　次に、ステップＳ２４で、調整部２１４が、学習が収束したか否かを判定する。学習が収束していない場合には、処理はステップＳ２１２に戻り、次の入力データｘについて、ステップＳ２１２～Ｓ２１９の処理を繰り返す。学習が収束した場合には、学習処理は終了する。
　次に、図１３を参照して、判定処理について詳述する。判定処理は、下位符号化部２２１、上位符号化部２２２、上位復号化部２２８、及び推定部２１２の各々に、学習処理により調整されたパラメータθｙ、θｚ、φｚ、ψ１ｙ、ψ２ｙがそれぞれ設定された状態で開始する。
　ステップＳ２３２で、下位符号化部２２１が、調整されたパラメータθｙを含む符号化関数ｆθｙ（ｘ）により、入力データｘから下位潜在変数ｙを抽出し、下位加算部２２５及び上位符号化部２２２へ出力する。また、上位符号化部２２２が、調整されたパラメータθｚを含む符号化関数ｆθｚ（ｙ）により、下位潜在変数ｙから上位潜在変数ｚを抽出し、上位加算部２２６へ出力する。
　次に、ステップＳ２３３で、上位復号化部２２８が、調整されたパラメータφｚを含む復号化関数ｇφｚ（ｚ）により、上位潜在変数ｚを復号して、上位出力データｙ’を生成する。
　次に、ステップＳ２３４で、推定部２１２が、パラメータψ２ｙを含む抽出関数ｈψ２ｙにより、下位潜在変数ｙ及び上位出力データｙ’からコンテクストｙｃｏｎを抽出する。そして、推定部２１２が、パラメータψ１ｙを含む抽出関数ｈψ１ｙにより、多次元ガウス分布で表される、コンテクストｙｃｏｎの下での下位潜在変数ｙの条件付き確率分布Ｐψｙ（ｙ｜ｙｃｏｎ）のパラメータμ（ｙ）及びσ（ｙ）を推定する。
　次に、ステップＳ２３６で、推定部２１２が、上記ステップＳ２３４で推定したμ（ｙ）及びσ（ｙ）から（２）式により算出されるエントロピーＲｙと、推定したσ（ｙ）から算出されるエントロピーの期待値との差分ΔＲを、（４）式により算出する。
　以下、第１実施形態と同様に、ステップＳ３８及びＳ４０で、判定部１６が、エントロピーの差分ΔＲと、予め定めた判定基準とを比較することにより、入力データｘが正常か又は異常かを判定し、判定結果を出力して、判定処理は終了する。
　以上説明したように、第２実施形態に係る異常判定装置は、下位潜在変数を符号化した、より低次元の上位潜在変数に基づくコンテクストをさらに用いて、コンテクストの下での下位潜在変数の条件付き確率分布を推定する。そして、異常判定装置は、推定した条件付き確率分布のエントロピーと判定基準とを用いて、判定対象の入力データが正常であるか否かを判定する。これにより、第１実施形態に比べ、より大局的な特徴をコンテクストとして用いることができるため、より精度良く正常又は異常を判定することができる。
　なお、上記第１実施形態において、潜在変数ｙ＾を生成するために潜在変数ｙに加算するノイズεを一様分布Ｕ（－１／２，１／２）としてもよい。また、上記第２実施形態において、下位潜在変数ｙ＾を生成するために下位潜在変数ｙに加算するノイズεｙを一様分布Ｕ（－１／２，１／２）としてもよい。この場合、学習時において推定される条件付き確率分布Ｐψｙ（ｙ｜ｙｃｏｎ）は下記（８）式となる。また、推定時において算出されるエントロピーの差分ΔＲは下記（９）式となる。なお、（９）式におけるＣは、設計したモデルに応じて経験的に決定される定数である。
Figure JPOXMLDOC01-appb-M000008
　また、上記第２実施形態では、上位潜在変数の確率分布をＧＭＭにより推定する場合について説明したが、これに限定されない。例えば、累積確率関数を合成関数の形で表し、連鎖律によって因数分解された導関数群として、各次元が独立な確率分布を推定する手法を用いてもよい。
　また、上記各実施形態では、入力データが画像データである場合を主に例示して説明したが、入力データは、心電図や脳波等の波形データであってもよい。その場合、符号化等のアルゴリズムには、１次元変換したＣＮＮ等を用いればよい。
　また、上記各実施形態では、１つのコンピュータに、学習時及び判定時の各機能部を含む判定制御装置について説明したが、これに限定されない。パラメータが調整される前のオートエンコーダ、推定部、及び調整部を含む学習装置と、パラメータが調整されたオートエンコーダ、推定部、及び判定部を含む判定装置とを、それぞれ別のコンピュータで構成するようにしてもよい。
　また、上記各実施形態では、異常判定プログラムが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供することも可能である。
１０、２１０  異常判定装置
１２、２１２  推定部
１４、２１４  調整部
１６   判定部
２０、２２０  オートエンコーダ
２２   符号化部
２４   ノイズ生成部
２６   加算部
２８   復号化部
２２１ 下位符号化部
２２２ 上位符号化部
２２３ 下位ノイズ生成部
２２４ 上位ノイズ生成部
２２５ 下位加算部
２２６ 上位加算部
２２７ 下位復号化部
２２８ 上位復号化部
４０   コンピュータ
４１   ＣＰＵ
４２   メモリ
４３   記憶部
４９   記憶媒体
５０、２５０  異常判定プログラム

Claims (16)

  1. 　入力データを符号化して得られる前記入力データよりも次元数の低い低次元特徴量を、前記入力データにおける注目データの周辺領域のデータに基づく条件を用いた条件付き確率分布として推定し、
    　前記低次元特徴量にノイズを加算した特徴量を復号化した出力データと、前記入力データとの誤差と、前記条件付き確率分布のエントロピーとを含むコストに基づいて、前記符号化、前記推定、及び前記復号化の各々のパラメータを調整する、
    　ことを含む処理をコンピュータに実行させ、
    　調整後の前記パラメータを用いた、判定対象の入力データが正常であるか否かの判定において、前記判定対象の入力データの周辺領域のデータに基づく前記条件付き確率分布に基づいて、前記判定が実行される
    　ことを特徴とする異常判定プログラム。
  2. 　前記条件として、前記低次元特徴量を符号化して得られる前記低次元特徴量よりも次元数の低い上位低次元特徴量を復号化した上位出力データをさらに用いて、前記条件付き確率分布を推定する請求項１に記載の異常判定プログラム。
  3. 　前記コストを、前記誤差と前記エントロピーとの重み付き和とし、前記コストを最小化するように、前記パラメータを調整する請求項１又は請求項２に記載の異常判定プログラム。
  4. 　前記ノイズを、各次元が互いに無相関、かつ平均が０である分布に基づく乱数とする請求項１～請求項３のいずれか１項に記載の異常判定プログラム。
  5. 　前記判定対象の入力データについての前記条件付き確率分布のエントロピーと、前記条件付き確率分布の推定時に得られるパラメータを用いて算出されるエントロピーの期待値との差分を判定基準と比較することにより、前記判定が実行される請求項１～請求項４のいずれか１項に記載の異常判定プログラム。
  6. 　入力データを符号化して得られる前記入力データよりも次元数の低い低次元特徴量を、前記入力データにおける注目データの周辺領域のデータに基づく条件を用いた条件付き確率分布として推定する推定部と、
    　前記低次元特徴量にノイズを加算した特徴量を復号化した出力データと、前記入力データとの誤差と、前記条件付き確率分布のエントロピーとを含むコストに基づいて、前記符号化、前記推定、及び前記復号化の各々のパラメータを調整する調整部と、を含み、
    　調整後の前記パラメータを用いた、判定対象の入力データが正常であるか否かの判定において、前記判定対象の入力データの周辺領域のデータに基づく前記条件付き確率分布に基づいて、前記判定が実行される
    　ことを特徴とする異常判定装置。
  7. 　前記条件として、前記低次元特徴量を符号化して得られる前記低次元特徴量よりも次元数の低い上位低次元特徴量を復号化した上位出力データをさらに用いて、前記条件付き確率分布を推定する請求項６に記載の異常判定装置。
  8. 　前記調整部は、前記コストを、前記誤差と前記エントロピーとの重み付き和とし、前記コストを最小化するように、前記パラメータを調整する請求項６又は請求項７に記載の異常判定装置。
  9. 　前記ノイズを、各次元が互いに無相関、かつ平均が０である分布に基づく乱数とする請求項６～請求項８のいずれか１項に記載の異常判定装置。
  10. 　前記判定対象の入力データについての前記条件付き確率分布のエントロピーと、前記条件付き確率分布の推定時に得られるパラメータを用いて算出されるエントロピーの期待値との差分を判定基準と比較することにより、前記判定が実行される請求項６～請求項９のいずれか１項に記載の異常判定装置。
  11. 　入力データを符号化して得られる前記入力データよりも次元数の低い低次元特徴量を、前記入力データにおける注目データの周辺領域のデータに基づく条件を用いた条件付き確率分布として推定し、
    　前記低次元特徴量にノイズを加算した特徴量を復号化した出力データと、前記入力データとの誤差と、前記条件付き確率分布のエントロピーとを含むコストに基づいて、前記符号化、前記推定、及び前記復号化の各々のパラメータを調整する、
    　ことを含む処理をコンピュータが実行し、
    　調整後の前記パラメータを用いた、判定対象の入力データが正常であるか否かの判定において、前記判定対象の入力データの周辺領域のデータに基づく前記条件付き確率分布に基づいて、前記判定が実行される
    　ことを特徴とする異常判定方法。
  12. 　前記条件として、前記低次元特徴量を符号化して得られる前記低次元特徴量よりも次元数の低い上位低次元特徴量を復号化した上位出力データをさらに用いて、前記条件付き確率分布を推定する請求項１１に記載の異常判定方法。
  13. 　前記コストを、前記誤差と前記エントロピーとの重み付き和とし、前記コストを最小化するように、前記パラメータを調整する請求項１１又は請求項１２に記載の異常判定方法。
  14. 　前記ノイズを、各次元が互いに無相関、かつ平均が０である分布に基づく乱数とする請求項１１～請求項１３のいずれか１項に記載の異常判定方法。
  15. 　前記判定対象の入力データについての前記条件付き確率分布のエントロピーと、前記条件付き確率分布の推定時に得られるパラメータを用いて算出されるエントロピーの期待値との差分を判定基準と比較することにより、前記判定が実行される請求項１１～請求項１４のいずれか１項に記載の異常判定方法。
  16. 　入力データを符号化して得られる前記入力データよりも次元数の低い低次元特徴量を、前記入力データにおける注目データの周辺領域のデータに基づく条件を用いた条件付き確率分布として推定し、
    　前記低次元特徴量にノイズを加算した特徴量を復号化した出力データと、前記入力データとの誤差と、前記条件付き確率分布のエントロピーとを含むコストに基づいて、前記符号化、前記推定、及び前記復号化の各々のパラメータを調整する、
    　ことを含む処理をコンピュータに実行させ、
    　調整後の前記パラメータを用いた、判定対象の入力データが正常であるか否かの判定において、前記判定対象の入力データの周辺領域のデータに基づく前記条件付き確率分布に基づいて、前記判定が実行される
    　ことを特徴とする異常判定プログラムを記憶した記憶媒体。
PCT/JP2020/035559 2020-09-18 2020-09-18 異常判定プログラム、装置、及び方法 WO2022059194A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022550312A JP7435806B2 (ja) 2020-09-18 2020-09-18 異常判定プログラム、装置、及び方法
PCT/JP2020/035559 WO2022059194A1 (ja) 2020-09-18 2020-09-18 異常判定プログラム、装置、及び方法
US18/180,401 US20230229893A1 (en) 2020-09-18 2023-03-08 Computer-readable recording medium storing abnormality determination program, abnormality determination device, and abnormality determination method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/035559 WO2022059194A1 (ja) 2020-09-18 2020-09-18 異常判定プログラム、装置、及び方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/180,401 Continuation US20230229893A1 (en) 2020-09-18 2023-03-08 Computer-readable recording medium storing abnormality determination program, abnormality determination device, and abnormality determination method

Publications (1)

Publication Number Publication Date
WO2022059194A1 true WO2022059194A1 (ja) 2022-03-24

Family

ID=80776620

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/035559 WO2022059194A1 (ja) 2020-09-18 2020-09-18 異常判定プログラム、装置、及び方法

Country Status (3)

Country Link
US (1) US20230229893A1 (ja)
JP (1) JP7435806B2 (ja)
WO (1) WO2022059194A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024057861A1 (ja) * 2022-09-15 2024-03-21 国立研究開発法人情報通信研究機構 自己符号化を行うシステム、プログラム、および方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11929853B2 (en) * 2020-10-19 2024-03-12 Qualcomm Incorporated Data-driven probabilistic modeling of wireless channels using conditional variational auto-encoders

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019207561A (ja) 2018-05-29 2019-12-05 日鉄ソリューションズ株式会社 情報処理装置、情報処理方法及びプログラム
CN112702329B (zh) 2020-12-21 2023-04-07 四川虹微技术有限公司 一种流量数据异常检测方法、装置和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DAVIDE ABATI; ANGELO PORRELLO; SIMONE CALDERARA; RITA CUCCHIARA: "Latent Space Autoregression for Novelty Detection", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 4 July 2018 (2018-07-04), 201 Olin Library Cornell University Ithaca, NY 14853 , XP081128615 *
DONGYAN GUO; MIAO TIAN; YING CUI; XIANG PAN; SHENGYONG CHEN: "Improving auto-encoder novelty detection using channel attention and entropy minimization", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 3 July 2020 (2020-07-03), 201 Olin Library Cornell University Ithaca, NY 14853 , XP081714282 *
KEIZO KATO; JING ZHOU; TOMOTAKE SASAKI; AKIRA NAKAGAWA: "Rate-Distortion Optimization Guided Autoencoder for Isometric Embedding in Euclidean Latent Space", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 31 August 2020 (2020-08-31), 201 Olin Library Cornell University Ithaca, NY 14853 , XP081750764 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024057861A1 (ja) * 2022-09-15 2024-03-21 国立研究開発法人情報通信研究機構 自己符号化を行うシステム、プログラム、および方法

Also Published As

Publication number Publication date
JP7435806B2 (ja) 2024-02-21
US20230229893A1 (en) 2023-07-20
JPWO2022059194A1 (ja) 2022-03-24

Similar Documents

Publication Publication Date Title
JP7315748B2 (ja) データ識別器訓練方法、データ識別器訓練装置、プログラム及び訓練方法
Berardino et al. Eigen-distortions of hierarchical representations
WO2022059194A1 (ja) 異常判定プログラム、装置、及び方法
JP6599294B2 (ja) 異常検知装置、学習装置、異常検知方法、学習方法、異常検知プログラム、および学習プログラム
JP4742193B2 (ja) 年齢推定装置、年齢推定方法及びプログラム
Tokdar et al. Simultaneous linear quantile regression: a semiparametric Bayesian approach
WO2021144943A1 (ja) 制御方法、情報処理装置および制御プログラム
EP1864245A2 (en) Method of performing face recognition
CN114842267A (zh) 基于标签噪声域自适应的图像分类方法及系统
Chen et al. No-reference screen content image quality assessment with unsupervised domain adaptation
Zhang et al. Image denoising based on sparse representation and gradient histogram
Tokdar et al. Simultaneous linear quantile regression: A semiparametric bayesian approach
WO2022059193A1 (ja) 判定制御プログラム、装置、及び方法
CN117974693B (zh) 图像分割方法、装置、计算机设备和存储介质
JP2013120441A (ja) 画像識別情報付与プログラム及び画像識別情報付与装置
Fancourt et al. Competitive principal component analysis for locally stationary time series
CN116232699A (zh) 细粒度网络入侵检测模型的训练方法和网络入侵检测方法
Zhao et al. Generating Counterfactual Images: Towards a C2C-VAE Approach.
CN115761837A (zh) 人脸识别质量检测方法、系统及设备和介质
CN114841887A (zh) 一种基于多层次差异学习的图像恢复质量评价方法
JP2010257344A (ja) 視線位置推定方法、視線位置推定装置、プログラム、及び記録媒体
CN114868124B (zh) 控制方法、信息处理装置以及控制程序
CN117291252B (zh) 稳定视频生成模型训练方法、生成方法、设备及存储介质
CN118555215B (zh) 一种基于扩散模型的缺失网络流量矩阵填充方法和系统
WO2022064574A1 (ja) 機械学習プログラム、機械学習方法および情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20954179

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022550312

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20954179

Country of ref document: EP

Kind code of ref document: A1