WO2025258151A1 - 学習方法、推論モデル、ノイズ除去方法、ノイズ除去プログラム及びノイズ除去システム - Google Patents

学習方法、推論モデル、ノイズ除去方法、ノイズ除去プログラム及びノイズ除去システム

Info

Publication number
WO2025258151A1
WO2025258151A1 PCT/JP2025/006975 JP2025006975W WO2025258151A1 WO 2025258151 A1 WO2025258151 A1 WO 2025258151A1 JP 2025006975 W JP2025006975 W JP 2025006975W WO 2025258151 A1 WO2025258151 A1 WO 2025258151A1
Authority
WO
WIPO (PCT)
Prior art keywords
noise
data
learning
noise removal
removal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2025/006975
Other languages
English (en)
French (fr)
Inventor
智親 竹嶋
昌人 浅井
友一郎 森岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Priority to JP2026516308A priority Critical patent/JP7850363B1/ja
Publication of WO2025258151A1 publication Critical patent/WO2025258151A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing

Definitions

  • the present invention relates to a learning method for generating an inference model used to remove noise from data, the generated inference model, and a noise removal method, noise removal program, and noise removal system for removing noise from data using the inference model.
  • Noise2Noise makes it possible to generate inference models without using noise-free images.
  • Noise2Noise requires the preparation of multiple images with the same signal components but different noise levels to be used in machine learning.
  • special processing such as alignment may be required to acquire such images.
  • One embodiment of the present invention has been made in light of the above, and aims to provide a learning method, inference model, noise removal method, noise removal program, and noise removal system that can appropriately remove noise from data even when sufficient learning data cannot be obtained.
  • a learning method for generating an inference model used to remove noise from data having multiple values, the method comprising: a learning acquisition step of acquiring learning data having multiple values and including noise, and generating exponentiated learning data in which each of the multiple values in the acquired learning data is raised to a predetermined power; a noise removal step of using an inference model currently being trained to generate noise-removed learning data from the exponentiated learning data generated in the learning acquisition step; a noise addition step of adding noise based on a predetermined noise to the noise-removed learning data generated in the noise removal step to generate noise-added learning data; and a training step of training the machine learning of the inference model using a combination of the exponentiated learning data generated in the learning acquisition step and the noise-added learning data generated in the noise addition step as noise-containing data; after the inference model has been trained in the training step, the trained inference model is used as an inference model currently being trained
  • post-exponentiation learning data and noise-added learning data are generated from learning data, and are used to train an inference model.
  • the post-exponentiation learning data is data that enables appropriate machine learning training.
  • the noise-added learning data is data in which noise contained in the post-exponentiation learning data has been removed using an inference model currently in training, and data based on a preset noise has been added. Therefore, the noise contained in the post-exponentiation learning data and the noise contained in the noise-added learning data are independent of each other, and the combination of the post-exponentiation learning data and the noise-added learning data is appropriate for training an inference model.
  • the learning method according to one embodiment of the present invention can generate an inference model that can appropriately remove noise.
  • the learning method according to one embodiment of the present invention does not require a large amount of training data to train the inference model. In this way, the learning method according to one embodiment of the present invention can appropriately remove noise from data even when sufficient training data cannot be obtained.
  • a value may be used as the preset value such that there is a linear relationship between the value of the exponentiated learning data and the magnitude of variation in that value.
  • Such exponentiated learning data is data that enables more appropriate machine learning training. Therefore, with this configuration, it is possible to generate an inference model more appropriately.
  • weighting may be performed for each preset noise value according to the value of the noise-removed learning data, and the weighted noise may be added to generate noise-added learning data. Furthermore, in the noise addition step, weighting may be performed using the value ⁇ ⁇ the value of the noise-removed learning data + ⁇ , for the preset weighting values ⁇ and ⁇ such that 0.0 ⁇ ⁇ ⁇ 1.0 and -1.0 ⁇ ⁇ ⁇ 1.0. With these configurations, the weighted noise added to the noise-removed learning data can be made closer to the noise that actually occurs. Therefore, with these configurations, an even more appropriate inference model can be generated.
  • the trained inference model may be used as an inference model during training in the noise removal step to generate noise-removed training data.
  • the trained inference model may be used as an inference model during training in the noise removal step to generate noise-removed training data.
  • the machine learning training of the inference model may be performed using the exponentiated learning data generated in the learning acquisition step, instead of the noise-added learning data generated in the noise addition step.
  • the range of values of the data output from the generated inference model can be made more appropriate, and noise can be more appropriately removed from the data.
  • a noise that is preset depending on the repetition may be used as the preset noise.
  • noise-added learning data to which various noises have been added depending on the repetition can be used to train an inference model. As a result, noise can be more appropriately removed from the data.
  • the preset noise may be the same type of noise as the noise expected to be removed.
  • the inference model generated by the learning method according to one embodiment of the present invention is itself an invention with a novel configuration.
  • the inference model according to one embodiment of the present invention is an inference model that causes a computer to input data having multiple values, perform calculations according to the input, and output information, and is generated by the above-mentioned learning method.
  • a noise removal method that removes noise from data having multiple values using an inference model used to remove noise from data having multiple values, and includes: an acquisition step for removal of noise-removal target data that has multiple values and is the target of noise removal, and generates powered noise-removal target data having values obtained by raising each of the multiple values in the acquired noise-removal target data to a predetermined power; and a noise removal step for generating noise-removed data from the powered noise-removal target data generated in the acquisition step for removal using an inference model, and generating noise-removed result data of the noise-removal target data having values obtained by raising each of the multiple values in the generated noise-removed data to the reciprocal of a predetermined value.
  • post-exponentiation noise removal target data which is used for noise removal using an inference model, is generated from the noise removal target data.
  • the post-exponentiation noise removal target data is data that allows for appropriate noise removal using an inference model. Therefore, according to a noise removal method according to one embodiment of the present invention, noise can be appropriately removed from data.
  • a value may be used as the preset value such that there is a linear relationship between the value of the data to be subjected to power-based noise removal and the magnitude of variation in that value.
  • a value may be used as the preset value such that there is a linear relationship between the value of the data to be subjected to power-based noise removal and the magnitude of variation in that value.
  • Such data to be subjected to power-based noise removal is data that allows for more appropriate noise removal using an inference model. Therefore, with this configuration, noise can be removed from the data more appropriately.
  • an interference image of coherent waves may be acquired as data to be noise-removed.
  • noise can be appropriately removed from the interference image of coherent waves.
  • the noise removal method may further include an OCT step of acquiring an optical coherence image by OCT, and in the removal acquisition step, the optical coherence image acquired in the OCT step may be acquired as data to be subjected to noise removal.
  • OCT step of acquiring an optical coherence image by OCT
  • the optical coherence image acquired in the OCT step may be acquired as data to be subjected to noise removal.
  • the inference model may be generated by the above-mentioned learning method. With this configuration, noise is removed using the inference model generated by the above-mentioned learning method. Therefore, noise can be removed from the data appropriately.
  • noise removal method invention in addition to being described as a noise removal method invention as described above, one embodiment of the present invention can also be described as a noise removal program and noise removal system invention as described below. These are essentially the same invention, just in different categories, and achieve similar functions and effects.
  • a noise removal program is a noise removal program that causes a computer to operate as a noise removal system that removes noise from data having multiple values using an inference model used to remove noise from data having multiple values.
  • the program causes the computer to function as: removal acquisition means that acquires noise removal target data that has multiple values and is the target of noise removal, and generates exponentiated noise removal target data having values obtained by raising each of the multiple values in the acquired noise removal target data to a predetermined power; and noise removal means that uses the inference model to generate noise-removed data from the exponentiated noise removal target data generated by the removal acquisition means, and generates noise-removed result data for the noise removal target data having values obtained by raising each of the multiple values in the generated noise-removed data to the reciprocal of a predetermined value.
  • a noise removal system is a noise removal system that removes noise from data having multiple values using an inference model used to remove noise from data having multiple values. It comprises: a removal acquisition means that acquires noise removal target data that has multiple values and is the target of noise removal, and generates exponentiated noise removal target data in which each of the multiple values in the acquired noise removal target data is raised to a predetermined value; and a noise removal means that uses the inference model to generate noise-removed data from the exponentiated noise removal target data generated by the removal acquisition means, and generates noise-removed result data for the noise removal target data in which each of the multiple values in the generated noise-removed data is raised to the reciprocal of a predetermined value.
  • the noise removal system may further include an OCT device that acquires an optical coherence image using OCT, and the removal acquisition means may acquire the optical coherence image acquired by the OCT device as the target for noise removal.
  • noise can be appropriately removed from the data.
  • FIG. 1 is a diagram illustrating the configuration of a learning system and a noise removal system according to an embodiment of the present invention.
  • FIG. 1 is a diagram illustrating an overview of a learning method according to an embodiment. A diagram showing an overview of the generation of data used to generate an inference model.
  • 1 is a graph showing the relationship between brightness values in an image and standard deviation values.
  • 10 is a graph showing the relationship between the luminance value and the standard deviation value in a scale-converted image.
  • 1 is a flowchart illustrating a learning method, which is a process executed in a learning system according to an embodiment of the present invention.
  • 3 is a flowchart illustrating a noise removal method that is a process executed by the noise removal system according to the embodiment of the present invention.
  • FIG. 2 is a diagram showing the configuration of a learning program and a noise removal program according to an embodiment of the present invention, together with a recording medium.
  • FIG. 1(a) shows a learning system 10 that executes the learning method according to this embodiment.
  • FIG. 1(b) shows a noise removal system 20 that executes the noise removal method according to this embodiment.
  • the learning system 10 is a system (device) that generates an inference model (learning model) used to remove noise from data having multiple values.
  • the inference model is a denoising model that denoises data.
  • the noise removal system 20 is a system (device) that removes noise from data having multiple values using the inference model generated by the learning system 10.
  • the data having multiple values from which noise is to be removed is, for example, an image.
  • the image from which noise is to be removed may be, for example, an optical interference image (data).
  • An optical interference image is, for example, an image obtained by optical coherence tomography (OCT) or optical diffraction tomography (ODT).
  • OCT optical coherence tomography
  • ODT optical diffraction tomography
  • the image from which noise is to be removed may be an interference image of coherent waves, such as the image described above. Coherent waves also include laser light and ultrasound.
  • the image from which noise is to be removed may be a fluorescent image obtained by imaging with a digital CMOS (Complementary Metal Oxide Semiconductor) camera.
  • the image from which noise is to be removed may be an image used for luminescence analysis (for example, an luminescence image obtained by imaging with an InGaAs camera).
  • the image from which noise is removed may be, for example, an image of a substrate manufactured on a production line, and the image after noise removal may be used to check for defects in the substrate.
  • the image from which noise is removed may be an image of cells, and the image after noise removal may be used for cell analysis.
  • the image from which noise is removed may be any image other than those listed above, as long as it contains noise.
  • the data having multiple values from which noise is to be removed does not have to be an image, but may be, for example, spectral data or time-series data.
  • Spectral data is, for example, data on intensity relative to wavenumber (wavelength, frequency).
  • Time-series data is, for example, data on intensity at each time point, specifically, output data (output signal) from a detector such as a photomultiplier tube or point sensor, or measurement data of biological information such as hemoglobin concentration.
  • Noise contained in data may be uncorrelated between the multiple values that make up the data (for example, between the pixels that make up an image), or it may be correlated.
  • Uncorrelated noise for example, occurs randomly from a noise distribution. For example, if the data is obtained from a point sensor, the next noise value cannot be predicted from only one point in the time series. Alternatively, if the data is obtained from a line or two-dimensional sensor, the noise value of an adjacent pixel cannot be predicted. Such noise is, for example, thermal noise, shot noise, or defective or improperly adjusted pixels.
  • Correlated noise is noise that does not occur randomly, but is related to other noise. For example, a cut-out portion of noise is correlated with noise in other locations. For example, if the data is obtained from a point sensor, the next noise value can be predicted from the continuity of the noise over time. Alternatively, if the data is obtained from a line or two-dimensional sensor, the noise value of an adjacent pixel can be predicted. Such noise is, for example, periodic noise, speckle noise, or unwanted signal components.
  • the noise contained in the data may be both the above-mentioned uncorrelated noise and the above-mentioned correlated noise. Furthermore, the noise contained in the data may be other than the above.
  • noise whose brightness varies depending on the object (distribution differs) is assumed to be the target of noise removal. In this embodiment, for example, speckle noise removal is assumed. However, the target of removal does not have to be speckle noise.
  • the learning system 10 and the noise removal system 20 are configured to include a conventional computer that includes hardware such as a processor, memory, and a communication module.
  • the processor is, for example, a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit).
  • the computers that make up the learning system 10 and the noise removal system 20 may be a computer system including multiple computers.
  • the computers may also be configured using cloud computing or edge computing.
  • the functions of the learning system 10 and the noise removal system 20, which will be described later, are realized by these components operating via programs, etc.
  • the learning system 10 and the noise removal system 20 may include an imaging device such as a camera for acquiring images to be used in processing.
  • the learning system 10 and the noise removal system 20 are configured to include a computer and an imaging device.
  • the learning system 10 and the noise removal system 20 may be equipped with an OCT device as an imaging device that uses OCT to acquire optical coherence images, which are images to be used in processing.
  • the optical coherence images are used to generate an inference model.
  • the noise removal system 20 the optical coherence images are data to be subjected to noise removal.
  • the learning system 10 and the noise removal system 20 may be included in an imaging device such as a camera for acquiring images to be used in processing.
  • the learning system 10 and the noise removal system 20 are shown as separate systems (devices) in FIG. 1, they may also be realized by the same system (device).
  • the learning system 10 is configured to include a learning acquisition unit 11, a noise removal unit 12, a noise addition unit 13, and a training unit 14.
  • the learning system 10 generates an inference model through machine learning training.
  • the inference model is configured to include, for example, a neural network.
  • the neural network may be multi-layered. That is, the inference model may be generated by deep learning.
  • the neural network may also be a convolutional neural network (CNN).
  • CNN convolutional neural network
  • the format of the inference model may be similar to an inference model generated by conventional N2N (Noise2Noise) or the like, for example, a 6-layer Conv2D+ReLU.
  • An inference model is used to remove noise from data containing multiple values.
  • an inference model inputs data from which noise is to be removed and outputs the data after noise has been removed.
  • the inference model has neurons in its input layer for inputting the data from which noise is to be removed.
  • the information input to the inference model is the pixel value (brightness value) of each pixel in an image, which is the data from which noise is to be removed.
  • the input layer has neurons equal to the number of pixels in the image, and each neuron is input with the pixel value of the corresponding pixel.
  • the inference model also has neurons in the output layer that output the data after noise removal.
  • the information output from the inference model is the pixel values of each pixel in the image, which is the data after noise removal.
  • the output layer has the same number of neurons as the number of pixels in the image, and each neuron outputs the pixel value of the corresponding pixel.
  • the inference model may input data from which noise is to be removed and output data on the noise contained in that data.
  • the output noise can be removed from the data from which noise is to be removed to obtain the noise-removed data.
  • the inference model may also be anything other than the above, as long as it is capable of removing noise from the data from which noise is to be removed.
  • An inference model is a device that causes a computer to input data having multiple values, perform calculations according to the input, and output information. It is anticipated that inference models will be used as program modules that are part of artificial intelligence software.
  • An inference model is used, for example, in a computer equipped with a processor and memory, and the computer's processor operates according to instructions from the model stored in the memory. For example, the computer's processor operates in accordance with the instructions to input information to the model, perform calculations according to the model, and output results from the model. Specifically, the computer's processor operates in accordance with the instructions to input information to the input layer of a neural network, perform calculations based on parameters such as learning weighting coefficients in the neural network, and output results from the output layer of the neural network. Note that an inference model may also be constructed using something other than a neural network.
  • Figure 2 shows an overview of the learning method for generating an inference model according to this embodiment.
  • Figure 3 shows an overview of the generation of data used to generate an inference model.
  • data containing noise is used to generate an inference model; it is not necessary to use data that does not contain noise.
  • the learning method according to this embodiment, described below, is called Noise2Prior, in contrast to the conventional Noise2Noise method.
  • the learning acquisition unit 11 is a learning acquisition means that acquires learning data that has multiple values and includes noise, and generates exponentiated learning data that has values obtained by raising each of the multiple values in the acquired learning data to a predetermined value.
  • the learning acquisition unit 11 may use, as the predetermined value, a value that establishes a linear relationship between the value of the exponentiated learning data and the magnitude of variation in that value.
  • the learning acquisition unit 11 acquires learning data, for example, as follows, and generates exponentiated learning data.
  • the learning data is data in the same format as the data from which noise is to be removed. For example, if the data from which noise is to be removed is an image, the learning data is an image of the same size as that image.
  • the learning acquisition unit 11 acquires an image that contains noise and is larger in size than the learning data as the original image (original data) for learning.
  • An image containing noise is, for example, an image obtained by using an imaging device to capture an image of a pre-prepared object in a state in which noise occurs in the captured image.
  • the original image is acquired, for example, by receiving it from the imaging device that captured the original image, or by accepting a user's input operation of the original image into the learning system 10.
  • the learning acquisition unit 11 cuts out and acquires, from the original image, an image (image patch) of a region (portion) of a predetermined size smaller than the original image as learning data.
  • the learning acquisition unit 11 may, for example, acquire multiple pieces of learning data at randomly different positions from a single original image.
  • the learning acquisition unit 11 may also, for example, acquire learning data (images) from multiple original images (original image pool).
  • the learning data acquisition unit 11 may acquire learning data by methods other than cutting out the original image as described above.
  • the number of acquired learning data may be one, or multiple.
  • the learning acquisition unit 11 pre-stores values for generating exponentiated learning data. These values are preset values.
  • the learning acquisition unit 11 generates exponentiated learning data having values obtained by raising each of the multiple values contained in the acquired learning data to the corresponding power. For example, if the learning data is an image, the learning acquisition unit 11 raises the pixel values of all pixels that make up the image that is the learning data to the corresponding power, and generates an image with the exponentiated values as pixel values as the exponentiated learning data. In other words, the learning acquisition unit 11 performs scale conversion on the learning data.
  • the above scale conversion is intended to appropriately remove noise from data by taking into account the characteristics of the data values of the noise to be removed. For example, this scale conversion takes the following into consideration: Noise in an image has multiple causes. In order to appropriately remove noise from an image, it is necessary to remove (separate) not only noise that is uniformly present throughout, but also noise that varies depending on the subject.
  • Figure 4 shows a graph of the relationship between brightness values in an image and standard deviation values (SD values).
  • the graph in Figure 4 shows the relationship between the average brightness values in a small area in the image (horizontal axis of the graph) and the standard deviation value in that small area (vertical axis of the graph).
  • the standard deviation value in a small area is thought to correspond to the magnitude of the noise.
  • the graph in Figure 4(a) is a graph of an optical coherence image obtained by OCT (specifically, an image stored in the open-access database OCTID (Optical Coherence Tomography Image Database)).
  • OCTID Optical Coherence Tomography Image Database
  • the noise contained in the optical coherence image obtained by OCT is considered to be speckle noise.
  • the graph in Figure 4(b) is a graph of a fluorescence image obtained by imaging with a digital CMOS camera.
  • the noise contained in the fluorescence image obtained by imaging with a digital CMOS camera is considered to be shot noise.
  • the shot noise that occurs in dark fluorescence images is a statistical fluctuation that accompanies the detection of fluorescence photons, and is proportional to the number of photons.
  • the relationship between brightness and standard deviation is roughly linear.
  • Speckle noise is noise caused by the interference of waves with coherent properties.
  • the relationship between brightness and standard deviation is roughly a power of 1/d.
  • the standard deviation is roughly the brightness to the power of 0.5889.
  • the learning acquisition unit 11 uses, as the preset value for generating the exponentiated learning data, a value that establishes a linear relationship between the value of the exponentiated learning data and the magnitude of the variation in that value (for example, the standard deviation of that value, as described above). For example, when the pixel value of the image serving as learning data and the value of the variation in the pixel values establish a power relationship, the power value (1/d) may be calculated in advance, and this value may be used as the preset value for generating the exponentiated learning data.
  • the value set as described above is a value that establishes a linear relationship between the value of the exponentiated learning data and the magnitude of the variation in that value. In this case, as shown in Figures 2 and 3, the learning acquisition unit 11 performs a 1/d power scale transformation on image 30 serving as learning data to generate image 31 serving as exponentiated learning data.
  • Figure 5 shows a graph of the relationship between the brightness value and the standard deviation value (S.D. value) in the image that is the power-based learning data when the above-mentioned scale conversion is performed on the optical interference image corresponding to the graph in Figure 4(a).
  • the value 1/d used for the scale conversion in this case is 0.5889 (d ⁇ 1.7).
  • the relationship between the brightness value and the standard deviation value in the image that is the power-based learning data is roughly linear. By using power-based learning data that has such a relationship, it is possible to appropriately remove noise from the data.
  • the learning acquisition unit 11 outputs the generated exponentiated learning data to the noise removal unit 12 and the training unit 14.
  • the noise removal unit 12 is a noise removal means that generates noise-removed learning data from the exponentiated learning data generated by the learning acquisition unit 11 using an inference model currently being trained. After the training unit 14 trains the inference model, the noise removal unit 12 uses the trained inference model as an inference model currently being trained to generate noise-removed learning data. Each time the training unit 14 trains an inference model, the noise removal unit 12 may generate noise-removed learning data using the trained inference model as an inference model currently being trained.
  • the noise removal unit 12 generates training data after noise removal, for example, as follows.
  • the inference model is generated by repeating processing by the noise removal unit 12 (noise removal step), processing by the noise addition unit 13 (noise addition step), and processing by the training unit 14 (training step).
  • the training unit 14 performs machine learning training of the inference model.
  • the training unit 14 outputs the inference model after machine learning training during the above-mentioned repetition, i.e., the inference model during training, to the noise removal unit 12.
  • the noise removal unit 12 inputs and stores the inference model from the training unit 14.
  • the output of the inference model from the training unit 14 to the noise removal unit 12 may be performed, for example, by sharing the inference model or copying the inference model.
  • the output of the inference model from the training unit 14 to the noise removal unit 12 may be performed each time the inference model is trained. Alternatively, the output may be performed at a predetermined timing during the above-mentioned repetition, rather than each time the inference model is trained.
  • the noise removal unit 12 inputs the exponentiated learning data from the learning acquisition unit 11.
  • the noise removal unit 12 generates noise-removed learning data (noise-removed exponentiated learning data) from the input exponentiated learning data using an inference model currently in training. For example, if the inference model outputs an image after noise removal, as shown in Figures 2 and 3, the noise removal unit 12 inputs a scale-converted image 31, which is the exponentiated learning data, to the inference model, and obtains an intermediate inference image 32, which is the noise-removed learning data, as output from the inference model.
  • the noise removal unit 12 removes the noise obtained using the inference model from the exponentiated learning data to obtain the learning data after noise removal.
  • the noise removal unit 12 may also generate the learning data after noise removal using a method other than the above, as long as it uses an inference model.
  • An inference model in the middle of training does not necessarily have sufficient noise removal capabilities, but it can still be used to remove noise. Therefore, the noise-removed training data generated by the noise removal unit 12 has less noise than the exponentiated training data.
  • the noise removal unit 12 outputs the generated noise-removed training data to the noise addition unit 13.
  • the noise addition unit 13 is a noise addition means that adds noise based on a preset noise to the noise-removed learning data generated by the noise removal unit 12 to generate noise-added learning data.
  • the noise addition unit 13 may weight each preset noise value according to the value of the noise-removed learning data, and add the weighted noise to generate noise-added learning data.
  • the noise addition unit 13 may weight the preset weighting values ⁇ and ⁇ , such that 0.0 ⁇ ⁇ ⁇ 1.0 and -1.0 ⁇ ⁇ ⁇ 1.0, by ⁇ ⁇ the value of the noise-removed learning data + ⁇ .
  • the noise addition unit 13 may use a preset noise depending on the repetition as the preset noise.
  • the noise addition unit 13 may use, as the preset noise, noise of the same type as the noise expected to be removed.
  • the noise addition unit 13 generates noise-added training data, for example, as follows.
  • the noise-added training data generated by the noise addition unit 13 is data used by the training unit 14 to train the machine learning of the inference model.
  • the noise addition unit 13 inputs the noise-removed training data from the noise removal unit 12.
  • the noise addition unit 13 adds (synthesizes) noise based on a preset noise to the input noise-removed training data to generate noise-added training data.
  • the noise addition unit 13 stores in advance preset noise data for creating noise-added learning data.
  • the noise addition unit 13 acquires an image containing only noise as the original noise image (original data).
  • the image containing only noise is, for example, an image obtained by capturing an image for generating noise.
  • the image for generating noise is captured by an imaging device in a state where noise occurs in the captured image and where there is no object to be captured.
  • the image containing only noise may be mechanically generated by simulation, etc.
  • the original noise image is acquired, for example, by receiving it from the imaging device that captured the original image, or by accepting a user's input operation of the original image into the learning system 10.
  • the generated noise data will be data of the same type of noise as the noise expected to be removed. This is because if similar imaging is performed, the data is likely to contain the same type of noise. The same is also true if the noise data is generated by a method other than imaging. Even when noise data is generated by simulation, by performing a simulation that assumes the generation of the data to be subjected to noise removal, the noise data can be data of the same type of noise as the noise expected to be removed. In this way, the noise data used for noise-addition training data may be data of the same type of noise as the noise expected to be removed. However, the noise data used for noise-addition training data does not necessarily have to be data of the same type of noise as the noise expected to be removed.
  • the noise addition unit 13 extracts from the original image an image (image patch) of an area (portion) the same size as the training data as noise data to be used to generate noise-added training data. If there is a correlation between the original image of the training data and the original image of the noise data, the noise addition unit 13 may extract the noise data image from a position corresponding to the position of the training data image in the original image. For example, if the original image of the training data and the original image of the noise data are obtained by imaging with the same imaging device (the same type of imaging device), extracting the training data image and the noise image from the same position in the original image may result in high similarity of the noise contained therein. Such noise is not necessarily appropriate to use as added noise.
  • the noise addition unit 13 may extract the noise data image from a position different from the position of the training data image in the original image (for example, a position shifted around the position of the training data image where noise similarity is thought to be low (a position with identical distribution contrast relationship)).
  • the noise addition unit 13 may, for example, acquire noise data at random positions from one original image each time it is acquired.
  • the noise addition unit 13 may, for example, acquire noise data from multiple original images (for example, the speckle noise pool (preparation) shown in FIG. 2) (noise selection in FIG. 2).
  • the noise addition unit 13 may perform pre-processing on the noise data. For example, the noise addition unit 13 may divide each pixel value of the noise data image by the average pixel value of the entire image to obtain the reference noise. This is to make the noise data more appropriate as noise to be added to the learning data after noise removal. If pre-processing is performed, the pre-processed noise data is used as the preset noise in subsequent processing.
  • the noise addition unit 13 generates noise (hereinafter referred to as additional noise) to be added to the post-noise-removed learning data from the above-mentioned preset noise. To generate the additional noise, the noise addition unit 13 weights each of the above-mentioned preset noise values according to the value of the post-noise-removed learning data. The noise weighting is intended to make the additional noise appropriate for the post-noise-removed learning data to which the noise will be added, and to enable the generated inference model to perform appropriate noise removal.
  • the noise addition unit 13 performs weighting using values at the same positions in the preset noise and the post-noise-removal learning data. For example, the noise addition unit 13 weights the pixel values of pixels in the image of the preset noise using pixels at the same positions in the image of the post-noise-removal learning data. In other words, the image of the post-noise-removal learning data is used as a weighted image (two-dimensional weight map).
  • the noise adding unit 13 stores in advance the values of ⁇ (gradient correction coefficient) and ⁇ (low brightness clip value) that are preset as parameter values used for weighting. ⁇ and ⁇ are values that satisfy 0.0 ⁇ 1.0 and ⁇ 1.0 ⁇ 1.0, respectively.
  • the noise addition unit 13 uses the product of the calculated weight value and the preset noise value as noise data to be added. For example, as shown in Figures 2 and 3, the noise addition unit 13 generates a speckle noise brightness-adjusted image 34, which is an image obtained by weighting a preset noise image 33 (speckle noise brightness-adjusted image) using the intermediate inference image 32 and the values of parameters ⁇ and ⁇ .
  • the speckle noise brightness-adjusted image 34 is an image of noise to be added.
  • the noise after weighting (speckle noise brightness-adjusted image 34) has been converted to a contrast that matches the pixel values of the training data after noise removal.
  • the values of parameters ⁇ and ⁇ can be set to appropriate values by prior tuning, etc.
  • the preset noise does not necessarily have to be weighted as described above. If no weighting is applied, the preset noise may simply be used as is as the additional noise.
  • the noise addition unit 13 adds additional noise to the noise-removed learning data to generate noise-added learning data. For example, as shown in Figures 2 and 3, the noise addition unit 13 adds, for each pixel at the same position, the pixel value of the intermediate inference image 32, which is the noise-removed learning data, and the pixel value of the speckle noise brightness-adjusted image 34, which is the noise to be added, to generate a learning input image (synthetic input image) 35, which is noise-added learning data.
  • the noise addition unit 13 may add noise using noise corresponding to the repetition to generate noise-added training data.
  • the noise addition unit 13 may acquire different noise data from a speckle noise pool each time noise-added training data is generated, and generate noise-added training data.
  • the noise addition unit 13 may generate noise-added training data other than the above using a method other than the above, as long as it adds noise based on a preset noise to the noise-removed training data generated by the noise removal unit 12 to generate noise-added training data that can be used for machine learning training of the inference model described below.
  • the noise addition unit 13 outputs the generated noise-added training data to the training unit 14.
  • the training unit 14 is a training means that trains the machine learning of the inference model using a combination of the exponentiated learning data generated by the learning acquisition unit 11 and the noise-added learning data generated by the noise addition unit 13 as data containing noise. In any of the above repetitions, the training unit 14 may train the machine learning of the inference model using the exponentiated learning data generated by the learning acquisition unit 11 instead of the noise-added learning data generated by the noise addition unit 13.
  • the training unit 14 performs machine learning training of the inference model, for example, as follows.
  • the training unit 14 inputs post-exponentiation learning data from the learning acquisition unit 11.
  • the training unit 14 inputs noise-added learning data based on the post-exponentiation learning data from the noise addition unit 13.
  • the training unit 14 trains the inference model using a combination of this post-exponentiation learning data and noise-added learning data.
  • the exponentiated learning data input from the learning acquisition unit 11 and the noise-added learning data input from the noise addition unit 13 are the same data (for example, the same image) but contain different noises.
  • the training unit 14 uses this combination as teacher data to train the machine learning of the inference model. For example, the training unit 14 trains the inference model using N2N, as shown in Non-Patent Document 1.
  • the training unit 14 inputs a synthetic input image, which is noise-added training data, into the inference model, and obtains an inference image, which is data from which noise has been removed using the inference model at that time.
  • the training unit 14 compares the inference image, which is noise-removed data, with the scale-converted image, which is exponentiated training data, and updates the parameters of the inference model by backpropagation based on the loss resulting from the comparison.
  • training is performed by using the noise-added training data as input to the inference model and comparing the exponentiated training data with the output of the inference model, but training may also be performed conversely by using the exponentiated training data as input to the inference model and comparing the noise-added training data with the output of the inference model.
  • the training unit 14 After training the inference model, i.e., updating the parameters of the inference model, the training unit 14 outputs the trained inference model to the noise removal unit 12.
  • the noise removal unit 12 inputs the inference model from the training unit 14 and uses the inference model to generate noise-removed training data as described above.
  • the training data (exponentiated training data) used to generate noise-removed training data may be data that has already been used to train the inference model, or data that has not yet been used to train the inference model.
  • the noise-removed training data generated by the noise removal unit 12 is used in the same manner as described above.
  • the training unit 14 performs machine learning training using a combination of training data and noise-added training data. This process is repeated to progress the training of the inference model.
  • the noise-removed data obtained using the output from the inference model is also exponentiated data.
  • the noise-removed data obtained using the output from the inference model In order to obtain noise-removed (non-exponentiated) training data, the noise-removed data obtained using the output from the inference model must be raised to the reciprocal (d) of the power used by the learning acquisition unit 11. For example, as shown in Figure 2, in order to obtain the final inference image, which is noise-removed (non-exponentiated) training data, it is necessary to perform a scale transformation to the power d on the inference image, which is the output from the inference model.
  • the training unit 14 may use exponentiated learning data instead of noise-added learning data to train the machine learning of the inference model. For example, the training unit 14 selects exponentiated learning data or noise-added learning data as the data to be used for training, and trains the inference model using the selected data. If noise-added learning data is selected, the training unit 14 trains the inference model as described above.
  • the training unit 14 When exponentiated learning data is selected, the training unit 14 performs machine learning training of the inference model using only one piece of exponentiated learning data. In this case, the training unit 14 can train the inference model using the same method as when noise-added learning data is used (for example, N2N in the above example).
  • the training unit 14 inputs the exponentiated learning data into the inference model and obtains data from which noise has been removed using the inference model at that time.
  • the training unit 14 compares the noise-removed data with the exponentiated learning data and updates the parameters of the inference model by backpropagation based on the loss resulting from the comparison.
  • the noise-added training data described above is the result of noise being removed from the exponentiated training data by an inference model currently in training. Because the noise removal function of an inference model currently in training is insufficient, it is possible that components other than noise have also been significantly removed from the noise-added training data. As a result, if an inference model is trained using noise-added training data, the inference model may not be able to output appropriate data. For example, the range of values of the data output by the inference model may deviate significantly from the data from which noise has been removed.
  • the post-exponentiation training data contains noise, it does not deviate significantly from the range of data values compared to data from which noise has been appropriately removed. Therefore, by training the machine learning of the inference model using only the post-exponentiation training data as described above, it is possible to prevent the range of data values output by the inference model from deviating significantly from the normal range.
  • the selection of whether to use noise-added training data or to use exponentiated training data instead of noise-added training data may be made probabilistically, for example.
  • exponentiated training data may be used instead of noise-added training data for a preset number of iterations, and noise-added training data may be used in other cases.
  • training an inference model using exponentiated training data instead of noise-added training data is intended to bring the data output from the inference model into a range of values. Therefore, the number of times this training is performed may be fewer than the number of times this training is performed using noise-added training data for noise removal, as long as this purpose is achieved. For example, the number of times this training is performed may be about 10% of the total number of iterations.
  • the training of the above inference model is repeated, similar to conventional machine learning training, for example, a preset number of times, or until the generation of the inference model converges based on preset conditions.
  • the training unit 14 outputs the generated inference model to the noise removal system 20.
  • the noise removal system 20 is configured with a removal acquisition unit 21 and a noise removal unit 22.
  • the removal acquisition unit 21 is a removal acquisition means that acquires noise removal target data that has multiple values and is the target of noise removal, and generates exponentiated noise removal target data that has values obtained by raising each of the multiple values in the acquired noise removal target data to a predetermined power.
  • the removal acquisition unit 21 may use, as the predetermined value, a value that establishes a linear relationship between the value of the exponentiated noise removal target data and the magnitude of variation in that value.
  • the removal acquisition unit 21 may acquire an interference image due to coherent waves as the noise removal target data.
  • the removal acquisition unit 21 may acquire an optical interference image acquired by an OCT device as the noise removal target data.
  • the removal acquisition unit 21 acquires noise removal target data, for example, as follows.
  • the removal acquisition unit 21 acquires the noise removal target data by receiving it from the imaging device that captured the image that is the noise removal target data, or by accepting a user's image input operation to the noise removal system 20. If the size of the noise removal target data input to the inference model is smaller than the original image cut out from the original image obtained by capturing an image with an imaging device, similar to the learning data described above, the removal acquisition unit 21 may acquire the original image, divide it into pieces the size of the noise removal target data input to the inference model, and use the divided image as the noise removal target data.
  • the acquisition unit for removal 21 may acquire an optical interference image acquired by an OCT device as the data to be noise-removed.
  • the acquisition unit for removal 21 may acquire an interference image of coherent waves as the data to be noise-removed.
  • the optical interference image and interference image described above may be generated by conventional methods.
  • the acquisition unit for removal 21 may also acquire the data to be noise-removed by methods other than those described above.
  • the removal acquisition unit 21 pre-stores values for generating the exponentiated noise removal target data. These values are preset values.
  • the removal acquisition unit 21 generates exponentiated noise removal target data having values obtained by raising each of the multiple values contained in the acquired noise removal target data to the corresponding power. For example, if the noise removal target data is an image, the removal acquisition unit 21 raises the pixel values of all pixels that make up the image, which is the noise removal target data, to the corresponding power, and generates an image in which the pixel values are the exponentiated values as the exponentiated noise removal target data. In other words, the removal acquisition unit 21 performs scale conversion on the noise removal target data.
  • the above scale conversion is performed for the same purpose as the scale conversion of the training data by the learning acquisition unit 11, and may be performed in the same manner as the scale conversion of the training data.
  • the removal acquisition unit 21 uses, as the preset value for generating the exponentiated noise removal target data, a value that establishes a linear relationship between the value of the noise removal target data and the magnitude of the variation in that value (for example, the standard deviation of that value). For example, if the above relationship is similar between the training data and the noise removal target data, the preset value for generating the exponentiated noise removal target data may be the same as the preset value used by the learning acquisition unit 11 for generating the exponentiated training data. If the above relationship differs between the training data and the noise removal target data, the preset value for generating the exponentiated noise removal target data may be different from the preset value used by the learning acquisition unit 11 for generating the exponentiated training data.
  • the removal acquisition unit 21 outputs the generated post-exponentiation noise removal target data to the noise removal unit 22.
  • the noise removal unit 22 is a noise removal means that uses an inference model to generate data after noise removal from the exponentiated noise removal target data generated by the removal acquisition unit 21, and generates noise removal result data for the noise removal target data, in which each of the multiple values in the generated noise removal data has a value obtained by exponentiating the reciprocal of a preset value.
  • the inference model may be one generated by the learning system 10. In this case, the noise removal unit 22 inputs and stores the inference model generated by the learning system 10 and uses it to remove noise.
  • the noise removal unit 22 inputs the post-exponentiation noise removal target data from the removal acquisition unit 21.
  • the noise removal unit 22 inputs the input post-exponentiation noise removal target data into an inference model to generate data after noise removal. For example, if the inference model outputs data after noise removal, the noise removal unit 22 acquires the output from the inference model as data after noise removal. Alternatively, if the inference model outputs noise, the noise removal unit 22 obtains data after noise removal by removing noise obtained using the inference model from the post-exponentiation noise removal target data.
  • the noise removal unit 22 may also generate data after noise removal using a method other than the above, as long as it uses an inference model.
  • the data input to the inference model by the noise removal unit 22 is data to be subjected to exponentiation noise removal. Therefore, the data after noise removal obtained using the output from the inference model has been exponentiated.
  • noise removal result data which is data to be subjected to noise removal after noise removal (not exponentiated)
  • the noise removal unit 22 pre-stores a value for generating noise removal result data.
  • This value (d) is a preset value and is the reciprocal of the value (1/d) used for exponentiation by the removal acquisition unit 21.
  • the noise removal unit 22 generates noise removal result data having values obtained by raising each of the multiple values contained in the noise-removed data, which is obtained using the output from the inference model, to the corresponding power. For example, if the data to be noise-removed is an image, the learning acquisition unit 11 raises the pixel values of all pixels that make up the image, which is the noise-removed data, to the corresponding power, and generates an image with the exponentiated values as pixel values as noise removal result data. In other words, the noise removal unit 22 performs inverse scale conversion on the noise-removed data.
  • the inference model may be one for removing speckle noise from the optical coherence image.
  • the optical coherence image may include speckle noise as noise to be removed.
  • the noise removal unit 22 uses the inference model to remove speckle noise from the optical coherence image.
  • the inference model used by the noise removal unit 22 to perform appropriate noise removal may be an inference model generated using the same type of image (the above-mentioned optical coherence image or interference image) as training data.
  • the inference model used by the noise removal unit 22 may be any inference model used to remove noise from data having multiple values, and does not necessarily have to be an inference model generated by the learning system 10.
  • the noise removal unit 22 outputs the generated noise removal result data.
  • the noise removal result data may be output in the same manner as conventional methods depending on the intended use of the data. These are the functions of the noise removal system 20.
  • the data used when training an inference model are exponentiated learning data and noise-added learning data.
  • the noise-added learning data is obtained by removing noise from the exponentiated learning data and adding a different noise. Therefore, the exponentiated learning data and the noise-added learning data are designed to not contain any common noise, but to contain different noises. Therefore, this embodiment enables appropriate noise removal.
  • the learning acquisition unit 11 acquires learning data that has multiple values and includes noise (S01, learning acquisition step).
  • the learning acquisition unit 11 generates exponentiated learning data that has values obtained by raising each of the multiple values in the acquired learning data by a preset value (S02, learning acquisition step).
  • the noise removal unit 12 uses the inference model currently being trained to generate noise-removed learning data from the exponentiated learning data (S03, noise removal step).
  • the noise addition unit 13 then adds noise based on a preset noise to the noise-removed learning data to generate noise-added learning data (S04, noise addition step).
  • the training unit 14 then uses a combination of the exponentiated learning data and the noise-added learning data as noise-containing data to train the machine learning of the inference model (S05, training step).
  • the training unit 14 determines whether to terminate the training of the inference model (S06). If it is determined not to terminate the training of the inference model (NO in S06), the processes of generating noise-removed training data (S03), generating noise-added training data (S04), and training the inference model in machine learning (S05) are repeated again. At this time, the inference model trained by the training unit 14 is used to generate the noise-removed training data. After the machine learning training (S05), a determination is made again as to whether to terminate the training of the inference model (S06).
  • the inference model generated by training is output from the learning system 10 to the noise removal system 20 (S07).
  • the noise removal system 20 stores the inference model and uses it in the noise removal process described below.
  • the above is the learning method, which is the process executed by the learning system 10 according to this embodiment.
  • the removal acquisition unit 21 acquires noise removal target data that has multiple values and is the target of noise removal (S11, removal acquisition step). If the noise removal system 20 further includes an OCT device, an optical coherence image is acquired by the OCT of the OCT device (OCT step), and the removal acquisition unit 21 acquires the optical coherence image acquired by the OCT device as noise removal target data (S11). Next, the removal acquisition unit 21 generates exponentiated noise removal target data that has values obtained by raising each of the multiple values in the acquired noise removal target data by a preset value (S12, removal acquisition step).
  • the noise removal unit 22 uses the inference model to generate noise-removed data from the exponentiated noise removal target data (S13, noise removal step).
  • the noise removal unit 22 then generates noise-removed result data for the noise removal target data, which has values obtained by exponentiating each of the multiple values in the generated noise-removed data by the reciprocal of a preset value (S14, noise removal step).
  • the noise-removed result data is output from the noise removal unit 22 to a predetermined output destination (S15).
  • the above is the noise removal method, which is processing executed by the noise removal system 20 according to this embodiment.
  • exponentiated training data and noise-added training data used to train an inference model are generated from the training data.
  • the exponentiated training data is data that enables appropriate machine learning training. For example, using the exponentiated training data can improve the convergence of machine learning training of an inference model.
  • the noise-added training data is generated by removing noise contained in the exponentiated training data using an inference model currently being trained, and then adding data based on a predetermined noise. Therefore, the noise contained in the exponentiated training data and the noise contained in the noise-added training data are independent of each other, and the combination of the training data and the noise-added training data is appropriate for training an inference model, as described above. As a result, in this embodiment, an inference model that can appropriately remove noise can be generated.
  • new noise-added learning data can be obtained according to the training stage.
  • new combinations of exponentiated learning data and noise-added learning data can be obtained according to the training stage.
  • sequential update learning can be performed in which the data used for training is sequentially updated according to the training of the inference model.
  • a large amount of learning data is not required to train an inference model.
  • multiple images with the same signal components but different noises, i.e., teacher pairs, are not required.
  • noise can be appropriately removed from the data.
  • an inference model can be generated even when sufficient training data cannot be acquired.
  • an inference model can be generated from a single image. This makes it possible to remove noise from images of objects that cannot be fixed (living things), images of objects that undergo deformation (2D images using line sensors or point sensors), or images acquired in the past (images that were not intentionally prepared), which was previously impossible to do. Furthermore, this embodiment makes it possible to generate an appropriate inference model with fewer training iterations than conventional methods.
  • the preset values used to generate the exponentiated learning data may be values that establish a linear relationship between the values of the exponentiated learning data and the magnitude of variation in those values (for example, the standard deviation of those values, as described above). With this configuration, it is possible to establish a linear relationship between the values of the exponentiated learning data and the magnitude of variation in those values.
  • Such exponentiated learning data is data that enables more appropriate machine learning training. Therefore, with this configuration, it is possible to generate an inference model more appropriately.
  • the preset values used to generate the exponentiated learning data may be other than those described above, as long as they enable the generation of an appropriate inference model.
  • weighting may be performed for each preset noise value according to the value of the training data after noise removal, and the weighted noise may be added to generate noise-added training data. Furthermore, as described above, weighting may be performed using a value of ⁇ ⁇ the value of the training data after noise removal + ⁇ . These configurations allow the weighted noise added to the training data after noise removal to be closer to the noise that actually occurs. Therefore, these configurations allow for a more appropriate generation of inference models. Furthermore, adjusting the values of ⁇ and ⁇ makes it possible to adjust the strength of the noise removal effect.
  • weighting does not necessarily have to be performed using a value of ⁇ ⁇ the value of the training data after noise removal + ⁇ , as long as it is performed according to the value of the training data after noise removal. Furthermore, weighting itself does not necessarily have to be performed.
  • the trained inference model may be used as an inference model during training in the noise removal step to generate noise-removed training data.
  • the inference model used to generate noise-removed training data does not necessarily have to be the one used each time the inference model is trained in the training step, as long as it is the one used after the inference model has been trained in the training step.
  • the machine learning training of the inference model may be performed using the exponentiated learning data generated in the learning acquisition step instead of the noise-added learning data generated in the noise-adding step.
  • the range of values of the data output from the generated inference model can be made more appropriate, and noise can be more appropriately removed from the data.
  • the range of values of the data output from the inference model is appropriate even when the inference model is trained using only a combination of exponentiated learning data and noise-added learning data, it is not necessarily necessary to use the exponentiated learning data instead of the noise-added learning data in the training step.
  • a noise that is preset depending on the repetition may be used as the preset noise.
  • a different noise may be obtained from the speckle noise pool for each repetition and used to add noise.
  • noise-added learning data to which various noises have been added depending on the repetition can be used to train an inference model. As a result, noise can be more appropriately removed from the data.
  • the preset noise may be the same type of noise as the noise expected to be removed.
  • post-exponentiation noise removal target data which is used for noise removal using an inference model, is generated from the noise removal target data.
  • the post-exponentiation noise removal target data is data that allows for appropriate noise removal using an inference model. Therefore, according to this embodiment, noise can be appropriately removed from data.
  • the preset value used to generate the data to be subjected to power-based noise removal may be a value that establishes a linear relationship between the value of the data to be subjected to power-based noise removal and the magnitude of variation in that value (for example, the standard deviation of that value, as described above). With this configuration, a linear relationship can be established between the value of the data to be subjected to power-based noise removal and the magnitude of variation in that value.
  • Such data to be subjected to power-based noise removal is data that allows for more appropriate noise removal using an inference model. Therefore, with this configuration, noise can be removed from the data more appropriately.
  • the preset value used to generate the data to be subjected to power-based noise removal may be other than the above, as long as it is capable of appropriately removing noise from the data.
  • an interference image of coherent waves may be acquired as data to be subjected to noise removal.
  • noise can be appropriately removed from an interference image of coherent waves.
  • the data to be subjected to noise removal may be other than the above.
  • the OCT device may acquire an optical coherence image by OCT, and the acquired optical coherence image may be used as data to be subjected to noise removal.
  • noise can be appropriately removed from the optical coherence image acquired by OCT.
  • the data to be subjected to noise removal may be data other than that described above.
  • the OCT device does not have to be included in the noise removal system 20 according to this embodiment.
  • the inference model used for noise removal may be generated by the learning method of this embodiment. According to this configuration, noise removal is performed using the inference model generated by the above-mentioned learning method. As described above, the inference model generated in this embodiment is capable of appropriately removing noise, and according to this configuration, noise can be appropriately removed from data.
  • Figure 8 shows example images of the noise removal results using an inference model for each number of iterations (learning count) of machine learning training when generating an inference model.
  • Figure 8 shows images of the noise removal results using an inference model for each 100 iterations.
  • Figure 8 shows example images for this embodiment, comparative example 1, and comparative example 2.
  • exponentiated learning data data after scale transformation to the 1/d power
  • the noise added when generating noise-added learning data is weighted according to the value of the learning data after noise removal.
  • the training data is used to generate an inference model without exponentiating the pixel values. Furthermore, in Comparative Example 1 and Comparative Example 2, the noise added when generating noise-added training data is not weighted according to the value of the training data after noise removal. In Comparative Example 1 and Comparative Example 2, the noise added when generating noise-added training data is obtained by multiplying a preset pixel value of the noise (noise contrast) by a fixed value (fixed adjustment value, fixed magnification). Comparative Example 1 uses a relatively small fixed value, while Comparative Example 2 uses a relatively large fixed value.
  • an inference model that appropriately removes noise from data can be generated at an early stage of learning. In other words, stable learning is possible in this embodiment.
  • Comparative Example 1 where the adjustment value of the added noise is small, the learning of the inference model does not converge. In this way, when the adjustment value of the added noise is small, the learning may not converge.
  • Comparative Example 2 where the adjustment value of the added noise is large, the learning of the inference model appears to converge, but the convergence is slower than in this embodiment.
  • Figure 9 shows an example of an image resulting from noise removal according to the weighting of noise added when generating noise-added learning data.
  • Figure 9 shows an example of an image (original image) that is the data to be noise-removed, and an image resulting from noise removal according to this embodiment.
  • noise removal is performed in two ways: one where the noise added when generating noise-added learning data is weighted according to the value of the learning data after noise removal (weighting for each pixel), and one where the noise is not weighted according to the value of the learning data after noise removal (weighting 1 with a fixed value and weighting 2 with a fixed value).
  • the noise added when generating noise-added learning data is the preset noise pixel value (noise contrast) multiplied by a fixed value (fixed adjustment value, fixed magnification).
  • a fixed value of 2.5 is used (high brightness standard)
  • a fixed value of 2.0 is used (low brightness standard).
  • Figure 10 shows example images of the noise removal results for each value of ⁇ used to weight the noise added when generating noise-added learning data according to this embodiment.
  • Figure 10 shows example images resulting from speckle noise removal according to this embodiment on an image cut out from a portion of an image stored in OCTID.
  • Figures 11 to 17 show images resulting from noise removal using this embodiment.
  • Figures 11 to 17(a) are images (original images) that are the data to be removed from.
  • Figures 11 to 17(b) are example images resulting from noise removal using this embodiment.
  • the images that are the data to be removed from in Figures 11 to 17 are all images of age-related macular degeneration, extracted from images stored in OCTID.
  • the images that are the data to be removed from in Figures 11 to 17 are images that were not used to generate (train) an inference model.
  • the learning program 100 is stored in a program storage area 111 formed on a computer-readable recording medium 110 that is inserted into a computer and accessed, or that is provided on the computer.
  • the recording medium 110 may also be a non-transitory recording medium.
  • the learning program 100 is configured to include a learning acquisition module 101, a noise removal module 102, a noise addition module 103, and a training module 104.
  • the functions realized by executing the learning acquisition module 101, the noise removal module 102, the noise addition module 103, and the training module 104 are similar to the functions of the learning acquisition unit 11, the noise removal unit 12, the noise addition unit 13, and the training unit 14, respectively, of the learning system 10 described above.
  • the noise removal program 200 is stored in a program storage area 211 formed on a computer-readable recording medium 210 that is inserted into a computer and accessed, or that is provided on the computer.
  • the recording medium 210 may be a non-transitory recording medium. Note that when the learning program 100 and the noise removal program 200 are executed on the same computer, the recording medium 210 may be the same as the recording medium 110.
  • the noise removal program 200 is configured to include a removal acquisition module 201 and a noise removal module 202.
  • the functions realized by executing the removal acquisition module 201 and the noise removal module 202 are similar to the functions of the removal acquisition unit 21 and the noise removal unit 22 of the noise removal system 20 described above, respectively.
  • the learning program 100 and the noise removal program 200 may be configured so that part or all of them are transmitted via a transmission medium such as a communication line, and are received and recorded (including installed) by other devices. Furthermore, each module of the learning program 100 and the noise removal program 200 may be installed on one of multiple computers, rather than on a single computer. In this case, the above-described series of processes are performed by a computer system consisting of the multiple computers.
  • a learning method for generating an inference model used to remove noise from data having multiple values comprising: a learning acquisition step of acquiring learning data having a plurality of values and including noise, and generating powered learning data having values obtained by raising each of the plurality of values in the acquired learning data by a predetermined value; a noise removal step of generating noise-removed learning data from the exponentiated learning data generated in the learning acquisition step using an inference model in the middle of training; a noise addition step of adding noise based on a preset noise to the noise-removed learning data generated in the noise removal step to generate noise-added learning data; a training step of training machine learning of an inference model using a combination of the exponentiated learning data generated in the learning acquisition step and the noise-added learning data generated in the noise addition step as noise-containing data, After the inference model is trained in the training step, the trained inference model
  • the predetermined value is a value that has a linear relationship between the value of the exponentiated learning data and the magnitude of variation in that value.
  • weighting is performed for each of the preset noise values according to the value of the learning data after the noise removal, and the weighted noise is added to generate noise-added learning data.
  • preset weighting values ⁇ and ⁇ which satisfy 0.0 ⁇ 1.0 and ⁇ 1.0 ⁇ 1.0, are weighted by a value of ⁇ the value of the learning data after noise removal+ ⁇ .
  • [5] A learning method described in any of [1] to [4], wherein each time an inference model is trained in the training step, the trained inference model is used as an inference model in the middle of training in the noise removal step to generate learning data after noise removal.
  • [6] A learning method according to any one of [1] to [5], wherein in any of the iterations, in the training step, instead of the noise-added learning data generated in the noise-adding step, the powered learning data generated in the learning acquisition step is used to train the machine learning of the inference model.
  • a noise removal method for removing noise from data having multiple values using an inference model used for removing noise from data having multiple values comprising: an acquisition step for noise removal of data that has a plurality of values and is a target for noise removal, and generates powered noise removal data having values obtained by raising each of the plurality of values of the acquired noise removal data by a predetermined value; a noise removal step of generating noise-removed data from the powered noise removal target data generated in the removal acquisition step using the inference model, and generating noise removal result data of the noise removal target data, the noise removal result data having values obtained by exponentiating each of a plurality of values of the generated noise-removed data by the reciprocal of the preset value;
  • a noise removal method comprising: [11] The noise removal method according to [10], wherein in the acquisition step for removal, a value is used as the preset value such that the value of the data to be subjected to noise removal after exponentiation and the magnitude of variation of the value have a linear relationship.
  • a noise removal program that causes a computer to operate as a noise removal system that removes noise from data having multiple values by using an inference model used for removing noise from data having multiple values, the program comprising: The computer an acquisition means for removal that acquires noise removal target data having a plurality of values and being a target for noise removal, and generates powered noise removal target data having values obtained by raising each of the plurality of values in the acquired noise removal target data by a predetermined value; a noise removal means for generating noise-removed data from the powered noise removal target data generated by the removal acquisition means using the inference model, and generating noise removal result data of the noise removal target data, the data having values obtained by exponentiating each of a plurality of values of the generated noise-removed data by the reciprocal of the preset value;
  • a noise reduction program that acts as a [16]
  • a denoising system for removing noise from multi-valued data using an inference model used for removing noise from multi-valued data comprising: an acquisition means for removal that

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

十分な学習用のデータを取得できない場合であっても、データから適切にノイズを除去する。　学習方法は、データからノイズを除去するために用いられる推論モデルを生成する方法であって、ノイズを含む学習用データを取得し、学習用データからべき乗後学習用データを生成する学習用取得ステップ（Ｓ０１，Ｓ０２）と、べき乗後学習用データから、訓練途中の推論モデルを用いて、ノイズ除去後の学習用データを生成するノイズ除去ステップ（Ｓ０３）と、ノイズ除去後の学習用データに対してノイズを付加してノイズ付加学習用データを生成するノイズ付加ステップ（Ｓ０３）と、べき乗後学習用データ、及びノイズ付加学習用データの組み合わせを、それぞれノイズを含むデータとして用いて、推論モデルの機械学習の訓練を行う訓練ステップ（Ｓ０４）とを含む。

Description

学習方法、推論モデル、ノイズ除去方法、ノイズ除去プログラム及びノイズ除去システム
　本発明は、データからノイズを除去するために用いられる推論モデルを生成する学習方法、生成される推論モデル、並びに推論モデルを用いて、データからノイズを除去するノイズ除去方法、ノイズ除去プログラム及びノイズ除去システムに関する。
　従来、機械学習によって、画像のノイズ除去のための推論モデルを生成する技術が提案されている。そのような技術の一つとして、Ｎｏｉｓｅ２Ｎｏｉｓｅがある（例えば、非特許文献１参照）。Ｎｏｉｓｅ２Ｎｏｉｓｅによれば、ノイズを含まない画像を用いずに推論モデルを生成することができる。
J　Lehtinen，J　Munkberg，J　Hasselgren，S　Laine，T　Karras，M　Aittala，T　Aila，Noise2Noise：Learning　Image　Restoration　without　Clean　Data，Proceedings　of　the　35th　International　Conference　on　Machine　Learning，2018
　Ｎｏｉｓｅ２Ｎｏｉｓｅでは、機械学習に用いる画像として、信号成分が同じであると共にノイズが互いに異なる複数の画像を用意する必要がある。しかしながら、撮像対象によっては、そのような画像の取得には、位置合わせ等の特別な処理が必要になることがある。あるいは、そのような画像を取得できない撮像対象も多く存在する。また、機械学習に用いるのに十分な数の画像の取得が困難な場合もある。従来の方法では、十分な数の、機械学習に用いるのに適切な画像を取得できなければ、適切な推論モデルを生成することができない。
　本発明の一実施形態は、上記に鑑みてなされたものであり、十分な学習用のデータを取得できない場合であっても、データから適切にノイズを除去することができる学習方法、推論モデル、ノイズ除去方法、ノイズ除去プログラム及びノイズ除去システムを提供することを目的とする。
　上記の目的を達成するために、本発明の一実施形態に係る学習方法は、複数の値を有するデータからノイズを除去するために用いられる推論モデルを生成する学習方法であって、複数の値を有すると共にノイズを含む学習用データを取得し、取得した学習用データが有する複数の値それぞれに対して、予め設定した値でべき乗した値を有するべき乗後学習用データを生成する学習用取得ステップと、学習用取得ステップにおいて生成されたべき乗後学習用データから、訓練途中の推論モデルを用いて、ノイズ除去後の学習用データを生成するノイズ除去ステップと、ノイズ除去ステップにおいて生成されたノイズ除去後の学習用データに対して、予め設定したノイズに基づくノイズを付加して、ノイズ付加学習用データを生成するノイズ付加ステップと、学習用取得ステップにおいて生成されたべき乗後学習用データ、及びノイズ付加ステップにおいて生成されたノイズ付加学習用データの組み合わせを、それぞれノイズを含むデータとして用いて、推論モデルの機械学習の訓練を行う訓練ステップと、を含み、訓練ステップにおいて推論モデルの訓練が行われた後、ノイズ除去ステップにおいて、当該訓練が行われた推論モデルを訓練途中の推論モデルとして用いてノイズ除去後の学習用データを生成し、ノイズ除去ステップと、ノイズ付加ステップと、訓練ステップとを繰り返す。
　本発明の一実施形態に係る学習方法では、学習用データから、推論モデルの訓練に用いられる、べき乗後学習用データ及びノイズ付加学習用データが生成される。べき乗後学習用データは、適切に機械学習の訓練を行えるようにしたデータである。ノイズ付加学習用データは、訓練途中の推論モデルを用いてべき乗後学習用データに含まれるノイズが除去された上で、予め設定したノイズに基づくデータが付加されたものである。従って、べき乗後学習用データに含まれるノイズと、ノイズ付加学習用データに含まれるノイズとは、互いに独立したものであり、べき乗後学習用データと、ノイズ付加学習用データとの組み合わせは、推論モデルの訓練を行うのに適切なものである。その結果、本発明の一実施形態に係る学習方法では、適切にノイズを除去することができる推論モデルを生成することができる。
　また、ノイズ付加学習用データの生成に用いられる訓練途中の推論モデルを、ノイズ付加学習用データの生成毎に、訓練の段階に応じたものにすることで、訓練の段階に応じて新たなノイズ付加学習用データを得ることができる。即ち、同一の学習用データから、訓練の段階に応じてべき乗後学習用データとノイズ付加学習用データとの新たな組み合わせを得ることができる。従って、本発明の一実施形態に係る学習方法では、推論モデルの訓練に多くの学習用データを必要としない。このように、本発明の一実施形態に係る学習方法によれば、十分な学習用のデータを取得できない場合であっても、データから適切にノイズを除去することができる。
　学習用取得ステップにおいて、予め設定した値として、べき乗後学習用データが有する値と、当該値のばらつきの大きさとが線形な関係となるような値を用いることとしてもよい。この構成によれば、べき乗後学習用データが有する値と、当該値のばらつきの大きさとを線形な関係にすることができる。このようなべき乗後学習用データは、より適切に機械学習の訓練を行えるようにしたデータである。従って、この構成によれば、更に適切に推論モデルを生成することができる。
　ノイズ付加ステップにおいて、予め設定したノイズの値毎に、ノイズ除去後の学習用データが有する値に応じた重み付けを行って、重み付け後のノイズを付加して、ノイズ付加学習用データを生成することとしてもよい。更には、ノイズ付加ステップにおいて、０．０＜α≦１．０及び－１．０＜β＜１．０となる重み付け用に予め設定した値α，βに対して、α×ノイズ除去後の学習用データが有する値＋βの値で重み付けを行うこととしてもよい。これら構成によれば、ノイズ除去後の学習用データに付加される重み付け後のノイズを、実際に生じるノイズに近づけることができる。従って、これらの構成によれば、更に適切に推論モデルを生成することができる。
　訓練ステップにおける推論モデルの訓練の都度、ノイズ除去ステップにおいて、当該訓練が行われた推論モデルを訓練途中の推論モデルとして用いてノイズ除去後の学習用データを生成することとしてもよい。この構成によれば、同一の学習用データに対して、訓練の繰り返し毎に新たなべき乗後学習用データとノイズ付加学習用データとの組み合わせを得ることができる。その結果、更に適切に推論モデルを生成することができる。
　繰り返しの何れかで、訓練ステップにおいて、ノイズ付加ステップにおいて生成されたノイズ付加学習用データの代わりに、学習用取得ステップにおいて生成されたべき乗後学習用データを用いて、推論モデルの機械学習の訓練を行うこととしてもよい。この構成によれば、生成される推論モデルから出力されるデータの値の範囲をより適切なものにすることができ、データからより適切にノイズを除去することができる。
　ノイズ付加ステップにおいて、予め設定したノイズとして、繰り返しに応じて予め設定したノイズを用いることとしてもよい。この構成によれば、繰り返しに応じて種々のノイズを付加したノイズ付加学習用データを推論モデルの訓練に用いることができる。その結果、データからより適切にノイズを除去することができる。
　ノイズ付加ステップにおいて、予め設定したノイズとして、除去対象として想定されるノイズと同じ種別のノイズを用いることとしてもよい。この構成によれば、除去対象として想定されるノイズを付加したノイズ付加学習用データを推論モデルの訓練に用いることができる。その結果、ノイズが除去対象として想定されるものであった場合にデータからより適切にノイズを除去することができる。
　本発明の一実施形態に係る学習方法によって生成される推論モデル自体も、新規な構成を有する発明である。即ち、本発明の一実施形態に係る推論モデルは、複数の値を有するデータを入力して、入力に応じた演算を行って情報を出力するようコンピュータを機能させるための推論モデルであって、上記の学習方法によって生成される。
　上記の目的を達成するために、本発明の一実施形態に係るノイズ除去方法は、複数の値を有するデータからノイズを除去するために用いられる推論モデルを用いて、複数の値を有するデータからノイズを除去するノイズ除去方法であって、複数の値を有すると共にノイズ除去対象であるノイズ除去対象データを取得し、取得したノイズ除去対象データが有する複数の値それぞれに対して、予め設定した値でべき乗した値を有するべき乗後ノイズ除去対象データを生成する除去用取得ステップと、除去用取得ステップにおいて生成されたべき乗後ノイズ除去対象データから、推論モデルを用いてノイズ除去後のデータを生成し、生成したノイズ除去後のデータが有する複数の値それぞれに対して、予め設定した値の逆数でべき乗した値を有する、ノイズ除去対象データのノイズ除去結果データを生成するノイズ除去ステップと、を含む。
　本発明の一実施形態に係るノイズ除去方法では、ノイズ除去対象データから、推論モデルによるノイズ除去に用いられる、べき乗後ノイズ除去対象データが生成される。べき乗後ノイズ除去対象データは、適切に推論モデルによるノイズ除去を行えるようにしたデータである。従って、本発明の一実施形態に係るノイズ除去方法によれば、適切にデータからノイズを除去することができる。
　除去用取得ステップにおいて、予め設定した値として、べき乗後ノイズ除去対象データが有する値と、当該値のばらつきの大きさとが線形な関係となるような値を用いることとしてもよい。この構成によれば、べき乗後ノイズ除去対象データが有する値と、当該値のばらつきの大きさとを線形な関係にすることができる。このようなべき乗後ノイズ除去対象データは、より適切に推論モデルによるノイズ除去を行えるようにしたデータである。従って、この構成によれば、更に適切にデータからノイズを除去することができる。
　除去用取得ステップにおいて、コヒーレントな波による干渉画像をノイズ除去対象データとして取得することとしてもよい。この構成によれば、コヒーレントな波による干渉画像から適切にノイズを除去することができる。
　ノイズ除去方法は、ＯＣＴによって光干渉画像を取得するＯＣＴステップを更に含み、除去用取得ステップにおいて、ＯＣＴステップにおいて取得された光干渉画像をノイズ除去対象データとして取得することとしてもよい。この構成によれば、ＯＣＴによって取得された光干渉画像から適切にノイズを除去することができる。
　推論モデルは、上記の学習方法によって生成されることとしてもよい。この構成によれば、上記の学習方法によって生成される推論モデルが用いられてノイズの除去が行われる。従って、適切にデータからノイズを除去することができる。
　本発明の一実施形態は、上記のようにノイズ除去方法の発明として記述できる他に、以下のようにノイズ除去プログラム及びノイズ除去システムの発明としても記述することができる。これらはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。
　即ち、本発明の一実施形態に係るノイズ除去プログラムは、コンピュータを、複数の値を有するデータからノイズを除去するために用いられる推論モデルを用いて、複数の値を有するデータからノイズを除去するノイズ除去システムとして動作させるノイズ除去プログラムであって、コンピュータを、複数の値を有すると共にノイズ除去対象であるノイズ除去対象データを取得し、取得したノイズ除去対象データが有する複数の値それぞれに対して、予め設定した値でべき乗した値を有するべき乗後ノイズ除去対象データを生成する除去用取得手段と、除去用取得手段によって生成されたべき乗後ノイズ除去対象データから、推論モデルを用いてノイズ除去後のデータを生成し、生成したノイズ除去後のデータが有する複数の値それぞれに対して、予め設定した値の逆数でべき乗した値を有する、ノイズ除去対象データのノイズ除去結果データを生成するノイズ除去手段と、として機能させる。
　本発明の一実施形態に係るノイズ除去システムは、複数の値を有するデータからノイズを除去するために用いられる推論モデルを用いて、複数の値を有するデータからノイズを除去するノイズ除去システムであって、複数の値を有すると共にノイズ除去対象であるノイズ除去対象データを取得し、取得したノイズ除去対象データが有する複数の値それぞれに対して、予め設定した値でべき乗した値を有するべき乗後ノイズ除去対象データを生成する除去用取得手段と、除去用取得手段によって生成されたべき乗後ノイズ除去対象データから、推論モデルを用いてノイズ除去後のデータを生成し、生成したノイズ除去後のデータが有する複数の値それぞれに対して、予め設定した値の逆数でべき乗した値を有する、ノイズ除去対象データのノイズ除去結果データを生成するノイズ除去手段と、を備える。
　ノイズ除去システムは、ＯＣＴによって光干渉画像を取得するＯＣＴ装置を更に備え、除去用取得手段は、ＯＣＴ装置によって取得された光干渉画像をノイズ除去対象として取得することとしてもよい。
　本発明の一実施形態によれば、十分な学習用のデータを取得できない場合であっても、データから適切にノイズを除去することができる。
本発明の実施形態に係る学習システム及びノイズ除去システムの構成を示す図である。 実施形態に係る学習方法の概要を示す図である。 推論モデルの生成に用いられるデータの生成の概要を示す図である。 画像における輝度値と、標準偏差の値との関係のグラフである。 スケール変換後の画像における輝度値と、標準偏差の値との関係のグラフである。 本発明の実施形態に係る学習システムで実行される処理である学習方法を示すフローチャートである。 本発明の実施形態に係るノイズ除去システムで実行される処理であるノイズ除去方法を示すフローチャートである。 機械学習の訓練の繰り返しの回数毎の推論モデルによるノイズ除去結果の画像の例である。 ノイズ付加学習用データの生成の際に付加されるノイズの重み付けに応じたノイズ除去結果の画像の例である。 ノイズ付加学習用データの生成の際に付加されるノイズの重み付けに用いられるαの値毎のノイズ除去結果の画像の例である。 実施形態によって行われたノイズ除去の例である。 実施形態によって行われたノイズ除去の例である。 実施形態によって行われたノイズ除去の例である。 実施形態によって行われたノイズ除去の例である。 実施形態によって行われたノイズ除去の例である。 実施形態によって行われたノイズ除去の例である。 実施形態によって行われたノイズ除去の例である。 本発明の実施形態に係る学習プログラム及びノイズ除去プログラムの構成を、記録媒体と共に示す図である。
　以下、図面と共に本発明に係る学習方法、推論モデル、ノイズ除去方法、ノイズ除去プログラム及びノイズ除去システムの実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
　図１（ａ）に本実施形態に係る学習方法を実行する学習システム１０を示す。図１（ｂ）に本実施形態に係るノイズ除去方法を実行するノイズ除去システム２０を示す。学習システム１０は、複数の値を有するデータからノイズを除去するために用いられる推論モデル（学習モデル）を生成するシステム（装置）である。即ち、推論モデルは、データのデノイズを行うデノイズモデルである。ノイズ除去システム２０は、学習システム１０によって生成される推論モデルを用いて、複数の値を有するデータからノイズを除去するシステム（装置）である。
　本実施形態では、ノイズの除去対象となる複数の値を有するデータは、例えば、画像である。ノイズの除去対象の画像は、例えば、光干渉画像（データ）であってもよい。光干渉画像は、例えば、光干渉トモグラフィー（ＯＣＴ：Optical　Coherence　Tomography）又は光回折トモグラフィー（ＯＤＴ：Optical　Diffraction　Tomography）によって得られる画像である。ノイズの除去対象は、上記の画像のような、コヒーレントな波による干渉画像であってもよい。コヒーレントな波としては、レーザ光及び超音波も含まれる。ノイズの除去対象の画像は、デジタルＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）カメラの撮像によって得られた蛍光画像であってもよい。ノイズの除去対象の画像は、発光解析に用いられる画像（例えば、ＩｎＧａＡｓカメラの撮像によって得られた発光像）であってもよい。
　ノイズの除去対象の画像は、例えば、製造ラインにおいて製造される基板の画像であり、ノイズ除去後の画像が基板の欠陥のチェックに用いられてもよい。ノイズの除去対象の画像は、細胞の画像であり、ノイズ除去後の画像が細胞の解析に用いられてもよい。また、ノイズの除去対象の画像は、ノイズを含む画像であれば、上記以外の任意の画像でよい。
　また、ノイズの除去対象となる複数の値を有するデータは画像である必要はなく、例えば、スペクトルデータ又は時系列データ等であってもよい。スペクトルデータは、例えば、波数（波長、周波数）に対する強度のデータである。時系列データは、例えば、時刻毎の強度のデータであり、具体的には、光電子増倍管若しくはポイントセンサ等の検出器からの出力データ（出力信号）、又はヘモグロビン濃度等の生体情報の計測データ等である。
　データに含まれるノイズは、データを構成する複数の値の間（例えば、画像を構成する画素の間）で互いに相関がないものであってもよいし、互いに相関があるものであってもよい。互いに相関がないノイズは、例えば、ノイズ分布からランダムに発生するものである。例えば、データがポイントセンサから取得されるものである場合、時系列１点のみから、次のノイズ値が予測できない。あるいは、データがライン・２次元センサから取得されるものである場合、隣接画素のノイズ値が予測できない。このようなノイズは、例えば、熱雑音、ショットノイズ（ショット雑音）、又は画素の不良・調整不良である。
　互いに相関があるノイズは、ノイズ発生がランダムではなく、他のノイズと関連を持つものである。例えば、切り出した一部のノイズが、他の箇所のノイズと相関を持つ。例えば、データがポイントセンサから取得されるものである場合、ノイズの時系列の連続性から次のノイズ値が予測できる。あるいは、データがライン・２次元センサから取得されるものである場合、隣接画素のノイズ値が予測できる。このようなノイズは、例えば、周期性ノイズ、スペックルノイズ、又は不必要な信号成分である。
　データに含まれるノイズは、上記の互いに相関がないノイズ、及び互いに相関があるノイズの両方であってもよい。また、データに含まれるノイズは、上記以外のものであってもよい。本実施形態では、対象によって輝度が変化する（分布が異なる）ノイズを、ノイズ除去の対象として想定する。本実施形態では、例えば、スペックルノイズの除去を想定する。但し、除去対象は、スペックルノイズである必要はない。
　学習システム１０及びノイズ除去システム２０は、プロセッサ、メモリ、通信モジュール等のハードウェアを含む従来のコンピュータを含んで構成される。当該プロセッサは、例えば、ＣＰＵ（Central　Processing　Unit）又はＧＰＵ（Graphics　Processing　Unit）である。
　学習システム１０及びノイズ除去システム２０を構成するコンピュータは、複数のコンピュータを含むコンピュータシステムであってもよい。また、コンピュータは、クラウドコンピューティング又はエッジコンピューティングで構成されていてもよい。学習システム１０及びノイズ除去システム２０の後述する各機能は、これらの構成要素がプログラム等により動作することによって発揮される。
　また、学習システム１０及びノイズ除去システム２０は、処理に用いる画像を取得するためのカメラ等の撮像装置を含んでいてもよい。この場合、学習システム１０及びノイズ除去システム２０は、コンピュータと、撮像装置とを含んで構成される。例えば、学習システム１０及びノイズ除去システム２０は、処理に用いる画像である光干渉画像をＯＣＴによって取得するＯＣＴ装置を、撮像装置として備えていてもよい。この場合、学習システム１０では、光干渉画像は推論モデルの生成に用いられる。ノイズ除去システム２０では、光干渉画像はノイズの除去対象データである。あるいは、学習システム１０及びノイズ除去システム２０は、処理に用いる画像を取得するためのカメラ等の撮像装置に含まれていてもよい。図１では、学習システム１０及びノイズ除去システム２０は、別々のシステム（装置）として示しているが、同じシステム（装置）によって実現されてもよい。
　引き続いて、本実施形態に係る学習システム１０及びノイズ除去システム２０の機能を説明する。図１に示すように学習システム１０は、学習用取得部１１と、ノイズ除去部１２と、ノイズ付加部１３と、訓練部１４とを備えて構成される。
　学習システム１０は、機械学習の訓練によって推論モデルを生成する。推論モデルは、例えば、ニューラルネットワークを含んで構成される。ニューラルネットワークは、多層のものであってもよい。即ち、推論モデルは、深層学習（ディープラーニング）によって生成されてもよい。また、ニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional　Neural　Network）であってもよい。推論モデルの形式は、従来のＮ２Ｎ（Ｎｏｉｓｅ２Ｎｏｉｓｅ）等によって生成される推論モデルと同様のもの、例えば、６層のＣｏｎｖ２Ｄ＋ＲｅＬＵであってもよい。
　推論モデルは、複数の値を有するデータからノイズを除去するために用いられるものである。例えば、推論モデルは、ノイズの除去対象のデータを入力して、ノイズ除去後のデータを出力する。この場合、推論モデルには、入力層にノイズの除去対象のデータを入力するためのニューロンが設けられる。例えば、推論モデルに入力される情報は、ノイズの除去対象のデータである画像の各画素の画素値（輝度値）である。この場合、入力層には、画像の画素の数のニューロンが設けられ、それぞれのニューロンには対応する画素の画素値が入力される。
　また、推論モデルには、出力層にノイズ除去後のデータを出力するためのニューロンが設けられる。例えば、推論モデルから出力される情報は、ノイズ除去後のデータである画像の各画素の画素値である。この場合、出力層には、画像の画素の数のニューロンが設けられ、それぞれのニューロンから対応する画素の画素値が出力される。
　あるいは、推論モデルは、ノイズの除去対象のデータを入力して、当該データに含まれるノイズのデータを出力するものであってもよい。この場合、出力されたノイズを、ノイズの除去対象のデータから除去する処理を行うことで、ノイズ除去後のデータを得ることができる。また、推論モデルは、ノイズの除去対象のデータからノイズを除去するためのものであれば、上記以外のものであってもよい。
　推論モデルは、複数の値を有するデータを入力して、入力に応じた演算を行って情報を出力するようコンピュータを機能させるためのものである。推論モデルは、人工知能ソフトウェアの一部であるプログラムモジュールとしての利用が想定される。推論モデルは、例えば、プロセッサ及びメモリを備えるコンピュータにて用いられ、コンピュータのプロセッサが、メモリに記憶されたモデルからの指令に従って動作する。例えば、コンピュータのプロセッサが、当該指令に従って、モデルに対して情報を入力して、モデルに応じた演算を行って、モデルから結果を出力するように動作する。具体的には、コンピュータのプロセッサが、当該指令に従って、ニューラルネットワークの入力層に情報を入力して、ニューラルネットワークにおける学習の重み付け係数等のパラメータに基づく演算を行って、ニューラルネットワークの出力層から結果を出力するように動作する。なお、推論モデルは、ニューラルネットワーク以外によって構成されていてもよい。
　図２に、本実施形態に係る推論モデルを生成する学習方法の概要を示す。図３に、推論モデルの生成に用いられるデータの生成の概要を示す。本実施形態では、推論モデルの生成にノイズを含むデータを用い、ノイズを含まないデータを用いる必要はない。以下に示す本実施形態における学習方法を、従来のＮｏｉｓｅ２Ｎｏｉｓｅに対して、Ｎｏｉｓｅ２Ｐｒｉｏｒと呼ぶ。
　学習用取得部１１は、複数の値を有すると共にノイズを含む学習用データを取得し、取得した学習用データが有する複数の値それぞれに対して、予め設定した値でべき乗した値を有するべき乗後学習用データを生成する学習用取得手段である。学習用取得部１１は、予め設定した値として、べき乗後学習用データが有する値と、当該値のばらつきの大きさとが線形な関係となるような値を用いてもよい。学習用取得部１１は、例えば、以下のように学習用データを取得して、べき乗後学習用データを生成する。
　学習用データは、ノイズの除去対象のデータと同様の形式のデータである。例えば、ノイズの除去対象のデータが画像であれば、学習用データは、当該画像と同じサイズの画像である。学習用取得部１１は、ノイズを含むと共に学習用データよりもサイズが大きい画像を学習用の元画像（元データ）として取得する。ノイズを含む画像は、例えば、撮像した画像にノイズが生じる状態で、予め用意された撮像対象物に対する撮像装置の撮像によって得られる画像である。元画像の取得は、例えば、元画像を撮像した撮像装置から受信することで、又は学習システム１０に対するユーザの元画像の入力操作を受け付けることで行われる。
　学習用取得部１１は、元画像から、元画像より小さい予め設定されたサイズの領域（部分）の画像（画像パッチ）を学習用データとして切り出して取得する。学習用取得部１１は、例えば、１つの元画像からランダムで異なる位置の複数の学習用データを取得してもよい。また、学習用取得部１１は、例えば、複数の元画像（元画像プール）から学習用データ（画像）を取得してもよい。
　なお、学習用取得部１１は、上記の元画像からの切り取り以外の方法で学習用データを取得してもよい。取得される学習用データの数は１つでもよいが、複数でもよい。
　学習用取得部１１は、べき乗後学習用データを生成するための値を予め記憶している。当該値は、予め設定された値である。学習用取得部１１は、取得した学習用データが有する複数の値それぞれに対して、当該値でべき乗した値を有するべき乗後学習用データを生成する。例えば、学習用データが画像であれば、学習用取得部１１は、学習用データである画像を構成する全ての画素の画素値を、当該値でべき乗して、べき乗した値を画素値とした画像をべき乗後学習用データとして生成する。即ち、学習用取得部１１は、学習用データのスケール変換を行う。
　上記のスケール変換は、除去対象のノイズのデータの値に対する特性を考慮して、データから適切にノイズを除去するためのものである。例えば、当該スケール変換は、以下を考慮したものである。画像においてノイズは複数の要因が存在する。画像から適切にノイズを除去するためには、全体に一律に存在するノイズだけではなく、対象起因で変化があるノイズを除去（分離）することが必要となる。
　図４に画像における輝度値と、標準偏差の値（Ｓ．Ｄ値）との関係のグラフを示す。図４におけるグラフは、画像中の小領域における輝度値の平均（グラフの横軸）と、当該小領域における標準偏差の値（グラフの縦軸）との関係を示すものである。小領域における標準偏差の値は、ノイズの大きさに対応するものであると考えられる。
　図４（ａ）のグラフは、ＯＣＴによって得られた光干渉画像（具体的には、オープンアクセス型のデータベースであるＯＣＴＩＤ（Optical　Coherence　Tomography　Image　Database）に格納された画像）のグラフである。ＯＣＴによって得られた光干渉画像に含まれるノイズは、スペックルノイズであると考えられる。図４（ｂ）のグラフは、デジタルＣＭＯＳカメラの撮像によって得られた蛍光画像のグラフである。デジタルＣＭＯＳカメラの撮像によって得られた蛍光画像に含まれるノイズは、ショットノイズであると考えられる。
　暗い蛍光画像で発生するショットノイズは、蛍光光子の検出に伴う統計的ゆらぎであり、光子数に比例する。その結果、図４（ｂ）のグラフに示すように、蛍光画像では、輝度値と、標準偏差の値との関係が、概ね線形な関係となる。スペックルノイズは、コヒーレントな性質を持つ波の干渉によるノイズである。その結果、図４（ａ）のグラフに示すように、光干渉画像では、輝度値と、標準偏差の値との関係が概ね、１／ｄのべき乗の関係となる。図４（ａ）の例では概ね、輝度値の０．５８８９乗が標準偏差の値となる。
　画素値と、標準偏差の値との関係が、線形な関係になっていると、データから適切にノイズを除去しやすい傾向がある。具体的には、当該関係のデータを用いて推論モデルの機械学習の訓練を行うと、適切に学習が進み、適切にノイズを除去できる推論モデルとなる。例えば、学習用データにおいて、画素値と、標準偏差の値との関係とがべき乗の関係等の線形以外の関係となっていると、推論モデルの機械学習の訓練において、適切に収束しなかったり、収束性が悪く（即ち、収束しにくく）なったりする。画素値と、標準偏差の値との関係が、線形な関係になっていると、推論モデルの機械学習の訓練において、収束性がよくなる。これは、学習時に画素値とノイズとの関係を覚えやすい、即ち、単純なモデルでも学習が進むと考えられるためである。
　学習用取得部１１は、べき乗後学習用データを生成するための予め設定した値として、べき乗後学習用データが有する値と、当該値のばらつき（例えば、上記のように当該値の標準偏差の値）の大きさとが線形な関係となるような値を用いる。例えば、学習用データである画像の画素値と、画素値のばらつきとの値が、べき乗の関係となる場合のべき乗の値（１／ｄ）を予め算出しておき、当該値を、べき乗後学習用データを生成するための予め設定した値としてもよい。上記のように設定した値は、べき乗後学習用データが有する値と、当該値のばらつきの大きさとが線形な関係となるような値である。この場合、図２及び図３に示すように、学習用取得部１１は、学習用データである画像３０に対して１／ｄ乗のスケール変換を行ってべき乗後学習用データである画像３１を生成する。
　図４（ａ）のグラフに係る光干渉画像に対して上記のスケール変換を行った場合の、べき乗後学習用データである画像における輝度値と、標準偏差の値（Ｓ．Ｄ値）との関係のグラフを図５に示す。この場合のスケール変換に用いられる値である１／ｄは、０．５８８９（ｄ≒１．７）である。図５に示すように、べき乗後学習用データである画像では、輝度値と、標準偏差の値との関係が、概ね線形な関係となる。このような関係となるべき乗後学習用データを用いることで、データから適切にノイズを除去することができる。
　なお、べき乗後学習用データの生成に用いられる予め設定された値は、必ずしも上記である必要はなく、データから適切にノイズを除去するためのものであればよい。学習用取得部１１は、生成したべき乗後学習用データをノイズ除去部１２及び訓練部１４に出力する。
　ノイズ除去部１２は、学習用取得部１１によって生成されたべき乗後学習用データから、訓練途中の推論モデルを用いて、ノイズ除去後の学習用データを生成するノイズ除去手段である。訓練部１４によって推論モデルの訓練が行われた後、ノイズ除去部１２は、当該訓練が行われた推論モデルを訓練途中の推論モデルとして用いてノイズ除去後の学習用データを生成する。訓練部１４による推論モデルの訓練の都度、ノイズ除去部１２は、当該訓練が行われた推論モデルを訓練途中の推論モデルとして用いてノイズ除去後の学習用データを生成してもよい。
　ノイズ除去部１２は、例えば、以下のようにノイズ除去後の学習用データを生成する。推論モデルの生成は、ノイズ除去部１２による処理（ノイズ除去ステップ）と、ノイズ付加部１３による処理（ノイズ付加ステップ）と、訓練部１４による処理（訓練ステップ）とを繰り返すことによって行われる。
　後述するように、訓練部１４は推論モデルの機械学習の訓練を行う。訓練部１４は、上記の繰り返しの途中の機械学習の訓練後の推論モデル、即ち、訓練途中の推論モデルをノイズ除去部１２に出力する。ノイズ除去部１２は、訓練部１４から推論モデルを入力して記憶する。訓練部１４からノイズ除去部１２への推論モデルの出力は、例えば、推論モデルの共有又は推論モデルのコピーによって行われてもよい。訓練部１４からノイズ除去部１２への推論モデルの出力は、推論モデルの訓練の都度行われてもよい。あるいは、当該出力は、推論モデルの訓練の都度ではなく、上記の繰り返しの予め設定されたタイミングで行われてもよい。
　ノイズ除去部１２は、学習用取得部１１からべき乗後学習用データを入力する。ノイズ除去部１２は、入力したべき乗後学習用データから、訓練途中の推論モデルを用いて、ノイズ除去後の学習用データ（ノイズ除去後のべき乗後学習用データ）を生成する。例えば、推論モデルが、ノイズ除去後の画像を出力するものであった場合、図２及び図３に示すように、ノイズ除去部１２は、べき乗後学習用データであるスケール変換後の画像３１を推論モデルに入力して、推論モデルからノイズ除去後の学習用データである中間推論画像３２の出力を得る。
　例えば、推論モデルが、ノイズを出力するものであった場合、ノイズ除去部１２は、推論モデルを用いて得られたノイズを、べき乗後学習用データから除去することで、ノイズ除去後の学習用データを得る。また、ノイズ除去部１２は、推論モデルを用いる方法であれば上記以外の方法でノイズ除去後の学習用データを生成してもよい。
　訓練途中の推論モデルは、必ずしもノイズ除去の機能が十分ではないが、ノイズの除去に用いることができる。従って、ノイズ除去部１２によって生成されるノイズ除去後の学習用データは、べき乗後学習用データよりもノイズが低減されたものとなる。ノイズ除去部１２は、生成したノイズ除去後の学習用データをノイズ付加部１３に出力する。
　ノイズ付加部１３は、ノイズ除去部１２によって生成されたノイズ除去後の学習用データに対して、予め設定したノイズに基づくノイズを付加して、ノイズ付加学習用データを生成するノイズ付加手段である。ノイズ付加部１３は、予め設定したノイズの値毎に、ノイズ除去後の学習用データが有する値に応じた重み付けを行って、重み付け後のノイズを付加して、ノイズ付加学習用データを生成してもよい。この場合、ノイズ付加部１３は、０．０＜α≦１．０及び－１．０＜β＜１．０となる重み付け用に予め設定した値α，βに対して、α×ノイズ除去後の学習用データが有する値＋βの値で重み付けを行ってもよい。ノイズ付加部１３は、予め設定したノイズとして、繰り返しに応じて予め設定したノイズを用いてもよい。ノイズ付加部１３は、予め設定したノイズとして、除去対象として想定されるノイズと同じ種別のノイズ用いてもよい。
　ノイズ付加部１３は、例えば、以下のようにノイズ付加学習用データを生成する。ノイズ付加部１３によって生成されるノイズ付加学習用データは、訓練部１４による推論モデルの機械学習の訓練に用いられるデータである。ノイズ付加部１３は、ノイズ除去部１２からノイズ除去後の学習用データを入力する。ノイズ付加部１３は、入力したノイズ除去後の学習用データに対して、予め設定したノイズに基づくノイズを付加（合成）して、ノイズ付加学習用データを生成する。
　例えば、ノイズ付加部１３は、ノイズ付加学習用データを作成するための予め設定したノイズのデータを予め記憶しておく。例えば、ノイズ付加部１３は、ノイズのみを含む画像をノイズの元画像（元データ）として取得する。ノイズのみを含む画像は、例えば、ノイズを生成するための撮像によって得られた画像である。ノイズを生成するための撮像は、撮像した画像にノイズが生じる状態かつ撮像対象物が何もない状態での撮像装置の撮像である。あるいは、ノイズのみを含む画像は、シミュレーション等によって機械的に生成されたものであってもよい。ノイズの元画像の取得は、例えば、元画像を撮像した撮像装置から受信することで、又は学習システム１０に対するユーザの元画像の入力操作を受け付けることで行われる。
　ノイズのデータを生成するための撮像が、ノイズ除去の対象となるデータを生成するための撮像と、撮像対象物の有無を除いて同様に行われれば、生成されるノイズのデータは、除去対象として想定されるノイズと同じ種別のノイズのデータとなる。同様の撮像が行われるのであれば、データには同じ種別のノイズが含まれると考えられるためである。また、ノイズのデータの生成が、撮像以外で行われる場合でも同様である。また、シミュレーションによってノイズのデータを生成する場合であっても、ノイズ除去の対象となるデータの生成時を想定したシミュレーションを行うことで、ノイズのデータを、除去対象として想定されるノイズと同じ種別のノイズのデータとすることができる。このようにノイズ付加学習用データに用いられるノイズのデータは、除去対象として想定されるノイズと同じ種別のノイズのデータであってもよい。但し、ノイズ付加学習用データに用いられるノイズのデータは、必ずしも、除去対象として想定されるノイズと同じ種別のノイズのデータでなくてもよい。
　ノイズ付加部１３は、元画像から、学習用データと同じサイズの領域（部分）の画像（画像パッチ）を、ノイズ付加学習用データの生成に用いるノイズのデータとして切り出して取得する。学習用データの元画像と、ノイズのデータの元画像とに関連がある場合、ノイズ付加部１３は、元画像における学習用データの画像の位置に応じた位置からノイズのデータの画像を切り出してもよい。例えば、学習用データの元画像と、ノイズのデータの元画像とが、同一の撮像装置（同一の種別の撮像装置）の撮像によって得られる場合には、元画像における同一の位置から学習用データの画像と、ノイズの画像とを切り出すと、それらに含まれるノイズの類似性が高くなってしまうおそれがある。そのようなノイズは、付加されるノイズとして用いるのは必ずしも適切ではない。そこで、ノイズ付加部１３は、元画像における学習用データの画像の位置と異なる位置（例えば、学習用データの画像の位置の周辺にずらしたノイズの類似性が低いと考えられる位置（同一分布対照関係の位置））からノイズのデータの画像を切り出してもよい。ノイズ付加部１３は、例えば、１つの元画像から、取得する毎にランダムな位置のノイズのデータを取得してもよい。また、ノイズ付加部１３は、例えば、複数の元画像（例えば、図２に示すスペックルノイズプール（事前準備））からノイズのデータを取得してもよい（図２におけるノイズ選択）。
　ノイズ付加部１３は、ノイズのデータに対して事前処理を行ってもよい。例えば、ノイズ付加部１３は、ノイズのデータの画像の各画素値を、当該画像全体の画素値の平均で割って、基準ノイズとしてもよい。これは、ノイズのデータを、ノイズ除去後の学習用データに付加するノイズとしてより適切にするためのものである。事前処理を行う場合には、以降の処理では事前処理後のノイズのデータが、予め設定したノイズとして用いられる。
　ノイズ付加部１３は、上記の予め設定したノイズから、ノイズ除去後の学習用データに付加するノイズ（以下、付加用のノイズと呼ぶ）を生成する。ノイズ付加部１３は、付加用のノイズの生成として、上記の予め設定したノイズの値毎に、ノイズ除去後の学習用データが有する値に応じた重み付けを行う。ノイズの重み付けは、付加用のノイズを、ノイズが付加されるノイズ除去後の学習用データに応じた適切なものとし、生成される推論モデルを、適切にノイズ除去を行えるものにするためのものである。
　ノイズ付加部１３は、予め設定したノイズと、ノイズ除去後の学習用データとにおける同一の位置の値を用いて重み付けを行う。例えば、ノイズ付加部１３は、予め設定したノイズの画像における画素の画素値の重み付けには、ノイズ除去後の学習用データの画像における同一の位置の画素を用いる。即ち、ノイズ除去後の学習用データの画像は、重み画像（２次元重みマップ）として用いられる。
　ノイズ付加部１３は、重み付けに用いるパラメータの値として予め設定したα（傾き補正係数）及びβ（低輝度クリップ値）の値を、予め記憶しておく。α及びβは、それぞれ０．０＜α≦１．０及び－１．０＜β＜１．０を満たす値である。ノイズ付加部１３は、以下の式によって、予め設定したノイズに付加する重みの値を算出する。
　重みの値＝α×ノイズ除去後の学習用データが有する値＋β
　ノイズ付加部１３は、算出した重みの値と予め設定したノイズの値との積を、付加用のノイズのデータとする。例えば、図２及び図３に示すように、ノイズ付加部１３は、予め設定したノイズの画像３３（スペックルノイズ輝度調整画像）に対して、中間推論画像３２及びパラメータα，βの値を用いて重み付けが行われた画像であるスペックルノイズ輝度調整画像３４を生成する。スペックルノイズ輝度調整画像３４は、付加用のノイズの画像である。重み適用後のノイズ（スペックルノイズ輝度調整画像３４）は、ノイズ除去後の学習用データの画素値に合わせたコントラストに変換されたものである。パラメータα，βの値は、予めのチューニング等によって適切な値が設定されればよい。
　なお、予め設定したノイズに対しては、必ずしも、上記の重み付けがなされてなくてもよい。重み付けがなされない場合、付加用のノイズとしては、上記の予め設定したノイズがそのまま用いられればよい。
　ノイズ付加部１３は、ノイズ除去後の学習用データに、付加用のノイズを付加して、ノイズ付加学習用データを生成する。例えば、図２及び図３に示すように、ノイズ付加部１３は、互いに同じ位置の画素毎に、ノイズ除去後の学習用データである中間推論画像３２の画素値と、付加用のノイズであるスペックルノイズ輝度調整画像３４の画素値とを足し合わせて、ノイズ付加学習用データである学習用入力画像（合成入力画像）３５を生成する。
　ノイズ付加部１３は、繰り返しに応じたノイズを用いて、ノイズを付加して、ノイズ付加学習用データを生成してもよい。例えば、ノイズ付加部１３は、ノイズ付加学習用データの生成毎に異なるノイズのデータをスペックルノイズプールから取得して、ノイズ付加学習用データを生成してもよい。
　なお、ノイズ除去部１２によって生成されたノイズ除去後の学習用データに、予め設定されたノイズに基づくノイズを付加して、後述する推論モデルの機械学習の訓練に用いることができるノイズ付加学習用データを生成するものであれば、ノイズ付加部１３は、上記以外の方法で上記以外のノイズ付加学習用データを生成してもよい。ノイズ付加部１３は、生成したノイズ付加学習用データを訓練部１４に出力する。
　訓練部１４は、学習用取得部１１によって生成されたべき乗後学習用データ、及びノイズ付加部１３によって生成されたノイズ付加学習用データの組み合わせを、それぞれノイズを含むデータとして用いて、推論モデルの機械学習の訓練を行う訓練手段である。上記の繰り返しの何れかで、訓練部１４は、ノイズ付加部１３によって生成されたノイズ付加学習用データの代わりに、学習用取得部１１によって生成されたべき乗後学習用データを用いて、推論モデルの機械学習の訓練を行ってもよい。
　訓練部１４は、例えば、以下のように推論モデルの機械学習の訓練を行う。訓練部１４は、学習用取得部１１からべき乗後学習用データを入力する。訓練部１４は、ノイズ付加部１３から、当該べき乗後学習用データに基づくノイズ付加学習用データを入力する。訓練部１４は、これらのべき乗後学習用データ及びノイズ付加学習用データの組み合わせを用いて、推論モデルを訓練する。
　学習用取得部１１から入力したべき乗後学習用データと、ノイズ付加部１３から入力したノイズ付加学習用データとは、同一のデータ（例えば、同一の画像）に互いに異なるノイズを含むものである。訓練部１４は、これらの組み合わせを教師データとして用いて推論モデルの機械学習の訓練を行う。例えば、訓練部１４は、非特許文献１に示されるＮ２Ｎによって推論モデルの訓練を行う。
　この場合、例えば、図２に示されるように、訓練部１４は、ノイズ付加学習用データである合成入力画像を推論モデルに入力し、その時点の推論モデルでノイズが除去されたデータである推論画像を得る。訓練部１４は、ノイズが除去されたデータである推論画像と、べき乗後学習用データであるスケール変換後の画像とを比較して、比較に基づく損失（Ｌｏｓｓ）に基づく誤差逆伝搬によって推論モデルのパラメータを更新する。上記の例では、ノイズ付加学習用データを推論モデルへの入力とし、べき乗後学習用データを推論モデルとの出力と比較するものとして訓練を行っているが、逆にべき乗後学習用データを推論モデルへの入力とし、ノイズ付加学習用データを推論モデルとの出力と比較するものとして訓練を行ってもよい。
　訓練部１４は、推論モデルの訓練、即ち、推論モデルのパラメータの更新を行うと、訓練後の推論モデルをノイズ除去部１２に出力する。ノイズ除去部１２は、訓練部１４から推論モデルを入力して、当該推論モデルを用いて、上記のようにノイズ除去後の学習用データを生成する。ノイズ除去後の学習用データの生成に用いられる学習用データ（べき乗後学習用データ）は、既に推論モデルの訓練に用いられたものでもよいし、まだ推論モデルの訓練に用いられていないものでもよい。ノイズ除去部１２によって生成されたノイズ除去後の学習用データは上記と同様に用いられる。訓練部１４は、学習用データとノイズ付加学習用データとの組み合わせを用いて、機械学習の訓練を行う。この繰り返しが行われて、推論モデルの訓練が進められる。
　なお、上記の通り、訓練において推論モデルに入力されるデータは、べき乗がなされたデータである。そのため、推論モデルからの出力を用いて得られる、ノイズ除去後のデータは、べき乗がなされたものとなる。ノイズ除去後の（べき乗がなされていない）学習用データとするためには、推論モデルからの出力を用いて得られるノイズ除去後のデータに対して、学習用取得部１１によるべき乗の逆数（ｄ）でべき乗する必要がある。例えば、図２に示すように、ノイズ除去後の（べき乗がなされていない）学習用データである最終推論画像を得るためには、推論モデルからの出力である推論画像に対してｄ乗のスケール変換をする必要がある。
　上記の繰り返しの何れかで、訓練部１４は、ノイズ付加学習用データの代わりに、べき乗後学習用データを用いて、推論モデルの機械学習の訓練を行ってもよい。例えば、訓練部１４は、訓練に用いるデータとして、べき乗後学習用データ又はノイズ付加学習用データを選択して、選択したデータを用いて推論モデルの訓練を行う。ノイズ付加学習用データを選択した場合には、訓練部１４は、上記のように推論モデルの訓練を行う。
　べき乗後学習用データを選択した場合には、訓練部１４は、１つのべき乗後学習用データのみを用いて、推論モデルの機械学習の訓練を行う。この場合も、訓練部１４は、ノイズ付加学習用データを用いる場合と同じ方法（例えば、上記の例ではＮ２Ｎ）で推論モデルの訓練を行えばよい。
　例えば、訓練部１４は、べき乗後学習用データを推論モデルに入力し、その時点の推論モデルでノイズが除去されたデータを得る。訓練部１４は、ノイズが除去されたデータと、べき乗後学習用データとを比較して、比較に基づく損失（Ｌｏｓｓ）に基づく誤差逆伝搬によって推論モデルのパラメータを更新する。
　上述したノイズ付加学習用データは、訓練途中の推論モデルによってべき乗後学習用データからノイズが除去されたものである。訓練途中の推論モデルのノイズ除去の機能は十分ではないため、ノイズ付加学習用データはノイズ以外の成分も大きく除去されたものである可能性がある。そのため、ノイズ付加学習用データを用いて推論モデルの訓練を行った場合、推論モデルが適切なデータを出力できないものになる可能性がある。例えば、推論モデルから出力されるデータの値の範囲が、ノイズを除去したデータから大きく外れる可能性がある。
　べき乗後学習用データは、ノイズを含むものであるものの、適切にノイズを除去したデータと比べて、データの値の範囲が大きく外れたものではない。従って、上記のようにべき乗後学習用データのみを用いて、推論モデルの機械学習の訓練を行うことで、推論モデルから出力されるデータの値の範囲を、正常な範囲から大きく外れることを防ぐことができる。
　ノイズ付加学習用データを用いるか、ノイズ付加学習用データの代わりにべき乗後学習用データを用いるかの選択は、例えば、確率的に行われてもよい。あるいは、予め設定された繰り返しの回数において、ノイズ付加学習用データの代わりにべき乗後学習用データを用いることとし、それ以外の場合には、ノイズ付加学習用データを用いることとしてもよい。ノイズ付加学習用データの代わりにべき乗後学習用データを用いた推論モデルの訓練は、上記の通り、推論モデルから出力されるデータの値の範囲にするためのものである。従って、当該訓練の回数は、当該目的が達成できれば、ノイズ除去のためのノイズ付加学習用データを用いた推論モデルの訓練の回数に比べて少なくてもよい。例えば、当該訓練の回数は、繰り返し全体の回数の１割程度でよい。
　上記の推論モデルの訓練の繰り返しは、従来の機械学習の訓練と同様に、例えば、予め設定された回数、又は推論モデルの生成が予め設定された条件に基づいて収束するまで行われる。上記の推論モデルの訓練の繰り返しが終了されると、訓練部１４は、生成した推論モデルをノイズ除去システム２０に出力する。以上が、学習システム１０の機能である。
　図１に示すようにノイズ除去システム２０は、除去用取得部２１と、ノイズ除去部２２とを備えて構成される。
　除去用取得部２１は、複数の値を有すると共にノイズ除去対象であるノイズ除去対象データを取得し、取得したノイズ除去対象データが有する複数の値それぞれに対して、予め設定した値でべき乗した値を有するべき乗後ノイズ除去対象データを生成する除去用取得手段である。除去用取得部２１は、予め設定した値として、べき乗後ノイズ除去対象データが有する値と、当該値のばらつきの大きさとが線形な関係となるような値を用いてもよい。除去用取得部２１は、コヒーレントな波による干渉画像をノイズ除去対象データとして取得してもよい。除去用取得部２１は、ＯＣＴ装置によって取得された光干渉画像をノイズ除去対象として取得してもよい。除去用取得部２１は、例えば、以下のようにノイズ除去対象データを取得する。
　除去用取得部２１は、ノイズ除去対象データである画像を撮像した撮像装置から受信することで、又はノイズ除去システム２０に対するユーザの画像の入力操作を受け付けることでノイズ除去対象データを取得する。推論モデルに入力されるノイズ除去対象データのサイズが、上述した学習用データと同様に、撮像装置の撮像によって得られる元画像から切り出される、当該元画像よりも小さいサイズである場合、除去用取得部２１は、元画像を取得して、元画像を推論モデルに入力されるノイズ除去対象データのサイズに分割して、分割後の画像をノイズ除去対象データとしてもよい。
　また、除去用取得部２１は、ノイズ除去対象データとして、ＯＣＴ装置によって取得された光干渉画像を取得してもよい。除去用取得部２１は、ノイズ除去対象データとして、コヒーレントな波による干渉画像をとして取得してもよい。上記の光干渉画像及び干渉画像は、従来の方法で生成されたものでよい。除去用取得部２１は、上記以外の方法でノイズ除去対象データを取得してもよい。
　除去用取得部２１は、べき乗後ノイズ除去対象データを生成するための値を予め記憶している。当該値は、予め設定された値である。除去用取得部２１は、取得したノイズ除去対象データが有する複数の値それぞれに対して、当該値でべき乗した値を有するべき乗後ノイズ除去対象データを生成する。例えば、ノイズ除去対象データが画像であれば、除去用取得部２１は、ノイズ除去対象データである画像を構成する全ての画素の画素値を、当該値でべき乗して、べき乗した値を画素値とした画像をべき乗後ノイズ除去対象データとして生成する。即ち、除去用取得部２１は、ノイズ除去対象データのスケール変換を行う。
　上記のスケール変換は、学習用取得部１１による学習用データのスケール変換と同様の目的で行われるものであり、学習用データのスケール変換と同様に行われればよい。除去用取得部２１は、べき乗後ノイズ除去対象データを生成するための予め設定した値として、ノイズ除去対象データが有する値と、当該値のばらつき（例えば、当該値の標準偏差の値）の大きさとが線形な関係となるような値を用いる。例えば、上記の関係が、学習用データとノイズ除去対象データとで同様であれば、べき乗後ノイズ除去対象データを生成するための予め設定した値は、学習用取得部１１によって用いられる、べき乗後学習用データを生成するための予め設定した値と同じ値であってもよい。上記の関係が、学習用データとノイズ除去対象データとで異なっていれば、べき乗後ノイズ除去対象データを生成するための予め設定した値は、学習用取得部１１によって用いられる、べき乗後学習用データを生成するための予め設定した値と異なる値であってもよい。
　なお、べき乗後ノイズ除去対象データの生成に用いられる予め設定された値は、必ずしも上記である必要はなく、データから適切にノイズを除去するためのものであればよい。除去用取得部２１は、生成したべき乗後ノイズ除去対象データをノイズ除去部２２に出力する。
　ノイズ除去部２２は、除去用取得部２１によって生成されたべき乗後ノイズ除去対象データから、推論モデルを用いてノイズ除去後のデータを生成し、生成したノイズ除去後のデータが有する複数の値それぞれに対して、予め設定した値の逆数でべき乗した値を有する、ノイズ除去対象データのノイズ除去結果データを生成するノイズ除去手段である。推論モデルは、学習システム１０によって生成されたものあってもよい。この場合、ノイズ除去部２２は、学習システム１０によって生成された推論モデルを入力して記憶しておき、ノイズの除去に利用する。
　ノイズ除去部２２は、除去用取得部２１からべき乗後ノイズ除去対象データを入力する。ノイズ除去部２２は、入力したべき乗後ノイズ除去対象データを推論モデルに入力してノイズ除去後のデータを生成する。例えば、推論モデルが、ノイズ除去後のデータを出力するものであった場合、ノイズ除去部２２は、推論モデルからの出力をノイズ除去後のデータとして取得する。あるいは、推論モデルが、ノイズを出力するものであった場合、ノイズ除去部２２は、推論モデルを用いて得られたノイズを、べき乗後ノイズ除去対象データから除去することで、ノイズ除去後のデータを得る。また、ノイズ除去部２２は、推論モデルを用いる方法であれば上記以外の方法でノイズ除去後のデータを生成してもよい。
　ノイズ除去部２２によって推論モデルに入力されるデータは、べき乗後ノイズ除去対象データである。そのため、推論モデルからの出力を用いて得られる、ノイズ除去後のデータは、べき乗がなされたものとなる。ノイズ除去後の（べき乗がなされていない）ノイズ除去対象データであるノイズ除去結果データとするためには、推論モデルからの出力を用いて得られるノイズ除去後のデータに対して、ノイズ除去部２２によるべき乗の逆数（ｄ）でべき乗する必要がある。
　ノイズ除去部２２は、ノイズ除去結果データを生成するための値を予め記憶している。当該値（ｄ）は、予め設定された値であり、除去用取得部２１によるべき乗に用いた値（１／ｄ）の逆数である。ノイズ除去部２２は、推論モデルからの出力を用いて得られる、ノイズ除去後のデータが有する複数の値それぞれに対して、当該値でべき乗した値を有するノイズ除去結果データを生成する。例えば、ノイズ除去対象データが画像であれば、学習用取得部１１は、ノイズ除去後のデータである画像を構成する全ての画素の画素値を、当該値でべき乗して、べき乗した値を画素値とした画像をノイズ除去結果データとして生成する。即ち、ノイズ除去部２２は、ノイズ除去後のデータの逆スケール変換を行う。
　ノイズ除去対象データが光干渉画像である場合、推論モデルは、光干渉画像からスペックルノイズを除去するためのものであってもよい。光干渉画像には、除去されるノイズとしてスペックルノイズが含まれ得る、この場合、ノイズ除去部２２は、推論モデルを用いて光干渉画像からスペックルノイズを除去する。また、ノイズ除去対象データが、上記の光干渉画像又は干渉画像である場合、適切にノイズ除去を行うために、ノイズ除去部２２によって用いられる推論モデルは、同じ種類の画像（上記の光干渉画像又は干渉画像）を学習データとして用いて生成された推論モデルであってもよい。ノイズ除去部２２によって用いられる推論モデルは、複数の値を有するデータからノイズを除去するために用いられる推論モデルであればよく、必ずしも、学習システム１０によって生成された推論モデルでなくてもよい。
　ノイズ除去部２２は、生成したノイズ除去結果データを出力する。ノイズ除去結果データの出力は、データの利用目的に応じて従来の方法と同様に行われればよい。以上が、ノイズ除去システム２０の機能である。
　Ｎ２Ｎによる機械学習の訓練を行う際に、推論モデルに入力する入力データとして、推論モデルからの出力に用いる教師データと同一のものを用いると、推論モデルが適切にノイズを除去できるものにならないおそれがある。一方で、Ｎ２Ｎによる機械学習では、入力データと教師データとに含まれるノイズが互いに異なるものであれば、推論モデルが適切にノイズを除去できるものになる。
　本実施形態で、推論モデルの訓練を行う際に用いられるデータは、べき乗後学習用データとノイズ付加学習用データとである。上述したようにノイズ付加学習用データは、べき乗後学習用データからノイズ除去がなされて、別のノイズが付加されたものである。従って、べき乗後学習用データとノイズ付加学習用データとは、共通するノイズが含まないようにされ、かつ互いに異なるノイズを含むようにされたものである。従って、本実施形態によれば、適切なノイズ除去が可能となる。
　引き続いて、図６及び図７のフローチャートを用いて、本実施形態に係る学習システム１０及びノイズ除去システム２０で実行される処理（学習システム１０及びノイズ除去システム２０が行う動作方法）を説明する。
　まず、図６のフローチャートを用いて、本実施形態に係る学習システム１０で実行される処理である学習方法を説明する。本処理では、学習用取得部１１によって、複数の値を有すると共にノイズを含む学習用データが取得される（Ｓ０１、学習用取得ステップ）。続いて、学習用取得部１１によって、取得された学習用データが有する複数の値それぞれに対して、予め設定した値でべき乗された値を有するべき乗後学習用データが生成される（Ｓ０２、学習用取得ステップ）。
　続いて、ノイズ除去部１２によって、べき乗後学習用データから、訓練途中の推論モデルが用いられて、ノイズ除去後の学習用データが生成される（Ｓ０３、ノイズ除去ステップ）。続いて、ノイズ付加部１３によって、ノイズ除去後の学習用データに対して、予め設定したノイズに基づくノイズが付加されて、ノイズ付加学習用データが生成される（Ｓ０４、ノイズ付加ステップ）。続いて、訓練部１４によって、べき乗後学習用データ及びノイズ付加学習用データの組み合わせが、それぞれノイズを含むデータとして用いられて、推論モデルの機械学習の訓練が行われる（Ｓ０５、訓練ステップ）。
　続いて、訓練部１４によって、推論モデルの訓練を終了するか否かが判断される（Ｓ０６）。推論モデルの訓練を終了しないと判断された場合（Ｓ０６のＮＯ）には、再度、ノイズ除去後の学習用データの生成（Ｓ０３）、ノイズ付加学習用データの生成（Ｓ０４）、及び推論モデルの機械学習の訓練（Ｓ０５）の各処理が繰り返される。この際、ノイズ除去後の学習用データの生成には、訓練部１４による訓練後の推論モデルが用いられる。機械学習の訓練（Ｓ０５）後には、再度、推論モデルの訓練を終了するか否かの判断（Ｓ０６）が行われる。
　推論モデルの訓練を終了するか否かの判断（Ｓ０６）において、推論モデルの訓練を終了すると判断された場合（Ｓ０６のＹＥＳ）には、訓練によって生成された推論モデルが、学習システム１０からノイズ除去システム２０に出力される（Ｓ０７）。ノイズ除去システム２０では、推論モデルが記憶されて、以下のノイズ除去の処理で用いられる。以上が、本実施形態に係る学習システム１０で実行される処理である学習方法である。
　続いて、図７のフローチャートを用いて、本実施形態に係るノイズ除去システム２０で実行される処理であるノイズ除去方法を説明する。本処理では、除去用取得部２１によって、複数の値を有すると共にノイズ除去対象であるノイズ除去対象データが取得される（Ｓ１１、除去用取得ステップ）。なお、ノイズ除去システム２０が、ＯＣＴ装置を更に備える場合には、ＯＣＴ装置のＯＣＴによって光干渉画像を取得されて（ＯＣＴステップ）、除去用取得部２１によって、ＯＣＴ装置によって取得された光干渉画像がノイズ除去対象データとして取得される（Ｓ１１）。続いて、除去用取得部２１によって、取得されたノイズ除去対象データが有する複数の値それぞれに対して、予め設定した値でべき乗された値を有するべき乗後ノイズ除去対象データが生成される（Ｓ１２、除去用取得ステップ）。
　続いて、ノイズ除去部２２によって、べき乗後ノイズ除去対象データから、推論モデルが用いられてノイズ除去後のデータが生成される（Ｓ１３、ノイズ除去ステップ）。続いて、ノイズ除去部２２によって、生成されたノイズ除去後のデータが有する複数の値それぞれに対して、予め設定した値の逆数でべき乗された値を有する、ノイズ除去対象データのノイズ除去結果データが生成される（Ｓ１４、ノイズ除去ステップ）。ノイズ除去結果データは、ノイズ除去部２２から所定の出力先に出力される（Ｓ１５）。以上が、本実施形態に係るノイズ除去システム２０で実行される処理であるノイズ除去方法である。
　本実施形態では、学習用データから、推論モデルの訓練に用いられる、べき乗後学習用データ及びノイズ付加学習用データが生成される。べき乗後学習用データは、適切に機械学習の訓練を行えるようにしたデータである。例えば、べき乗後学習用データを用いることで、推論モデルの機械学習の訓練の収束性を高めることができる。ノイズ付加学習用データは、訓練途中の推論モデルを用いてべき乗後学習用データに含まれるノイズが除去された上で、予め設定したノイズに基づくデータが付加されたものである。従って、べき乗後学習用データに含まれるノイズと、ノイズ付加学習用データに含まれるノイズとは、互いに独立したものであり、学習用データと、ノイズ付加学習用データとの組み合わせは、上述したように推論モデルの訓練を行うのに適切なものである。その結果、本実施形態では、適切にノイズを除去することができる推論モデルを生成することができる。
　また、ノイズ付加学習用データの生成に用いられる訓練途中の推論モデルを、ノイズ付加学習用データの生成毎に、訓練の段階に応じたものにすることで、訓練の段階に応じて新たなノイズ付加学習用データを得ることができる。即ち、同一の学習用データから、訓練の段階に応じてべき乗後学習用データとノイズ付加学習用データとの新たな組み合わせを得ることができる。このように本実施形態では、推論モデルの訓練に応じて、訓練に用いるデータを逐次更新する逐次更新型学習を行うことができる。
　従って、本実施形態では、推論モデルの訓練に多くの学習用データを必要としない。例えば、Ｎ２Ｎのように、信号成分が同じであると共にノイズが互いに異なる複数の画像、即ち、教師ペアを必要としない。このように、本実施形態によれば、十分な学習用のデータを取得できない場合であっても、データから適切にノイズを除去することができる。
　信号成分とノイズ成分とは混合されているため、Ｎ２Ｎ等の従来の推論モデルの訓練では、異なる混合（バリエーション）を増やすためには、予め用意する元々のデータセットを増やすしかない。例えば、信号に対して周期的ノイズが混合されている場合、位相違いの組み合わせが必要な場合、新たなデータを用意する必要がある。また、その上、必要な位相が得られるかは偶然による。本実施形態では、上記の通り、訓練の段階に応じてべき乗後学習用データとノイズ付加学習用データとの新たな組み合わせを得ることができるため、従来よりも機械学習の訓練のために予め用意するデータが少なくても、適切な推論モデルの訓練であるSemi-Supervised　Learningを実現することができる。
　本実施形態では十分な学習用のデータを取得できない場合であっても、推論モデルを生成することができるので、例えば、１枚の画像からでも推論モデルを生成することができる。そのため、従来は不可能であった、固定できない対象（生物）の画像、変形を伴う対象の画像（ラインセンサー・ポイントセンサーを使った２次元画像）又は過去に取得した画像（意識して準備していない画像）等に対してもノイズ除去が可能になる。また、本実施形態によれば、従来の方法に比べて少ない学習回数で適切な推論モデルを生成できる。
　また、本実施形態のように、べき乗後学習用データの生成に用いる予め設定した値として、べき乗後学習用データが有する値と、当該値のばらつきの大きさ（例えば、上述したように当該値の標準偏差の値）とが線形な関係となるような値を用いてもよい。この構成によれば、べき乗後学習用データが有する値と、当該値のばらつきの大きさとを線形な関係にすることができる。このようなべき乗後学習用データは、より適切に機械学習の訓練を行えるようにしたデータである。従って、この構成によれば、更に適切に推論モデルを生成することができる。但し、べき乗後学習用データの生成に用いる予め設定した値は、適切に推論モデルを生成することが可能なものであれば、上記以外のものであってもよい。
　また、本実施形態のように、予め設定したノイズの値毎に、ノイズ除去後の学習用データが有する値に応じた重み付けを行って、重み付け後のノイズを付加して、ノイズ付加学習用データを生成してもよい。更には、上述したようにα×ノイズ除去後の学習用データが有する値＋βの値で重み付けを行うこととしてもよい。これら構成によれば、ノイズ除去後の学習用データに付加される重み付け後のノイズを、実際に生じるノイズに近づけることができる。従って、これらの構成によれば、更に適切に推論モデルを生成することができる。また、α及びβの値の調整によって、ノイズの除去効果の強弱調整が可能となる。但し、重み付けは、必ずしも、α×ノイズ除去後の学習用データが有する値＋βの値で行われる必要はなく、ノイズ除去後の学習用データが有する値に応じて行われればよい。また、重み付け自体、必ずしも行われる必要はない。
　また、本実施形態のように、訓練ステップにおける推論モデルの訓練の都度、ノイズ除去ステップにおいて、当該訓練が行われた推論モデルを訓練途中の推論モデルとして用いてノイズ除去後の学習用データを生成してもよい。この構成によれば、同一の学習用データに対して、訓練の繰り返し毎に新たなべき乗後学習用データとノイズ付加学習用データとの組み合わせを得ることができる。その結果、更に適切に推論モデルを生成することができる。但し、ノイズ除去後の学習用データの生成に用いられる推論モデルは、必ずしも、訓練ステップにおける推論モデルの訓練の都度毎のものである必要はなく、訓練ステップにおいて推論モデルの訓練が行われた後のものであればよい。
　また、本実施形態のように、繰り返しの何れかで、訓練ステップにおいて、ノイズ付加ステップにおいて生成されたノイズ付加学習用データの代わりに、学習用取得ステップにおいて生成されたべき乗後学習用データを用いて、推論モデルの機械学習の訓練を行ってもよい。この構成によれば、生成される推論モデルから出力されるデータの値の範囲をより適切なものにすることができ、データからより適切にノイズを除去することができる。但し、べき乗後学習用データ及びノイズ付加学習用データの組み合わせのみを用いて推論モデルの訓練を行っても、推論モデルから出力されるデータの値の範囲が適切になる場合には、必ずしも、訓練ステップにおいて、ノイズ付加学習用データの代わりに、べき乗後学習用データが用いられる必要はない。
　また、本実施形態のように、ノイズ付加ステップにおいて、予め設定したノイズとして、繰り返しに応じて予め設定したノイズを用いてもよい。例えば、上述したように、繰り返し毎に異なるノイズをスペックルノイズプールから取得して、ノイズの付加に用いられてもよい。この構成によれば、繰り返しに応じて種々のノイズを付加したノイズ付加学習用データを推論モデルの訓練に用いることができる。その結果、データからより適切にノイズを除去することができる。
　また、本実施形態のように、ノイズ付加ステップにおいて、予め設定したノイズとして、除去対象として想定されるノイズと同じ種別のノイズを用いてもよい。この構成によれば、除去対象として想定されるノイズを付加したノイズ付加学習用データを推論モデルの訓練に用いることができる。その結果、ノイズが除去対象として想定されるものであった場合にデータからより適切にノイズを除去することができる。
　本実施形態では、ノイズ除去対象データから、推論モデルによるノイズ除去に用いられる、べき乗後ノイズ除去対象データが生成される。べき乗後ノイズ除去対象データは、適切に推論モデルによるノイズ除去を行えるようにしたデータである。従って、本実施形態によれば、適切にデータからノイズを除去することができる。
　また、本実施形態のように、べき乗後ノイズ除去対象データの生成に用いる予め設定した値として、べき乗後ノイズ除去対象データが有する値と、当該値のばらつきの大きさ（例えば、上述したように当該値の標準偏差の値）とが線形な関係となるような値を用いてもよい。この構成によれば、べき乗後ノイズ除去対象データが有する値と、当該値のばらつきの大きさとを線形な関係にすることができる。このようなべき乗後ノイズ除去対象データは、より適切に推論モデルによるノイズ除去を行えるようにしたデータである。従って、この構成によれば、更に適切にデータからノイズを除去することができる。但し、べき乗後ノイズ除去対象データの生成に用いる予め設定した値は、適切にデータからノイズを除去することが可能なものであれば、上記以外のものであってもよい。
　また、本実施形態のように、コヒーレントな波による干渉画像をノイズ除去対象データとして取得することとしてもよい。この構成によれば、コヒーレントな波による干渉画像から適切にノイズを除去することができる。但し、ノイズ除去対象データは、上記以外のものであってもよい。
　また、本実施形態のように、ＯＣＴ装置がＯＣＴによって光干渉画像を取得して、取得された光干渉画像をノイズ除去対象データとして取得してもよい。この構成によれば、ＯＣＴによって取得された光干渉画像から適切にノイズを除去することができる。但し、ノイズ除去対象データは、上記以外のものであってもよい。また、ＯＣＴ装置は、本実施形態に係るノイズ除去システム２０に含まれていなくてもよい。
　また、本実施形態のように、ノイズ除去に用いられる推論モデルは、本実施形態の学習方法によって生成されることとしてもよい。この構成によれば、上記の学習方法によって生成される推論モデルが用いられてノイズの除去が行われる。上述したように本実施形態において生成される推論モデルは、適切にノイズを除去することができるものであり、この構成によれば、データから適切にノイズを除去することができる。
　引き続いて、本実施形態による実施例を示す。図８に、推論モデルを生成する際の機械学習の訓練の繰り返しの回数（学習回数）毎の推論モデルによるノイズ除去結果の画像の例を示す。図８では、繰り返しの回数が１００回毎の推論モデルによるノイズ除去結果の画像を示す。図８には、本実施形態、比較例１及び比較例２のそれぞれの画像の例を示す。本実施形態の例では、べき乗後学習用データ（１／ｄ乗のスケール変換後のデータ）を推論モデルの生成に用いている。また、本実施形態の例では、ノイズ付加学習用データの生成の際に付加されるノイズが、ノイズ除去後の学習用データが有する値に応じた重み付けされている。
　比較例１及び比較例２では、画素値に対するべき乗を行わずに学習用データを推論モデルの生成に用いている。また、比較例１及び比較例２では、ノイズ付加学習用データの生成の際に付加されるノイズが、ノイズ除去後の学習用データが有する値に応じた重み付けされていないものである。比較例１及び比較例２では、ノイズ付加学習用データの生成の際に付加されるノイズは、予め設定されたノイズの画素値（ノイズのコントラスト）に固定値（固定調整値、固定倍率）を掛けたものである。比較例１では相対的に小さい固定値を用いており、比較例２では相対的に大きい固定値を用いている。
　図８に示すように、比較例１及び比較例２に比べて、本実施形態では、学習の早い段階で、データから適切にノイズを除去する推論モデルが生成できている。即ち、本実施形態では、安定した学習ができている。付加されるノイズの調整値が小さい比較例１では、推論モデルの学習が収束していない。このように付加されるノイズの調整値が小さいと学習が収束しない場合がある。付加されるノイズの調整値が大きい比較例２では、推論モデルの学習が収束していると見受けられるものの、本実施形態よりも収束が遅い。
　図９に、ノイズ付加学習用データの生成の際に付加されるノイズの重み付けに応じたノイズ除去結果の画像の例を示す。図９には、ノイズ除去対象データである画像（元画像）、及び本実施形態によるノイズ除去結果の画像の例を示す。本実施形態によるノイズ除去は、ノイズ付加学習用データの生成の際に付加されるノイズが、ノイズ除去後の学習用データが有する値に応じた重み付けされているもの（画素毎の重み付け）と、ノイズ除去後の学習用データが有する値に応じた重み付けされていないもの（固定値での重み付け１及び固定値での重み付け２）である。
　固定値での重み付け１及び固定値での重み付け２では、ノイズ付加学習用データの生成の際に付加されるノイズは、予め設定されたノイズの画素値（ノイズのコントラスト）に固定値（固定調整値、固定倍率）を掛けたものである。固定値での重み付け１では、固定値は２．５を用いており（高輝度基準）、固定値での重み付け２では、固定値は２．０を用いている（低輝度基準）。
　画素毎の重み付けの例では、低輝度領域及び高輝度領域の何れでも適切なノイズ除去除去が行えている。固定値での重み付け１では、低輝度領域では信号（撮像対象物が写っている部分）がぼやけているが、高輝度領域では適切なノイズ除去除去が行えている（画素毎の重み付けの例と同様の画質になっている）。固定値での重み付け２では、高輝度領域ではノイズ除去の効果が低いが、低輝度領域では適切なノイズ除去除去が行えている（画素毎の重み付けの例と同様の画質になっている）。
　図１０に、本実施形態による、ノイズ付加学習用データの生成の際に付加されるノイズの重み付けに用いられるαの値毎のノイズ除去結果の画像の例を示す。図１０は、ＯＣＴＩＤに格納された画像の一部を切り出した画像に対して、本実施形態によってスペックルノイズの除去を行った結果の画像の例である。図１０（ａ）は、α＝０．８の場合の画像であり、図１０（ｂ）は、α＝０．９の場合の画像であり、図１０（ｃ）は、α＝１．０の場合の画像である。このように調整パラメータαによって、スペックルノイズの除去効果の強弱調整が可能である。
　図１１～図１７に、本実施形態によるノイズ除去結果の画像を示す。図１１～図１７（ａ）は、ノイズ除去対象データである画像（元画像）である。図１１～図１７（ｂ）は、本実施形態によるノイズ除去結果の画像の例である。図１１～図１７における、ノイズ除去対象データである画像は、何れもＯＣＴＩＤに格納された画像の一部を切り出した、加齢黄斑変性の画像である。また、図１１～図１７における、ノイズ除去対象データである画像は、推論モデルの生成（学習）に用いていない画像である。図１１～図１７におけるノイズ除去は、ｄ＝１．７、α＝０．９として行った。何れの例においても、適切にノイズ除去が行えている。
　引き続いて、上述した一連の学習システム１０及びノイズ除去システム２０による処理を実行させるための学習プログラム及びノイズ除去プログラムを説明する。図１８（ａ）に示すように、学習プログラム１００は、コンピュータに挿入されてアクセスされる、あるいはコンピュータが備える、コンピュータ読み取り可能な記録媒体１１０に形成されたプログラム格納領域１１１内に格納される。記録媒体１１０は、非一時的な記録媒体であってもよい。
　学習プログラム１００は、学習用取得モジュール１０１と、ノイズ除去モジュール１０２と、ノイズ付加モジュール１０３と、訓練モジュール１０４とを備えて構成される。学習用取得モジュール１０１と、ノイズ除去モジュール１０２と、ノイズ付加モジュール１０３と、訓練モジュール１０４とを実行させることにより実現される機能は、上述した学習システム１０の学習用取得部１１と、ノイズ除去部１２と、ノイズ付加部１３と、訓練部１４との機能とそれぞれ同様である。
　図１８（ｂ）に示すように、ノイズ除去プログラム２００は、コンピュータに挿入されてアクセスされる、あるいはコンピュータが備える、コンピュータ読み取り可能な記録媒体２１０に形成されたプログラム格納領域２１１内に格納される。記録媒体２１０は、非一時的な記録媒体であってもよい。なお、学習プログラム１００及びノイズ除去プログラム２００が同一のコンピュータで実行される場合には、記録媒体２１０は、記録媒体１１０と同一であってもよい。
　ノイズ除去プログラム２００は、除去用取得モジュール２０１と、ノイズ除去モジュール２０２とを備えて構成される。除去用取得モジュール２０１と、ノイズ除去モジュール２０２とを実行させることにより実現される機能は、上述したノイズ除去システム２０の除去用取得部２１と、ノイズ除去部２２との機能とそれぞれ同様である。
　なお、学習プログラム１００及びノイズ除去プログラム２００は、その一部又は全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録（インストールを含む）される構成としてもよい。また、学習プログラム１００及びノイズ除去プログラム２００の各モジュールは、１つのコンピュータでなく、複数のコンピュータの何れかにインストールされてもよい。その場合、当該複数のコンピュータによるコンピュータシステムよって上述した一連の処理が行われる。
　本開示の学習方法、推論モデル、ノイズ除去方法、ノイズ除去プログラム及びノイズ除去システムは、以下の構成を有する。
　［１］　複数の値を有するデータからノイズを除去するために用いられる推論モデルを生成する学習方法であって、
　複数の値を有すると共にノイズを含む学習用データを取得し、取得した学習用データが有する複数の値それぞれに対して、予め設定した値でべき乗した値を有するべき乗後学習用データを生成する学習用取得ステップと、
　前記学習用取得ステップにおいて生成されたべき乗後学習用データから、訓練途中の推論モデルを用いて、ノイズ除去後の学習用データを生成するノイズ除去ステップと、
　前記ノイズ除去ステップにおいて生成されたノイズ除去後の学習用データに対して、予め設定したノイズに基づくノイズを付加して、ノイズ付加学習用データを生成するノイズ付加ステップと、
　前記学習用取得ステップにおいて生成されたべき乗後学習用データ、及び前記ノイズ付加ステップにおいて生成されたノイズ付加学習用データの組み合わせを、それぞれノイズを含むデータとして用いて、推論モデルの機械学習の訓練を行う訓練ステップと、を含み、
　前記訓練ステップにおいて推論モデルの訓練が行われた後、前記ノイズ除去ステップにおいて、当該訓練が行われた推論モデルを訓練途中の推論モデルとして用いてノイズ除去後の学習用データを生成し、
　前記ノイズ除去ステップと、前記ノイズ付加ステップと、前記訓練ステップとを繰り返す学習方法。
　［２］　前記学習用取得ステップにおいて、前記予め設定した値として、べき乗後学習用データが有する値と、当該値のばらつきの大きさとが線形な関係となるような値を用いる［１］に記載の学習方法。
　［３］　前記ノイズ付加ステップにおいて、前記予め設定したノイズの値毎に、前記ノイズ除去後の学習用データが有する値に応じた重み付けを行って、重み付け後のノイズを付加して、ノイズ付加学習用データを生成する［１］又は［２］に記載の学習方法。
　［４］　前記ノイズ付加ステップにおいて、０．０＜α≦１．０及び－１．０＜β＜１．０となる重み付け用に予め設定した値α，βに対して、α×ノイズ除去後の学習用データが有する値＋βの値で重み付けを行う［３］に記載の学習方法。
　［５］　前記訓練ステップにおける推論モデルの訓練の都度、前記ノイズ除去ステップにおいて、当該訓練が行われた推論モデルを訓練途中の推論モデルとして用いてノイズ除去後の学習用データを生成する［１］～［４］の何れかに記載の学習方法。
　［６］　繰り返しの何れかで、前記訓練ステップにおいて、前記ノイズ付加ステップにおいて生成されたノイズ付加学習用データの代わりに、前記学習用取得ステップにおいて生成されたべき乗後学習用データを用いて、推論モデルの機械学習の訓練を行う［１］～［５］の何れかに記載の学習方法。
　［７］　前記ノイズ付加ステップにおいて、前記予め設定したノイズとして、繰り返しに応じて予め設定したノイズを用いる［１］～［６］の何れかに記載の学習方法。
　［８］　前記ノイズ付加ステップにおいて、前記予め設定したノイズとして、除去対象として想定されるノイズと同じ種別のノイズを用いる［１］～［７］の何れかに記載の学習方法。
　［９］　複数の値を有するデータを入力して、入力に応じた演算を行って情報を出力するようコンピュータを機能させるための推論モデルであって、
　［１］～［８］の何れかに記載の学習方法によって生成される推論モデル。
　［１０］　複数の値を有するデータからノイズを除去するために用いられる推論モデルを用いて、複数の値を有するデータからノイズを除去するノイズ除去方法であって、
　複数の値を有すると共にノイズ除去対象であるノイズ除去対象データを取得し、取得したノイズ除去対象データが有する複数の値それぞれに対して、予め設定した値でべき乗した値を有するべき乗後ノイズ除去対象データを生成する除去用取得ステップと、
　前記除去用取得ステップにおいて生成されたべき乗後ノイズ除去対象データから、前記推論モデルを用いてノイズ除去後のデータを生成し、生成したノイズ除去後のデータが有する複数の値それぞれに対して、前記予め設定した値の逆数でべき乗した値を有する、ノイズ除去対象データのノイズ除去結果データを生成するノイズ除去ステップと、
を含むノイズ除去方法。
　［１１］　前記除去用取得ステップにおいて、前記予め設定した値として、べき乗後ノイズ除去対象データが有する値と、当該値のばらつきの大きさとが線形な関係となるような値を用いる［１０］に記載のノイズ除去方法。
　［１２］　前記除去用取得ステップにおいて、コヒーレントな波による干渉画像をノイズ除去対象データとして取得する［１０］又は［１１］に記載のノイズ除去方法。
　［１３］　ＯＣＴによって光干渉画像を取得するＯＣＴステップを更に含み、
　前記除去用取得ステップにおいて、ＯＣＴステップにおいて取得された光干渉画像をノイズ除去対象データとして取得する［１０］～［１３］の何れかに記載のノイズ除去方法。
　［１４］　前記推論モデルは、［１］～［８］の何れかに記載の学習方法によって生成される［１０］～［１３］の何れかに記載のノイズ除去方法。
　［１５］　コンピュータを、複数の値を有するデータからノイズを除去するために用いられる推論モデルを用いて、複数の値を有するデータからノイズを除去するノイズ除去システムとして動作させるノイズ除去プログラムであって、
　前記コンピュータを、
　複数の値を有すると共にノイズ除去対象であるノイズ除去対象データを取得し、取得したノイズ除去対象データが有する複数の値それぞれに対して、予め設定した値でべき乗した値を有するべき乗後ノイズ除去対象データを生成する除去用取得手段と、
　前記除去用取得手段によって生成されたべき乗後ノイズ除去対象データから、前記推論モデルを用いてノイズ除去後のデータを生成し、生成したノイズ除去後のデータが有する複数の値それぞれに対して、前記予め設定した値の逆数でべき乗した値を有する、ノイズ除去対象データのノイズ除去結果データを生成するノイズ除去手段と、
として機能させるノイズ除去プログラム。
　［１６］　複数の値を有するデータからノイズを除去するために用いられる推論モデルを用いて、複数の値を有するデータからノイズを除去するノイズ除去システムであって、
　複数の値を有すると共にノイズ除去対象であるノイズ除去対象データを取得し、取得したノイズ除去対象データが有する複数の値それぞれに対して、予め設定した値でべき乗した値を有するべき乗後ノイズ除去対象データを生成する除去用取得手段と、
　前記除去用取得手段によって生成されたべき乗後ノイズ除去対象データから、前記推論モデルを用いてノイズ除去後のデータを生成し、生成したノイズ除去後のデータが有する複数の値それぞれに対して、前記予め設定した値の逆数でべき乗した値を有する、ノイズ除去対象データのノイズ除去結果データを生成するノイズ除去手段と、
を備えるノイズ除去システム。
　［１７］　ＯＣＴによって光干渉画像を取得するＯＣＴ装置を更に備え、
　前記除去用取得手段は、ＯＣＴ装置によって取得された光干渉画像をノイズ除去対象データとして取得する［１６］に記載のノイズ除去システム。
　１０…学習システム、１１…学習用取得部、１２…ノイズ除去部、１３…ノイズ付加部、１４…訓練部、２０…ノイズ除去システム、２１…除去用取得部、２２…ノイズ除去部、１００…学習プログラム、１０１…学習用取得モジュール、１０２…ノイズ除去モジュール、１０３…ノイズ付加モジュール、１０４…訓練モジュール、１１０…記録媒体、１１１…プログラム格納領域、２００…ノイズ除去プログラム、２０１…除去用取得モジュール、２０２…ノイズ除去モジュール、２１０…記録媒体、２１１…プログラム格納領域。

Claims (17)

  1. 　複数の値を有するデータからノイズを除去するために用いられる推論モデルを生成する学習方法であって、
    　複数の値を有すると共にノイズを含む学習用データを取得し、取得した学習用データが有する複数の値それぞれに対して、予め設定した値でべき乗した値を有するべき乗後学習用データを生成する学習用取得ステップと、
    　前記学習用取得ステップにおいて生成されたべき乗後学習用データから、訓練途中の推論モデルを用いて、ノイズ除去後の学習用データを生成するノイズ除去ステップと、
    　前記ノイズ除去ステップにおいて生成されたノイズ除去後の学習用データに対して、予め設定したノイズに基づくノイズを付加して、ノイズ付加学習用データを生成するノイズ付加ステップと、
    　前記学習用取得ステップにおいて生成されたべき乗後学習用データ、及び前記ノイズ付加ステップにおいて生成されたノイズ付加学習用データの組み合わせを、それぞれノイズを含むデータとして用いて、推論モデルの機械学習の訓練を行う訓練ステップと、を含み、
    　前記訓練ステップにおいて推論モデルの訓練が行われた後、前記ノイズ除去ステップにおいて、当該訓練が行われた推論モデルを訓練途中の推論モデルとして用いてノイズ除去後の学習用データを生成し、
    　前記ノイズ除去ステップと、前記ノイズ付加ステップと、前記訓練ステップとを繰り返す学習方法。
  2. 　前記学習用取得ステップにおいて、前記予め設定した値として、べき乗後学習用データが有する値と、当該値のばらつきの大きさとが線形な関係となるような値を用いる請求項１に記載の学習方法。
  3. 　前記ノイズ付加ステップにおいて、前記予め設定したノイズの値毎に、前記ノイズ除去後の学習用データが有する値に応じた重み付けを行って、重み付け後のノイズを付加して、ノイズ付加学習用データを生成する請求項１又は２に記載の学習方法。
  4. 　前記ノイズ付加ステップにおいて、０．０＜α≦１．０及び－１．０＜β＜１．０となる重み付け用に予め設定した値α，βに対して、α×ノイズ除去後の学習用データが有する値＋βの値で重み付けを行う請求項３に記載の学習方法。
  5. 　前記訓練ステップにおける推論モデルの訓練の都度、前記ノイズ除去ステップにおいて、当該訓練が行われた推論モデルを訓練途中の推論モデルとして用いてノイズ除去後の学習用データを生成する請求項１又は２に記載の学習方法。
  6. 　繰り返しの何れかで、前記訓練ステップにおいて、前記ノイズ付加ステップにおいて生成されたノイズ付加学習用データの代わりに、前記学習用取得ステップにおいて生成されたべき乗後学習用データを用いて、推論モデルの機械学習の訓練を行う請求項１又は２に記載の学習方法。
  7. 　前記ノイズ付加ステップにおいて、前記予め設定したノイズとして、繰り返しに応じて予め設定したノイズを用いる請求項１又は２に記載の学習方法。
  8. 　前記ノイズ付加ステップにおいて、前記予め設定したノイズとして、除去対象として想定されるノイズと同じ種別のノイズを用いる請求項１又は２に記載の学習方法。
  9. 　複数の値を有するデータを入力して、入力に応じた演算を行って情報を出力するようコンピュータを機能させるための推論モデルであって、
    　請求項１又は２に記載の学習方法によって生成される推論モデル。
  10. 　複数の値を有するデータからノイズを除去するために用いられる推論モデルを用いて、複数の値を有するデータからノイズを除去するノイズ除去方法であって、
    　複数の値を有すると共にノイズ除去対象であるノイズ除去対象データを取得し、取得したノイズ除去対象データが有する複数の値それぞれに対して、予め設定した値でべき乗した値を有するべき乗後ノイズ除去対象データを生成する除去用取得ステップと、
    　前記除去用取得ステップにおいて生成されたべき乗後ノイズ除去対象データから、前記推論モデルを用いてノイズ除去後のデータを生成し、生成したノイズ除去後のデータが有する複数の値それぞれに対して、前記予め設定した値の逆数でべき乗した値を有する、ノイズ除去対象データのノイズ除去結果データを生成するノイズ除去ステップと、
    を含むノイズ除去方法。
  11. 　前記除去用取得ステップにおいて、前記予め設定した値として、べき乗後ノイズ除去対象データが有する値と、当該値のばらつきの大きさとが線形な関係となるような値を用いる請求項１０に記載のノイズ除去方法。
  12. 　前記除去用取得ステップにおいて、コヒーレントな波による干渉画像をノイズ除去対象データとして取得する請求項１０又は１１に記載のノイズ除去方法。
  13. 　ＯＣＴによって光干渉画像を取得するＯＣＴステップを更に含み、
    　前記除去用取得ステップにおいて、ＯＣＴステップにおいて取得された光干渉画像をノイズ除去対象データとして取得する請求項１０又は１１に記載のノイズ除去方法。
  14. 　前記推論モデルは、請求項１又は２に記載の学習方法によって生成される請求項１０に記載のノイズ除去方法。
  15. 　コンピュータを、複数の値を有するデータからノイズを除去するために用いられる推論モデルを用いて、複数の値を有するデータからノイズを除去するノイズ除去システムとして動作させるノイズ除去プログラムであって、
    　前記コンピュータを、
    　複数の値を有すると共にノイズ除去対象であるノイズ除去対象データを取得し、取得したノイズ除去対象データが有する複数の値それぞれに対して、予め設定した値でべき乗した値を有するべき乗後ノイズ除去対象データを生成する除去用取得手段と、
    　前記除去用取得手段によって生成されたべき乗後ノイズ除去対象データから、前記推論モデルを用いてノイズ除去後のデータを生成し、生成したノイズ除去後のデータが有する複数の値それぞれに対して、前記予め設定した値の逆数でべき乗した値を有する、ノイズ除去対象データのノイズ除去結果データを生成するノイズ除去手段と、
    として機能させるノイズ除去プログラム。
  16. 　複数の値を有するデータからノイズを除去するために用いられる推論モデルを用いて、複数の値を有するデータからノイズを除去するノイズ除去システムであって、
    　複数の値を有すると共にノイズ除去対象であるノイズ除去対象データを取得し、取得したノイズ除去対象データが有する複数の値それぞれに対して、予め設定した値でべき乗した値を有するべき乗後ノイズ除去対象データを生成する除去用取得手段と、
    　前記除去用取得手段によって生成されたべき乗後ノイズ除去対象データから、前記推論モデルを用いてノイズ除去後のデータを生成し、生成したノイズ除去後のデータが有する複数の値それぞれに対して、前記予め設定した値の逆数でべき乗した値を有する、ノイズ除去対象データのノイズ除去結果データを生成するノイズ除去手段と、
    を備えるノイズ除去システム。
  17. 　ＯＣＴによって光干渉画像を取得するＯＣＴ装置を更に備え、
    　前記除去用取得手段は、ＯＣＴ装置によって取得された光干渉画像をノイズ除去対象データとして取得する請求項１６に記載のノイズ除去システム。
PCT/JP2025/006975 2024-06-11 2025-02-27 学習方法、推論モデル、ノイズ除去方法、ノイズ除去プログラム及びノイズ除去システム Pending WO2025258151A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2026516308A JP7850363B1 (ja) 2024-06-11 2025-02-27 学習方法、推論モデル、ノイズ除去方法、ノイズ除去プログラム及びノイズ除去システム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2024-094410 2024-06-11
JP2024094410 2024-06-11
JP2024094416 2024-06-11
JP2024-094416 2024-06-11

Publications (1)

Publication Number Publication Date
WO2025258151A1 true WO2025258151A1 (ja) 2025-12-18

Family

ID=98050311

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2025/006975 Pending WO2025258151A1 (ja) 2024-06-11 2025-02-27 学習方法、推論モデル、ノイズ除去方法、ノイズ除去プログラム及びノイズ除去システム

Country Status (2)

Country Link
JP (1) JP7850363B1 (ja)
WO (1) WO2025258151A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022045210A1 (ja) * 2020-08-26 2022-03-03 キヤノン株式会社 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム
CN115985335A (zh) * 2022-12-28 2023-04-18 思必驰科技股份有限公司 语音增强模型迭代式的自监督训练方法、系统和电子设备
WO2023139226A1 (en) * 2022-01-21 2023-07-27 Sharpeye Imaging apparatus and method for in vivo full-field interference imaging of a sample

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022045210A1 (ja) * 2020-08-26 2022-03-03 キヤノン株式会社 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム
WO2023139226A1 (en) * 2022-01-21 2023-07-27 Sharpeye Imaging apparatus and method for in vivo full-field interference imaging of a sample
CN115985335A (zh) * 2022-12-28 2023-04-18 思必驰科技股份有限公司 语音增强模型迭代式的自监督训练方法、系统和电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHANG, YI ET AL.: "IDR: Self-Supervised Image Denoising via Iterative Data Refinement", 2022 IEEE /CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR, 2022, pages 2088 - 2097, XP034192976, Retrieved from the Internet <URL:https://ieeexplore.ieee.org/abstract/document/9879573> [retrieved on 20250324], DOI: 10.1109/CVPR52688.2022.00214 *

Also Published As

Publication number Publication date
JP7850363B1 (ja) 2026-04-22

Similar Documents

Publication Publication Date Title
Anwar et al. Diving deeper into underwater image enhancement: A survey
US10032256B1 (en) System and method for image processing using automatically estimated tuning parameters
Lore et al. LLNet: A deep autoencoder approach to natural low-light image enhancement
EP4055555B1 (en) Noise reconstruction for image denoising
EP4187484B1 (en) Cbd-net-based medical endoscopic image denoising method
CN111028163B (zh) 一种基于卷积神经网络的联合图像去噪与弱光增强方法
US12488436B2 (en) Noise reconstruction for image denoising
CN111047543A (zh) 图像增强方法、装置和存储介质
CN116664446B (zh) 基于残差密集块的轻量级暗光图像增强方法
CN116645305A (zh) 基于多注意力机制与Retinex的低光照图像增强方法
WO2022045210A1 (ja) 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム
Zhang et al. Image deblurring method based on GAN with a channel attention mechanism
Velammal et al. MULTIFRAME IMAGE RESTORATION USING GENERATIVE ADVERSARIAL NETWORKS.
JP2022039989A (ja) 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム
CN115880176A (zh) 多尺度非成对水下图像增强方法
JP7850363B1 (ja) 学習方法、推論モデル、ノイズ除去方法、ノイズ除去プログラム及びノイズ除去システム
US20240144432A1 (en) Image processing apparatus, image processing method, and storage medium
FR3156963A1 (fr) Méthode de super-résolution d’image présentant une robustesse universelle
JP7850364B1 (ja) 学習方法、推論モデル、ノイズ除去方法、ノイズ除去プログラム及びノイズ除去システム
AKINTOYE et al. COMPOSITE MEDIAN WIENER FILTER BASED TECHNIQUE FOR IMAGE ENHANCEMENT.
Zhang et al. Underwater Image Color Constancy Enhancement Network Based on Adaptive Correction Factor
JP7700073B2 (ja) 学習方法、学習システム、学習プログラム、ノイズ除去方法、ノイズ除去システム及びノイズ除去プログラム
CN119295359B (zh) 图像增强方法及图像增强装置、电子设备、存储介质
JP7708695B2 (ja) 学習方法、学習システム、学習プログラム、ノイズ除去方法、ノイズ除去システム及びノイズ除去プログラム
Li et al. Progressive feature-aware recurrent net for low-light image enhancement

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25821502

Country of ref document: EP

Kind code of ref document: A1