WO2021095256A1 - 画像処理システム、画像処理方法、及び、プログラム - Google Patents

画像処理システム、画像処理方法、及び、プログラム Download PDF

Info

Publication number
WO2021095256A1
WO2021095256A1 PCT/JP2019/044942 JP2019044942W WO2021095256A1 WO 2021095256 A1 WO2021095256 A1 WO 2021095256A1 JP 2019044942 W JP2019044942 W JP 2019044942W WO 2021095256 A1 WO2021095256 A1 WO 2021095256A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
trained
model
image processing
models
Prior art date
Application number
PCT/JP2019/044942
Other languages
English (en)
French (fr)
Inventor
啓悟 森
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2021555765A priority Critical patent/JPWO2021095256A1/ja
Priority to PCT/JP2019/044942 priority patent/WO2021095256A1/ja
Publication of WO2021095256A1 publication Critical patent/WO2021095256A1/ja
Priority to US17/731,407 priority patent/US20220252857A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Definitions

  • the disclosure of this specification relates to an image processing system, an image processing method, and a program.
  • Non-Patent Document 1 describes a technique for converting an image constrained by a diffraction limit into a super-resolution image by using a hostile generation network (GAN) model.
  • Non-Patent Document 2 describes a technique for expanding the observable range to biological phenomena that were conventionally difficult to observe by image restoration based on deep learning.
  • the trained model of machine learning has high generalization performance.
  • the performance tends to deteriorate for an image that is significantly different from the image used for learning.
  • an object of one aspect of the present invention is to provide a technique for realizing high generalization performance in image processing for improving image quality.
  • the image processing system is a selection unit that selects a trained model from a plurality of trained models that have learned image conversion to convert an input image into an output image having higher image quality than the input image. And an image conversion unit that performs the image conversion using the trained model selected by the selection unit, and each of the plurality of trained models has at least a sample type from the other trained models. It is a trained model trained with different images, or a trained model trained with images having at least a different image quality range from other trained models.
  • the image processing method selects and selects a trained model from a plurality of trained models that have learned image conversion to convert an input image into an output image having higher image quality than the input image.
  • the image conversion is performed using the trained model, and each of the plurality of trained models is a trained model trained with an image having at least a different sample type from the other trained models, or another trained model.
  • a model is a trained model trained with images having at least a different image quality range.
  • the program selects a trained model from a plurality of trained models that have learned image conversion to convert an input image into an output image having higher image quality than the input image on a computer.
  • the image transformation is performed using the selected trained model, and each of the plurality of trained models is a trained model trained with an image having at least a different sample type from the other trained models, or another trained model.
  • the trained model is a trained model trained with images having at least a different image quality range, and the process is executed.
  • FIG. 1 It is a figure which illustrated the structure of the system 1. It is a figure which illustrated the physical structure of the image processing unit 20. It is a figure which illustrated the functional structure of the image processing unit 20 which concerns on 1st Embodiment. It is a figure for demonstrating an example of a plurality of trained models. It is a flowchart which shows an example of the processing performed by the image processing unit 20. It is a figure which showed an example of the screen displayed by the image processing unit 20. It is a figure for demonstrating another example of a plurality of trained models. It is a figure which showed another example of the screen which the image processing unit 20 displays. It is a figure which showed still another example of the screen displayed by the image processing unit 20.
  • FIG. 1 is a diagram illustrating the configuration of the system 1.
  • FIG. 2 is a diagram illustrating the physical configuration of the image processing unit 20.
  • the configuration of the system 1 will be described with reference to FIGS. 1 and 2.
  • the system 1 shown in FIG. 1 is an example of an image processing system for improving image quality, and includes an image processing unit 20 for performing image processing.
  • the system 1 may further include an image acquisition unit 10 that acquires an image to be input to the image processing unit 20.
  • the image processing unit 20 communicates with the image acquisition unit 10 and the terminal unit 30.
  • the terminal unit 30 includes, for example, a notebook-type terminal device 31 and a tablet-type terminal device 32.
  • the system 1 may include a terminal unit 30.
  • the image acquisition unit 10 is a device or system that acquires a digital image of a sample by imaging the sample.
  • the image acquisition unit 10 includes, for example, a digital camera 11, an endoscope system 12, a microscope system 13, and the like.
  • the image acquisition unit 10 outputs the acquired image to the image processing unit 20.
  • the image acquired by the image acquisition unit 10 may be sent directly from the image acquisition unit 10 to the image processing unit 20, and indirectly sent from the image acquisition unit 10 to the image processing unit 20 via other devices. May be done.
  • the image processing unit 20 is a device or system that performs image processing using a trained model of machine learning, especially deep learning.
  • the image processing performed by the image processing unit 20 is an image conversion that converts an input image into an output image having a higher image quality than the input image, and for example, improvement of image quality such as noise reduction, resolution improvement, and aberration correction is achieved.
  • the image processing unit 20 may include one or more electric circuits, and may be a dedicated or general-purpose computer. Specifically, the image processing unit 20 includes, for example, a processor 21 and a memory 22 as shown in FIG. The image processing unit 20 may further include an auxiliary storage device 23, an input device 24, an output device 25, a portable recording medium driving device 26 for driving the portable recording medium 29, a communication module 27, and a bus 28. .. The auxiliary storage device 23 and the portable recording medium 29 are examples of non-transient computer-readable recording media on which programs are recorded.
  • the processor 21 is, for example, an electric circuit (circuitry) including a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like.
  • the processor 21 expands the program stored in the auxiliary storage device 23 or the portable recording medium 29 into the memory 22, and then executes the program to perform programmed processing such as an image processing method described later.
  • the memory 22 is, for example, an arbitrary semiconductor memory such as a RAM (Random Access Memory).
  • the memory 22 functions as a work memory for storing the program or data stored in the auxiliary storage device 23 or the portable recording medium 29 when the program is executed.
  • the auxiliary storage device 23 is, for example, a non-volatile memory such as a hard disk or a flash memory.
  • the auxiliary storage device 23 is mainly used for storing various data and programs.
  • the portable recording medium drive device 26 accommodates the portable recording medium 29.
  • the portable recording medium driving device 26 can output the data stored in the memory 22 or the auxiliary storage device 23 to the portable recording medium 29, and reads out programs, data, and the like from the portable recording medium 29. Can be done.
  • the portable recording medium 29 is any portable recording medium.
  • the portable recording medium 29 includes, for example, an SD card, a USB (Universal Serial Bus) flash memory, a CD (Compact Disc), a DVD (Digital Versatile Disc), and the like.
  • the input device 24 is, for example, a keyboard, a mouse, or the like.
  • the output device 25 is, for example, a display device, a printer, or the like.
  • the communication module 27 is, for example, a wired communication module that communicates with the image acquisition unit 10 and the terminal unit 30 connected via an external port.
  • the communication module 27 may be a wireless communication module.
  • the bus 28 connects the processor 21, the memory 22, the auxiliary storage device 23, and the like to each other so that data can be exchanged.
  • FIG. 3 is a diagram illustrating the functional configuration of the image processing unit 20 according to this embodiment.
  • FIG. 4 is a diagram for explaining an example of a plurality of trained models.
  • FIG. 5 is a flowchart showing an example of processing performed by the image processing unit 20.
  • FIG. 6 is a diagram showing an example of a screen displayed by the image processing unit 20.
  • the image processing method performed by the system 1 will be described with reference to FIGS. 3 to 6.
  • the image processing unit 20 selects a trained model from a plurality of trained models as a configuration related to the image processing method performed by the system 1, and the selection unit 41 selects the trained model. It includes an image conversion unit 42 that performs image conversion using the trained model, and a storage unit 43 that stores a plurality of trained models.
  • the selection unit 41, the image conversion unit 42, and the storage unit 43 have a functional configuration realized by one or more electric circuits included in the image processing unit 20. More specifically, the selection unit 41 and the image conversion unit 42 have, for example, a functional configuration realized by the processor 21 and the memory 22 shown in FIG. 2, and the processor 21 executes a program stored in the memory 22. May be realized by.
  • the storage unit 43 may have, for example, a functional configuration realized by the memory 22 and the auxiliary storage device 23 shown in FIG.
  • the selection unit 41 selects a trained model from a plurality of trained models stored in the storage unit 43 in response to an input. Further, the selection unit 41 outputs information for identifying the selected trained model to the image conversion unit 42.
  • the image conversion unit 42 applies the trained model selected by the selection unit 41 to the input image, performs image conversion, and generates an output image.
  • the output image may be stored in the auxiliary storage device 23, for example. Further, the output image may be displayed on the output device 25, for example. Further, the output image may be output to the terminal unit 30 via the communication module 27, for example, or may be displayed by the display device of the terminal unit 30.
  • Each of the plurality of trained models stored in the storage unit 43 is a trained model that has learned image conversion for converting an input image into an output image having a higher image quality than the input image.
  • a trained model M when a plurality of trained models M1, M2, M3 ... Are not particularly distinguished, each or a set thereof is referred to as a trained model M.
  • the trained model M stored in the storage unit 43 may be generated, for example, by taking the following procedure in advance. If the content of the image quality improved by the trained model M is noise, first, a plurality of pairs of images with less noise and images with more noise are prepared. The images that make up the pair are images of the same object. Specifically, the same sample is imaged at the same imaging position, and an image with less noise and an image with more noise are acquired as a pair. This is repeated with a plurality of imaging positions or a plurality of samples of the same type. Then, the trained model M is generated by training the model to perform image conversion that converts a noisy image into a noiseless image by deep learning using a plurality of image pairs.
  • the amount of noise contained in the image can be adjusted, for example, by changing the length of the exposure time and the illumination intensity at the time of imaging. Therefore, the model may be trained using a pair of images in which the image captured with a relatively long exposure time is regarded as an image with less noise and the image captured with a relatively short exposure time is regarded as a noisy image.
  • the content of the image quality improved by the trained model M is the resolution
  • the images that make up the pair are images of the same object. Specifically, the same sample is imaged at the same imaging position, and a low-resolution image and a high-resolution image are acquired as a pair. This is repeated with a plurality of imaging positions or a plurality of samples of the same type.
  • the trained model M is generated by training the model to perform image conversion that converts a low-resolution image into a high-resolution image by deep learning using a plurality of image pairs.
  • the image resolution can be adjusted by changing the pixel resolution and the optical resolution.
  • the image resolution may be adjusted by changing the objective lens used at the time of imaging. Therefore, the image captured by using the objective lens having a relatively low numerical aperture is regarded as a low resolution image, and the image captured by using an objective lens having a relatively high numerical aperture is regarded as a high resolution image.
  • the model may be trained using a pair of images.
  • the trained model M is generated by training the model to perform image conversion that converts an image whose aberration is not sufficiently corrected by deep learning using a plurality of image pairs into an image whose aberration is sufficiently corrected. To do.
  • the degree of aberration correction can be adjusted by changing the objective lens used at the time of imaging, for example. Therefore, an image captured by using an objective lens having a relatively large aberration is regarded as an image in which the aberration is not sufficiently corrected, and an image captured by using an objective lens having a relatively small aberration has sufficient aberration.
  • the model may be trained using a pair of images as corrected images.
  • each of the plurality of trained models M is a trained model trained using images having at least a different sample type from the other trained models.
  • the trained model M1 is a trained model trained using an image of a cell nucleus.
  • the trained model M2 is a trained model trained using an image of an actin filament.
  • the trained model M3 is a trained model trained using an image of mitochondria.
  • the image processing unit 20 configured as described above is selected when the user selects an image to be improved in image quality from the images acquired by the image acquisition unit 10 using the input device 24.
  • the obtained image is acquired as the input image 50 (step S1).
  • the image processing unit 20 acquires the image selected by the user as the input image 50, and displays the screen G1 including the input image 50 on the output device 25 as shown in FIG. In this example, the cell nucleus is shown in the input image 50.
  • the image processing unit 20 receives a plurality of trained models corresponding to the selected image quality improvement content. Is displayed (step S2).
  • FIG. 6 shows an example in which the user selects “noise reduction” using the tab 61.
  • three trained models (M1 to M3) for cell nuclei, actin filaments, and mitochondria are displayed.
  • the image processing unit 20 selects the trained model 20 by the user.
  • the trained model is selected (step S3).
  • the selection unit 41 of the image processing unit 20 selects the trained model M1 for the cell nucleus from the plurality of trained models M according to the user's selection.
  • the image processing unit 20 converts the input image 50 using the trained model selected in step S3 (step S4).
  • the image conversion unit 42 of the image processing unit 20 applies the trained model M1 selected in step S3 to the input image 50 acquired in step S1 to generate an output image with less noise than the input image 50. To do.
  • the image processing unit 20 displays the converted image obtained in step S4 (step S5).
  • the image processing unit 20 displays the output image generated in step S4 on the output device 25.
  • the output image may be displayed side by side with the input image 50, or may be displayed in a pop-up format.
  • the trained model M is prepared in advance. That is, a trained model M optimized for each sample is prepared. Then, the user is made to select a trained model according to the type of the sample shown in the input image 50 from the plurality of trained models M generated for each type of the sample.
  • the type of sample corresponding to the trained model selected by the user does not necessarily have to match the type of sample shown in the input image 50.
  • the user may select a trained model trained using an image of a sample having a shape similar to the sample shown in the input image 50.
  • the image quality improvement performance of the trained model differs depending on the sample, mainly because the shape differs for each sample.
  • the system 1 can apply a trained model learned using an image similar to the input image 50, regardless of the sample shown in the input image 50. Therefore, even when images of various samples having different shapes are input as the input image 50, stable image quality improvement performance can be exhibited regardless of the input image 50. Therefore, according to the system 1, high generalization performance can be realized in the image processing for improving the image quality of the system 1 as a whole.
  • the image quality can be improved by image processing.
  • the image acquisition unit 10 acquires an image having a higher image quality
  • a trade-off with the image quality may occur in terms other than the image quality. For example, if the exposure time is long to reduce noise, it takes time to acquire an image. In addition, increasing the illumination intensity increases the damage to the sample.
  • the numerical aperture is increased to improve the resolution, it becomes necessary to use an immersion liquid. Especially when the numerical aperture is high, it is necessary to use oil as an immersion liquid, which increases the amount of work performed by the user such as cleaning.
  • the magnification of the objective lens is increased, the observation range becomes narrower. Further, if a higher performance objective lens is used for aberration correction, the cost of the device increases. In the system 1, these disadvantages can be avoided by improving the image quality by image processing.
  • the image quality improvement performance of a single trained model differs depending on the image quality range of the input image 50.
  • the image quality improvement performance of the trained model differs depending on the image quality range mainly because the appearance of the image differs depending on the image quality range.
  • inputting a high noise level image into a trained model capable of converting a medium noise level image into a low noise level image may not sufficiently reduce the noise level.
  • inputting a medium noise level image into a trained model that can convert a high noise level image to a low noise level image can have the effect of weakening the signal.
  • each of the plurality of trained models stored in the storage unit 43 is a trained model trained using images having at least a different image quality range from the other trained models. It is different from the embodiment of.
  • FIG. 7 is a diagram for explaining another example of a plurality of trained models.
  • 8 to 10 are views showing another example of the screen displayed by the image processing unit 20, respectively.
  • a modified example of the first embodiment will be described with reference to FIGS. 7 to 10.
  • each of the plurality of trained models for improving noise stored in the storage unit 43 is a trained model trained using an image having a noise level range different from that of the other trained models. is there. Specifically, each of the plurality of trained models has a different exposure time of the image used for input to the model among the images forming the pair from that of the other trained models.
  • the trained model M4 is a model using an image captured with a relatively short exposure time as an image used for input to the model among the images constituting the pair.
  • the trained model M5 is a model using an image captured at a medium exposure time as an image used for input to the model among the images constituting the pair.
  • the trained model M6 is a model using an image captured with a relatively long exposure time as an image used for input to the model among the images constituting the pair.
  • each of the plurality of trained models for improving the resolution stored in the storage unit 43 is a trained model trained using an image having a resolution range different from that of the other trained models.
  • the numerical aperture of the objective lens used at the time of capturing the image used for input to the model among the images forming the pair is the same as that of the other trained model. Is different. That is, each of the plurality of trained models is a trained model trained with an image acquired by using an objective lens having a numerical aperture different from that of the other trained models.
  • each of the plurality of trained models for improving the aberration level stored in the storage unit 43 is a trained model learned using an image having an aberration level range different from that of the other trained models. .. Specifically, in each of the plurality of trained models, for example, the aberration performance of the objective lens used at the time of capturing the image used for input to the model among the images forming the pair is different from that of the other trained models. Is different. That is, each of the plurality of trained models is a trained model trained with an image acquired by using an objective lens having an aberration performance different from that of the other trained models.
  • the image processing unit 20 displays the screen G2 shown in FIG. 8 on the output device 25.
  • the user can grasp the noise level to be dealt with by each trained model.
  • the trained model M4 can deal with an image having a short exposure time, that is, an image having a large noise. Therefore, the user can select the trained model from the trained model M4 and the trained model M6 according to the noise level of the input image 50. Therefore, the system 1 can exhibit stable noise reduction performance regardless of the noise level of the input image 50.
  • the image processing unit 20 displays the screen G3 shown in FIG. 9 on the output device 25.
  • the user can grasp the resolution to be dealt with by each trained model.
  • the trained model M7 it can be understood that an image having an NA of about 0.8 can be converted into an image having an NA of about 1.1. Therefore, the user can select the trained model from the trained model M7 to the trained model M9 according to the resolution of the input image 50, so that the resolution is stably improved regardless of the resolution of the input image 50. It can demonstrate its performance.
  • the image processing unit 20 displays the screen G4 shown in FIG. 10 on the output device 25.
  • the user can grasp the aberration level to be dealt with by each trained model.
  • the learned model M10 can further improve the achromatic level aberration correction state. Therefore, the user can select the trained model from the trained model M10 and the trained model M12 according to the aberration level of the input image 50. Therefore, the system 1 can exhibit stable aberration correction performance regardless of the aberration level of the input image 50.
  • the system 1 can realize high generalization performance in the image processing for improving the image quality of the system 1 as a whole, as in the first embodiment. Further, since the image quality improvement is achieved by the image processing, it is possible to avoid the disadvantage caused by the image acquisition unit 10 acquiring the image with higher image quality.
  • the exposure time as a method of classifying the noise level of the image has been shown.
  • the illumination intensity may be used, and the combination of the exposure time and the illumination intensity may be used. May be used.
  • the noise level and the appearance of noise differ depending on the type of image acquisition device. Specifically, for example, the noise level and the appearance of noise are different between the image acquired by the laser scanning microscope and the image acquired by the wide-field microscope having a digital camera. Therefore, the type of image acquisition device may be used for classifying the noise level.
  • each of the plurality of trained models may be a trained model trained with an image acquired by a laser scanning microscope having a confocal pinhole diameter different from that of the other trained models, and may be another trained model. It may be a trained model trained with an image acquired with a pixel resolution different from that of the model.
  • the image quality range of the image included in the learning data is classified by using the setting of the image acquisition unit 10 at the time of imaging (for example, the device itself such as the objective lens to be used, the setting for the device such as the exposure time).
  • the image quality range may be classified from other than the setting of the image acquisition unit 10.
  • the person who observes the image may subjectively classify it.
  • FIG. 11 is a diagram for explaining still another example of the plurality of trained models.
  • FIG. 12 is a diagram showing still another example of the screen displayed by the image processing unit 20.
  • the second embodiment will be described with reference to FIGS. 11 and 12.
  • each of the plurality of trained models for improving noise stored in the storage unit 43 uses an image in which at least the noise level range and the combination of sample types are different from those of the other trained models. It is a trained model that has been learned. That is, as shown in FIG. 11, trained models are prepared for each combination of noise level range and sample type. Specifically, each of the plurality of trained models differs from that of the other trained models in the combination of the exposure time and the sample type of the images used for input to the model among the images forming the pair. There is.
  • the trained models M41 to M43 are models using images captured with a relatively short exposure time as the images used for input to the model among the images constituting the pair, and are different from each other.
  • the trained models M51 to M53 are models using images captured at a medium exposure time as images used for input to the model among the images constituting the pair, and images of samples different from each other are used. It is a model.
  • the trained models M61 to M63 are models using images captured with a relatively long exposure time for the images used for input to the model among the images constituting the pair, and images of samples different from each other are used. It is a model.
  • each of the plurality of trained models for improving the resolution stored in the storage unit 43 is learned by using an image in which the combination of the resolution range and the sample type is different from that of the other trained models. It is a finished model. Further, each of the plurality of trained models for improving the aberration level stored in the storage unit 43 was trained using images having a different combination of aberration level range and sample type from the other trained models. It is a trained model.
  • the image processing unit 20 displays the screen G5 shown in FIG. 12 on the output device 25.
  • the user can grasp the combination of the noise level and the sample to be dealt with by each trained model.
  • the trained model M41 it can be understood that the sample is a cell nucleus and can deal with an image having a short exposure time, that is, an image having a large noise. Therefore, the user can select the trained model from the trained model M41 and the trained model M63 according to the combination of the sample of the input image 50 and the noise level. Therefore, the system 1 can exhibit stable noise reduction performance regardless of the combination of the sample of the input image 50 and the noise level.
  • the system 1 can realize higher generalization performance than the first embodiment in the image processing for improving the image quality of the system 1 as a whole. Further, since the image quality improvement is achieved by the image processing, it is possible to avoid the disadvantage caused by the image acquisition unit 10 acquiring the image with higher image quality.
  • FIG. 13 is a diagram illustrating the functional configuration of the image processing unit 20 according to the present embodiment.
  • FIG. 14 is a diagram for explaining the selection of the trained model based on the similarity.
  • the third embodiment will be described with reference to FIGS. 13 and 14.
  • the image processing unit 20 has a selection unit 71 that selects a trained model from a plurality of trained models M11 to M13, and a trained model selected by the selection unit 71. It includes an image conversion unit 72 that performs image conversion using the above, and a storage unit 73 that stores a plurality of trained models M11 to M13.
  • the image processing unit 20 according to the present embodiment is different from the image processing unit 20 according to the first embodiment in the following two points.
  • the storage unit 73 stores a plurality of model supplementary information MS11 to MS13 that show the characteristics of the plurality of trained models in association with the plurality of trained models M11 to M13.
  • the plurality of model supplementary information MS11 to MS13 may be, for example, a plurality of trained models. It is a plurality of representative images corresponding to the sample types of the trained models M11 to M13.
  • the representative image is preferably an image that captures the shape characteristics of the sample well.
  • the second point is that the selection unit 71 selects a trained model to be used for image conversion from the plurality of trained models M11 to M13 based on the input image 50 and the plurality of model supplementary information MS11 to MS13.
  • the selection unit 71 may compare the input image 50 with each of the plurality of representative images (model supplementary information MS11 to MS13), and select the trained model based on the comparison result. More specifically, as shown in FIG. 14, the selection unit 71 compares each of the input image 50 and the plurality of representative images (model supplementary information MS11 to MS13) to calculate the similarity, and has the highest degree of similarity. A trained model corresponding to a high representative image may be selected.
  • the similarity may be calculated by using any known algorithm such as an algorithm for calculating the local feature amount. Further, the degree of similarity may be calculated using a trained model in which similar images are learned in advance. In the example shown in FIG. 14, the trained model M11 corresponding to the representative diagram, which is the model supplementary information MS11, is selected as the trained model used for the image conversion.
  • the image processing unit 20 automatically selects the trained model according to the input image 50. Therefore, the user can obtain an image with improved image quality simply by selecting an image to be improved in image quality. Further, since the image processing unit 20 appropriately selects the trained model, it is possible to realize high generalization performance in the image processing for improving the image quality of the system 1 as a whole.
  • the model supplementary information MS11 to MS13 is not limited to the image.
  • the plurality of model supplementary information MS11 to MS13 may be a plurality of trained models. It may be a plurality of model image quality information corresponding to the image quality range of the images used for learning M11 to M13, and more specifically, the model image quality information may be, for example, a quantified noise level. May be good.
  • the selection unit 71 calculates the noise level of the input image 50 from the input image 50 as the input image quality information.
  • the noise level of the input image 50 is not particularly limited, but may be calculated as, for example, the dispersion of the brightness in the background portion in the image. This is because it can be evaluated that the larger the luminance dispersion is, the larger the noise is. Further, the selection unit 71 selects a trained model to be used for image conversion from the plurality of trained models M11 to M13 based on the comparison result between the input image quality information and the plurality of model image quality information.
  • the selection unit 71 may select, for example, a trained model corresponding to the noise level closest to the noise level of the input image 50 as the trained model used for the image conversion. In this case as well, the user can obtain an image with improved image quality simply by selecting an image to be improved in image quality.
  • FIG. 15 is a diagram illustrating the functional configuration of the image processing unit 20 according to the present embodiment.
  • the fourth embodiment will be described with reference to FIG.
  • the image processing unit 20 has a selection unit 81 that selects a trained model from a plurality of trained models M21 to M23, and a trained model selected by the selection unit 81. It includes an image conversion unit 82 that performs image conversion using the above, and a storage unit 83 that stores a plurality of trained models M21 to M23.
  • the image processing unit 20 according to the present embodiment is different from the image processing unit 20 according to the first embodiment in the following two points.
  • the storage unit 83 stores a plurality of model supplementary information MS21 to MS23 indicating the characteristics of the plurality of trained models in association with the plurality of trained models M21 to M23.
  • the plurality of trained models M21 to M23 stored in the storage unit 83 are trained models trained with images having at least a different image quality range from the other trained models.
  • the second point is that the selection unit 81 acquires the setting information of the image acquisition unit 10 and uses it for image conversion from the plurality of trained models M21 to M23 based on the acquired setting information and the plurality of model supplementary information MS21 to MS23.
  • the point is to select the trained model to be used.
  • the selection unit 81 acquires, for example, the resolution information of the microscope system 13 from the microscope system 13 that has acquired the input image 50. If the microscope system 13 is a laser scanning microscope, for example, the numerical aperture of the objective lens, the magnification of the objective lens, the scan size of the galvano scanner (for example, 512 ⁇ 512, 1024 ⁇ 1024), the pinhole diameter, etc. are acquired. To do.
  • the selection unit 81 calculates the resolution of the input image 50 from this information and compares it with the resolution specified by the plurality of model supplementary information MS21 to MS23 read from the storage unit 83. As a result of the comparison, the selection unit 81 selects, for example, model supplementary information indicating the resolution closest to the resolution of the input image 50, and uses the trained model corresponding to the model supplementary information as the trained model used for the image conversion. select.
  • the image processing unit 20 automatically selects the trained model according to the input image 50, as in the third embodiment. Therefore, the user can obtain an image with improved image quality simply by selecting an image to be improved in image quality. Further, as in the third embodiment, the image processing unit 20 can realize high generalization performance in image processing for improving the image quality of the system 1 as a whole by selecting an appropriate trained model. Is.
  • a trained model suitable for the input image is specified as one
  • the image processing unit 20 has a plurality of trained models suitable for the input image to improve the image quality. Those with different degrees of may be stored.
  • a control radio button in this example
  • 1 is based on the degree of image quality improvement desired by the user.
  • One trained model may be identified. This allows the user to select the balance between the image quality and the side effects associated with the image processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

システム１は、入力画像を入力画像よりも高い画質を有する出力画像に変換する画像変換を学習した複数の学習済みモデルの中から学習済みモデルを選択する選択部４１と、選択部４１で選択された学習済みモデルを用いて画像変換を行う画像変換部４２と、を備える。複数の学習済みモデルの各々は、他の学習済みモデルとは少なくともサンプルの種類の異なる画像で学習した学習済みモデル、又は、他の学習済みモデルとは少なくとも画質範囲の異なる画像で学習した学習済みモデルである。

Description

画像処理システム、画像処理方法、及び、プログラム
　本明細書の開示は、画像処理システム、画像処理方法、及び、プログラムに関する。
　近年、機械学習、特に、深層学習を利用した画質を改善する技術が提案されている。このような技術は、例えば、非特許文献１、非特許文献２などに記載されている。
　非特許文献１には、敵対的生成ネットワーク（ＧＡＮ）モデルを用いることで、回折限界によって制約された画像を超解像画像に変換する技術が記載されている。また、非特許文献２には、深層学習に基づく画像復元によって、従来は観察が困難であった生体現象にまで観察可能な範囲を拡張する技術が記載されている。
Hongda Wang, et al., Deep learning enables cross-modality super-resolution in fluorescence microscopy, NATURE METHODS, VOL.16, p.103-110, JANUARY 2019 Martin Weigert, et al., Content-aware image restoration: pushing the limits of fluorescence microscopy, NATURE METHODS, VOL.15, p.1090-1097, DECEMBER 2018
　ところで、機械学習の学習済みモデルは、一般に高い汎化性能を有することが望ましい。しかしながら、高い汎化性能を実現することは容易ではない。例えば、教師あり学習によって学習した学習済みモデルの場合、学習に使用した画像と大きく異なる画像に対しては、性能が低下しがちである。
　以上のような実情から、本発明の一側面に係る目的は、画質を改善する画像処理において高い汎化性能を実現する技術を提供することである。
　本発明の一態様に係る画像処理システムは、入力画像を前記入力画像よりも高い画質を有する出力画像に変換する画像変換を学習した複数の学習済みモデルの中から学習済みモデルを選択する選択部と、前記選択部で選択された学習済みモデルを用いて前記画像変換を行う画像変換部と、を備え、前記複数の学習済みモデルの各々は、他の学習済みモデルとは少なくともサンプルの種類の異なる画像で学習した学習済みモデル、又は、他の学習済みモデルとは少なくとも画質範囲の異なる画像で学習した学習済みモデルである。
　本発明の一態様に係る画像処理方法は、入力画像を前記入力画像よりも高い画質を有する出力画像に変換する画像変換を学習した複数の学習済みモデルの中から学習済みモデルを選択し、選択した学習済みモデルを用いて前記画像変換を行い、前記複数の学習済みモデルの各々は、他の学習済みモデルとは少なくともサンプルの種類の異なる画像で学習した学習済みモデル、又は、他の学習済みモデルとは少なくとも画質範囲の異なる画像で学習した学習済みモデルである。
　本発明の一態様に係るプログラムは、コンピュータに、入力画像を前記入力画像よりも高い画質を有する出力画像に変換する画像変換を学習した複数の学習済みモデルの中から学習済みモデルを選択し、選択した学習済みモデルを用いて前記画像変換を行い、前記複数の学習済みモデルの各々は、他の学習済みモデルとは少なくともサンプルの種類の異なる画像で学習した学習済みモデル、又は、他の学習済みモデルとは少なくとも画質範囲の異なる画像で学習した学習済みモデルである、処理を実行させる。
　上記の態様によれば、画質を改善する画像処理において高い汎化性能を実現することができる。
システム１の構成を例示した図である。 画像処理部２０の物理構成を例示した図である。 第１の実施形態に係る画像処理部２０の機能構成を例示した図である。 複数の学習済みモデルの一例を説明するための図である。 画像処理部２０が行う処理の一例を示すフローチャートである。 画像処理部２０が表示する画面の一例を示した図である。 複数の学習済みモデルの別の例を説明するための図である。 画像処理部２０が表示する画面の別の例を示した図である。 画像処理部２０が表示する画面の更に別の例を示した図である。 画像処理部２０が表示する画面の更に別の例を示した図である。 複数の学習済みモデルの更に別の例を説明するための図である。 画像処理部２０が表示する画面の更に別の例を示した図である。 第３の実施形態に係る画像処理部２０の機能構成を例示した図である。 類似度に基づく学習済みモデルの選択を説明するための図である。 第４の実施形態に係る画像処理部２０の機能構成を例示した図である。 画像処理部２０が表示する画面の更に別の例を示した図である。
［第１の実施形態］
　図１は、システム１の構成を例示した図である。図２は、画像処理部２０の物理構成を例示した図である。以下、図１及び図２を参照しながら、システム１の構成について説明する。
　図１に示すシステム１は、画質を改善する画像処理システムの一例であり、画像処理を行う画像処理部２０を備えている。システム１は、さらに、画像処理部２０に入力する画像を取得する画像取得部１０を備えてもよい。画像処理部２０は、画像取得部１０と端末部３０と通信する。端末部３０は、例えば、ノート型の端末装置３１、タブレット型の端末装置３２などを含んでいる。システム１は、端末部３０を含んでもよい。
　画像取得部１０は、サンプルを撮像することによってサンプルのデジタル画像を取得する装置又はシステムである。画像取得部１０は、例えば、デジタルカメラ１１、内視鏡システム１２、顕微鏡システム１３などを含んでいる。画像取得部１０は、取得した画像を画像処理部２０へ出力する。画像取得部１０が取得した画像は、画像取得部１０から画像処理部２０へ直接的に送られてもよく、画像取得部１０からその他の機器を経由して画像処理部２０へ間接的に送られてもよい。
　画像処理部２０は、機械学習、特に、深層学習の学習済みモデルを用いて画像処理を行う装置又はシステムである。画像処理部２０が行う画像処理は、入力画像を入力画像よりも高い画質を有する出力画像に変換する画像変換であり、例えば、ノイズ低減、解像度向上、収差補正といった画質の改善が達成される。
　画像処理部２０は、１つ以上の電気回路（circuitry）を含んでいればよく、専用又は汎用のコンピュータであってもよい。具体的には、画像処理部２０は、例えば、図２に示すように、プロセッサ２１とメモリ２２を備えている。画像処理部２０は、さらに、補助記憶装置２３、入力装置２４、出力装置２５、可搬記録媒体２９を駆動する可搬記録媒体駆動装置２６と、通信モジュール２７と、バス２８を備えてもよい。補助記憶装置２３、及び、可搬記録媒体２９は、それぞれプログラムを記録した非一過性のコンピュータ読取可能記録媒体の一例である。
　プロセッサ２１は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）などを含む電気回路（circuitry）である。プロセッサ２１は、補助記憶装置２３又は可搬記録媒体２９に格納されているプログラムをメモリ２２に展開して、その後、実行することで、後述する画像処理方法などのプログラムされた処理を行う。
　メモリ２２は、例えば、ＲＡＭ（Random Access Memory）などの任意の半導体メモリである。メモリ２２は、プログラムの実行の際に、補助記憶装置２３又は可搬記録媒体２９に格納されているプログラムまたはデータを記憶するワークメモリとして機能する。補助記憶装置２３は、例えば、ハードディスク、フラッシュメモリ等の不揮発性のメモリである。補助記憶装置２３は、主に各種データ及びプログラムの格納に用いられる。
　可搬記録媒体駆動装置２６は、可搬記録媒体２９を収容する。可搬記録媒体駆動装置２６は、メモリ２２又は補助記憶装置２３に記憶されているデータを可搬記録媒体２９に出力することができ、また、可搬記録媒体２９からプログラム及びデータ等を読み出すことができる。可搬記録媒体２９は、持ち運びが可能な任意の記録媒体である。可搬記録媒体２９には、例えば、ＳＤカード、ＵＳＢ（Universal Serial Bus）フラッシュメモリ、ＣＤ（Compact Disc）、ＤＶＤ(Digital Versatile Disc)などが含まれる。
　入力装置２４は、例えば、キーボード、マウスなどである。出力装置２５は、例えば、表示装置、プリンタなどである。通信モジュール２７は、例えば、外部ポートを経由して接続した画像取得部１０及び端末部３０と通信する有線通信モジュールである。通信モジュール２７は、無線通信モジュールであってもよい。バス２８は、プロセッサ２１、メモリ２２、補助記憶装置２３等を、相互にデータの授受可能に接続する。
　図３は、本実施例に係る画像処理部２０の機能構成を例示した図である。図４は、複数の学習済みモデルの一例を説明するための図である。図５は、画像処理部２０が行う処理の一例を示すフローチャートである。図６は、画像処理部２０が表示する画面の一例を示した図である。以下、図３から図６を参照しながら、システム１が行う画像処理方法について説明する。
　画像処理部２０は、システム１が行う画像処理方法に関連する構成として、図３に示すように、複数の学習済みモデルの中から学習済みモデルを選択する選択部４１と、選択部４１で選択された学習済みモデルを用いて画像変換を行う画像変換部４２と、複数の学習済みモデルを記憶する記憶部４３を備えている。
　選択部４１、画像変換部４２、記憶部４３は、画像処理部２０が有する１つ以上の電気回路によって実現される機能構成である。より詳細には、選択部４１と画像変換部４２は、例えば、図２に示すプロセッサ２１とメモリ２２によって実現される機能構成であり、プロセッサ２１がメモリ２２に記憶されているプログラムを実行することによって実現されてもよい。記憶部４３は、例えば、図２に示すメモリ２２と補助記憶装置２３によって実現される機能構成であってもよい。
　選択部４１は、記憶部４３に記憶されている複数の学習済みモデルの中から、入力に応じて学習済みモデルを選択する。さらに、選択部４１は、選択した学習済みモデルを特定する情報を画像変換部４２へ出力する。
　画像変換部４２は、選択部４１で選択された学習済みモデルを入力画像に適用して画像変換を行い、出力画像を生成する。出力画像は、例えば、補助記憶装置２３に記憶されてもよい。また、出力画像は、例えば、出力装置２５に表示されてもよい。さらに、出力画像は、例えば、通信モジュール２７を経由して端末部３０に出力されてもよく、端末部３０の表示装置によって表示されてもよい。
　記憶部４３に記憶されている複数の学習済みモデルは、それぞれ、入力画像を入力画像よりも高い画質を有する出力画像に変換する画像変換を学習した学習済みモデルである。以降では、複数の学習済みモデルＭ１、Ｍ２、Ｍ３・・・を特に区別しない場合には、それらのそれぞれ又は集合を、学習済みモデルＭと記す。
　記憶部４３に記憶されている学習済みモデルＭは、例えば、予め以下のような手順を踏むことで生成してもよい。学習済みモデルＭによって改善する画質の内容がノイズの場合であれば、まず、ノイズの少ない画像と多い画像のペアを複数用意する。ペアを構成する画像は同じ対象物の画像である。具体的には、同じサンプルを同じ撮像位置で撮像して、ノイズの少ない画像と多い画像をペアとして取得する。これを複数の撮像位置もしくは同種の複数のサンプルで繰り返す。そして、複数の画像のペアを用いて深層学習でノイズの多い画像をノイズの少ない画像に変換する画像変換をモデルに学習させることで、学習済みモデルＭを生成する。なお、画像に含まれるノイズの量は、例えば、撮像時における露光時間の長さ、照明強度を変更することで調整可能である。このため、比較的長い露光時間で撮像した画像をノイズの少ない画像として、比較的短い露光時間で撮像した画像をノイズの多い画像とした、画像のペアを用いてモデルを学習させてもよい。
　また、学習済みモデルＭによって改善する画質の内容が解像度の場合であれば、まず、解像度の低い画像と高い画像のペアを複数用意する。ペアを構成する画像は同じ対象物の画像である。具体的には、同じサンプルを同じ撮像位置で撮像して、解像度の低い画像と解像度の高い画像をペアとして取得する。これを複数の撮像位置もしくは同種の複数のサンプルでで繰り返す。そして、複数の画像のペアを用いて深層学習で解像度の低い画像を解像度の高い画像に変換する画像変換をモデルに学習させることで、学習済みモデルＭを生成する。なお、画像の解像度は、画素分解能や光学分解能を変更することで調整可能であり、例えば、撮像時に使用する対物レンズなどを変更することで調整してもよい。このため、比較的低い開口数を有する対物レンズを使用して撮像した画像を解像度の低い画像として、比較的高い開口数を有する対物レンズを使用して撮像した画像を解像度の高い画像とした、画像のペアを用いてモデルを学習させてもよい。
　また、学習済みモデルＭによって改善する画質の内容が収差に起因するものの場合であれば、まず、収差が十分に補正されていない画像と収差が十分に補正された画像のペアを複数用意する。ペアを構成する画像は同じ対象物の画像である。具体的には、同じサンプルを同じ撮像位置で撮像して、収差が十分に補正されていない画像と収差が十分に補正された画像をペアとして取得する。これを複数の撮像位置もしくは同種の複数のサンプルで繰り返す。そして、複数の画像のペアを用いて深層学習で収差が十分に補正されていない画像を収差が十分に補正された画像に変換する画像変換をモデルに学習させることで、学習済みモデルＭを生成する。なお、収差補正の程度は、例えば、撮像時に使用する対物レンズを変更することで調整可能である。このため、比較的大きな収差を有する対物レンズを使用して撮像した画像を収差が十分に補正されていない画像として、比較的小さな収差を有する対物レンズを使用して撮像した画像を収差が十分に補正された画像とした、画像のペアを用いてモデルを学習させてもよい。
　学習済みモデルＭによって改善する画質の内容によらず、複数の学習済みモデルＭの各々は、他の学習済みモデルとは少なくともサンプルの種類の異なる画像を用いて学習した学習済みモデルである。この例では、図４に示すように、学習済みモデルＭ１は、細胞核の画像を用いて学習した学習済みモデルである。また、学習済みモデルＭ２は、アクチンフィラメントの画像を用いて学習した学習済みモデルである。また、学習済みモデルＭ３は、ミトコンドリアの画像を用いて学習した学習済みモデルである。
　以上のように構成された画像処理部２０は、図５に示すように、画像取得部１０で取得した画像の中から利用者が入力装置２４を用いて画質改善対象の画像を選択すると、選択された画像を入力画像５０として取得する（ステップＳ１）。ここでは、画像処理部２０が、利用者が選択した画像を入力画像５０として取得し、図６に示すように、入力画像５０を含む画面Ｇ１を出力装置２５に表示する。なお、この例では、入力画像５０には、細胞核が写っている。
　次に、画面Ｇ１を参照した利用者が入力装置２４を用いて入力画像５０に対して行う画質改善内容を選択すると、画像処理部２０は、選択した画質改善内容に対応する複数の学習済みモデルを表示する（ステップＳ２）。図６には、利用者がタブ６１を用いて“ノイズ低減”を選択した例が示されている。図６に示す画面Ｇ１上には、細胞核用、アクチンフィラメント用、ミトコンドリア用の３つの学習済みモデル（Ｍ１～Ｍ３）が表示されている。
　その後、利用者が入力装置２４を用いて３つの学習済みモデルＭの中から入力画像５０に写っているサンプルの種類に応じた学習済みモデルを選択すると、画像処理部２０は、利用者によって選択された学習済みモデルを選択する（ステップＳ３）。ここでは、画像処理部２０の選択部４１が、利用者の選択に従って、細胞核用の学習済みモデルＭ１を複数の学習済みモデルＭから選択する。
　さらに、利用者が入力装置２４を用いて実行ボタンを押下すると、画像処理部２０は、ステップＳ３で選択した学習済みモデルを用いて入力画像５０を変換する（ステップＳ４）。ここでは、画像処理部２０の画像変換部４２が、ステップＳ１で取得した入力画像５０にステップＳ３で選択した学習済みモデルＭ１を適用し、入力画像５０よりもノイズが低減された出力画像を生成する。
　最後に、画像処理部２０は、ステップＳ４で得られた変換後の画像を表示する（ステップＳ５）。ここでは、画像処理部２０が、ステップＳ４で生成された出力画像を出力装置２５に表示する。出力画像は、入力画像５０と並べて表示されてもよく、また、ポップアップ形式で表示されてもよい。
　以上のように、本実施形態に係るシステム１では、単一の学習済みモデルが有する画質改善性能が入力画像に写っているサンプルの種類に依存して異なることに着目し、サンプルの種類毎に学習済みモデルＭを予め用意している。つまり、それぞれのサンプルに対して最適化された学習済みモデルＭが用意されている。そして、利用者に、サンプルの種類毎に生成された複数の学習済みモデルＭの中から入力画像５０に写っているサンプルの種類に応じた学習済みモデルを選択させる。なお、利用者が選択した学習済みモデルに対応するサンプルの種類は、入力画像５０に写っているサンプルの種類に必ずしも一致しなくてもよい。利用者は、入力画像５０に写っているサンプルに似通った形状を有するサンプルの画像を用いて学習した学習済みモデルを選択すればよい。
　学習済みモデルが有する画質改善性能がサンプルの違いによって異なるのは、サンプル毎に形状が異なることが主要な原因である。このような課題に対して、システム１は、入力画像５０に写っているサンプルによらず、入力画像５０に似通った画像を用いて学習した学習済みモデルを適用することが可能である。従って、入力画像５０として形状が異なるさまざまなサンプルの画像が入力される場合であっても、入力画像５０によらず安定した画質改善性能を発揮することができる。このため、システム１によれば、システム１全体として画質を改善する画像処理において高い汎化性能を実現することができる。
　また、システム１によれば、画像処理によって画質を改善することができる。画像取得部１０でより高い画質の画像を取得する場合、画質以外の面で画質とのトレードオフが生じることがある。例えば、ノイズ低減のために露光時間が長くすると、画像取得に時間がかかってしまう。また、照明強度を高くするとサンプルへのダメージが増加してしまう。また、解像度向上のために開口数を高めると、浸液の使用が必要となってしまう。特に高い開口数の場合、浸液としてオイルの使用が必要であり、クリーニングなど利用者が行う作業量を増加させてしまう。また、対物レンズの倍率を高めると、観察範囲が狭くなってしまう。また、収差補正のためにより高性能な対物レンズを用いると、装置に掛かるコストが上がってしまう。システム１では、画像処理によって画質を改善することで、これらの不利益を回避することができる。
　ところで、入力画像５０の画質範囲によっても単一の学習済みモデルが有する画質改善性能が異なる。学習済みモデルが有する画質改善性能が画質範囲の違いによって異なるのは、画質範囲によって画像の見た目が異なることが主要な原因である。その結果、例えば、中程度のノイズレベルの画像を低いノイズレベルの画像に変換可能な学習済みモデルに高いノイズレベルの画像を入力しても、十分にノイズレベルは低減されないことがある。また、高いノイズレベルの画像を低いノイズレベルの画像に変換可能な学習済みモデルに中程度のノイズレベルの画像を入力すると、シグナルが弱くなるなどの影響が生じることがある。
　このため、上述した第１の実施形態では、サンプルの種類毎に学習済みモデルを用意した例を示したが、画質改善前の画質範囲毎に学習済みモデルを用意してもよい。この場合、記憶部４３に記憶される複数の学習済みモデルの各々は、他の学習済みモデルとは少なくとも画質範囲の異なる画像を用いて学習した学習済みモデルであるという点が、上述した第１の実施形態とは異なっている。
　図７は、複数の学習済みモデルの別の例を説明するための図である。図８から図１０は、それぞれ、画像処理部２０が表示する画面の別の例を示した図である。以下、図７から図１０を参照しながら、第１の実施形態の変形例について説明する。
　変形例では、記憶部４３に記憶されている、ノイズを改善する複数の学習済みモデルの各々は、他の学習済みモデルとは少なくともノイズレベルの範囲が異なる画像を用いて学習した学習済みモデルである。具体的には、複数の学習済みモデルの各々は、ペアを構成する画像のうちモデルへの入力に利用される画像の露光時間が他の学習済みモデルのそれとは異なっている。図７の例では、学習済みモデルＭ４は、ペアを構成する画像のうちモデルへの入力に利用される画像に比較的短い露光時間で撮像された画像を使用したモデルである。学習済みモデルＭ５は、ペアを構成する画像のうちモデルへの入力に利用される画像に中程度の露光時間で撮像された画像を使用したモデルである。学習済みモデルＭ６は、ペアを構成する画像のうちモデルへの入力に利用される画像に比較的長い露光時間で撮像された画像を使用したモデルである。
　また、記憶部４３に記憶されている、解像度を改善する複数の学習済みモデルの各々は、他の学習済みモデルとは少なくとも解像度の範囲が異なる画像を用いて学習した学習済みモデルである。具体的には、複数の学習済みモデルの各々は、例えば、ペアを構成する画像のうちモデルへの入力に利用される画像の撮像時に使用した対物レンズの開口数が他の学習済みモデルのそれとは異なっている。即ち、複数の学習済みモデルの各々は、他の学習済みモデルとは異なる開口数の対物レンズを用いて取得した画像で学習した学習済みモデルである。
　また、記憶部４３に記憶されている、収差レベルを改善する複数の学習済みモデルの各々は、他の学習済みモデルとは少なくとも収差レベルの範囲が異なる画像を用いて学習した学習済みモデルである。具体的には、複数の学習済みモデルの各々は、例えば、ペアを構成する画像のうちモデルへの入力に利用される画像の撮像時に使用した対物レンズの収差性能が他の学習済みモデルのそれとは異なっている。即ち、複数の学習済みモデルの各々は、他の学習済みモデルとは異なる収差性能を有する対物レンズを用いて取得した画像で学習した学習済みモデルである。
　変形例では、画像処理部２０は、タブ６１が選択された場合には、図８に示す画面Ｇ２を出力装置２５に表示する。利用者は、画面Ｇ２を参照することで、各学習済みモデルが対処するノイズレベルを把握することができる。例えば、学習済みモデルＭ４であれば露光時間が短い画像、つまり、ノイズの大きな画像に対処可能であることを把握することができる。このため、利用者は、入力画像５０のノイズレベルに応じて学習済みモデルを学習済みモデルＭ４から学習済みモデルＭ６の中から選択することが可能である。従って、システム１は、入力画像５０のノイズレベルによらず安定したノイズ低減性能を発揮することができる。
　また、画像処理部２０は、タブ６２が選択された場合には、図９に示す画面Ｇ３を出力装置２５に表示する。利用者は、画面Ｇ３を参照することで、各学習済みモデルが対処する解像度を把握することができる。例えば、学習済みモデルＭ７であればＮＡ０．８程度の画像をＮＡ１．１程度の画像に変換可能であることを把握することができる。このため、利用者は、入力画像５０の解像度に応じて学習済みモデルを学習済みモデルＭ７から学習済みモデルＭ９の中から選択することができるため、入力画像５０の解像度によらず安定した解像度改善性能を発揮することができる。
　また、画像処理部２０は、タブ６３が選択された場合には、図１０に示す画面Ｇ４を出力装置２５に表示する。利用者は、画面Ｇ４を参照することで、各学習済みモデルが対処する収差レベルを把握することができる。例えば、学習済みモデルＭ１０であればアクロマートレベルの収差補正状態をさらに改善可能であることを把握することができる。このため、利用者は、入力画像５０の収差レベルに応じて学習済みモデルを学習済みモデルＭ１０から学習済みモデルＭ１２の中から選択することが可能である。従って、システム１は、入力画像５０の収差レベルによらず安定した収差補正性能を発揮することができる。
　以上のように、変形例によっても、システム１は、第１の実施形態と同様に、システム１全体として画質を改善する画像処理において高い汎化性能を実現することができる。また、画像処理によって画質改善が達成されるため、画像取得部１０でより高い画質の画像を取得することによって生じる不利益を回避することができる。
　なお、以上では、画像のノイズレベルを分類する方法として露光時間を利用する例を示したが、ノイズレベルの分類には、例えば、照明強度を利用してもよく、露光時間と照明強度の組み合わせを利用してもよい。また、画像取得装置のタイプによってもノイズレベルやノイズの出方には違いが生じる。具体的には、例えば、レーザ走査型顕微鏡で取得した画像と、デジタルカメラを有する広視野顕微鏡で取得した画像とは、ノイズレベルやノイズの出方が異なる。このため、ノイズレベルの分類には、画像取得装置のタイプを利用してもよい。レーザ走査型顕微鏡で取得した画像で学習した学習済みモデルと、広視野顕微鏡で取得した画像で学習した学習済みモデルを用意して、入力画像を取得した画像取得装置に応じて学習済みモデルを選択してもよい。また、画像の解像度を分類する方法として対物レンズの開口数を利用する例を示したが、解像度の分類は、レーザ走査型顕微鏡で画像を取得する場合であれば、共焦点ピンホール径などの光学分解能に影響する他の指標を利用してもよい。また、光学分解能に影響する指標の他に、対物レンズの倍率、デジタルズーム、スキャンサイズなどの画素分解能に影響する指標を利用してもよい。また、これらの指標を組みあわせて利用してもよい。即ち、複数の学習済みモデルの各々は、他の学習済みモデルとは異なる共焦点ピンホール径を有するレーザ走査型顕微鏡で取得した画像で学習した学習済みモデルであってもよく、他の学習済みモデルとは異なる画素分解能で取得した画像で学習した学習済みモデルであってもよい。
　また、以上では、学習データに含まれる画像の画質範囲を、撮像時における画像取得部１０の設定（例えば、使用する対物レンズなどのデバイスそのもの、露光時間などのデバイスに対する設定）を用いて分類する例を示したが、画質範囲は、画像取得部１０の設定以外から分類してもよい。例えば、画像を観察した人間が主観的に分類してもよい。
［第２の実施形態］
　図１１は、複数の学習済みモデルの更に別の例を説明するための図である。図１２は、画像処理部２０が表示する画面の更に別の例を示した図である。以下、図１１及び図１２を参照しながら、第２の実施形態について説明する。
　本実施形態では、記憶部４３に記憶されている、ノイズを改善する複数の学習済みモデルの各々は、他の学習済みモデルとは少なくともノイズレベルの範囲とサンプルの種類の組み合わせが異なる画像を用いて学習した学習済みモデルである。即ち、図１１に示すように、ノイズレベルの範囲とサンプルの種類の組み合わせ毎に学習済みモデルが用意されている。具体的には、複数の学習済みモデルの各々は、ペアを構成する画像のうちモデルへの入力に利用される画像の露光時間とサンプルの種類の組み合わせが他の学習済みモデルのそれとは異なっている。図１１の例では、学習済みモデルＭ４１からＭ４３は、ペアを構成する画像のうちモデルへの入力に利用される画像に比較的短い露光時間で撮像された画像を使用したモデルであり、互いに異なるサンプルの画像を使用したモデルである。学習済みモデルＭ５１からＭ５３は、ペアを構成する画像のうちモデルへの入力に利用される画像に中程度の露光時間で撮像された画像を使用したモデルであり、互いに異なるサンプルの画像を使用したモデルである。学習済みモデルＭ６１からＭ６３は、ペアを構成する画像のうちモデルへの入力に利用される画像に比較的長い露光時間で撮像された画像を使用したモデルであり、互いに異なるサンプルの画像を使用したモデルである。
　また、記憶部４３に記憶されている、解像度を改善する複数の学習済みモデルの各々は、他の学習済みモデルとは少なくとも解像度の範囲とサンプルの種類の組み合わせが異なる画像を用いて学習した学習済みモデルである。さらに、記憶部４３に記憶されている収差レベルを改善する複数の学習済みモデルの各々は、他の学習済みモデルとは少なくとも収差レベルの範囲とサンプルの種類の組み合わせが異なる画像を用いて学習した学習済みモデルである。
　本実施形態では、画像処理部２０は、タブ６１が選択された場合には、図１２に示す画面Ｇ５を出力装置２５に表示する。利用者は、画面Ｇ５を参照することで、各学習済みモデルが対処するノイズレベルとサンプルの組み合わせを把握することができる。例えば、学習済みモデルＭ４１であれば、サンプルが細胞核で、且つ、露光時間が短い画像、つまり、ノイズの大きな画像に対処可能であることを把握することができる。このため、利用者は、入力画像５０のサンプルとノイズレベルの組み合わせに応じて学習済みモデルを学習済みモデルＭ４１から学習済みモデルＭ６３の中から選択することが可能である。従って、システム１は、入力画像５０のサンプルとノイズレベルの組み合わせによらず安定したノイズ低減性能を発揮することができる。
　以上のように、本実施形態によれば、システム１は、システム１全体として画質を改善する画像処理において、第１の実施形態よりもさらに高い汎化性能を実現することができる。また、画像処理によって画質改善が達成されるため、画像取得部１０でより高い画質の画像を取得することによって生じる不利益を回避することができる。
［第３の実施形態］
　図１３は、本実施形態に係る画像処理部２０の機能構成を例示した図である。図１４は、類似度に基づく学習済みモデルの選択を説明するための図である。以下、図１３及び図１４を参照しながら、第３の実施形態について説明する。
　本実施形態では、画像処理部２０は、図１３に示すように、複数の学習済みモデルＭ１１～Ｍ１３の中から学習済みモデルを選択する選択部７１と、選択部７１で選択された学習済みモデルを用いて画像変換を行う画像変換部７２と、複数の学習済みモデルＭ１１～Ｍ１３を記憶する記憶部７３を備えている。本実施形態に係る画像処理部２０は、以下の２点が第１の実施形態に係る画像処理部２０とは異なっている。
　まず、１点目は、記憶部７３が複数の学習済みモデルＭ１１～Ｍ１３と関連付けて複数の学習済みモデルの特徴を示す複数のモデル補足情報ＭＳ１１～ＭＳ１３を記憶している点である。複数の学習済みモデルＭ１１～Ｍ１３が、他の学習済みモデルとは少なくともサンプルの種類の異なる画像で学習した学習済みモデルである場合には、複数のモデル補足情報ＭＳ１１～ＭＳ１３は、例えば、複数の学習済みモデルＭ１１～Ｍ１３のサンプルの種類に対応する複数の代表画像である。代表画像は、サンプルの形状的特徴をよく捉えた画像であることが望ましい。
　２点目は、選択部７１が入力画像５０と複数のモデル補足情報ＭＳ１１～ＭＳ１３とに基づいて複数の学習済みモデルＭ１１～Ｍ１３から画像変換に用いられる学習済みモデルを選択する点である。選択部７１は、例えば、入力画像５０と複数の代表画像（モデル補足情報ＭＳ１１～ＭＳ１３）の各々を比較して、その比較結果に基づいて学習済みモデルを選択してもよい。より具体的には、選択部７１は、図１４に示すように、入力画像５０と複数の代表画像（モデル補足情報ＭＳ１１～ＭＳ１３）の各々を比較して類似度を算出し、類似度の最も高い代表画像に対応する学習済みモデルを選択してもよい。なお、類似度は、例えば局所特徴量を算出するアルゴリズムなど、公知の任意のアルゴリズムを利用して算出してもよい。また、類似度は、予め類似した画像を学習した学習済みモデルを用いて算出してもよい。図１４に示す例では、モデル補足情報ＭＳ１１である代表図に対応する学習済みモデルＭ１１が、画像変換に用いられる学習済みモデルとして選択される。
　本実施形態では、入力画像５０に応じた学習済みモデルの選択が画像処理部２０によって自動的に行われる。このため、利用者は、画質改善対象の画像を選択するだけで、画質が改善された画像を得ることができる。また、画像処理部２０によって適切に学習済みモデルの選択が行われるため、システム１全体として、画質を改善する画像処理において高い汎化性能を実現することができる。
　なお、複数のモデル補足情報ＭＳ１１～ＭＳ１３が画像である例を示したがモデル補足情報は画像に限らない。複数の学習済みモデルＭ１１～Ｍ１３が、他の学習済みモデルとは少なくとも画質範囲の異なる画像で学習した学習済みモデルである場合には、複数のモデル補足情報ＭＳ１１～ＭＳ１３は、複数の学習済みモデルＭ１１～Ｍ１３の学習に用いられた画像の画質範囲に対応する複数のモデル画質情報であってもよく、より具体的には、モデル画質情報は、例えば、数値化されたノイズレベルなどであってもよい。
　モデル画質情報は、数値化されたノイズレベルである場合、選択部７１は、入力画像５０から入力画像５０のノイズレベルを入力画質情報として算出する。入力画像５０のノイズレベルは、特に限定しないが、例えば、画像中の背景部分における輝度の分散として算出されてもよい。輝度分散が大きいほどノイズが大きいと評価できるからである。さらに、選択部７１は、入力画質情報と複数のモデル画質情報との比較結果に基づいて、複数の学習済みモデルＭ１１～Ｍ１３から画像変換に用いられる学習済みモデルを選択する。より具体的には、選択部７１は、例えば、入力画像５０のノイズレベルに最も近いノイズレベルに対応する学習済みモデルを、画像変換に用いられる学習済みモデルとして選択してもよい。この場合も、利用者は、画質改善対象の画像を選択するだけで、画質が改善された画像を得ることができる。
［第４の実施形態］
　図１５は、本実施形態に係る画像処理部２０の機能構成を例示した図である。以下、図１５を参照しながら、第４の実施形態について説明する。
　本実施形態では、画像処理部２０は、図１５に示すように、複数の学習済みモデルＭ２１～Ｍ２３の中から学習済みモデルを選択する選択部８１と、選択部８１で選択された学習済みモデルを用いて画像変換を行う画像変換部８２と、複数の学習済みモデルＭ２１～Ｍ２３を記憶する記憶部８３を備えている。本実施形態に係る画像処理部２０は、以下の２点が第１の実施形態に係る画像処理部２０とは異なっている。
　まず、１点目は、記憶部８３が複数の学習済みモデルＭ２１～Ｍ２３と関連付けて複数の学習済みモデルの特徴を示す複数のモデル補足情報ＭＳ２１～ＭＳ２３を記憶している点である。なお、記憶部８３に記憶されている複数の学習済みモデルＭ２１～Ｍ２３は、他の学習済みモデルとは少なくとも画質範囲の異なる画像で学習した学習済みモデルである。
　２点目は、選択部８１が画像取得部１０の設定情報を取得し、取得した設定情報と複数のモデル補足情報ＭＳ２１～ＭＳ２３とに基づいて複数の学習済みモデルＭ２１～Ｍ２３から画像変換に用いられる学習済みモデルを選択する点である。具体的には、選択部８１は、例えば、入力画像５０を取得した顕微鏡システム１３から顕微鏡システム１３の分解能の情報を取得する。顕微鏡システム１３がレーザ走査型顕微鏡の場合であれば、例えば、対物レンズの開口数、対物レンズの倍率、ガルバノスキャナのスキャンサイズ（例えば、512×512,1024×1024）、ピンホール径などを取得する。さらに、選択部８１は、これらの情報から入力画像５０の解像度を算出し、記憶部８３から読み出した複数のモデル補足情報ＭＳ２１～ＭＳ２３によって特定される解像度と比較する。比較の結果、選択部８１は、例えば、入力画像５０の解像度に最も近い解像度を示すモデル補足情報を選択し、そのモデル補足情報に対応する学習済みモデルを、画像変換に用いられる学習済みモデルとして選択する。
　本実施形態では、画像取得部１０から設定情報を取得することで、第３の実施形態と同様に、入力画像５０に応じた学習済みモデルの選択が画像処理部２０によって自動的に行われる。このため、利用者は、画質改善対象の画像を選択するだけで、画質が改善された画像を得ることができる。また、画像処理部２０が適切な学習済みモデルを選択することで、システム１全体として、画質を改善する画像処理において高い汎化性能を実現することができる点も、第３の実施形態と同様である。
　上述した実施形態は、発明の理解を容易にするための具体例を示したものであり、本発明の実施形態はこれらに限定されるものではない。上述した実施形態の一部を他の実施形態に適用しても良い。画像処理システム、画像処理方法、及び、プログラムは、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。
　上述した実施形態では、入力画像に適した学習済みモデルが１つに特定される例を示したが、画像処理部２０には、入力画像に適した複数の学習済みモデルであって、画質改善の程度の異なるものが記憶されてもよい。この場合、図１６に示すように、画面Ｇ６上に、画質改善の程度を指定するコントロール（この例ではラジオボタン）を設けてもよく、利用者が希望する画質改善の程度に基づいて、１つの学習済みモデルを特定してもよい。これにより、画質と画像処理に伴う副作用とのバランスを利用者自らが選択することが可能となる。
１　　システム
１０　画像取得部
２０　画像処理部
２１　プロセッサ
２２　メモリ
４１、７１、８１　選択部
４２、７２、８２　画像変換部
４３、７３、８３　記憶部
５０　入力画像
Ｍ、Ｍ１～Ｍ６、Ｍ１１～Ｍ１３、Ｍ２１～Ｍ２３、Ｍ４１～Ｍ４３、Ｍ５１～Ｍ５３、Ｍ６１～Ｍ６３　学習済みモデル
ＭＳ１１～ＭＳ１３、ＭＳ２１～ＭＳ２３　モデル補足情報

Claims (17)

  1. 　入力画像を前記入力画像よりも高い画質を有する出力画像に変換する画像変換を学習した複数の学習済みモデルの中から学習済みモデルを選択する選択部と、
    　前記選択部で選択された学習済みモデルを用いて前記画像変換を行う画像変換部と、を備え、
    　前記複数の学習済みモデルの各々は、他の学習済みモデルとは少なくともサンプルの種類の異なる画像で学習した学習済みモデル、又は、他の学習済みモデルとは少なくとも画質範囲の異なる画像で学習した学習済みモデルである
    ことを特徴とする画像処理システム。
  2. 　請求項１に記載の画像処理システムにおいて、さらに、
    　前記複数の学習済みモデルを記憶する記憶部を備える
    ことを特徴とする画像処理システム。
  3. 　請求項１又は請求項２に記載の画像処理システムにおいて、
    　前記複数の学習済みモデルの各々は、他の学習済みモデルとは少なくとも画質範囲の異なる画像で学習した学習済みモデルであり、
    　前記出力画像は、前記入力画像よりも低いノイズレベルを有し、
    　前記画質範囲は、ノイズレベルの範囲を含む
    ことを特徴とする画像処理システム。
  4. 　請求項３に記載の画像処理システムにおいて、
    　前記複数の学習済みモデルの各々は、他の学習済みモデルとは異なるタイプの画像取得装置で取得した画像で学習した学習済みモデルである
    ことを特徴とする画像処理システム。
  5. 　請求項１又は請求項２に記載の画像処理システムにおいて、
    　前記複数の学習済みモデルの各々は、他の学習済みモデルとは少なくとも画質範囲の異なる画像で学習済みモデルであり、
    　前記出力画像は、前記入力画像よりも高い解像度を有し、
    　前記画質範囲は、解像度の範囲を含む
    ことを特徴とする画像処理システム。
  6. 　請求項５に記載の画像処理システムにおいて、
    　前記複数の学習済みモデルの各々は、他の学習済みモデルとは異なる開口数の対物レンズを用いて取得した画像で学習した学習済みモデルである
    ことを特徴とする画像処理システム。
  7. 　請求項５に記載の画像処理システムにおいて、
    　前記複数の学習済みモデルの各々は、他の学習済みモデルとは異なる画素分解能で取得した画像で学習した学習済みモデルである
    ことを特徴とする画像処理システム。
  8. 　請求項５に記載の画像処理システムにおいて、
    　前記複数の学習済みモデルの各々は、互いに異なる共焦点ピンホール径を有するレーザ走査型顕微鏡で取得した画像で学習した学習済みモデルである
    ことを特徴とする画像処理システム。
  9. 　請求項１又は請求項２に記載の画像処理システムにおいて、
    　前記複数の学習済みモデルの各々は、他の学習済みモデルとは少なくとも画質範囲の異なる画像で学習した学習済みモデルであり、
    　前記出力画像は、前記入力画像よりも低い収差レベルを有し、
    　前記画質範囲は、収差レベルの範囲を含む
    ことを特徴とする画像処理システム。
  10. 　請求項９に記載の画像処理システムにおいて、
    　前記複数の学習済みモデルの各々は、他の学習済みモデルとは異なる収差性能を有する対物レンズを用いて取得した画像で学習した学習済みモデルである
    ことを特徴とする画像処理システム。
  11. 　請求項２に記載の画像処理システムにおいて、
    　前記記憶部は、前記複数の学習済みモデルと関連付けて前記複数の学習済みモデルの特徴を示す複数のモデル補足情報を記憶し、
    　前記選択部は、前記入力画像と、前記複数のモデル補足情報と、に基づいて、前記複数の学習済みモデルから前記画像変換に用いられる学習済みモデルを選択する
    ことを特徴とする画像処理システム。
  12. 　請求項１１に記載の画像処理システムにおいて、
    　前記複数の学習済みモデルの各々は、他の学習済みモデルとは少なくともサンプルの種類の異なる画像で学習した学習済みモデルであり、
    　前記複数のモデル補足情報は、前記複数の学習済みモデルのサンプルの種類に対応する複数の代表画像であり、
    　前記選択部は、前記入力画像と前記複数の代表画像との比較結果に基づいて、前記複数の学習済みモデルから前記画像変換に用いられる学習済みモデルを選択する
    ことを特徴とする画像処理システム。
  13. 　請求項１１に記載の画像処理システムにおいて、
    　前記複数の学習済みモデルの各々は、他の学習済みモデルとは少なくとも画質範囲の異なる画像で学習した学習済みモデルであり、
    　前記複数のモデル補足情報は、前記複数の学習済みモデルの学習に用いられた画像の画質範囲に対応する複数のモデル画質情報であり、
    　前記選択部は、前記入力画像から算出される入力画質情報と前記複数のモデル画質情報との比較結果に基づいて、前記複数の学習済みモデルから前記画像変換に用いられる学習済みモデルを選択する
    ことを特徴とする画像処理システム。
  14. 　請求項２に記載の画像処理システムにおいて、
    　前記複数の学習済みモデルの各々は、他の学習済みモデルとは少なくとも画質範囲の異なる画像で学習した学習済みモデルであり、
    　前記記憶部は、前記複数の学習済みモデルと関連付けて前記複数の学習済みモデルの特徴を示す複数のモデル補足情報を記憶し、
    　前記選択部は、前記入力画像を取得する画像取得部の設定情報と、前記複数のモデル補足情報と、に基づいて、前記複数の学習済みモデルから前記画像変換に用いられる学習済みモデルを選択する
    ことを特徴とする画像処理システム。
  15. 　請求項１乃至請求項１４のいずれか１項に記載の画像処理システムにおいて、さらに、
    　前記画像変換部へ入力する前記入力画像を取得する画像取得部を備える
    ことを特徴とする画像処理システム。
  16. 　入力画像を前記入力画像よりも高い画質を有する出力画像に変換する画像変換を学習した複数の学習済みモデルの中から学習済みモデルを選択し、
    　選択した学習済みモデルを用いて前記画像変換を行い、
    　前記複数の学習済みモデルの各々は、他の学習済みモデルとは少なくともサンプルの種類の異なる画像で学習した学習済みモデル、又は、他の学習済みモデルとは少なくとも画質範囲の異なる画像で学習した学習済みモデルである
    ことを特徴とする画像処理方法。
  17. 　コンピュータに、
    　入力画像を前記入力画像よりも高い画質を有する出力画像に変換する画像変換を学習した複数の学習済みモデルの中から学習済みモデルを選択し、
    　選択した学習済みモデルを用いて前記画像変換を行い、
    　前記複数の学習済みモデルの各々は、他の学習済みモデルとは少なくともサンプルの種類の異なる画像で学習した学習済みモデル、又は、他の学習済みモデルとは少なくとも画質範囲の異なる画像で学習した学習済みモデルである
    処理を実行させることを特徴とするプログラム。
     
PCT/JP2019/044942 2019-11-15 2019-11-15 画像処理システム、画像処理方法、及び、プログラム WO2021095256A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021555765A JPWO2021095256A1 (ja) 2019-11-15 2019-11-15
PCT/JP2019/044942 WO2021095256A1 (ja) 2019-11-15 2019-11-15 画像処理システム、画像処理方法、及び、プログラム
US17/731,407 US20220252857A1 (en) 2019-11-15 2022-04-28 Image processing system, image processing method, and computer-readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/044942 WO2021095256A1 (ja) 2019-11-15 2019-11-15 画像処理システム、画像処理方法、及び、プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/731,407 Continuation US20220252857A1 (en) 2019-11-15 2022-04-28 Image processing system, image processing method, and computer-readable medium

Publications (1)

Publication Number Publication Date
WO2021095256A1 true WO2021095256A1 (ja) 2021-05-20

Family

ID=75912095

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/044942 WO2021095256A1 (ja) 2019-11-15 2019-11-15 画像処理システム、画像処理方法、及び、プログラム

Country Status (3)

Country Link
US (1) US20220252857A1 (ja)
JP (1) JPWO2021095256A1 (ja)
WO (1) WO2021095256A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023276327A1 (ja) * 2021-06-29 2023-01-05 浜松ホトニクス株式会社 光学画像処理方法、機械学習方法、学習済みモデル、機械学習の前処理方法、光学画像処理モジュール、光学画像処理プログラム、及び光学画像処理システム
WO2023162394A1 (ja) * 2022-02-25 2023-08-31 株式会社Ｓｃｒｅｅｎホールディングス モデル選定方法および画像処理方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202143119A (zh) * 2020-05-07 2021-11-16 瑞典商安訊士有限公司 在具有光強度廣泛範圍的場景中利用神經網路之物件偵測
WO2022068735A1 (en) * 2020-09-30 2022-04-07 Splitmedialabs Limited Computing platform using machine learning for foreground mask estimation

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007189589A (ja) * 2006-01-16 2007-07-26 Sony Corp 情報処理装置および情報処理方法、学習装置および学習方法、並びにプログラム
WO2018037521A1 (ja) * 2016-08-25 2018-03-01 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体
JP2018195069A (ja) * 2017-05-17 2018-12-06 キヤノン株式会社 画像処理装置および画像処理方法
WO2018225133A1 (ja) * 2017-06-05 2018-12-13 楽天株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP2018206371A (ja) * 2017-06-02 2018-12-27 三菱電機株式会社 コンピューター実施画像再構成システムおよび画像再構成方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6668278B2 (ja) * 2017-02-20 2020-03-18 株式会社日立ハイテク 試料観察装置および試料観察方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007189589A (ja) * 2006-01-16 2007-07-26 Sony Corp 情報処理装置および情報処理方法、学習装置および学習方法、並びにプログラム
WO2018037521A1 (ja) * 2016-08-25 2018-03-01 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体
JP2018195069A (ja) * 2017-05-17 2018-12-06 キヤノン株式会社 画像処理装置および画像処理方法
JP2018206371A (ja) * 2017-06-02 2018-12-27 三菱電機株式会社 コンピューター実施画像再構成システムおよび画像再構成方法
WO2018225133A1 (ja) * 2017-06-05 2018-12-13 楽天株式会社 画像処理装置、画像処理方法、および画像処理プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023276327A1 (ja) * 2021-06-29 2023-01-05 浜松ホトニクス株式会社 光学画像処理方法、機械学習方法、学習済みモデル、機械学習の前処理方法、光学画像処理モジュール、光学画像処理プログラム、及び光学画像処理システム
WO2023162394A1 (ja) * 2022-02-25 2023-08-31 株式会社Ｓｃｒｅｅｎホールディングス モデル選定方法および画像処理方法

Also Published As

Publication number Publication date
US20220252857A1 (en) 2022-08-11
JPWO2021095256A1 (ja) 2021-05-20

Similar Documents

Publication Publication Date Title
WO2021095256A1 (ja) 画像処理システム、画像処理方法、及び、プログラム
JP5589366B2 (ja) 情報処理装置、情報処理方法及びそのプログラム
WO2013100025A9 (ja) 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム
CN1691740B (zh) 放大显示装置以及放大显示方法
US9014443B2 (en) Image diagnostic method, image diagnostic apparatus, and image diagnostic program
US11169368B2 (en) Method and system for localisation microscopy
JPWO2021095256A5 (ja)
JPWO2007097170A1 (ja) スペクトル画像処理方法、コンピュータ実行可能なスペクトル画像処理プログラム、スペクトルイメージングシステム
JP2017000839A (ja) 医療用画像処理装置、および医療用画像処理装置の作動方法
US20130249952A1 (en) Drawing data generation apparatus, drawing data generation method, program, and drawing data generation system
WO2016092940A1 (ja) 情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラム
JP2014115609A (ja) 撮像装置、顕微鏡システム及び撮像方法
WO2019181072A1 (ja) 画像処理方法、コンピュータプログラムおよび記録媒体
JP5469859B2 (ja) 画像処理装置及びプログラム
JP2016139397A (ja) 画像処理装置、画像処理方法、画像表示装置およびコンピュータプログラム
EP3859304A1 (en) Method for generating data for particle analysis, program for generating data for particle analysis, and device for generating data for particle analysis
KR20170018774A (ko) 화상 표시 장치, 화상 표시 방법 및 기억 매체
JP2017049686A (ja) 画像処理装置
JP5119111B2 (ja) 顕微鏡装置
JP2023033982A (ja) 画像処理装置、画像処理システム、画像の鮮鋭化方法、及び、プログラム
JP2012018816A5 (ja)
Huang et al. Resolution improvement in real-time and video mosaicing for fiber bundle imaging
JP5326881B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
RU2009134147A (ru) Способ поддержки различения корнеоцитов
JP5176747B2 (ja) 画像フィルタ生成装置、画像フィルタ生成方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19952449

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021555765

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19952449

Country of ref document: EP

Kind code of ref document: A1