WO2021090469A1 - 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法 - Google Patents

情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法 Download PDF

Info

Publication number
WO2021090469A1
WO2021090469A1 PCT/JP2019/043806 JP2019043806W WO2021090469A1 WO 2021090469 A1 WO2021090469 A1 WO 2021090469A1 JP 2019043806 W JP2019043806 W JP 2019043806W WO 2021090469 A1 WO2021090469 A1 WO 2021090469A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
resolution
processing
imaging system
learning
Prior art date
Application number
PCT/JP2019/043806
Other languages
English (en)
French (fr)
Inventor
直 菊地
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2021554529A priority Critical patent/JP7303896B2/ja
Priority to PCT/JP2019/043806 priority patent/WO2021090469A1/ja
Priority to CN201980101970.1A priority patent/CN114651439B/zh
Publication of WO2021090469A1 publication Critical patent/WO2021090469A1/ja
Priority to US17/731,627 priority patent/US20220253979A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present invention relates to an information processing system, an endoscope system, a learned model, an information storage medium, an information processing method, and the like.
  • Patent Document 1 discloses a technique for super-resolution of an input image using a trained model obtained by deep learning.
  • the high-resolution image actually captured by the high-resolution image sensor is used as the teacher data, and the high-resolution image is simply reduced to generate a low-resolution image corresponding to the input image at the time of inference.
  • a low-resolution image is input to the learning model, and deep learning is performed based on the output image output by the learning model and the high-resolution image which is the teacher data.
  • a low resolution image is generated by simply reducing a high resolution image.
  • This low-resolution image has different properties from the image actually taken by the low-resolution image sensor.
  • the resolution is different between the low-resolution image generated by simple reduction and the image taken by the low-resolution image sensor because the optical system is not taken into consideration.
  • the low-resolution image generated by simple reduction cannot accurately reproduce the resolution equivalent to the input image at the time of inference, so the trained model learned using the low-resolution image.
  • One aspect of the present invention is to process a processing target image captured by a storage unit that stores a trained model, a processing unit, and a second imaging system that captures images having a lower resolution than the first imaging system.
  • the trained model includes an input unit to be input to, and the trained model is a trained model trained to restore a low-resolution learning image to a high-resolution learning image.
  • the image is a high-resolution image of a predetermined subject taken by the first imaging system, and the low-resolution learning image is generated by lowering the resolution of the high-resolution learning image.
  • the low-resolution processing is a process of generating a low-resolution image as if the predetermined subject was imaged by the second imaging system, and the resolution characteristics of the optical system of the second imaging system are improved.
  • An information processing system that includes an optical system simulating process to simulate, and the processing unit uses the trained model to resolve and restore the image to be processed to the resolution when the image to be processed is captured by the first imaging system.
  • Another aspect of the present invention is a processor unit having the information processing system described above, and an endoscope scope connected to the processor unit to capture an image to be processed and transmit it to the input unit. Including endoscopic systems.
  • the image to be processed captured by the second imaging system that captures images having a lower resolution than that of the first imaging system is resolved to the resolution when the image is captured by the first imaging system.
  • a trained model that causes a computer to function so as to restore an image.
  • the trained model is trained to restore a low-resolution learning image to a high-resolution learning image, and the high-resolution learning image is restored.
  • the learning image is a high-resolution image of a predetermined subject taken by the first imaging system, and the low-resolution learning image is obtained by processing the high-resolution learning image to a low resolution.
  • the generated low-resolution processing is a process of generating a low-resolution image as if the predetermined subject was imaged by the second imaging system, and is a resolution characteristic of the optical system of the second imaging system. It pertains to a trained model that includes an optical system simulation process that simulates.
  • Yet another aspect of the present invention relates to an information storage medium that stores the trained model described above.
  • Still another aspect of the present invention is an information processing method that performs resolution restoration using a trained model, in which the trained model resolves a low-resolution learning image into a high-resolution learning image.
  • the high-resolution learning image learned to be restored is a high-resolution image of a predetermined subject taken by the first imaging system
  • the low-resolution learning image is the high-resolution learning image.
  • the image is generated by low-resolution processing, and the low-resolution processing is a process for generating a low-resolution image as if the predetermined subject was captured by the second imaging system.
  • the second imaging system which includes an optical system simulating process for simulating the resolution characteristics of the optical system of the imaging system and uses the trained model to perform imaging with a lower resolution than the first imaging system. It relates to an information processing method for resolving and restoring an image to be processed to be imaged to the resolution when the image is imaged by the first imaging system.
  • the configuration example of the information processing system in the first modification and the processing flow of the model creation process An example of a complementary color image sensor. An example of a mixed image sensor.
  • the configuration example of the information processing system in the sixth modification and the processing flow of the model creation process Configuration example of the learning device.
  • a second configuration example of an endoscope system. The processing flow of the blur processing of the first method.
  • the present embodiment described below does not unreasonably limit the content of the present invention described in the claims. Moreover, not all of the configurations described in the present embodiment are essential constituent requirements of the present invention.
  • the case where the information processing system is applied to a medical endoscope will be described below as an example, but the present invention is not limited to this, and the information processing system of the present invention can be applied to various imaging systems or video display systems.
  • the information processing system of the present invention can be applied to a still camera, a video camera, a television receiver, a microscope, or an industrial endoscope.
  • the endoscope has the advantage that the smaller the probe diameter, the less invasive the patient can be examined.
  • An example of an endoscope with a small probe diameter is a nasal endoscope.
  • the smaller the probe system the smaller the size of the imager, and the lower the resolution. Therefore, it is conceivable to improve the resolution of the nasal endoscope by using super-resolution technology, which is a kind of image processing, and generate an image as if it was captured by an endoscope having a large probe system. ..
  • FIG. 1 shows a configuration example of the information processing system 100 according to the first embodiment and a processing flow of the model creation process S300.
  • the information processing system 100 includes an input unit 1 for inputting a processing target image 10 to the processing unit 3, a storage unit 2 for storing the learned model 20, and a processing unit 3 for performing resolution restoration processing.
  • the input unit 1, the storage unit 2, and the processing unit 3 are also referred to as an input device, a storage device, and a processing device, respectively.
  • the information processing system 100 is a system that performs inference using the trained model 20.
  • the inference in the present embodiment is a process of resolving and restoring a high-resolution image from the image 10 to be processed.
  • the trained model 20 is generated by the model creation process S300 and stored in the storage unit 2.
  • the model creation process S300 is executed by, for example, a learning device different from the information processing system 100.
  • the information processing system 100 may execute the model creation process S300 in the learning stage and perform inference using the trained model 20 in the inference stage.
  • the information processing system 100 also serves as a learning device, and for example, the processing unit 3 executes the learning process.
  • the input unit 1 is, for example, an image data interface that receives image data from an imaging system, a storage interface that reads image data from storage, a communication interface that receives image data from the outside of the information processing system 100, and the like.
  • the input unit 1 inputs the acquired image data to the processing unit 3 as a processing target image 10.
  • the frame image of the moving image is input to the processing unit 3 as the processing target image 10.
  • the storage unit 2 is a storage device, for example, a semiconductor memory, a hard disk drive, an optical disk drive, or the like.
  • the learned model 20 generated by the model creation process S300 is stored in the storage unit 2 in advance.
  • the learned model 20 may be input to the information processing system 100 from an external device such as a server via a network, and the learned model 20 may be stored in the storage unit 2.
  • the processing unit 3 restores the high-resolution image from the processing target image 10 by performing the resolution restoration processing S200 on the processing target image 10 using the learned model 20 stored in the storage unit 2.
  • the restored high-resolution image is an image in which the same subject as the processing target image 10 is captured, and is an image having a higher resolution than the processing target image 10.
  • the resolution is an index showing how finely the subject in the image is resolved. The resolution depends on, for example, the number of pixels of the image, the performance of the optical system used for imaging, the type of the image sensor used for imaging, the content of image processing applied to the image, and the like.
  • the first imaging system is the imaging system with the resolution that is the target of resolution restoration.
  • the image 10 to be processed is imaged by a second imaging system having a lower resolution than the first imaging system.
  • the high-resolution image restored from the processing target image 10 corresponds to an image as if the same subject as the processing target image 10 was captured by the first imaging system.
  • the image pickup system includes an optical system for imaging a subject and an image pickup element for imaging a subject imaged by the optical system.
  • the image sensor is also called an image sensor. As the image sensor, various types such as monochrome, Bayer type, complementary color type and the like can be adopted.
  • the first imaging system is an imaging system of a first endoscope equipped with a large-diameter scope
  • the second imaging system is a second endoscope having a scope smaller in diameter than the scope of the first endoscope. It is an imaging system of a mirror.
  • the hardware that constitutes the processing unit 3 is, for example, a general-purpose processor such as a CPU.
  • the storage unit 2 stores the program in which the inference algorithm is described and the parameters used in the inference algorithm as the trained model 20.
  • the processing unit 3 may be a dedicated processor in which the inference algorithm is hardwareized.
  • the dedicated processor is, for example, an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • the storage unit 2 stores the parameters used in the inference algorithm as the trained model 20.
  • a neural network can be applied to the inference algorithm.
  • the weighting factor of the connection between nodes in the neural network is a parameter.
  • the neural network includes an input layer into which image data is input, an intermediate layer in which arithmetic processing is performed on the data input through the input layer, and an output layer in which image data is output based on the arithmetic results output from the intermediate layer.
  • CNN Convolutional Neural Network
  • CNN is suitable as the neural network used for the resolution restoration process S203.
  • various AI Artificial Intelligence
  • FIG. 2 shows the processing flow of the resolution restoration processing S200.
  • step S201 the processing unit 3 reads the processing target image 10 from the input unit 1.
  • step S202 the processing unit 3 reads the learned model 20 used for resolution restoration from the storage unit 2.
  • step S203 the processing target image 10 acquired in step S201 is subjected to resolution restoration processing using the learned model 20 acquired in step S202 to generate a high-resolution image.
  • the order of S201 and S202 may be interchanged.
  • FIG. 3 shows the processing flow of the model creation processing S300.
  • the learning device includes a processing unit that executes the model creation process S300.
  • this processing unit will be referred to as a learning processing unit.
  • step S301 the learning processing unit reads the high-resolution learning image 30.
  • the high-resolution learning image 30 is an image captured by the first imaging system described above.
  • steps S302 and S303 the learning processing unit reads the optical system information 50 and the image sensor information 60 used when generating the low-resolution learning image 40.
  • the optical system information 50 is information related to the resolution of the optical system of the first imaging system and the second imaging system.
  • the image sensor information 60 is information related to the resolution of the image sensor included in the first image sensor and the second image sensor.
  • step S304 the learning processing unit uses at least one of the optical system information acquired in step S302 and the image sensor information acquired in step S303 to be lower than the high-resolution learning image 30 acquired in step S301.
  • the resolution processing is performed to generate a low-resolution learning image 40.
  • the low-resolution learning image 40 corresponds to an image as if the same subject as the high-resolution learning image 30 was captured by the second imaging system, and has the same number of pixels as the processing target image 10 in the inference.
  • step S305 the learning processing unit performs resolution restoration learning processing on the learning model using the high-resolution learning image 30 acquired in step S301 and the low-resolution learning image 40 acquired in step S304.
  • the learning processing unit repeatedly executes the learning processes of steps S301 to S305 using the plurality of high-resolution learning images 30, and outputs the learned learning model as the learned model 20.
  • the learning model used for the learning process is the same algorithm as the trained model 20 used for inference.
  • the learning model is a CNN, and the learning processing unit calculates the weight value and the bias value of each layer of the CNN, and stores these values as the trained model 20.
  • Various known learning algorithms can be adopted as machine learning algorithms in neural networks. For example, a supervised learning algorithm using the backpropagation method can be adopted.
  • FIG. 4 shows the processing flow of the low resolution processing S304.
  • the learning processing unit uses the optical system information 50 and the image sensor information 60 to generate a low-resolution learning image 40 from the high-resolution learning image 30.
  • step S401 the learning processing unit acquires the optical system information 50 when the high-resolution learning image 30 is acquired and the optical system information 50 used in the low-resolution learning image 40.
  • the optical system information 50 refers to the focal length and aperture of the optical system.
  • the learning processing unit acquires a PSF (Point Spread Function) or an OTF (Optical Transfer Function) under these conditions. That is, the learning processing unit acquires the point spread function of the first imaging system and the point spread function of the second imaging system, or the optical transfer function of the first imaging system and the optical transfer function of the second imaging system. To get.
  • PSF Point Spread Function
  • OTF Optical Transfer Function
  • the learning processing unit uses information such as the number of pixels of the high-resolution learning image 30, the number of pixels of the low-resolution learning image 40, the imaging method, and the like to lower the image 30 for high-resolution learning.
  • the reduction magnification of the resolution learning image 40 is set. For example, when the high-resolution learning image 30 is 640 ⁇ 480 [pixels] and the low-resolution learning image 40 is 320 ⁇ 240 [pixels], the reduction magnification is 1/2 in both vertical and horizontal directions.
  • the order of S401 and S402 may be interchanged.
  • step S403 the learning processing unit adds blur to the high-resolution learning image 30 using the optical system information calculated in step S401.
  • the performance of the optical system of the second imaging system corresponding to the low-resolution learning image 40 is inferior to that of the optical system of the first imaging system that has acquired the high-resolution learning image 30.
  • a process of removing the high frequency band of the image is performed in advance by using a filter such as bicubic.
  • the band of the reduced image is smaller than that of the image before reduction, but this process alone does not reproduce the difference in band when the optical system is different. Therefore, blurring is added to the image so as to compensate for the difference in the optical system.
  • the learning processing unit uses the PSF of the first imaging system and the second imaging system acquired in step S401, or the OTF of the first imaging system and the second imaging system, to secondly capture the blur of the high-resolution learning image. Compensate so that it resembles the blur of the image captured by the system. The details of the blurring process will be described later.
  • step S404 the learning processing unit performs reduction processing on the image generated in step S403 at the reduction magnification calculated in step S402.
  • the learning processing unit performs reduction processing such as bicubic or bilinear.
  • the learning processing unit executes the resolution restoration learning process in step S305 using the image after the reduction process as the low-resolution learning image 40.
  • the order of the blurring process in step S403 and the reduction process in step S404 may be reversed. That is, the learning processing unit may generate the low-resolution learning image 40 by reducing the high-resolution learning image 30 and performing the blurring process on the image after the reduction processing.
  • the trained model 20 is trained to resolve the low-resolution learning image 40 into the high-resolution learning image 30.
  • the high-resolution learning image 30 is a high-resolution image of a predetermined subject taken by the first imaging system.
  • the low-resolution learning image 40 is generated.
  • the low resolution process is a process of generating a low resolution image as if a predetermined subject was captured by the second imaging system.
  • the resolution reduction process includes an optical system simulation process that simulates the resolution characteristics of the optical system of the second imaging system.
  • the optical system simulation process is a process of convolving the PSF into the high-resolution learning image 30 so as to compensate for the difference between the PSF of the optical system of the first imaging system and the PSF of the optical system of the second imaging system, for example. Is.
  • step S403 The blurring process in step S403 will be described.
  • the first and second methods will be described as an example of the blurring process.
  • FIG. 20 shows the processing flow of the blur processing of the first method.
  • the learning processing unit adds blur to the high-resolution learning image 30 by using the PSFs of the high-resolution first imaging system and the low-resolution second imaging system.
  • the PSF is a function that expresses a unit impulse response to the optical system, that is, a function that expresses an image distribution when the optical system forms an image of a point light source.
  • the learning processing unit performs reduction processing on the image obtained in step S410, and outputs the result as a low-resolution learning image 40.
  • step S410 The details of step S410 will be described.
  • the learning processing unit deconvolves the PSF of the first imaging system with respect to the high-resolution learning image 30 as shown in step S411, and the second image 30 with respect to the high-resolution learning image 30 as shown in step S412. Convolution the PSF of the imaging system. Specifically, the learning processing unit adds blur by the following equation (1).
  • h 1 and h 2 are the PSF of the optical system of the first imaging system and the PSF of the optical system of the second imaging system acquired in step S401, respectively
  • f the image 30 for high resolution learning.
  • G is an image with blur added
  • n is a noise term. * Represents a convolution operation.
  • the noise term n may be omitted.
  • FIG. 21 shows the processing flow of the blur processing of the second method.
  • the learning processing unit blurs the high-resolution learning image 30 by using the OTFs of the optical systems of the high-resolution first imaging system and the low-resolution second imaging system.
  • OTF is a function that expresses the unit impulse frequency response to the optical system, that is, a function that expresses the frequency characteristic of the image distribution when the optical system images a point light source.
  • the learning processing unit performs reduction processing on the image obtained in step S420, and outputs the result as a low-resolution learning image 40.
  • the learning processing unit reads the OTFs of the optical system of the first imaging system and the optical system of the second imaging system as the optical system information 50 of FIG. As shown in step S421 of FIG. 21, the learning processing unit obtains the frequency characteristics of the high-resolution learning image 30 by performing an FFT (Fast Fourier Transform) on the high-resolution learning image. In steps S422 and S423, the learning processing unit calculates the result of dividing the frequency characteristic of the high-resolution learning image 30 by the OTF of the first imaging system and multiplying by the OTF of the second imaging system. In step S424, the learning processing unit performs an inverse FFT on the frequency characteristic which is the calculation result.
  • FFT Fast Fourier Transform
  • OTF and PSF are in a Fourier transform relationship. That is, the frequency response of OTF coincides with the unit impulse response (PSF) of the optical system in real space. Therefore, by performing the blurring process using the OTF shown in step S420 of FIG. 21, substantially the same result as the blurring process using the PSF shown in step S410 of FIG. 20 can be obtained.
  • the resolution characteristics of the optical system of the second imaging system are simulated using a transfer function such as PSF or OTF, but the present invention is not limited to this, and the design values of known optical systems are used.
  • the resolution characteristics of the optical system of the second imaging system may be simulated by using based calculation or machine learning.
  • the second image pickup system includes a simultaneous image pickup element, and performs a resolution reduction process in consideration of the type of the image pickup element. Specifically, the image to be processed is photographed by an image sensor having a Bayer array, and the resolution is reduced in consideration of the resolution reduction due to the demosaic processing.
  • the Bayer type image sensor will be described as an example, but the simultaneous image sensor is not limited to the Bayer type image sensor. The description of the same configuration and processing as in the first embodiment will be omitted.
  • FIG. 5 shows a configuration example of the information processing system 100 according to the second embodiment and a processing flow of the model creation process S600.
  • the configuration of the information processing system 100 and the resolution restoration process are the same as those of the first embodiment shown in FIGS. 1 and 2.
  • FIG. 6 shows the processing flow of the model creation processing S600. Steps S601 to S603 are the same as steps S301 to S303 of the first embodiment.
  • Steps S604 to S606 correspond to the resolution reduction process shown in step S610 of FIG.
  • the reduction and blurring processing in step S604 corresponds to steps S401 to S404 of the first embodiment shown in FIG. That is, in step S604, the learning processing unit adds blur to the high-resolution learning image 30 using the optical system information, and reduces the blurred image using the image sensor information.
  • the image after the reduction process is a low-resolution color image 41 in which each pixel has an RGB pixel value.
  • step S605 the learning processing unit performs mosaic arrangement processing on the low-resolution color image 41 generated in step S604. That is, the learning processing unit generates the low-resolution Bayer image 42 by mosaic-arranging the pixel values of the low-resolution color image 41 in a Bayer shape using the image sensor information 60 acquired in step S603. Any one of RGB colors is assigned to each pixel of the low-resolution Bayer image 42. For example, taking the R pixel of the low resolution bayer image 42 as an example, the R pixel value is extracted from the pixel of the low resolution color image 41 at the same position as the R pixel, and the R pixel value is used as the low resolution bayer image. Allocate to 42 R pixels. The same applies to the G and B pixels of the low-resolution bayer image 42.
  • step S606 the learning processing unit performs the mosaic processing on the mosaic-like low-resolution bayer image 42 to colorize the low-resolution bayer image 42 again.
  • the image after this demosaic processing becomes the low-resolution learning image 40.
  • existing processing such as interpolation using color correlation or bilinear interpolation can be adopted.
  • the demosaic process when the image 10 to be processed is generated is known, it is desirable to perform the same process as the demosaic process in step S606.
  • step S607 the resolution restoration learning process is performed by using the high resolution learning image 30 acquired in step S601 and the low resolution learning image 40 acquired in step S606, as in step S305 of the first embodiment. To generate the trained model 20.
  • the first image pickup system includes the first image pickup device of the first image pickup method.
  • the second image pickup system includes a second image pickup device having a second imaging method, which has a lower number of pixels than the first image pickup device and is different from the first image pickup method.
  • the resolution reduction process S610 further includes an image pickup method simulation process that simulates the second image pickup method.
  • the image pickup method simulation process simulates the image process when the image to be processed 10 is generated from the image signal acquired by the second image sensor. For example, as shown in FIGS. 5 and 6, the mosaic arrangement process S605 and the demosaic process S606 are performed.
  • the image processing when generating a color image from the image signal acquired by the image sensor differs depending on the image pickup method. This image processing affects the resolution of a color image.
  • the resolution of the image 10 to be processed can be reproduced in the low-resolution learning image 40 by performing the imaging method simulation process in the low-resolution processing S610. As a result, high-performance super-resolution can be realized.
  • the low resolution processing S610 is a process of reducing the image 30 for high resolution learning of the first imaging method and performing an imaging method simulation process on the image 41 after the reduction processing.
  • the image 42 of the second imaging method is generated from the image 41 after the reduction process (S605), and the image 10 to be processed is generated with respect to the generated image 42 of the second imaging method.
  • This is a process of generating a low-resolution learning image 40 by performing the same image processing as the image processing (S606).
  • the same image processing as that of the image processing when generating the image 10 to be processed is performed on the image 42. carry out. This makes it possible to simulate image processing when the image to be processed 10 is generated from the image signal acquired by the second image sensor.
  • the first image pickup system captures a plurality of images by a monochrome image sensor at the timing when the light of each wavelength band is irradiated when the light of a plurality of wavelength bands is sequentially irradiated. get.
  • the high-resolution learning image 30 is a surface-sequential image in which a plurality of images are combined.
  • the second image pickup system acquires a Bayer image in which one color is assigned to each pixel by using a simultaneous image pickup element having a plurality of pixels having different colors from each other and one color is assigned to each pixel.
  • the low-resolution processing S610 is a process of performing a reduction process of reducing the number of pixels of the surface-sequential image (30) and performing an imaging method simulation process on the image 41 after the reduction process.
  • the imaging method simulation process constitutes a low-resolution bayer image 42 from the image 41 after the reduction process (S605).
  • the low-resolution bayer image 42 corresponds to a bayer image acquired by the second imaging system.
  • the imaging method simulation process generates a low-resolution learning image 40 by demosacing the low-resolution bayer image 42 (S606).
  • the second image sensor has a plurality of types of pixels having different spectral sensitivity characteristics.
  • the high-resolution learning image 30 is a surface generated by synthesizing an image pickup signal obtained by sequentially irradiating and imaging light of a plurality of wavelength bands using a monochrome image sensor and using the light of the plurality of wavelength bands. It is a sequential image.
  • the low-resolution learning image 40 simulates an image captured by a second image pickup system including a simultaneous image pickup device having a plurality of types of pixels having different spectral sensitivities.
  • a low resolution processing S610 when simulating the second image pickup method, a plurality of signals of each pixel of the simultaneous image pickup element are acquired by the pixels of the monochrome image pickup element at the positions corresponding to the positions of the pixels.
  • This is a process in which a low-resolution learning image 40 is generated by performing demosaic processing (S606) after generating based on a signal generated by light in at least one wavelength band among the signals generated by light in the wavelength band of.
  • the simultaneous system which is the second imaging system can be simulated in the resolution reduction processing.
  • the demosaic process in the simultaneous method affects the resolution of the image 10 to be processed.
  • the resolution of the image 10 to be processed can be reproduced in the low-resolution learning image 40 by performing the demosaic process in the imaging method simulation process. As a result, high-performance super-resolution can be realized.
  • a modified example of the second embodiment will be described.
  • the resolution reduction process is performed in consideration of the resolution reduction due to the noise reduction process.
  • the description of the configuration and processing similar to those of the first and second embodiments will be omitted.
  • FIG. 7 shows a configuration example of the information processing system 100 in the modified example of the second embodiment and a processing flow of the model creation process S800.
  • the configuration of the information processing system 100 and the resolution restoration process are the same as those of the first embodiment shown in FIGS. 1 and 2.
  • FIG. 8 shows the processing flow of the model creation processing S800.
  • the resolution reduction process in step S810 includes steps S804 to S807.
  • Steps S801 to S805 are the same as steps S601 to S605 of the second embodiment.
  • step S806 the learning processing unit performs noise reduction processing on the mosaic-like low-resolution bayer image 42 generated in step S805. For example, a known noise reduction process for the bayer image can be adopted.
  • step S807 the learning processing unit generates a low-resolution learning image 40 by performing demosaic processing on the image after the noise reduction processing, as in step S606 of the second embodiment.
  • step S808 as in step S305 of the first embodiment, the resolution restoration learning process using the high-resolution learning image 30 acquired in step S801 and the low-resolution learning image 40 acquired in step S807. To generate the trained model 20.
  • the imaging method simulation process further includes a noise reduction process (S806) for the low resolution bayer image 42.
  • the noise reduction processing affects the resolution of the image 10 to be processed.
  • the resolution of the image to be processed 10 can be reproduced in the low resolution learning image 40.
  • high-performance super-resolution can be realized.
  • the type of the imaging system that has captured the image to be processed is detected, and the resolution is restored according to the detection result.
  • the imaging method differs depending on the type of the imaging system will be described as an example, but the present invention is not limited to this, and the resolution of the image to be processed may differ depending on the type of the imaging system.
  • the number of pixels, the optical system, and the like may differ depending on the type of the imaging system.
  • the description of the configuration and processing similar to those of the first and second embodiments will be omitted.
  • FIG. 9 shows a configuration example of the information processing system 100 according to the third embodiment and a processing flow of the model creation processes S300 and S600.
  • the configuration and processing of the input unit 1 are the same as those in the first embodiment.
  • the model creation processes S300 and S600 are the same as those in the first and second embodiments.
  • the storage unit 2 stores the first trained model 21 and the second trained model 22.
  • the first trained model 21 is generated by the model creation process S300 described in the first embodiment.
  • the second trained model 22 is generated by the model creation process S600 described in the second embodiment.
  • the processing unit 3 performs an imaging information detection process S250 for detecting an imaging method and a resolution restoration process S200 for performing resolution restoration using the detection result.
  • FIG. 10 shows the processing flow of the imaging information detection processing S250 and the resolution restoration processing S200.
  • step S1001 the processing unit 3 reads the processing target image 10 from the input unit 1.
  • step S1002 the processing unit 3 detects the imaging information from the image to be processed 10 and determines the imaging method based on the imaging information.
  • the imaging information is, for example, image information such as the color distribution of the image 10 to be processed, the amount of color shift of the edge portion by the surface sequential method, or the number of pixels.
  • the imaging method is a surface-sequential method or a simultaneous method. When the processing target image 10 is captured by the surface sequential method, the processing target image 10 has imaging information corresponding to the surface sequential method, and when the processing target image 10 is captured by the surface sequential method, the processing target image 10 is , Has imaging information corresponding to the simultaneous method.
  • the light source sequentially emits R light, G light, and B light.
  • the imaging system has a monochrome image sensor, captures an R image at the timing when the light source emits R light, images the G image at the timing when the light source emits G light, and B at the timing when the light source emits B light. Take an image. A color image is generated by synthesizing these three color images.
  • the light source emits white light.
  • White light has, for example, a continuous spectrum covering the visible light region.
  • the image pickup system has a Bayer type image pickup device and captures an image of a Bayer array. A color image is generated by demosacing the image of this Bayer array.
  • the processing unit 3 determines the imaging method by determining the hue of the image using hue or the like.
  • the amount of color shift of the edge portion will be described.
  • the RGB imaging timings are different, so that the subject position is deviated in RGB.
  • the processing unit 3 detects the amount of color shift of the edge portion by using a matching process or the like, and determines that the imaging method is a surface-sequential method when the amount of color shift is larger than a predetermined value.
  • the number of pixels will be described. As described above, since the image sensor is different between the surface sequential method and the simultaneous method, the number of pixels of the captured image may be different.
  • the processing unit 3 determines the imaging method from the number of pixels of the image to be processed 10.
  • step S1003 the processing unit 3 reads out the learned model corresponding to the imaging method determined in step S1002 from the storage unit 2. That is, when the processing unit 3 determines that the imaging method is the surface sequential method, the first learned model 21 is read from the storage unit 2, and when it is determined that the imaging method is the simultaneous method, the storage unit 2 to the first. 2 Read the trained model 22.
  • step S1004 the processing unit 3 performs resolution restoration processing on the processing target image 10 acquired in step S1001 using the learned model acquired in step S1003 to generate a high resolution image.
  • the storage unit 2 corresponds to the first trained model 21, which is a trained model corresponding to the second imaging system, and the third imaging system, which performs imaging with a lower resolution than the first imaging system.
  • the second trained model 22 is stored.
  • the input unit 1 inputs the first processing target image captured by the second imaging system or the second processing target image captured by the third imaging system to the processing unit 3 as the processing target image 10.
  • the processing unit 3 uses the first trained model 21 to restore the resolution of the first processed image, and uses the second trained model 22 to restore the resolution of the second processed image.
  • the trained model corresponding to the imaging system in which the image 10 to be processed is captured is selected.
  • high-performance super-resolution compatible with a plurality of imaging systems can be realized. That is, since a trained model having appropriate restoration parameters is selected according to each imaging system, high-performance super-resolution can be realized regardless of the imaging system.
  • the processing unit 3 detects the type of the imaging system that captured the processing target image 10 from the processing target image 10. When the processing unit 3 determines that the first processing target image has been input based on the detection result, the processing unit 3 selects the first trained model 21, and determines that the second processing target image has been input based on the detection result. , Select the second trained model 22.
  • the type of the imaging system can be determined from the image 10 to be processed, and the trained model corresponding to the type of the imaging system can be selected.
  • the information processing system is used for the endoscope system.
  • various endoscopic scopes can be attached and detached.
  • resolution restoration is performed according to the endoscope scope mounted on the endoscope system. Specifically, the type of imaging system of the endoscope is detected, and the resolution is restored according to the detection result.
  • the imaging method differs depending on the type of the imaging system will be described as an example, but the present invention is not limited to this, and the resolution of the image to be processed may differ depending on the type of the imaging system. For example, the number of pixels, the optical system, and the like may differ depending on the type of the imaging system. The description of the same configuration and processing as those of the first to third embodiments will be omitted.
  • FIG. 11 shows a configuration example of the endoscope system 200 according to the fourth embodiment and a processing flow of the model creation processes S300 and S600.
  • the endoscope system 200 includes a processor unit 4 and an endoscope scope 5 connected to the processor unit 4.
  • the processor unit 4 includes an input unit 1, a storage unit 2, and a processing unit 3.
  • the input unit 1 is the same as that of the first embodiment
  • the storage unit 2 is the same as that of the third embodiment
  • the model creation processes S300 and S600 are the same as those of the first and second embodiments.
  • the processing unit 3 performs an imaging information detection process S260 for detecting the imaging method of the endoscope scope 5 connected to the processor unit 4 and a resolution restoration process S200 for performing resolution restoration using the detection result. ..
  • FIG. 12 shows the processing flow of the imaging information detection processing S260 and the resolution restoration processing S200.
  • step S1201 the processing unit 3 reads the processing target image 10 from the input unit 1.
  • step S1202 the processing unit 3 detects the ID of the endoscope scope 5.
  • the ID includes the optical system information of the imaging system and the imaging method information included in the endoscope scope 5.
  • step S1203 the processing unit 3 reads the learned model corresponding to the ID detected in step S1202 from the storage unit 2. That is, the processing unit 3 reads the first trained model 21 from the storage unit 2 when the ID indicates the surface sequential method, and reads the second trained model 22 from the storage unit 2 when the ID indicates the simultaneous method. read out.
  • step S1204 the processing unit 3 performs resolution restoration processing on the processing target image 10 acquired in step S1201 using the learned model acquired in step S1203 to generate a high resolution image.
  • the processing unit 3 detects the ID information of the endoscope scope 5 connected to the processor unit 4.
  • the processing unit 3 determines that the endoscope scope 5 includes the second imaging system based on the ID information
  • the processing unit 3 selects the first trained model 21, and the endoscope scope 5 is the third based on the ID information.
  • the second trained model 22 is selected.
  • the trained model corresponding to the ID information of the endoscopic scope is selected.
  • high-performance super-resolution compatible with a plurality of types of endoscopic scopes can be realized. That is, since a trained model having appropriate restoration parameters is selected according to each type of endoscopic scope, high-performance super-resolution can be realized regardless of the type of endoscopic scope.
  • the first modification example will be described.
  • at least one of the optical system information and the image sensor information is used for the low resolution processing, but the information of the light source may be further used.
  • the resolution reduction processing is switched according to the light source when capturing the image to be processed. Specifically, since the light source differs depending on the observation method, switching according to the light source can be said to be switching according to the observation method.
  • the observation method is also called the observation mode.
  • Examples of the observation method include WLI (White Light Imaging) using white illumination light, special light observation using special light other than white light, and the like.
  • WLI White Light Imaging
  • NBI Near Band Imaging
  • the two narrow-band lights are narrow-band light included in the blue wavelength band and narrow-band light included in the green wavelength band.
  • WLI and NBI differ in image processing when generating a color image from an image signal output by an image sensor. For example, the content of demosaic processing or the parameters in image processing are different.
  • FIG. 13 is a configuration example of the information processing system 100 in the first modification and a processing flow of the model creation process S500.
  • the learning processing unit acquires the observation method information 70 and switches the processing according to the observation method information 70.
  • the observation method information 70 is information indicating an observation method when the image to be processed 10 is imaged.
  • the learning processing unit selects the WLI processing S511 when the observation method information 70 indicates WLI, and selects the NBI processing S512 when the observation method information indicates NBI.
  • the WLI processing S511 and the NBI processing S512 are processes for reducing the resolution of the high-resolution learning image 30 into the low-resolution learning image 40. For example, the WLI processing S511 interpolates the R image and the B image using the G image in the demosaic processing. On the other hand, the NBI process S512 interpolates the G image and the B image independently in the demosaic process.
  • the image to be processed 10 is generated by image processing corresponding to the light source used when the first imaging system takes an image.
  • the low resolution processing S510 includes image processing (S511, S512) corresponding to the light source.
  • the image processing for converting the bayer image into a low-resolution learning image is demosaic processing, or demosaic processing and noise reduction processing, but the image processing is not limited thereto.
  • the image processing for converting the bayer image into a low-resolution learning image may include various image processing such as correction of defective pixels or edge enhancement processing.
  • the third modification example will be described.
  • blurring is added to the image using PSF or OTF of two optical systems, but the method of adding blurring is limited to this. Not done.
  • the amount of blur added to the image may be experimentally determined by using the image captured by using the optical system of the first imaging system and the image captured by using the optical system of the second imaging system.
  • a plurality of two-dimensional filters that approximate the blur are generated by Gaussian or the like. The plurality of two-dimensional filters approximate different amounts of blur.
  • a plurality of two-dimensional filters are generated for an image captured by using the optical system of the first imaging system, and the obtained plurality of images are compared with an image captured by using the optical system of the second imaging system. .. Based on the comparison result, a two-dimensional filter that approximates the optimum amount of blur is selected.
  • the third modification it is possible to easily reduce the resolution by reflecting the optical system information. That is, even when the PSF or OTF of the imaging system is unknown, the resolution characteristics of the optical system can be approximated by a two-dimensional filter such as Gaussian.
  • the simultaneous image sensor may have a complementary color array shown in FIG. 14, or may have an array in which primary color pixels and complementary color pixels shown in FIG. 15 are mixed.
  • the complementary color imaging element of FIG. 14 cyan (Cy) pixels, magenta (Mg) pixels, yellow (Ye) pixels, and green (G) pixels are arranged in a 2 ⁇ 2 pixel unit, and the units are repeatedly arranged. Will be done.
  • red (R) pixels, green (G) pixels, blue (B) pixels, and cyan (Cy) pixels are arranged in a 2 ⁇ 2 pixel unit, and the units are repeatedly arranged. Will be done.
  • the simultaneous image sensor has the following configuration, for example.
  • the simultaneous imaging element may have at least two color pixels out of four color pixels of Cy pixel, Mg pixel, Ye pixel, and G pixel provided with color filters of Cy, Mg, and Ye.
  • the simultaneous imaging element may have a complementary color array composed of four color pixels of Cy pixel, Mg pixel, Ye pixel, and G pixel provided with Cy, Mg, Ye, and G color filters.
  • the simultaneous imaging element may have at least two color pixels out of the three color pixels of the R pixel, the G pixel, and the B pixel provided with the three color filters of R, G, and B.
  • the simultaneous image sensor may have a Bayer array.
  • the imaging information indicating the type of the imaging system is detected from the image to be processed, but the method for detecting the imaging information is not limited to this.
  • the user may input the information into the information processing system 100.
  • a low-resolution bayer image is generated by arranging mosaics of high-resolution learning images taken in a plane-sequential manner.
  • the low-resolution bayer image assumes images taken simultaneously.
  • color shift occurs in the surface-sequential formula, but color shift does not occur in the simultaneous formula. Therefore, it is from the viewpoint of super-resolution accuracy that a low-resolution bayer image is generated from an image of a scene with many color shifts. Is not desirable.
  • FIG. 16 shows a configuration example of the information processing system 100 in the sixth modification and a processing flow of the model creation process S700.
  • the configuration and operation of the information processing system 100 are the same as those in the second embodiment.
  • the learning process unit performs the color shift determination process S710 on the high-resolution learning image 30.
  • the learning processing unit performs the low resolution processing S610 on the high resolution learning image 30 whose color shift amount is smaller than a predetermined value, and generates the low resolution learning image 40.
  • the color shift determination process S710 for example, the amount of coloring around the saturated portion of the image is compared with a predetermined threshold value.
  • the sixth modification in the first imaging system, when light in a plurality of wavelength bands is sequentially irradiated, a plurality of images are taken by a monochrome image sensor at the timing when the light in each wavelength band is irradiated. Get an image.
  • the high-resolution learning image 30 is a surface-sequential image in which a plurality of images are combined.
  • the trained model 20 is trained using the surface-sequential image (30) in which the amount of color shift in the surface-sequential image is equal to or less than a preset threshold value.
  • the low resolution learning image 40 is output by performing the low resolution processing on the high resolution learning image 30, but the high resolution learning image 30 is subjected to the low resolution processing.
  • a known grayscale processing may be performed to output a monochrome low-resolution learning image.
  • the trained model uses the processing target image 10 as the processing target image 10. Not only can the resolution be restored, but the actual color of the subject of the image 10 to be processed can be reproduced.
  • FIG. 17 is a configuration example of a learning device 350 that executes the above-mentioned model creation process.
  • the learning device 350 includes a processing unit 351, a storage unit 352, an operation unit 353, and a display unit 354.
  • the learning device 350 is an information processing device such as a PC or a server.
  • the processing unit 351 is a processor such as a CPU.
  • the processing unit 351 performs machine learning on the learning model to generate a trained model.
  • the storage unit 352 is a storage device such as a semiconductor memory or a hard disk drive.
  • the operation unit 353 is various operation input devices such as a mouse, a touch panel, and a keyboard.
  • the display unit 354 is a display device such as a liquid crystal display.
  • the learning device 350 may be a cloud system in which a plurality of information processing devices connected by a network perform parallel processing.
  • the information processing system 100 shown in FIG. 1 or the like may also serve as a learning device.
  • the processing unit 3 and the storage unit 2 also serve as the processing unit 351 and the storage unit 352 of the learning device 350, respectively.
  • the learned model generated by the learning device 350 is stored in the storage unit 2 of the information processing system 100.
  • the trained model may be stored in an information storage medium that is a medium that can be read by a computer.
  • the information storage medium can be realized by, for example, an optical disk, a memory card, an HDD, a semiconductor memory, or the like.
  • the semiconductor memory is, for example, a ROM.
  • the information processing system 100 reads out a program and data stored in the information storage medium, and performs various processes of the present embodiment based on the program and data. That is, the information storage medium stores a program and parameters for causing the computer to execute the trained model of the present embodiment.
  • a computer is a device including an input device, a processing unit, a storage unit, and an output unit.
  • the program is a program for causing a computer to execute an inference algorithm of a trained model.
  • the parameter is a parameter used in an inference algorithm, for example, a weighting coefficient of a node-to-node connection in a neural network.
  • various recording media that can be read by a computer, such as an optical disk such as a DVD or a CD, a magneto-optical disk, a hard disk, and a memory such as a non-volatile memory or a RAM, can be assumed.
  • FIG. 18 is a first configuration example of the endoscope system 200 including the information processing system 100.
  • the endoscope system 200 includes a processor unit 4, an endoscope scope 5, an operation unit 230, and a display unit 240.
  • An imaging device is provided at the tip of the endoscope scope 5, and the tip is inserted into the body cavity.
  • the imaging device is the second imaging system described above.
  • the imaging device captures an image in the abdominal cavity, and the imaging data is transmitted from the endoscope scope 5 to the processor unit 4.
  • the processor unit 4 is a device that performs various processes in the endoscope system 200.
  • the processor unit 4 controls the endoscope system 200, performs image processing, and the like.
  • the processor unit 4 includes an information processing system 100, a storage unit 211, a control unit 212, and an output unit 213.
  • the control unit 212 controls each unit of the endoscope system 200. For example, the mode of the endoscope system 200, the zoom operation, the display switching, and the like are performed based on the information input from the operation unit 230.
  • the operation unit 230 is a device for the user to operate the endoscope system 200.
  • the operation unit 230 is a button, a dial, a foot switch, a touch panel, or the like. The connection between the control unit 212 and each unit is not shown.
  • the storage unit 211 records the image captured by the endoscope scope 5.
  • the storage unit 211 is, for example, a semiconductor memory, a hard disk drive, an optical drive, or the like.
  • the information processing system 100 includes an imaging data receiving unit 110, a storage interface 120, a processing unit 3, and a storage unit 2.
  • the image pickup data receiving unit 110 receives the image pickup data from the endoscope scope 5.
  • the image pickup data receiving unit 110 is, for example, a connector to which a cable of the endoscope scope 5 is connected, an interface circuit for receiving image pickup data, or the like.
  • the storage interface 120 is an interface for accessing the storage unit 211.
  • the storage interface 120 records the image data received by the imaging data receiving unit 110 in the storage unit 211. When reproducing the recorded image data, the storage interface 120 reads the image data from the storage unit 211 and transmits the image data to the processing unit 3.
  • the processing unit 3 performs resolution restoration processing using the image data from the image pickup data receiving unit 110 or the storage interface 120 as the image to be processed.
  • the processing unit 3 outputs a high-resolution image after restoration.
  • the input unit 1 in the first to fourth embodiments corresponds to the image pickup data receiving unit 110 or the storage interface 120 in FIG.
  • the output unit 213 is a display controller that controls the image display on the display unit 240, and causes the display unit 240 to display the high-resolution image output from the processing unit 3.
  • the display unit 240 is a monitor that displays an image output from the output unit 213, and is a display device such as a liquid crystal display or an organic EL display.
  • the endoscope system 200 can include a light source (not shown).
  • the light source produces illumination light.
  • the endoscope scope 5 includes a light guide that guides the illumination light generated by the light source to the tip of the scope, and an illumination lens that diffuses the guided illumination light.
  • FIG. 19 is a second configuration example of the endoscope system 200 including the information processing system 100.
  • the endoscope system 200 includes an information processing system 100, a processor unit 4, an endoscope scope 5, an operation unit 230, and a display unit 240.
  • the information processing system 100 is provided outside the processor unit 4.
  • the information processing system 100 and the processor unit 4 may be connected by, for example, inter-device communication such as USB, or may be connected by network communication such as LAN or WAN.
  • the information processing system 100 is composed of one or a plurality of information processing devices.
  • the information processing system 100 may be a cloud system in which a plurality of PCs or a plurality of servers connected via a network perform parallel processing.
  • the processor unit 4 includes an imaging data receiving unit 110, a processing unit 214, an external interface 215, a control unit 212, and an output unit 213.
  • the processing unit 214 transmits the image data received by the imaging data receiving unit 110 to the information processing system 100 via the external interface 215.
  • the information processing system 100 generates a high-resolution image by super-resolution processing the received image data.
  • the external interface 215 receives the high-resolution image transmitted from the information processing system 100, and outputs the high-resolution image to the processing unit 214.
  • the processing unit 214 outputs a high-resolution image to the output unit 213, and the output unit 213 displays the high-resolution image on the display unit 240.
  • the information processing system 100 includes an external interface 130, a processing unit 3, a storage unit 2, a storage interface 120, and a storage unit 211.
  • the external interface 130 receives the image data transmitted from the processor unit 4.
  • the storage interface 120 and the storage unit 211 are the same as those in the first configuration example.
  • the processing unit 3 performs resolution restoration processing using the image data from the external interface 130 or the storage interface 120 as the image to be processed.
  • the processing unit 3 outputs the restored high-resolution image to the external interface 130, and the external interface 130 transmits the high-resolution image to the processor unit 4.
  • the input unit 1 in the first to fourth embodiments corresponds to the external interface 130 or the storage interface 120 in FIG.
  • the present invention is not limited to the respective embodiments and the modified examples as they are, and the present invention is within a range that does not deviate from the gist of the invention at the embodiment.
  • the components can be transformed and embodied with.
  • various inventions can be formed by appropriately combining a plurality of components disclosed in the above-described embodiments and modifications. For example, some components may be deleted from all the components described in each embodiment or modification. Further, the components described in different embodiments and modifications may be combined as appropriate. In this way, various modifications and applications are possible within a range that does not deviate from the gist of the invention.
  • a term described at least once in the specification or drawing together with a different term having a broader meaning or a synonym may be replaced with the different term at any part of the specification or drawing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)

Abstract

情報処理システム（１００）は、記憶部（２）と処理部（３）と入力部（１）とを含む。学習済みモデル（２０）は、低解像学習用画像（４０）を高解像学習用画像（３０）に解像復元するように学習される。高解像学習用画像（３０）は、所定被写体が第１撮像系により撮影された高解像の画像である。低解像学習用画像（４０）は、高解像学習用画像（３０）を低解像度化処理（Ｓ３０４）することで生成される。低解像度化処理（Ｓ３０４）は、所定被写体が第２撮像系により撮像されたかのような低解像の画像を生成する処理であって、第２撮像系の光学系の解像特性をシミュレートする光学系シミュレート処理を含む。処理部（３）は、学習済みモデル（２０）を用いて、処理対象画像（１０）を、第１撮像系で撮像されたときの解像度に解像復元（Ｓ２００）する。

Description

情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法
　本発明は、情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法等に関する。
　低解像撮像素子により撮像された入力画像から、あたかも高解像撮像素子により撮像されたかのような高解像画像を、画像処理によって生成する超解像技術が知られている。特許文献１には、深層学習によって得られた学習済みモデルを用いて、入力画像を超解像する技術が開示されている。学習段階では、実際に高解像撮像素子により撮像された高解像画像を教師データとし、その高解像画像を単純縮小することで、推論時の入力画像に相当する低解像画像を生成する。低解像画像を学習モデルに入力し、学習モデルが出力する出力画像と、教師データである高解像画像とに基づいて深層学習を行う。
特許第６２３６７３１号公報
　上記のように、特許文献１では、高解像画像を単純縮小することで低解像画像を生成している。この低解像画像は、実際に低解像撮像素子で撮影した画像とは性質が異なる。具体的には、光学系を考慮していない等の理由により、単純縮小により生成された低解像画像と低解像撮像素子で撮影した画像とで、解像感が異なる。このように、単純縮小により生成された低解像画像は、推論時の入力画像に相当する解像感を正確に再現できていないため、その低解像画像を用いて学習された学習済みモデルでは、低解像撮像素子により撮像された入力画像から高解像画像を高精度に復元できないという課題がある。
　本発明の一態様は、学習済みモデルを記憶する記憶部と、処理部と、第１撮像系よりも低解像の撮像を行う第２撮像系によって撮像される処理対象画像を、前記処理部に入力する入力部と、を含み、前記学習済みモデルは、低解像学習用画像を高解像学習用画像に解像復元するように学習された学習済みモデルであり、前記高解像学習用画像は、所定被写体が前記第１撮像系により撮影された高解像の画像であり、前記低解像学習用画像は、前記高解像学習用画像を、低解像度化処理することで生成され、前記低解像度化処理は、前記所定被写体が前記第２撮像系により撮像されたかのような低解像の画像を生成する処理であって、前記第２撮像系の光学系の解像特性をシミュレートする光学系シミュレート処理を含み、前記処理部は、前記学習済みモデルを用いて、前記処理対象画像を、前記第１撮像系で撮像されたときの解像度に解像復元する情報処理システムに関係する。
　また本発明の他の態様は、上記に記載の情報処理システムを有するプロセッサユニットと、前記プロセッサユニットに接続され、前記処理対象画像を撮像して前記入力部に送信する内視鏡スコープと、を含む内視鏡システムに関係する。
　また本発明の更に他の態様は、第１撮像系よりも低解像の撮像を行う第２撮像系によって撮像される処理対象画像を、前記第１撮像系で撮像されたときの解像度に解像復元するように、コンピュータを機能させる学習済みモデルであって、前記学習済みモデルは、低解像学習用画像を高解像学習用画像に解像復元するように学習され、前記高解像学習用画像は、所定被写体が前記第１撮像系により撮影された高解像の画像であり、前記低解像学習用画像は、前記高解像学習用画像を、低解像度化処理することで生成され、前記低解像度化処理は、前記所定被写体が前記第２撮像系により撮像されたかのような低解像の画像を生成する処理であって、前記第２撮像系の光学系の解像特性をシミュレートする光学系シミュレート処理を含む学習済みモデルに関係する。
　また本発明の更に他の態様は、上記に記載の学習済みモデルを記憶した情報記憶媒体に関係する。
　また本発明の更に他の態様は、学習済みモデルを用いて解像復元を行う情報処理方法であって、前記学習済みモデルは、低解像学習用画像を高解像学習用画像に解像復元するように学習され、前記高解像学習用画像は、所定被写体が第１撮像系により撮影された高解像の画像であり、前記低解像学習用画像は、前記高解像学習用画像を、低解像度化処理することで生成され、前記低解像度化処理は、前記所定被写体が前記第２撮像系により撮像されたかのような低解像の画像を生成する処理であって、前記第２撮像系の光学系の解像特性をシミュレートする光学系シミュレート処理を含み、前記学習済みモデルを用いて、前記第１撮像系よりも低解像の撮像を行う前記第２撮像系によって撮像される処理対象画像を、前記第１撮像系で撮像されたときの解像度に解像復元する情報処理方法に関係する。
第１実施形態における情報処理システムの構成例と、モデル作成処理の処理フロー。 解像復元処理の処理フロー。 モデル作成処理の処理フロー。 低解像度化処理の処理フロー。 第２実施形態における情報処理システムの構成例と、モデル作成処理の処理フロー。 モデル作成処理の処理フロー。 第２実施形態の変形例における情報処理システムの構成例と、モデル作成処理の処理フロー。 モデル作成処理の処理フロー。 第３実施形態における情報処理システムの構成例と、モデル作成処理の処理フロー。 撮像情報検出処理及び解像復元処理の処理フロー。 第４実施形態における内視鏡システムの構成例と、モデル作成処理の処理フロー。 撮像情報検出処理及び解像復元処理の処理フロー。 第１変形例における情報処理システムの構成例、及びモデル作成処理の処理フロー。 補色型撮像素子の例。 混在型撮像素子の例。 第６変形例における情報処理システムの構成例、及びモデル作成処理の処理フロー。 学習装置の構成例。 内視鏡システムの第１構成例。 内視鏡システムの第２構成例。 第１手法のボケ処理の処理フロー。 第２手法のボケ処理の処理フロー。
　以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。例えば、以下では情報処理システムを医療用内視鏡に適用する場合を例に説明するが、これに限定されず、本発明の情報処理システムを種々の撮影システム又は映像表示システムに適用できる。例えば、スチールカメラ、ビデオカメラ、テレビ受像機、顕微鏡、又は工業用内視鏡に、本発明の情報処理システムを適用できる。
　１．第１実施形態
　上述したように、機械学習を用いた超解像において、適切な低解像画像を生成できないと超解像の精度が低下するという課題がある。この課題について、内視鏡システムを例にとって説明する。
　内視鏡は、プローブ径が小さくなるほど患者に対して低侵襲な検査を行える利点がある。プローブ径が小さい内視鏡の一例は経鼻内視鏡である。一方でプローブ系が小さくなるほどイメージャのサイズが小型となるため、解像度が低下する。このため、画像処理の一種である超解像技術を用いて経鼻内視鏡の解像度を向上させ、あたかもプローブ系が大きい内視鏡で撮像したかのような画像を生成することが考えられる。
　上述した特許文献１のように、近年、低解像カラー画像から高解像カラー画像を生成する超解像技術において、深層学習を用いた手法により高精度な処理が可能となっている。深層学習においては、解像復元のパラメータを決定するために、高解像画像と低解像画像のセットが必要となる。高解像画像と低解像画像をそれぞれ撮影して獲得するのは量的及び質的に困難であるため、高解像画像をバイキュービック等の手法で単純縮小して低解像画像を生成する手法が多く用いられている。
　内視鏡画像へ超解像を応用する場合においても、体腔内の高解像画像と低解像画像を位置ずれが無く、且つ大量に撮影するのは困難であるため、高解像画像から低解像画像を生成する処理が必要となる。しかしながら、バイキュービック等を用いた画像縮小処理では、実際に内視鏡画像を撮影する撮像系を考慮していないため、画像縮小処理で得られた低解像画像の解像感は、内視鏡画像の解像感と異なっている。このため、小型イメージャのような低解像のイメージャで撮影した画像から、高精度な超解像画像を復元できないという課題がある。
　図１は、第１実施形態における情報処理システム１００の構成例と、モデル作成処理Ｓ３００の処理フローである。情報処理システム１００は、処理対象画像１０を処理部３に入力する入力部１と、学習済みモデル２０を記憶する記憶部２と、解像復元処理を行う処理部３と、を含む。なお、入力部１、記憶部２、処理部３を、それぞれ入力装置、記憶装置、処理装置とも呼ぶ。
　情報処理システム１００は、学習済みモデル２０を用いた推論を行うシステムである。本実施形態における推論は、処理対象画像１０から高解像画像を解像復元する処理である。学習済みモデル２０はモデル作成処理Ｓ３００によって生成され、記憶部２に格納される。モデル作成処理Ｓ３００は、例えば、情報処理システム１００とは別の学習装置によって実行される。或いは、情報処理システム１００は、学習段階においてモデル作成処理Ｓ３００を実行し、推論段階において、学習済みモデル２０を用いた推論を行ってもよい。この場合、情報処理システム１００が学習装置を兼ねることになり、例えば処理部３が学習処理を実行する。
　まず、情報処理システム１００の構成を説明し、その後に推論処理のフロー及び学習処理のフローを説明する。
　入力部１は、例えば撮像系から画像データを受信する画像データインターフェース、又はストレージから画像データを読み出すストレージインターフェース、又は情報処理システム１００の外部から画像データを受信する通信インターフェース等である。入力部１は、取得した画像データを処理対象画像１０として処理部３に入力する。入力部１が動画を取得する場合、動画のフレーム画像を処理対象画像１０として処理部３に入力する。
　記憶部２は記憶装置であり、例えば半導体メモリ、又はハードディスクドライブ、光学ディスクドライブ等である。記憶部２には、モデル作成処理Ｓ３００により生成された学習済みモデル２０が予め記憶されている。或いは、サーバ等の外部装置からネットワークを介して学習済みモデル２０が情報処理システム１００に入力され、その学習済みモデル２０を記憶部２が記憶してもよい。
　処理部３は、記憶部２に記憶された学習済みモデル２０を用いて、処理対象画像１０に対して解像復元処理Ｓ２００を行うことで、処理対象画像１０から高解像画像を復元する。復元された高解像画像は、処理対象画像１０と同一被写体が写る画像であり、処理対象画像１０よりも解像度が高い画像である。解像度とは、その画像に写る被写体がどれだけ微細に解像しているかを示す指標である。解像度は、例えば画像の画素数、撮像に用いられた光学系の性能、撮像に用いられた撮像素子の形式、及び画像に施される画像処理の内容等に依存する。
　解像復元の目標となる解像度の撮像系を第１撮像系とする。処理対象画像１０は、第１撮像系よりも低解像な第２撮像系によって撮像される。処理対象画像１０から復元された高解像画像は、処理対象画像１０と同一な被写体を第１撮像系で撮像したかのような画像に相当する。撮像系は、被写体を結像させる光学系と、光学系により結像された被写体を撮像する撮像素子と、を含む。撮像素子をイメージャとも呼ぶ。撮像素子として、例えばモノクロ、ベイヤ型、補色型等の種々の形式を採用できる。例えば、第１撮像系は太径のスコープを備えた第１内視鏡の撮像系であり、第２撮像系は、第１内視鏡のスコープより細径のスコープを備えた第２内視鏡の撮像系である。
　処理部３を構成するハードウェアは、例えば、ＣＰＵ等の汎用プロセッサである。この場合、記憶部２は、推論アルゴリズムが記述されたプログラムと、その推論アルゴリズムに用いられるパラメータと、を学習済みモデル２０として記憶する。或いは、処理部３は、推論アルゴリズムがハードウェア化された専用プロセッサであってもよい。専用プロセッサは例えばＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field Programmable Gate Array）等である。この場合、記憶部２は、推論アルゴリズムに用いられるパラメータを学習済みモデル２０として記憶する。
　推論アルゴリズムはニューラルネットワークを適用することができる。ニューラルネットワークにおけるノード間接続の重み係数がパラメータである。ニューラルネットワークは、画像データが入力される入力層と、入力層を通じて入力されたデータに対し演算処理を行う中間層と、中間層から出力される演算結果に基づいて画像データを出力する出力層と、を含む。解像復元処理Ｓ２０３に用いるニューラルネットワークとして、ＣＮＮ（Convolutional Neural Network）が好適である。但し、ＣＮＮに限らず、様々なＡＩ（Artificial Intelligence）技術を採用できる。
　図２に、解像復元処理Ｓ２００の処理フローを示す。
　ステップＳ２０１において、処理部３は、入力部１から処理対象画像１０を読み込む。ステップＳ２０２において、処理部３は、解像復元に用いる学習済みモデル２０を記憶部２から読み込む。そして、ステップＳ２０３において、ステップＳ２０１で取得した処理対象画像１０に対して、ステップＳ２０２で取得した学習済みモデル２０を用いて解像復元処理を行い、高解像画像を生成する。なお、Ｓ２０１とＳ２０２の順序は入れ替わってもよい。
　図３に、モデル作成処理Ｓ３００の処理フローを示す。学習装置は、モデル作成処理Ｓ３００を実行する処理部を含む。以下、この処理部を学習処理部と呼ぶこととする。
　ステップＳ３０１において、学習処理部は高解像学習用画像３０を読み込む。高解像学習用画像３０は、上述した第１撮像系によって撮像された画像である。ステップＳ３０２、Ｓ３０３において、学習処理部は、低解像学習用画像４０を生成する際に用いる光学系情報５０と撮像素子情報６０を読み込む。光学系情報５０は、第１撮像系及び第２撮像系が有する光学系の解像度に関係する情報である。撮像素子情報６０は、第１撮像系及び第２撮像系が有する撮像素子の解像度に関係する情報である。
　ステップＳ３０４において、学習処理部は、ステップＳ３０２で取得した光学系情報及びステップＳ３０３で取得した撮像素子情報のうち少なくとも一方を用いて、ステップＳ３０１で取得した高解像学習用画像３０に対して低解像度化処理を行い、低解像学習用画像４０を生成する。低解像学習用画像４０は、高解像学習用画像３０と同一な被写体を第２撮像系で撮像したかのような画像に相当し、推論における処理対象画像１０と同一画素数である。
　ステップＳ３０５において、学習処理部は、ステップＳ３０１で取得した高解像学習用画像３０とステップＳ３０４で取得した低解像学習用画像４０を用いて、学習モデルに対する解像復元学習処理を行う。学習処理部は、複数の高解像学習用画像３０を用いてステップＳ３０１～Ｓ３０５の学習処理を繰り返し実行し、その学習後の学習モデルを学習済みモデル２０として出力する。学習処理に用いる学習モデルは、推論に用いる学習済みモデル２０と同じアルゴリズムである。具体的には、学習モデルはＣＮＮであり、学習処理部は、ＣＮＮの各層の重み値とバイアス値を算出し、それらの値を学習済みモデル２０として保存する。
　なお、ニューラルネットワークにおける機械学習のアルゴリズムとして、公知の種々な学習アルゴリズムを採用できる。例えば、誤差逆伝播法を用いた教師有り学習アルゴリズムを採用できる。
　図４に、低解像度化処理Ｓ３０４の処理フローを示す。図４では、学習処理部は、光学系情報５０及び撮像素子情報６０を用いて、高解像学習用画像３０から低解像学習用画像４０を生成する。
　ステップＳ４０１において、学習処理部は、高解像学習用画像３０を取得した際の光学系情報５０と、低解像学習用画像４０で用いる光学系情報５０を取得する。ここで、光学系情報５０とは光学系の焦点距離や絞りを指す。学習処理部は、これらの条件の場合のＰＳＦ（Point Spread Function）又はＯＴＦ（Optical Transfer Function）を取得する。即ち、学習処理部は、第１撮像系の点広がり関数と、第２撮像系の点広がり関数とを取得する、或いは第１撮像系の光学伝達関数と、第２撮像系の光学伝達関数とを取得する。
　ステップＳ４０２において、学習処理部は、高解像学習用画像３０の画素数、低解像学習用画像４０の画素数、及び撮像方式等の情報を用いて、高解像学習用画像３０に対する低解像学習用画像４０の縮小倍率を設定する。例えば、高解像学習用画像３０が６４０×４８０［ピクセル］であり、低解像学習用画像４０が３２０×２４０［ピクセル］である場合、縮小倍率は縦横共に１／２である。なお、Ｓ４０１とＳ４０２の順序は入れ替わってもよい。
　ステップＳ４０３において、学習処理部は、ステップＳ４０１で算出した光学系情報を用いて高解像学習用画像３０にボケを付加する。例えば、高解像学習用画像３０を取得した第１撮像系の光学系に比べて、低解像学習用画像４０に対応した第２撮像系の光学系の方が、性能が劣る。一般に、エイリアシング等を防ぐためにバイキュービック等フィルタを用いて事前に画像の高周波帯域を取り除く処理がなされる。これにより、縮小された画像の帯域は縮小前の画像よりも小さくなるが、この処理だけでは光学系が異なる場合の帯域の差異までは再現されない。このため、光学系の差異を補償するように画像にボケを付加する。学習処理部は、ステップＳ４０１で取得した第１撮像系と第２撮像系のＰＳＦ、又は第１撮像系と第２撮像系のＯＴＦを用いて、高解像学習用画像のボケを第２撮像系で撮像した画像のボケに類似するように補償する。なお、ボケ処理の詳細については後述する。
　ステップＳ４０４において、学習処理部は、ステップＳ４０３で生成した画像に対して、ステップＳ４０２で算出した縮小倍率による縮小処理を行う。例えば、学習処理部は、バイキュービック又はバイリニア等の縮小処理を行う。学習処理部は、縮小処理後の画像を低解像学習用画像４０として、ステップＳ３０５の解像復元学習処理を実行する。なお、ステップＳ４０３のボケ処理と、ステップＳ４０４の縮小処理は、順序が逆であってもよい。即ち、学習処理部は、高解像学習用画像３０を縮小処理し、その縮小処理後の画像に対してボケ処理を行うことで、低解像学習用画像４０を生成してもよい。
　本実施形態によれば、学習済みモデル２０は、低解像学習用画像４０を高解像学習用画像３０に解像復元するように学習される。高解像学習用画像３０は、所定被写体が第１撮像系により撮影された高解像の画像である。高解像学習用画像３０を低解像度化処理することで、低解像学習用画像４０が生成される。低解像度化処理は、所定被写体が第２撮像系により撮像されたかのような低解像の画像を生成する処理である。図４のＳ４０１～Ｓ４０３で説明したように、低解像度化処理は、第２撮像系の光学系の解像特性をシミュレートする光学系シミュレート処理を含む。光学系シミュレート処理は、例えば第１撮像系の光学系のＰＳＦと第２撮像系の光学系のＰＳＦの差異を補償するように、ＰＳＦを高解像学習用画像３０にコンボリューション演算する処理である。
　このようにすれば、第２撮像系で撮像された処理対象画像１０から、第１撮像系で撮像されたかのような画像を高精度に解像復元できる。即ち、高解像学習用画像３０から低解像学習用画像４０に低解像化する際に、光学系の解像特性を考慮するため、第１撮像系で撮像される処理対象画像１０と同等な解像度を有する低解像学習用画像４０を生成できる。この低解像学習用画像４０を用いて復元パラメータを学習することで、高性能な超解像処理を実現できる。
　ステップＳ４０３のボケ処理について説明する。ここでは、ボケ処理の一例として、第１、第２手法を説明する。
　図２０に、第１手法のボケ処理の処理フローを示す。ステップＳ４１０に示すように、学習処理部は、高解像学習用画像３０に対して、高解像の第１撮像系と低解像の第２撮像系のＰＳＦを用いてボケを付加する。ＰＳＦは、光学系に対する単位インパルス応答を表す関数、即ち光学系が点光源を結像したときの像分布を表す関数である。ステップＳ４０４に示すように、学習処理部は、ステップＳ４１０で得られた画像に対して縮小処理を行い、その結果を低解像学習用画像４０として出力する。
　ステップＳ４１０の詳細を説明する。学習処理部は、ステップＳ４１１に示すように高解像学習用画像３０に対して第１撮像系のＰＳＦをデコンボリューションし、ステップＳ４１２に示すように高解像学習用画像３０に対して第２撮像系のＰＳＦをコンボリューションする。具体的には、学習処理部は、下式（１）によりボケを付加する。下式（１）において、ｈ１、ｈ２はそれぞれステップＳ４０１で取得した第１撮像系の光学系のＰＳＦ、第２撮像系の光学系のＰＳＦであり、ｆは高解像学習用画像３０であり、ｇはボケが付加された画像であり、ｎはノイズ項である。＊はコンボリューション演算を表す。なおノイズ項ｎは省略されてもよい。
Figure JPOXMLDOC01-appb-M000001
　図２１に、第２手法のボケ処理の処理フローを示す。ステップＳ４２０に示すように、学習処理部は、高解像学習用画像３０に対して、高解像の第１撮像系と低解像の第２撮像系の光学系のＯＴＦを用いてボケを付加する。ＯＴＦは、光学系に対する単位インパルス周波数応答を表す関数、即ち光学系が点光源を結像したときの像分布の周波数特性を表す関数である。ステップＳ４０４に示すように、学習処理部は、ステップＳ４２０で得られた画像に対して縮小処理を行い、その結果を低解像学習用画像４０として出力する。
　ステップＳ４２０の詳細を説明する。学習処理部は、第１撮像系の光学系と第２撮像系の光学系のそれぞれのＯＴＦを図１の光学系情報５０として読み込む。図２１のステップＳ４２１に示すように、学習処理部は、高解像学習用画像に対してＦＦＴ（Fast Fourier Transform）を行うことで高解像学習用画像３０の周波数特性を求める。ステップＳ４２２及びＳ４２３において、学習処理部は、高解像学習用画像３０の周波数特性を、第１撮像系のＯＴＦにより除算及び第２撮像系のＯＴＦにより乗算した結果を算出する。ステップＳ４２４において、学習処理部は、算出結果である周波数特性に対して逆ＦＦＴを行う。
　本実施形態によれば、ＯＴＦを用いてボケ処理することで、ＰＳＦを用いた第１手法と実質的に同様な演算を実現できる。具体的には、下式（２）に示すようにＯＴＦとＰＳＦはフーリエ変換の関係にある。即ち、ＯＴＦの周波数応答は、実空間における光学系の単位インパルス応答（ＰＳＦ）と一致する。このため、図２１のステップＳ４２０に示すＯＴＦを用いたボケ処理を行うことで、図２０のステップＳ４１０に示すＰＳＦを用いたボケ処理と実質同様の結果を得ることができる。
Figure JPOXMLDOC01-appb-M000002
　なお、上記の実施形態では、ＰＳＦやＯＴＦといった伝達関数を用いて第２撮像系の光学系の解像特性をシミュレートしたが、これに限られるものではなく、既知の光学系の設計値に基づく計算や機械学習を用いることで第２撮像系の光学系の解像特性をシミュレートしてもよい。
　２．第２実施形態
　第２実施形態では、第２撮像系は同時式撮像素子を含み、その撮像素子の形式を考慮した低解像度化処理を行う。具体的には、ベイヤ配列を有する撮像素子により処理対象画像が撮影され、デモザイク処理による解像度低下を考慮した低解像度化処理を行う。以下では、ベイヤ型撮像素子を例に説明するが、同時式撮像素子はベイヤ型撮像素子に限定されない。なお、第１実施形態と同様な構成及び処理については説明を省略する。
　図５は、第２実施形態における情報処理システム１００の構成例と、モデル作成処理Ｓ６００の処理フローである。情報処理システム１００の構成及び解像復元処理は、図１と図２に示す第１実施形態と同様である。
　図６に、モデル作成処理Ｓ６００の処理フローを示す。ステップＳ６０１～Ｓ６０３は、第１実施形態のステップＳ３０１～Ｓ３０３と同じである。
　ステップＳ６０４～Ｓ６０６は、図５のステップＳ６１０に示す低解像度化処理に対応する。ステップＳ６０４の縮小及びボケ処理は、図４に示す第１実施形態のステップＳ４０１～Ｓ４０４に対応する。即ち、ステップＳ６０４において、学習処理部は、光学系情報を用いて高解像学習用画像３０にボケを付加し、そのボケが付加された画像を、撮像素子情報を用いて縮小処理する。縮小処理後の画像は、各画素にＲＧＢ画素値が存在する低解像カラー画像４１である。
　ステップＳ６０５において、学習処理部は、ステップＳ６０４で生成した低解像カラー画像４１に対してモザイク配置処理を行う。即ち、学習処理部は、ステップＳ６０３で取得した撮像素子情報６０を用いて、低解像カラー画像４１の画素値をベイヤ状にモザイク配置することで、低解像ベイヤ画像４２を生成する。低解像ベイヤ画像４２の各画素には、ＲＧＢいずれか１色が割り当てられている。例えば、低解像ベイヤ画像４２のＲ画素を例にとると、そのＲ画素と同じ位置の低解像カラー画像４１の画素からＲ画素値を抽出し、そのＲ画素値を低解像ベイヤ画像４２のＲ画素に割り当てる。低解像ベイヤ画像４２のＧ、Ｂ画素も同様である。
　ステップＳ６０６において、学習処理部は、モザイク状の低解像ベイヤ画像４２に対してデモザイク処理を行うことで、低解像ベイヤ画像４２を再びカラー化する。このデモザイク処理後の画像が低解像学習用画像４０となる。例えば、デモザイク処理として、色相関を用いる補間又はバイリニア補間等の既存処理を採用できる。処理対象画像１０が生成される際のデモザイク処理がわかっている場合、ステップＳ６０６において、そのデモザイク処理と同様の処理を行うことが望ましい。
　ステップＳ６０７において、第１実施形態のステップＳ３０５と同様に、ステップＳ６０１で取得した高解像学習用画像３０と、ステップＳ６０６で取得した低解像学習用画像４０とを用いて解像復元学習処理を行い、学習済みモデル２０を生成する。
　本実施形態によれば、第１撮像系は、第１撮像方式の第１撮像素子を含む。第２撮像系は、第１撮像素子より低画素数であり且つ第１撮像方式と異なる第２撮像方式の第２撮像素子を含む。低解像度化処理Ｓ６１０は、第２撮像方式をシミュレートする撮像方式シミュレート処理を更に含む。撮像方式シミュレート処理は、第２撮像素子で取得された画像信号から処理対象画像１０を生成する際の画像処理をシミュレートする。例えば図５と図６に示すようにモザイク配置処理Ｓ６０５とデモザイク処理Ｓ６０６である。
　撮像素子で取得された画像信号からカラー画像を生成する際の画像処理は、撮像方式に応じて異なっている。この画像処理はカラー画像の解像感に影響を与える。本実施形態によれば、低解像度化処理Ｓ６１０において撮像方式シミュレート処理を行うことで、処理対象画像１０の解像感を低解像学習用画像４０において再現できる。これにより、高性能な超解像を実現できる。
　また本実施形態では、低解像度化処理Ｓ６１０は、第１撮像方式の高解像学習用画像３０を縮小処理し、縮小処理後の画像４１に撮像方式シミュレート処理を行う処理である。撮像方式シミュレート処理は、縮小処理後の画像４１から第２撮像方式の画像４２を生成（Ｓ６０５）し、生成した第２撮像方式の画像４２に対して、処理対象画像１０を生成する際の画像処理と同じ画像処理を実施（Ｓ６０６）することで、低解像学習用画像４０を生成する処理である。
　このようにすれば、高解像学習用画像３０から第２撮像方式の画像４２を一旦生成した後に、その画像４２に対して、処理対象画像１０を生成する際の画像処理と同じ画像処理を実施する。これにより、第２撮像素子で取得された画像信号から処理対象画像１０を生成する際の画像処理をシミュレートできる。
　また本実施形態では、第１撮像系は、複数の波長帯域の光が順次に照射される場合において各波長帯域の光が照射されるタイミングでモノクロ撮像素子により撮像することで、複数の画像を取得する。高解像学習用画像３０は、複数の画像が合成された面順次式画像である。第２撮像系は、互いに色が異なる複数の画素を有し且つ各画素に１色が割り当てられた同時式撮像素子を用いて、各画素に１色が割り当てられたベイヤ画像を取得する。低解像度化処理Ｓ６１０は、面順次式画像（３０）の画素数を減らす縮小処理を行い、縮小処理後の画像４１に対して撮像方式シミュレート処理を行う処理である。撮像方式シミュレート処理は、縮小処理後の画像４１から低解像ベイヤ画像４２を構成する（Ｓ６０５）。この低解像ベイヤ画像４２は、第２撮像系が取得するベイヤ画像に相当する。次に、撮像方式シミュレート処理は、低解像ベイヤ画像４２をデモザイク処理する（Ｓ６０６）ことで低解像学習用画像４０を生成する。
　具体的には、第２撮像素子は、分光感度特性が異なる複数種類の画素を有する。高解像学習用画像３０は、モノクロ撮像素子を使用し、複数の波長帯域の光を順次照射撮像して取得された前記複数の波長帯域の光による撮像信号を合成することで生成された面順次式画像である。低解像学習用画像４０は、分光感度が異なる複数種類の画素を有する同時式撮像素子からなる第２の撮像系によって撮像された画像をシミュレートしたものである。低解像度化処理Ｓ６１０は、第２撮像方式をシミュレートする際に、同時式撮像素子の有する各画素の信号を、該各画素の位置に対応する位置のモノクロ撮像素子の画素で取得された複数の波長帯域の光による信号のうち、少なくとも１つの波長帯域の光による信号に基づき生成した後、デモザイク処理（Ｓ６０６）を行って、低解像学習用画像４０が生成される処理である。
　このようにすれば、第１撮像系が面順次方式であり、第２撮像系が同時方式である場合に、低解像度化処理において、第２撮像方式である同時方式をシミュレートできる。同時方式におけるデモザイク処理は処理対象画像１０の解像感に影響を与える。本実施形態によれば、撮像方式シミュレート処理においてデモザイク処理を行うことで、処理対象画像１０の解像感を低解像学習用画像４０において再現できる。これにより、高性能な超解像を実現できる。
　第２実施形態の変形例について説明する。変形例では、第２実施形態の学習処理に加えて、ノイズリダクション処理による解像度低下を考慮した低解像度化処理を行う。なお、第１、第２実施形態と同様な構成及び処理については説明を省略する。
　図７は、第２実施形態の変形例における情報処理システム１００の構成例と、モデル作成処理Ｓ８００の処理フローである。情報処理システム１００の構成及び解像復元処理は、図１と図２に示す第１実施形態と同様である。
　図８に、モデル作成処理Ｓ８００の処理フローを示す。ステップＳ８１０の低解像度化処理は、ステップＳ８０４～Ｓ８０７を含む。ステップＳ８０１～Ｓ８０５は、第２実施形態のステップＳ６０１～Ｓ６０５と同じである。
　ステップＳ８０６において、学習処理部は、ステップＳ８０５で生成したモザイク状の低解像ベイヤ画像４２に対してノイズリダクション処理を行う。例えば、ベイヤ画像に対する既知のノイズリダクション処理を採用できる。ステップＳ８０７において、学習処理部は、第２実施形態のステップＳ６０６と同様に、ノイズリダクション処理後の画像に対してデモザイク処理を行うことで低解像学習用画像４０を生成する。ステップＳ８０８において、第１実施形態のステップＳ３０５と同様に、ステップＳ８０１で取得した高解像学習用画像３０と、ステップＳ８０７で取得した低解像学習用画像４０とを用いて解像復元学習処理を行い、学習済みモデル２０を生成する。
　本実施形態によれば、撮像方式シミュレート処理は、低解像ベイヤ画像４２に対するノイズリダクション処理（Ｓ８０６）を更に含む。
　ノイズリダクション処理は処理対象画像１０の解像感に影響を与える。本実施形態によれば、撮像方式シミュレート処理においてノイズリダクション処理を行うことで、処理対象画像１０の解像感を低解像学習用画像４０において再現できる。これにより、高性能な超解像を実現できる。
　３．第３実施形態
　第３実施形態では、処理対象画像を撮像した撮像系の種類を検出し、その検出結果に対応した解像復元を行う。以下では撮像系の種類に応じて撮像方式が異なる場合を例に説明するが、これに限定されず、撮像系の種類に応じて処理対象画像の解像度が異なっていればよい。例えば、撮像系の種類に応じて画素数、光学系等が異なってもよい。なお、第１、第２実施形態と同様な構成及び処理については説明を省略する。
　図９は、第３実施形態における情報処理システム１００の構成例と、モデル作成処理Ｓ３００、Ｓ６００の処理フローである。入力部１の構成及び処理は第１実施形態と同様である。また、モデル作成処理Ｓ３００、Ｓ６００は第１、第２実施形態と同様である。
　記憶部２は、第１学習済みモデル２１と第２学習済みモデル２２を記憶する。第１学習済みモデル２１は、第１実施形態で説明したモデル作成処理Ｓ３００により生成される。第２学習済みモデル２２は、第２実施形態で説明したモデル作成処理Ｓ６００により生成される。
　処理部３は、撮像方式を検出する撮像情報検出処理Ｓ２５０と、その検出結果を用いて解像復元を行う解像復元処理Ｓ２００と、を行う。図１０に、撮像情報検出処理Ｓ２５０及び解像復元処理Ｓ２００の処理フローを示す。
　ステップＳ１００１において、処理部３は、入力部１から処理対象画像１０を読み込む。ステップＳ１００２において、処理部３は、処理対象画像１０から撮像情報を検出し、その撮像情報に基づいて撮像方式を判断する。撮像情報は、例えば処理対象画像１０の色分布、面順次式によるエッジ部の色ずれ量、又は画素数等の画像情報である。撮像方式は、面順次方式又は同時方式である。処理対象画像１０が面順次方式で撮像されたとき、処理対象画像１０は、面順次方式に対応した撮像情報を有し、処理対象画像１０が同時方式で撮像されたとき、処理対象画像１０は、同時方式に対応した撮像情報を有する。
　撮像方式について補足説明する。なお以下ではＲＧＢの白色画像を撮像する場合を例に説明する。面順次方式では、光源がＲ光、Ｇ光及びＢ光を順次に発光する。撮像系はモノクロ撮像素子を有し、光源がＲ光を発光したタイミングでＲ画像を撮像し、光源がＧ光を発光したタイミングでＧ画像を撮像し、光源がＢ光を発光したタイミングでＢ画像を撮像する。これら３色の画像が合成されることでカラー画像が生成される。同時方式では、光源が白色光を発光する。白色光は、例えば可視光域を覆う連続スペクトルを有する。撮像系はベイヤ型撮像素子を有し、ベイヤ配列の画像を撮像する。このベイヤ配列の画像がデモザイク処理されることでカラー画像が生成される。
　撮像情報について補足説明する。まず色分布について説明する。上記のように、面順次方式と同時方式では光源が異なる。このため、例えば生体の赤味等、画像の色味が異なって写る。処理部３は、色相等を用いて画像の色味を判断することで、撮像方式を判断する。次にエッジ部の色ずれ量について説明する。上記のように、面順次方式ではＲＧＢの撮像タイミングが異なるため、ＲＧＢで被写体位置がずれている。処理部３は、マッチング処理等を用いてエッジ部の色ずれ量を検出し、その色ずれ量が所定値より大きい場合に、撮像方式が面順次方式であると判断する。次に画素数について説明する。上記のように、面順次方式と同時方式では撮像素子が異なるので、撮像画像の画素数が異なる場合がある。処理部３は、処理対象画像１０の画素数から撮像方式を判断する。
　ステップＳ１００３において、処理部３は、ステップＳ１００２で判断された撮像方式に対応した学習済みモデルを記憶部２から読み出す。即ち、処理部３は、撮像方式が面順次方式であると判断したとき、記憶部２から第１学習済みモデル２１を読み出し、撮像方式が同時方式であると判断したとき、記憶部２から第２学習済みモデル２２を読み出す。
　ステップＳ１００４において、処理部３は、ステップＳ１００１で取得した処理対象画像１０に対して、ステップＳ１００３で取得した学習済みモデルを用いて解像復元処理を行い、高解像画像を生成する。
　本実施形態によれば、記憶部２は、第２撮像系に対応した学習済みモデルである第１学習済みモデル２１と、第１撮像系より低解像の撮像を行う第３撮像系に対応した第２学習済みモデル２２と、を記憶する。入力部１は、第２撮像系によって撮像される第１処理対象画像、又は第３撮像系によって撮像される第２処理対象画像を、処理対象画像１０として処理部３に入力する。処理部３は、第１処理対象画像に対する解像復元を、第１学習済みモデル２１を用いて行い、第２処理対象画像に対する解像復元を、第２学習済みモデル２２を用いて行う。
　このようにすれば、処理対象画像１０が撮像された撮像系に応じた学習済みモデルが選択される。これにより、複数の撮像系に対応した高性能な超解像を実現できる。即ち、各撮像系に応じて適切な復元パラメータを有する学習済みモデルが選択されるので、撮像系に関わらず高性能な超解像を実現できる。
　また本実施形態では、処理部３は、処理対象画像１０を撮像した撮像系の種類を、処理対象画像１０から検出する。処理部３は、検出結果に基づいて第１処理対象画像が入力されたと判断したとき、第１学習済みモデル２１を選択し、検出結果に基づいて第２処理対象画像が入力されたと判断したとき、第２学習済みモデル２２を選択する。
　このようにすれば、処理対象画像１０から撮像系の種類を判断し、その撮像系の種類に対応した学習済みモデルを選択できる。
　４．第４実施形態
　第４実施形態では、情報処理システムを内視鏡システムに用いる。内視鏡システムは、各種の内視鏡スコープを着脱可能である。第４実施形態では、内視鏡システムに装着された内視鏡スコープに応じて解像復元を行う。具体的には、内視鏡スコープの撮像系の種類を検出し、その検出結果に対応した解像復元を行う。以下では撮像系の種類に応じて撮像方式が異なる場合を例に説明するが、これに限定されず、撮像系の種類に応じて処理対象画像の解像度が異なっていればよい。例えば、撮像系の種類に応じて画素数、光学系等が異なってもよい。なお、第１～第３実施形態と同様な構成及び処理については説明を省略する。
　図１１は、第４実施形態における内視鏡システム２００の構成例と、モデル作成処理Ｓ３００、Ｓ６００の処理フローである。内視鏡システム２００は、プロセッサユニット４と、プロセッサユニット４に接続される内視鏡スコープ５とを含む。プロセッサユニット４は、入力部１と記憶部２と処理部３とを含む。入力部１は第１実施形態と同様であり、記憶部２は第３実施形態と同様であり、モデル作成処理Ｓ３００、Ｓ６００は第１、第２実施形態と同様である。
　処理部３は、プロセッサユニット４に接続された内視鏡スコープ５の撮像方式を検出する撮像情報検出処理Ｓ２６０と、その検出結果を用いて解像復元を行う解像復元処理Ｓ２００と、を行う。図１２に、撮像情報検出処理Ｓ２６０及び解像復元処理Ｓ２００の処理フローを示す。
　ステップＳ１２０１において、処理部３は、入力部１から処理対象画像１０を読み込む。ステップＳ１２０２において、処理部３は、内視鏡スコープ５のＩＤを検出する。ＩＤには、内視鏡スコープ５が有する撮像系の光学系情報と撮像方式情報が含まれる。ステップＳ１２０３において、処理部３は、ステップＳ１２０２で検出したＩＤに対応した学習済みモデルを記憶部２から読み込む。即ち、処理部３は、ＩＤが面順次方式を示す場合には第１学習済みモデル２１を記憶部２から読み出し、ＩＤが同時方式を示す場合には第２学習済みモデル２２を記憶部２から読み出す。ステップＳ１２０４において、処理部３は、ステップＳ１２０１で取得した処理対象画像１０に対して、ステップＳ１２０３で取得した学習済みモデルを用いて解像復元処理を行い、高解像画像を生成する。
　本実施形態によれば、処理部３は、プロセッサユニット４に接続された内視鏡スコープ５のＩＤ情報を検出する。処理部３は、ＩＤ情報に基づいて内視鏡スコープ５が第２撮像系を含むと判断したとき、第１学習済みモデル２１を選択し、ＩＤ情報に基づいて内視鏡スコープ５が第３撮像系を含むと判断したとき、第２学習済みモデル２２を選択する。
　このようにすれば、内視鏡スコープのＩＤ情報に応じた学習済みモデルが選択される。これにより、複数種類の内視鏡スコープに対応した高性能な超解像を実現できる。即ち、各種類の内視鏡スコープに応じて適切な復元パラメータを有する学習済みモデルが選択されるので、内視鏡スコープの種類に関わらず高性能な超解像を実現できる。
　５．変形例
　以下、種々の変形実施例について説明する。
　第１変形例を説明する。第１～第４実施形態において、低解像度化処理は、光学系情報及び撮像素子情報の少なくとも一方を用いたが、更に光源の情報を用いてもよい。第１変形例では、処理対象画像を撮像する際の光源に応じて低解像度化処理を切り替える。具体的には、観察方式に応じて光源が異なっているため、光源に応じた切り替えは、観察方式に応じた切り替えとも言える。
　観察方式は、観察モードとも呼ばれる。観察方式としては、例えば白色照明光を用いるＷＬＩ（White Light Imaging）、白色光ではない特殊光を用いる特殊光観察等がある。以下では、特殊光観察が、２つの狭帯域光を用いるＮＢＩ（Narrow Band Imaging）である場合を例に説明する。２つの狭帯域光は、青色の波長帯域に含まれる狭帯域光と、緑色の波長帯域に含まれる狭帯域光である。ＷＬＩとＮＢＩでは、撮像素子が出力する画像信号からカラー画像を生成する際の画像処理が異なる。例えば、デモザイク処理の内容、又は画像処理におけるパラメータが異なる。
　図１３は、第１変形例における情報処理システム１００の構成例、及びモデル作成処理Ｓ５００の処理フローである。
　モデル作成処理Ｓ５００の低解像度化処理Ｓ５１０において、学習処理部は観察方式情報７０を取得し、その観察方式情報７０に応じて処理を切り替える。観察方式情報７０は、処理対象画像１０が撮像される際の観察方式を示す情報である。学習処理部は、観察方式情報７０がＷＬＩを示す場合にはＷＬＩ用処理Ｓ５１１を選択し、観察方式情報がＮＢＩを示す場合にはＮＢＩ用処理Ｓ５１２を選択する。ＷＬＩ用処理Ｓ５１１及びＮＢＩ用処理Ｓ５１２は、高解像学習用画像３０を低解像学習用画像４０に低解像化する処理である。例えば、ＷＬＩ用処理Ｓ５１１は、デモザイク処理においてＧ画像を用いてＲ画像及びＢ画像を補間する。一方、ＮＢＩ用処理Ｓ５１２は、デモザイク処理においてＧ画像とＢ画像をそれぞれ独立に補間する。
　第１変形例によれば、処理対象画像１０は、第１撮像系が撮像する際に用いた光源に対応した画像処理によって生成される。低解像度化処理Ｓ５１０は、光源に対応した画像処理（Ｓ５１１、Ｓ５１２）を含む。
　このようにすれば、観察方式に関わらず高性能な超解像処理を実現可能となる。即ち、観察方式によって画像処理が異なるため、処理対象画像の解像感も変化する。第１変形例によれば、観察方式に応じて画像処理を切り替えることで、処理対象画像の解像感と同等な低解像学習用画像を生成できる。これにより、超解像の精度を向上できる。
　第２変形例を説明する。第２実施形態において、ベイヤ画像を低解像学習用画像にする画像処理は、デモザイク処理、又はデモザイク処理及びノイズリダクション処理であるが、画像処理は、これらに限定されない。ベイヤ画像を低解像学習用画像にする画像処理は、欠陥画素の補正又はエッジ強調処理等の各種画像処理を含んでもよい。
　第３変形例を説明する。第１実施形態において、光学系情報を反映した低解像学習用画像を生成するために２つの光学系のＰＳＦ又はＯＴＦを用いて画像にボケを付加したが、ボケ付加の手法はこれに限定されない。第１撮像系の光学系を用いて撮像した画像と、第２撮像系の光学系を用いて撮像した画像とを用いて、画像に付加するボケ量を実験的に決定してもよい。具体的には、ガウシアン等によりボケを近似した２次元フィルタを複数生成する。複数の２次元フィルタは、互いに異なるボケ量を近似する。第１撮像系の光学系を用いて撮像した画像に対して複数の２次元フィルタを生成し、得られた複数の画像と、第２撮像系の光学系を用いて撮像した画像とを比較する。その比較結果に基づいて、最適なボケ量を近似する２次元フィルタを選択する。
　第３変形例によれば、簡易的に光学系情報を反映した低解像度化処理が可能となる。即ち、撮像系のＰＳＦ又はＯＴＦが分からない場合であっても、ガウシアン等の２次元フィルタによって光学系の解像特性を近似できる。
　第４変形例を説明する。第２実施形態において、同時式撮像素子がベイヤ型撮像素子である例を説明したが、同時式撮像素子はこれに限定されず、どのような色配列を有する撮像素子であってもよい。例えば、同時式撮像素子は、図１４に示す補色配列を有してもよいし、又は図１５に示す原色画素と補色画素が混在した配列を有してもよい。図１４の補色型撮像素子では、２×２画素のユニット内にシアン（Ｃｙ）画素、マゼンダ（Ｍｇ）画素、イエロー（Ｙｅ）画素、及び緑（Ｇ）画素が配置され、そのユニットが繰り返し配置される。図１５の混在型撮像素子では、２×２画素のユニット内に赤（Ｒ）画素、緑（Ｇ）画素、青（Ｂ）画素、及びシアン（Ｃｙ）画素が配置され、そのユニットが繰り返し配置される。
　第４変形例を考慮すると、同時式撮像素子は例えば次のような構成である。例えば、同時式撮像素子は、Ｃｙ、Ｍｇ、Ｙｅのカラーフィルタが設けられたＣｙ画素、Ｍｇ画素、Ｙｅ画素、Ｇ画素の４色の画素のうち少なくとも２色の画素を有してもよい。或いは、同時式撮像素子は、Ｃｙ、Ｍｇ、Ｙｅ、Ｇのカラーフィルタが設けられたＣｙ画素、Ｍｇ画素、Ｙｅ画素、Ｇ画素の４色の画素からなる補色系配列を有してもよい。或いは、同時式撮像素子は、Ｒ、Ｇ、Ｂの３色のカラーフィルタが設けられたＲ画素、Ｇ画素、Ｂ画素の３色の画素のうち少なくとも２色の画素を有してもよい。或いは、同時式撮像素子は、ベイヤ配列を有してもよい。
　第５変形例を説明する。第３実施形態において、撮像系の種類を示す撮像情報を処理対象画像から検出したが、撮像情報を検出する方法は、これに限定されない。例えば、ユーザが予め処理対象画像の撮像情報を把握している場合、ユーザがその情報を情報処理システム１００に入力してもよい。
　第６変形例を説明する。第２実施形態において、面順次式で撮影された高解像学習用画像をモザイク配置することで低解像ベイヤ画像を生成する。低解像ベイヤ画像は、同時式で撮影された画像を想定している。上述したように面順次式では色ずれが発生するが、同時式では色ずれが発生しないため、色ずれが多いシーンの画像から低解像ベイヤ画像を生成するのは、超解像精度の観点から望ましくない。
　図１６は、第６変形例における情報処理システム１００の構成例、及びモデル作成処理Ｓ７００の処理フローである。情報処理システム１００の構成及び動作は第２実施形態と同様である。
　モデル作成処理Ｓ７００において、学習処理部は、高解像学習用画像３０に対して色ずれ判定処理Ｓ７１０を行う。学習処理部は、色ずれ量が所定値より小さい高解像学習用画像３０に対して低解像度化処理Ｓ６１０を行い、低解像学習用画像４０を生成する。色ずれ判定処理Ｓ７１０では、例えば画像の飽和部周辺等の色付き量を所定の閾値を比較する。
　第６変形例によれば、第１撮像系は、複数の波長帯域の光が順次に照射される場合において各波長帯域の光が照射されるタイミングでモノクロ撮像素子により撮像することで、複数の画像を取得する。高解像学習用画像３０は、複数の画像が合成された面順次式画像である。学習済みモデル２０は、面順次式画像における色ずれ量が、予め設定された閾値以下である面順次式画像（３０）を用いて学習される。
　このようにすれば、色ずれが少ないシーンのみを用いて解像復元の学習を行うことができる。これにより、色ずれの影響を抑えながら、同時式の低解像撮像素子で撮影した画像に対しても高性能な超解像処理を実現できる。
　第７変形例を説明する。第１実施形態において、高解像学習用画像３０に対し、低解像度化処理を行うことで低解像学習用画像４０を出力したが、高解像学習用画像３０に対し、低解像度化処理に加えて既知のグレースケール化処理を行い、モノクロの低解像学習用画像を出力してもよい。
　モノクロの低解像学習用画像を用いて解像復元学習処理を行うことで、第２撮像系によって撮像される処理対象画像１０がモノクロであっても、学習済みモデルは、処理対象画像１０を解像復元するだけでなく、処理対象画像１０の被写体の実際の色味を再現できる。
　６．学習装置、内視鏡システム
　図１７は、上述したモデル作成処理を実行する学習装置３５０の構成例である。学習装置３５０は、処理部３５１と記憶部３５２と操作部３５３と表示部３５４とを含む。例えば、学習装置３５０はＰＣ又はサーバ等の情報処理装置である。処理部３５１はＣＰＵ等のプロセッサである。処理部３５１は、学習モデルに対する機械学習を行って学習済みモデルを生成する。記憶部３５２は半導体メモリ又はハードディスクドライブ等の記憶装置である。操作部３５３はマウス又はタッチパネル、キーボード等の種々の操作入力装置である。表示部３５４は液晶ディスプレイ等の表示装置である。なお学習装置３５０は、ネットワークで接続された複数の情報処理装置が並列処理を行うクラウドシステムであってもよい。或いは、図１等の情報処理システム１００が学習装置を兼ねてもよい。この場合、処理部３、記憶部２が、それぞれ学習装置３５０の処理部３５１、記憶部３５２を兼ねる。
　学習装置３５０が生成した学習済みモデルは、情報処理システム１００の記憶部２に記憶される。なお、学習済みモデルは、コンピュータにより読み取り可能な媒体である情報記憶媒体に、格納されてもよい。情報記憶媒体は、例えば光ディスク、メモリカード、ＨＤＤ、或いは半導体メモリなどにより実現できる。半導体メモリは例えばＲＯＭである。情報処理システム１００は、情報記憶媒体に格納されるプログラムとデータを読み出し、そのプログラムとデータに基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体には、本実施形態の学習済みモデルをコンピュータに実行させるためのプログラムとパラメータが記憶される。コンピュータは、入力装置、及び処理部、記憶部、出力部を備える装置である。プログラムは、学習済みモデルの推論アルゴリズムをコンピュータに実行させるためのプログラムである。パラメータは、推論アルゴリズムに用いられるパラメータであり、例えばニューラルネットワークにおけるノード間接続の重み係数である。情報記録媒体としては、ＤＶＤやＣＤ等の光ディスク、光磁気ディスク、ハードディスク、不揮発性メモリやＲＡＭ等のメモリなど、コンピュータによって読み取り可能な種々の記録媒体を想定できる。
　図１８は、情報処理システム１００を含む内視鏡システム２００の第１構成例である。内視鏡システム２００は、プロセッサユニット４と内視鏡スコープ５と操作部２３０と表示部２４０とを含む。
　内視鏡スコープ５の先端部には撮像装置が設けられ、その先端部が体腔内に挿入される。撮像装置は、上述した第２撮像系である。撮像装置が腹腔内の画像を撮影し、その撮像データが内視鏡スコープ５からプロセッサユニット４へ送信される。
　プロセッサユニット４は、内視鏡システム２００における種々の処理を行う装置である。例えばプロセッサユニット４は、内視鏡システム２００の制御、及び画像処理等を行う。プロセッサユニット４は、情報処理システム１００とストレージ部２１１と制御部２１２と出力部２１３とを含む。
　制御部２１２は、内視鏡システム２００の各部を制御する。例えば操作部２３０から入力された情報に基づいて、内視鏡システム２００のモード切り替え、ズーム動作、表示切り替え等を行う。操作部２３０は、ユーザが内視鏡システム２００を操作するための装置である。例えば、操作部２３０は、ボタン、又はダイヤル、フットスイッチ、タッチパネル等である。なお制御部２１２と各部の接続の図示を省略している。
　ストレージ部２１１は、内視鏡スコープ５が撮像した画像を記録する。ストレージ部２１１は、例えば半導体メモリ、ハードディスクドライブ、又は光学ドライブ等である。
　情報処理システム１００は、撮像データ受信部１１０とストレージインターフェース１２０と処理部３と記憶部２とを含む。撮像データ受信部１１０は、内視鏡スコープ５からの撮像データを受信する。撮像データ受信部１１０は、例えば内視鏡スコープ５のケーブルが接続されるコネクター、又は、撮像データを受信するインターフェース回路等である。ストレージインターフェース１２０は、ストレージ部２１１にアクセスするためのインターフェースである。ストレージインターフェース１２０は、撮像データ受信部１１０が受信した画像データをストレージ部２１１に記録する。記録した画像データを再生する際には、ストレージインターフェース１２０は、ストレージ部２１１から画像データを読み出し、その画像データを処理部３に送信する。処理部３は、撮像データ受信部１１０又はストレージインターフェース１２０からの画像データを処理対象画像として解像復元処理を行う。処理部３は、復元後の高解像画像を出力する。
　第１～第４実施形態における入力部１は、図１８において撮像データ受信部１１０又はストレージインターフェース１２０に対応する。
　出力部２１３は、表示部２４０への画像表示を制御する表示コントローラーであり、処理部３から出力された高解像画像を表示部２４０に表示させる。表示部２４０は、出力部２１３から出力された画像を表示するモニタであり、例えば液晶ディスプレイ又は有機ＥＬディスプレイ等の表示装置である。
　なお、内視鏡システム２００は不図示の光源を含むことができる。光源は照明光を生成する。内視鏡スコープ５は、光源が生成した照明光をスコープ先端部に導光するライトガイドと、導光された照明光を拡散させる照明レンズとを含む。
　図１９は、情報処理システム１００を含む内視鏡システム２００の第２構成例である。内視鏡システム２００は、情報処理システム１００とプロセッサユニット４と内視鏡スコープ５と操作部２３０と表示部２４０とを含む。
　図１９では、情報処理システム１００がプロセッサユニット４の外部に設けられる。情報処理システム１００とプロセッサユニット４は、例えばＵＳＢ等の機器間通信により接続されてもよいし、或いはＬＡＮ又はＷＡＮ等のネットワーク通信により接続されてもよい。情報処理システム１００は、１又は複数の情報処理装置によって構成される。情報処理システム１００が複数の情報処理装置で構成される場合、情報処理システム１００は、ネットワークを介して接続された複数のＰＣ又は複数のサーバ等が並列処理を行うクラウドシステムであってもよい。
　プロセッサユニット４は、撮像データ受信部１１０と処理部２１４と外部インターフェース２１５と制御部２１２と出力部２１３とを含む。処理部２１４は、撮像データ受信部１１０が受信した画像データを、外部インターフェース２１５を介して情報処理システム１００に送信する。情報処理システム１００は、受信した画像データを超解像処理して高解像画像を生成する。外部インターフェース２１５は、情報処理システム１００から送信される高解像画像を受信し、その高解像画像を処理部２１４に出力する。処理部２１４は高解像画像を出力部２１３に出力し、出力部２１３は高解像画像を表示部２４０に表示させる。
　情報処理システム１００は、外部インターフェース１３０と処理部３と記憶部２とストレージインターフェース１２０とストレージ部２１１とを含む。外部インターフェース１３０は、プロセッサユニット４から送信される画像データを受信する。ストレージインターフェース１２０及びストレージ部２１１は第１構成例と同様である。処理部３は、外部インターフェース１３０又はストレージインターフェース１２０からの画像データを処理対象画像として解像復元処理を行う。処理部３は、復元後の高解像画像を外部インターフェース１３０に出力し、外部インターフェース１３０は高解像画像をプロセッサユニット４に送信する。
　第１～第４実施形態における入力部１は、図１９において外部インターフェース１３０又はストレージインターフェース１２０に対応する。
　以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
１　入力部、２　記憶部、３　処理部、４　プロセッサユニット、５　内視鏡スコープ、１０　処理対象画像、２０　学習済みモデル、２１　第１学習済みモデル、２２　第２学習済みモデル、３０　高解像学習用画像、４０　低解像学習用画像、４１　低解像カラー画像、４２　低解像ベイヤ画像、５０　光学系情報、６０　撮像素子情報、７０　観察方式情報、１００　情報処理システム、１１０　撮像データ受信部、１２０　ストレージインターフェース、１３０　外部インターフェース、２００　内視鏡システム、２１１　ストレージ部、２１２　制御部、２１３　出力部、２１４　処理部、２１５　外部インターフェース、２３０　操作部、２４０　表示部、３５０　学習装置、３５１　処理部、３５２　記憶部、３５３　操作部、３５４　表示部

Claims (18)

  1. 　学習済みモデルを記憶する記憶部と、
    　処理部と、
    　第１撮像系よりも低解像の撮像を行う第２撮像系によって撮像される処理対象画像を、前記処理部に入力する入力部と、
    　を含み、
    　前記学習済みモデルは、
    　低解像学習用画像を高解像学習用画像に解像復元するように学習された学習済みモデルであり、
    　前記高解像学習用画像は、所定被写体が前記第１撮像系により撮影された高解像の画像であり、
    　前記低解像学習用画像は、前記高解像学習用画像を、低解像度化処理することで生成され、
    　前記低解像度化処理は、前記所定被写体が前記第２撮像系により撮像されたかのような低解像の画像を生成する処理であって、前記第２撮像系の光学系の解像特性をシミュレートする光学系シミュレート処理を含み、
    　前記処理部は、
    　前記学習済みモデルを用いて、前記処理対象画像を、前記第１撮像系で撮像されたときの解像度に解像復元することを特徴とする情報処理システム。
  2. 　請求項１において、
    　前記低解像度化処理は、前記光学系シミュレート処理において、前記第２撮像系の伝達関数に基づいて前記解像特性をシミュレートすることを特徴とする情報処理システム。
  3. 　請求項２において、
    　前記低解像度化処理は、前記高解像学習用画像に前記第１撮像系のＰＳＦ（PSF: Point Spread Function）をデコンボリューション演算及び前記第２撮像系のＰＳＦをコンボリューション演算することで、前記解像特性をシミュレートすることを特徴とする情報処理システム。
  4. 　請求項２において、
    　前記低解像度化処理は、前記高解像学習用画像をフーリエ変換し、前記フーリエ変換の結果である前記高解像学習用画像の周波数特性を、前記第１撮像系のＯＴＦ（Optical Transfer Function）で除算及び前記第２撮像系のＯＴＦで乗算を行い、算出された、周波数特性を逆フーリエ変換することで、前記解像特性をシミュレートすることを特徴とする情報処理システム。
  5. 　請求項１において、
    　前記第１撮像系は、第１撮像方式の第１撮像素子を含み、
    　前記第２撮像系は、前記第１撮像素子より低画素数であり且つ前記第１撮像方式と異なる第２撮像方式の第２撮像素子を含み、
    　前記低解像度化処理は、前記第２撮像方式をシミュレートする撮像方式シミュレート処理を更に含むことを特徴とする情報処理システム。
  6. 　請求項５において、
    　前記処理対象画像は、前記第２撮像方式の画像を画像処理することで生成された画像であり、
    　前記低解像度化処理は、前記第１撮像方式の前記高解像学習用画像を縮小処理し、縮小処理後の画像に前記撮像方式シミュレート処理を行う処理であり、
    　前記撮像方式シミュレート処理は、前記縮小処理後の画像から前記第２撮像方式の画像を生成し、生成した前記第２撮像方式の画像に対して、前記画像処理と同じ画像処理を実施することで、前記低解像学習用画像を生成する処理であることを特徴とする情報処理システム。
  7. 　請求項５において、
    　前記第１撮像系は、複数の波長帯域の光が順次に照射される場合において各波長帯域の光が照射されるタイミングでモノクロ撮像素子により撮像することで、複数の画像を取得し、
    　前記高解像学習用画像は、前記複数の画像が合成された面順次式画像であり、
    　前記第２撮像系は、互いに色が異なる複数の画素を有し且つ各画素に１色が割り当てられた同時式撮像素子を用いて、各画素に１色が割り当てられたモザイク画像を取得し、
    　前記低解像度化処理は、前記面順次式画像の画素数を減らす縮小処理を行い、縮小処理後の画像に対して前記撮像方式シミュレート処理を行う処理であり、
    　前記撮像方式シミュレート処理は、前記縮小処理後の画像から前記モザイク画像を構成し、前記モザイク画像をデモザイキング処理することで前記低解像学習用画像を生成する処理であることを特徴とする情報処理システム。
  8. 　請求項７において、
    　前記撮像方式シミュレート処理は、前記モザイク画像に対するノイズリダクション処理を更に含むことを特徴とする情報処理システム。
  9. 　請求項１において、
    　前記処理対象画像は、前記第１撮像系が撮像する際に用いた光源に対応した画像処理によって生成され、
    　前記低解像度化処理は、前記光源に対応した前記画像処理を含むことを特徴とする情報処理システム。
  10. 　請求項１において、
    　前記第１撮像系は、複数の波長帯域の光が順次に照射される場合において各波長帯域の光が照射されるタイミングでモノクロ撮像素子により撮像することで、複数の画像を取得し、
    　前記高解像学習用画像は、前記複数の画像が合成された面順次式画像であり、
    　前記学習済みモデルは、
    　前記面順次式画像における色ずれ量が、予め設定された閾値以下である前記面順次式画像を用いて学習されることを特徴とする情報処理システム。
  11. 　請求項１において、
    　前記低解像学習用画像は、前記高解像学習用画像を、前記低解像度化処理及びグレースケール化処理することで生成されることを特徴とする情報処理システム。
  12. 　請求項１において、
    　前記記憶部は、前記第２撮像系に対応した前記学習済みモデルである第１学習済みモデルと、前記第１撮像系より低解像の撮像を行う第３撮像系に対応した第２学習済みモデルと、を記憶し、
    　前記入力部は、前記第２撮像系によって撮像される第１処理対象画像、又は前記第３撮像系によって撮像される第２処理対象画像を、前記処理対象画像として前記処理部に入力し、
    　前記処理部は、
    　前記第１処理対象画像に対する前記解像復元を、前記第１学習済みモデルを用いて行い、前記第２処理対象画像に対する前記解像復元を、前記第２学習済みモデルを用いて行うことを特徴とする情報処理システム。
  13. 　請求項１２において、
    　前記処理部は、
    　前記処理対象画像を撮像した撮像系の種類を、前記処理対象画像から検出し、前記検出結果に基づいて前記第１処理対象画像が入力されたと判断したとき、前記第１学習済みモデルを選択し、前記検出結果に基づいて前記第２処理対象画像が入力されたと判断したとき、前記第２学習済みモデルを選択することを特徴とする情報処理システム。
  14. 　請求項１２に記載の情報処理システムを有するプロセッサユニットと、
    　前記プロセッサユニットに着脱可能であり、前記処理対象画像を撮像して前記入力部に送信する内視鏡スコープと、
    　を含み、
    　前記処理部は、
    　前記プロセッサユニットに接続された前記内視鏡スコープのＩＤ情報を検出し、前記ＩＤ情報に基づいて前記内視鏡スコープが前記第２撮像系を含むと判断したとき、前記第１学習済みモデルを選択し、前記ＩＤ情報に基づいて前記内視鏡スコープが前記第３撮像系を含むと判断したとき、前記第２学習済みモデルを選択することを特徴とする内視鏡システム。
  15. 　請求項１乃至１３のいずれか一項に記載の情報処理システムを有するプロセッサユニットと、
    　前記プロセッサユニットに接続され、前記処理対象画像を撮像して前記入力部に送信する内視鏡スコープと、
    　を含むことを特徴とする内視鏡システム。
  16. 　第１撮像系よりも低解像の撮像を行う第２撮像系によって撮像される処理対象画像を、
    前記第１撮像系で撮像されたときの解像度に解像復元するように、コンピュータを機能させる学習済みモデルであって、
    　前記学習済みモデルは、
    　低解像学習用画像を高解像学習用画像に解像復元するように学習され、
    　前記高解像学習用画像は、所定被写体が前記第１撮像系により撮影された高解像の画像であり、
    　前記低解像学習用画像は、前記高解像学習用画像を、低解像度化処理することで生成され、
    　前記低解像度化処理は、前記所定被写体が前記第２撮像系により撮像されたかのような低解像の画像を生成する処理であって、前記第２撮像系の光学系の解像特性をシミュレートする光学系シミュレート処理を含むことを特徴とする学習済みモデル。
  17. 　請求項１６に記載の学習済みモデルを記憶した情報記憶媒体。
  18. 　学習済みモデルを用いて解像復元を行う情報処理方法であって、
    　前記学習済みモデルは、
    　低解像学習用画像を高解像学習用画像に解像復元するように学習され、
    　前記高解像学習用画像は、所定被写体が第１撮像系により撮影された高解像の画像であり、
    　前記低解像学習用画像は、前記高解像学習用画像を、低解像度化処理することで生成され、
    　前記低解像度化処理は、前記所定被写体が前記第２撮像系により撮像されたかのような低解像の画像を生成する処理であって、前記第２撮像系の光学系の解像特性をシミュレートする光学系シミュレート処理を含み、
    　前記学習済みモデルを用いて、前記第１撮像系よりも低解像の撮像を行う前記第２撮像系によって撮像される処理対象画像を、前記第１撮像系で撮像されたときの解像度に解像復元することを特徴とする情報処理方法。
PCT/JP2019/043806 2019-11-08 2019-11-08 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法 WO2021090469A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021554529A JP7303896B2 (ja) 2019-11-08 2019-11-08 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法
PCT/JP2019/043806 WO2021090469A1 (ja) 2019-11-08 2019-11-08 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法
CN201980101970.1A CN114651439B (zh) 2019-11-08 2019-11-08 信息处理系统、内窥镜系统、信息存储介质及信息处理方法
US17/731,627 US20220253979A1 (en) 2019-11-08 2022-04-28 Information processing system, endoscope system, and information storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/043806 WO2021090469A1 (ja) 2019-11-08 2019-11-08 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/731,627 Continuation US20220253979A1 (en) 2019-11-08 2022-04-28 Information processing system, endoscope system, and information storage medium

Publications (1)

Publication Number Publication Date
WO2021090469A1 true WO2021090469A1 (ja) 2021-05-14

Family

ID=75848306

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/043806 WO2021090469A1 (ja) 2019-11-08 2019-11-08 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法

Country Status (4)

Country Link
US (1) US20220253979A1 (ja)
JP (1) JP7303896B2 (ja)
CN (1) CN114651439B (ja)
WO (1) WO2021090469A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022249934A1 (ja) * 2021-05-26 2022-12-01 キヤノン株式会社 画像処理方法、画像処理装置、プログラム、訓練済み機械学習モデルの製造方法、処理装置、画像処理システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115689896B (zh) * 2023-01-05 2023-06-27 荣耀终端有限公司 图像处理方法和图像处理装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010250774A (ja) * 2009-04-20 2010-11-04 Fujifilm Corp 画像処理装置、画像処理方法およびプログラム
JP2016092596A (ja) * 2014-11-04 2016-05-23 キヤノン株式会社 撮像装置、画像処理装置及びそれらの制御方法
JP2016100795A (ja) * 2014-11-21 2016-05-30 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP2018005841A (ja) * 2016-07-08 2018-01-11 株式会社トプコン 医用画像処理方法及び医用画像処理装置
JP2018195069A (ja) * 2017-05-17 2018-12-06 キヤノン株式会社 画像処理装置および画像処理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101431611A (zh) * 2004-11-30 2009-05-13 松下电器产业株式会社 图像处理方法、图像处理装置、图像处理程序以及图像文件格式
US8264565B2 (en) * 2008-02-06 2012-09-11 Panasonic Corporation Image processing device and image processing method
JP2012244395A (ja) * 2011-05-19 2012-12-10 Sony Corp 学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010250774A (ja) * 2009-04-20 2010-11-04 Fujifilm Corp 画像処理装置、画像処理方法およびプログラム
JP2016092596A (ja) * 2014-11-04 2016-05-23 キヤノン株式会社 撮像装置、画像処理装置及びそれらの制御方法
JP2016100795A (ja) * 2014-11-21 2016-05-30 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP2018005841A (ja) * 2016-07-08 2018-01-11 株式会社トプコン 医用画像処理方法及び医用画像処理装置
JP2018195069A (ja) * 2017-05-17 2018-12-06 キヤノン株式会社 画像処理装置および画像処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022249934A1 (ja) * 2021-05-26 2022-12-01 キヤノン株式会社 画像処理方法、画像処理装置、プログラム、訓練済み機械学習モデルの製造方法、処理装置、画像処理システム

Also Published As

Publication number Publication date
JP7303896B2 (ja) 2023-07-05
JPWO2021090469A1 (ja) 2021-05-14
CN114651439A (zh) 2022-06-21
US20220253979A1 (en) 2022-08-11
CN114651439B (zh) 2024-03-05

Similar Documents

Publication Publication Date Title
JP5830348B2 (ja) 撮像装置
US8885067B2 (en) Multocular image pickup apparatus and multocular image pickup method
JP5222472B2 (ja) 画像処理装置、画像復元方法およびプログラム
JP5543616B2 (ja) 色フィルタアレイ画像反復デノイズ
JP5749741B2 (ja) ノイズ低減方法
JP5306563B2 (ja) 撮像装置及び画像生成方法
JP7297470B2 (ja) 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法
JP5006814B2 (ja) 撮像装置
JPWO2004068862A1 (ja) 高解像度カラー画像生成方法、高解像度カラー画像生成装置及び高解像度カラー画像生成プログラム
JP2009194896A (ja) 画像処理装置及び方法並びに撮像装置
JPWO2014125659A1 (ja) 画像処理装置、撮像装置、フィルタ生成装置、画像復元方法及びプログラム
CN108781250A (zh) 摄像控制装置、摄像控制方法和摄像装置
WO2011148760A1 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
JPWO2009031287A1 (ja) 多色画像処理装置及び信号処理装置
US20220253979A1 (en) Information processing system, endoscope system, and information storage medium
TW201220830A (en) Imaging apparatus, imaging method, and program
JP2011215707A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2011135359A (ja) カメラモジュール及び画像処理装置
JP2007243334A (ja) 撮像装置
KR102083721B1 (ko) 딥 러닝을 이용한 양안기반 초해상 이미징 방법 및 그 장치
US8237829B2 (en) Image processing device, image processing method, and imaging apparatus
Song et al. Real-scene reflection removal with raw-rgb image pairs
JP2009010847A (ja) 色成分補間装置及びその方法
Pan et al. Joint demosaicking and denoising for CFA and MSFA images using a mosaic-adaptive dense residual network
JP2012003454A (ja) 画像処理装置、撮像装置および画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19951624

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021554529

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19951624

Country of ref document: EP

Kind code of ref document: A1