WO2026004136A1 - 機械学習用画像処理方法、機械学習用画像生成装置、機械学習方法、機械学習用画像生成用プログラム及び内視鏡装置 - Google Patents

機械学習用画像処理方法、機械学習用画像生成装置、機械学習方法、機械学習用画像生成用プログラム及び内視鏡装置

Info

Publication number
WO2026004136A1
WO2026004136A1 PCT/JP2024/023648 JP2024023648W WO2026004136A1 WO 2026004136 A1 WO2026004136 A1 WO 2026004136A1 JP 2024023648 W JP2024023648 W JP 2024023648W WO 2026004136 A1 WO2026004136 A1 WO 2026004136A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
frequency characteristic
teacher
student
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/023648
Other languages
English (en)
French (fr)
Inventor
健 井岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to PCT/JP2024/023648 priority Critical patent/WO2026004136A1/ja
Publication of WO2026004136A1 publication Critical patent/WO2026004136A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present invention relates to an image processing method for machine learning suitable for machine learning in AI for high-image-quality processing, an image generation device for machine learning, a machine learning method, a program for generating images for machine learning, and an endoscope device.
  • AI artificial intelligence
  • AI image-enhancing system uses deep learning to learn from a dataset of low-quality student images and high-quality teacher images of the same subject with the same configuration, and has an inference model that can obtain high-quality images from input low-quality images.
  • AI image-enhancing systems are also sometimes used in the medical field to improve the quality of low-quality endoscopic images.
  • Patent Document 1 Japanese Patent Application Laid-Open Publication No. 2018-195069 discloses a technology in which, when generating low-resolution training images from high-resolution training images, a PSF (Point Spread Function) is convolved with the high-resolution training images, thereby adding the influence of the imaging device to the generated low-resolution training images.
  • PSF Point Spread Function
  • Patent Document 1 has a problem in that unless the imaging conditions (F-number, wavelength, magnification, pixel size, aperture ratio) of the high-quality imaging device and the imaging conditions (F-number, wavelength, magnification, pixel size, aperture ratio) of the low-quality imaging device to be reproduced are understood, it is not possible to obtain training images for constructing an effective inference model.
  • the present invention aims to provide an image processing method for machine learning, an image generation device for machine learning, a machine learning method, a program for generating images for machine learning, and an endoscopic device that can generate training images that enable sufficient inference performance even when product design information for the imaging device is not available.
  • An image processing method for machine learning generates a first student image from a first teacher image, the first student image having lower image quality than the first teacher image, calculates a first frequency characteristic of the first student image, calculates a sample frequency characteristic from a sample image that is a sample of a low-image-quality image obtained by capturing an image using a low-image-quality endoscope, compares the first frequency characteristic with the sample frequency characteristic, and if the Nyquist frequency of the first frequency characteristic is smaller than the Nyquist frequency of the sample frequency characteristic, reduces the image size of the first teacher image to generate a second teacher image, and reduces the image quality of the second teacher image to generate a second student image.
  • An image generation device for machine learning includes an image receiving unit that receives a first teacher image and a sample image that serves as a sample of a low-quality image obtained by capturing an image using a low-quality endoscope; a student image generation unit that generates a first student image from the first teacher image, the first student image having lower quality than the first teacher image; a frequency characteristic calculation unit that calculates a first frequency characteristic of the first student image and a sample frequency characteristic of the sample image; a comparison unit that compares the first frequency characteristic with the sample frequency characteristic; and a teacher image generation unit that reduces the image size of the first teacher image to generate a second teacher image if the Nyquist frequency of the first frequency characteristic is smaller than the Nyquist frequency of the sample frequency characteristic, and the student image generation unit generates the second student image by reducing the image quality of the second teacher image.
  • an image generation device for machine learning which includes a processor that receives a first teacher image, receives a sample image that serves as a sample of a low-quality image obtained by capturing an image using a low-quality endoscope, generates a first student image from the first teacher image that has lower quality than the first teacher image, calculates a first frequency characteristic of the first student image, calculates a sample frequency characteristic of the sample image, compares the first frequency characteristic with the sample frequency characteristic, and if the Nyquist frequency of the first frequency characteristic is smaller than the Nyquist frequency of the sample frequency characteristic, reduces the image size of the first teacher image to generate a second teacher image, and reduces the image quality of the second teacher image to generate a second student image.
  • a machine learning method performs machine learning using the first teacher image as a teacher image and the first student image, in which the Nyquist frequency of the first frequency characteristic is greater than the Nyquist frequency of the sample frequency characteristic, as a student image.
  • machine learning is performed using the second teacher image as a teacher image and the second student image, in which the Nyquist frequency of the second frequency characteristic is greater than the Nyquist frequency of the sample frequency characteristic, as a student image.
  • a program for generating images for machine learning causes an image receiving unit to receive a first teacher image and a sample image that serves as a sample of a low-quality image obtained by capturing an image using a low-quality endoscope; causes a student image generating unit to generate a first student image from the first teacher image, the first student image having lower quality than the first teacher image; causes a frequency characteristic calculation unit to calculate a first frequency characteristic of the first student image and a sample frequency characteristic of the sample image; causes a comparison unit to compare the first frequency characteristic with the sample frequency characteristic; and if the Nyquist frequency of the first frequency characteristic is smaller than the Nyquist frequency of the sample frequency characteristic, causes the teacher image generating unit to reduce the image size of the first teacher image to generate a second teacher image; and causes the student image generating unit to generate a second student image by reducing the quality of the second teacher image.
  • An endoscopic device includes a receiving unit that receives endoscopic images, an image quality improvement processing artificial intelligence that has learned using a machine learning method, and an output unit that outputs the results of image quality improvement processing of the endoscopic images by the image quality improvement processing artificial intelligence to a display.
  • the present invention has the advantage of being able to generate training images that enable sufficient inference performance even when product design information for the imaging device is unavailable.
  • FIG. 10 is a graph showing an example of the frequency response characteristics of a Gaussian filter set by the LPF generating unit 3, with the horizontal axis representing the frequency of an image and the vertical axis representing the contrast.
  • 10 is an explanatory diagram for explaining the frequency characteristics of a student image and a sample image using a graph in which the horizontal axis represents line pairs/pixel and the vertical axis represents contrast.
  • FIG. 4 is a flowchart illustrating the operation of the embodiment.
  • FIG. 2 is an explanatory diagram for explaining the operation of the embodiment.
  • FIG. 10 is a block diagram illustrating a second embodiment. 10 is a flowchart illustrating the operation of the second embodiment.
  • FIG. 1 is a block diagram showing an example in which AI for high-quality image processing is incorporated into an endoscope device.
  • Fig. 1 is a block diagram showing an image generation device for machine learning according to a first embodiment of the present invention.
  • the image generation device for machine learning in Fig. 1 implements an image processing method for machine learning according to an embodiment.
  • This method generates low-quality (low-resolution) student images by applying appropriate blurring to high-quality teacher images, and regenerates the student images by adjusting the size of the teacher images based on a comparison between the generated student images and an image (hereinafter referred to as a sample image) captured by an imaging device (hereinafter referred to as an assumed imaging device) assumed to be used to capture an image to be inferred, thereby enabling the generation of training images (student images) that enable sufficient inference performance.
  • an imaging device hereinafter referred to as an assumed imaging device
  • a high-quality endoscope is used as the imaging device for obtaining high-quality images (hereinafter referred to as the high-quality imaging device), and a low-quality endoscope (hereinafter referred to as the assumed endoscope) with relatively lower image quality than the high-quality endoscope is used as the assumed imaging device for obtaining sample images;
  • various imaging devices can be used as imaging devices for obtaining high-quality images and sample images, and are not limited to endoscopes.
  • images to be inferred are not limited to in-vivo images.
  • the machine learning image generation device 10 shown in Figure 1 includes a teacher image generation unit 1, a student image generation unit 2, and a learning image validity evaluation unit 4.
  • Each unit of the machine learning image generation device 10 may be configured by a processor using a CPU (Central Processing Unit), GPU (Graphics Processing Unit), FPGA (Field Programmable Gate Array), NPU (Neural Processing Unit), etc., and may operate according to a program stored in memory (not shown) to control each unit, or may realize some or all of its functions using hardware electronic circuits.
  • all of the components of the machine learning image generation device 10 in Figure 1 do not need to be housed in the same single housing.
  • the machine learning image generation device 10 receives high-quality images captured by a high-quality imaging device as input as learning images, and processes the high-quality images to generate student images with image quality equivalent to that of low-resolution images captured by a target imaging device.
  • the device trains a model using a dataset of teacher images and student images, enabling the construction of an inference model for high-quality image processing.
  • the learning images are supplied to the teacher image generation unit 1.
  • high-quality endoscopic images captured by a high-quality endoscope are used as learning images.
  • the teacher image generation unit 1 is capable of performing a reduction process on the input learning images.
  • the reduction ratio used in the reduction process by the teacher image generation unit 1 is determined by the teacher size setting information from the learning image validity evaluation unit 4, which will be described later.
  • the reduction process by the teacher image generation unit 1 can be achieved by well-known pixel interpolation or pixel thinning processes.
  • the teacher image generated by the teacher image generation unit 1 is supplied to the student image generation unit 2.
  • the student image generation unit 2 includes an LPF generation unit 3.
  • the student image generation unit 2 receives the teacher image via an image receiving unit (not shown) and generates a student image by processing the received teacher image.
  • the student image generation unit 2 can employ, for example, various low-pass filters (LPFs) that blur images.
  • LPFs low-pass filters
  • the student image generation unit 2 may employ a Gaussian filter.
  • a Gaussian filter performs weighting based on a Gaussian function to smoothly change pixel values and achieve a natural blurring effect.
  • the frequency response characteristics (filter characteristics) of the LPFs that make up the student image generation unit 2 are determined by the LPF generation unit 3.
  • the LPF generation unit 3 is provided with frequency response characteristic information from the outside, and the LPF generation unit 3 determines the filter characteristics of the student image generation unit 2 based on the received frequency response characteristic information.
  • Frequency response characteristic information determines the degree to which a high-quality image should be blurred, and is empirically determined based on the resolution of the high-quality image and the resolution of the low-resolution endoscopic image obtained by capturing it with the intended endoscope.
  • Figure 2 is a graph showing an example of the frequency response characteristics of a Gaussian filter set by the LPF generation unit 3, with the horizontal axis representing the image frequency and the vertical axis representing the contrast.
  • the example in Figure 2 shows frequency response characteristics ⁇ 1 to ⁇ 3.
  • Each of the frequency response characteristics ⁇ 1 to ⁇ 3 exhibits a characteristic that decreases contrast as the frequency increases.
  • applying the filter characteristics shown by frequency response characteristics ⁇ 1 to ⁇ 3 to a high-quality image results in lower contrast in finer image areas, causing the image to blur.
  • Figure 2 shows that the degree of blur increases in the order of frequency response characteristics ⁇ 1, ⁇ 2, and ⁇ 3.
  • the student image generation unit 2 applies the filter characteristics set by the LPF generation unit 3 to the teacher image, thereby generating a student image with lower image quality (low resolution) from the teacher image.
  • the student image from the student image generation unit 2 is supplied to the learning image validity evaluation unit 4.
  • the learning image validity evaluation unit 4 includes a control unit 41, a frequency characteristic calculation unit 42, and a teacher size setting information generation unit 43.
  • the control unit 41 provides overall control of each unit of the learning image validity evaluation unit 4.
  • the learning image validity evaluation unit 4 also receives sample images captured by the assumed endoscope via an image receiving unit (not shown).
  • the frequency characteristic calculation unit 42 of the learning image validity evaluation unit 4 is controlled by the control unit 41 to calculate the frequency characteristics of the student image and the frequency characteristics of the sample image.
  • the frequency characteristic calculation unit 42 may obtain the frequency characteristics of the student image and the sample image by performing an FFT (Fast Fourier Transform) on the student image and the sample image, respectively.
  • FFT Fast Fourier Transform
  • the control unit 41 which serves as a comparison unit, determines the validity of the student image by comparing the frequency characteristics of the student image from the student image generation unit 2 with the frequency characteristics of the sample image. That is, the control unit 41 determines whether the frequency characteristics of the student image encompass the frequency characteristics of the sample image.
  • “encompassing” means that the contrast of the student image is greater at each frequency than the contrast of the sample image, but this does not have to be strict; it is sufficient if the frequency-contrast curves roughly match, or if the contrast of the student image is generally greater at each frequency than the contrast of the sample image.
  • the maximum frequency of the student image (Nyquist frequency) is equal to or greater than the maximum frequency of the sample image (Nyquist frequency).
  • control unit 41 determines that the frequency characteristics of the student image include the frequency characteristics of the sample image (hereinafter referred to as a match determination), it determines that if an inference model is constructed using the student image as a training image, the inference performance of the inference model for images obtained by the assumed imaging device will be sufficiently high, and evaluates the student image in this case as being valid.
  • control unit 41 determines that the frequency characteristics of the student image do not include the frequency characteristics of the sample image (hereinafter referred to as a mismatch determination), it determines that if an inference model is constructed using the student image as a training image, the inference performance of the inference model for images obtained by the assumed imaging device will not be high, and evaluates the student image in this case as being invalid.
  • Figure 3 is an explanatory diagram illustrating the frequency characteristics of student images and sample images, using a graph with line pairs/pixel (frequency intensity) on the horizontal axis and contrast (contrast intensity) on the vertical axis. Note that line pairs/pixel corresponds to the number of black and white line pairs per pixel, i.e., the frequency (resolution) of the image.
  • the upper left column of Figure 3 shows multiple student images obtained by the student image generation unit 2.
  • the frequency characteristic calculation unit 42 obtains the frequency characteristics of the student images by performing an FFT transformation on these student images.
  • the upper right column of Figure 3 shows the average or representative value of the frequency characteristics of the multiple student images.
  • the lower left column of Figure 3 shows multiple sample images.
  • the frequency characteristic calculation unit 42 obtains the frequency characteristics of the sample images by performing an FFT transformation on these sample images.
  • the lower right column of Figure 3 shows the average or representative value of the frequency characteristics of the multiple sample images.
  • a two-dimensional FFT transform of an image can obtain the frequency characteristics of each position in the image.
  • three-dimensional frequency characteristics can be obtained by taking the horizontal frequency of the image in the X direction, the vertical frequency of the image in the Y direction, and the contrast of the image in the Z direction.
  • the example in Figure 3 shows the frequency characteristics for a specific direction in the image on a two-dimensional plane.
  • the control unit 41 evaluates the student image as valid if the learning image includes the frequency characteristics of the sample image, i.e., the contrast vs. line pair/pixel characteristics.
  • the control unit 41 evaluates the student image as invalid if the learning image does not include the frequency characteristics of the sample image.
  • the amount of calculation required to determine the contrast vs. line pair/pixel characteristics for the student image and the sample image is relatively large. Also, even if the change in contrast differs slightly, the impact on visibility relative to resolution is considered to be relatively small. Therefore, the control unit 41 may determine whether the frequency characteristics are included using the Nyquist frequency of a specific frequency characteristic, for example, the Nyquist frequency.
  • the highest frequency (line pair/pixel) at which the contrast is 0 will be referred to as the Nyquist frequency.
  • the Nyquist frequency of the student image is N1
  • the Nyquist frequency of the sample image is N2.
  • the control unit 41 may compare frequency characteristics by treating the highest frequency at which the contrast is equal to or less than a predetermined value near 0 as the Nyquist frequency.
  • control unit 41 compares the Nyquist frequencies of the student image and the sample image, and if the Nyquist frequency of the student image is higher than the Nyquist frequency of the sample image, it evaluates the student image as valid. Furthermore, if the Nyquist frequency of the student image is lower than the Nyquist frequency of the sample image, the control unit 41 evaluates the student image as invalid. If the control unit 41 evaluates the image as invalid, it controls the teacher size setting information generation unit 43 to generate teacher size setting information based on the difference between the Nyquist frequency of the student image and the Nyquist frequency of the sample image. The control unit 41 outputs the teacher size setting information generated by the teacher size setting information generation unit 43 to the teacher image generation unit 1, causing the teacher image generation unit 1 to create teacher data again.
  • the teacher image generation unit 1 repeatedly generates teacher images and the student image generation unit 2 repeatedly generates student images until the learning image validity evaluation unit 4 determines whether there is a match.
  • the training image generation unit 1 reduces the training image at a reduction ratio based on the training image size setting information from the training image validity evaluation unit 4 to generate a training image.
  • the teacher image When the teacher image is reduced in size by shrinking it, the number of pixels relative to the number of line pairs becomes smaller, so the resolution of the teacher image becomes finer and the Nyquist frequency becomes higher. Therefore, in this case, the resolution of the student image from the student image generation unit 2 also becomes finer and the Nyquist frequency becomes higher.
  • the learning image validity evaluation unit 4 outputs the student image as a learning image if a match is determined.
  • Figure 4 is a flowchart for explaining the operation of the embodiment
  • Figure 5 is an explanatory diagram for explaining the operation of the embodiment.
  • the LP characteristics of the student image generation unit 2 are set. That is, frequency response characteristic information is provided to the LPF generation unit 3 to set the frequency response characteristics empirically determined based on the resolution of the high-quality image obtained by the high-quality imaging device and the sample image obtained by the assumed imaging device in the student image generation unit 2.
  • the LPF generation unit 3 determines the filter characteristics of the student image generation unit 2 based on the frequency response characteristic information.
  • High-quality images obtained by the high-quality imaging device are supplied to the teacher image generation unit 1 as learning images.
  • the teacher image generation unit 1 reduces the input learning images at an initial reduction rate to generate teacher images, and outputs the generated teacher images to the student image generation unit 2.
  • the teacher image generation unit 1 may use a reduction rate of 1 as the initial value and use the input learning images as teacher images as is.
  • the student image generation unit 2 filters the received teacher images to generate low-resolution student images (S2).
  • the student image generation unit 2 outputs the generated student images to the learning image validity evaluation unit 4.
  • the learning image validity evaluation unit 4 evaluates the validity of the student image, and if it determines that the image is invalid, it provides teacher size setting information to the teacher image generation unit 1 to regenerate a teacher image. That is, the teacher image generation unit 1 repeats the generation of teacher images depending on the evaluation of the learning image validity evaluation unit 4, and the student image generation unit 2 generates a student image each time a teacher image is output from the teacher image generation unit 1.
  • the teacher images output from the teacher image generation unit 1 will be referred to in order as the first teacher image, second teacher image, etc.
  • the student images output from the student image generation unit 2 will be referred to in order as the first student image, second student image, etc. That is, the teacher image generation unit 1 first generates and outputs the first teacher image, and the student image generation unit 2 generates the first student image from the first teacher image.
  • the training image validity evaluation unit 4 also receives the sample image and calculates the Nyquist frequency (i) based on the frequency characteristics of the first student image (hereinafter referred to as the first frequency characteristics) that indicate the relationship between frequency intensity and contrast intensity obtained by FFT-transforming the first student image (S3).
  • the training image validity evaluation unit 4 also calculates the Nyquist frequency (ii) based on the frequency characteristics of the sample image (hereinafter referred to as the sample frequency characteristics) that indicate the relationship between frequency intensity and contrast intensity obtained by FFT-transforming the sample image (S4).
  • the training image validity evaluation unit 4 compares the Nyquist frequency of the first frequency characteristics with the Nyquist frequency of the sample frequency characteristics for the first student image and the sample image (S5).
  • the training image validity evaluation unit 4 evaluates the validity of the first student image by making a match or mismatch judgment to determine whether the difference between the Nyquist frequencies is within a predetermined range (S6).
  • the training image validity evaluation unit 4 branches the process depending on whether or not the images are valid in S6. If the result is a match (the difference between the Nyquist frequencies is within a predetermined range), the process proceeds to S7, and the input first student image is output as a training image.
  • the training image validity evaluation unit 4 determines the images are invalid, generates teacher size setting information for changing the size of the teacher image, and outputs this information to the teacher image generation unit 1, thereby changing the size of the teacher image (S8). Thereafter, the processes of S2 to S6 are repeated until the student image is evaluated as valid.
  • Figure 5 explains teacher size setting information based on a comparison of Nyquist frequencies.
  • the example in Figure 5 shows the frequency characteristics of example A, where the validity assessment of the first student image is valid, and example B, where the validity assessment is invalid, a comparison between the Nyquist frequency of the sample image and the Nyquist frequency of the first student image, and whether or not to change the size of the learning images (teacher image and student image) and the mechanism behind it.
  • Example A shows an example in which, out of the frequency characteristics of the first student image (solid line) and the frequency characteristics of the sample image (dashed line), the Nyquist frequency of the sample image is the same as or smaller than the Nyquist frequency of the student image.
  • the training image validity evaluation unit 4 determines that the first student image is valid. Therefore, the training image validity evaluation unit 4 outputs the input first student image as a training image without generating teacher size setting information to supply to the teacher image generation unit 1.
  • Example B as shown in the frequency characteristics of the first student image (solid line) and the frequency characteristics of the sample image (dashed line), the Nyquist frequency of the first student image is smaller than the Nyquist frequency of the sample image. In this case, the learning image validity evaluation unit 4 determines that the first student image is not valid. In order to bring the Nyquist frequency of the first student image closer to the Nyquist frequency of the sample image, the learning image validity evaluation unit 4 generates teacher size setting information for reducing the teacher image and provides it to the teacher image generation unit 1.
  • the teacher image generation unit 1 generates a teacher image (second teacher image) by reducing the size of the first teacher image using thinning processing, pixel interpolation processing, etc., based on the teacher size setting information.
  • the Nyquist frequency of the second teacher image is higher than the Nyquist frequency of the first strong image.
  • the Nyquist frequency of the student image (second student image) generated by the student image generation unit 2 is also higher than the Nyquist frequency of the first student image, and the second student image contains higher frequency components. In this way, the Nyquist frequency of the second student image approaches the Nyquist frequency of the sample image.
  • the learning image validity evaluation unit 4 compares the Nyquist frequency of the second student image with the Nyquist frequency of the sample image, and generates teacher size setting information to control the reduction process of the teacher image generation unit 1 until both values fall within a predetermined range.
  • the second teacher image is reduced to generate a third teacher image, and the image quality of this third teacher image is reduced to generate the third student image.
  • the student images output from the training image validity evaluation unit 4 have the same resolution as the sample image.
  • the inference model constructed by training the inference model using the final generated teacher image and student image can achieve sufficient inference performance for images captured by the intended imaging device, and can convert low-resolution images into high-quality images.
  • the size of the teacher image is reduced so that the Nyquist frequency of the frequency characteristics of the sample image captured by the assumed imaging device is the same as or smaller than the Nyquist frequency of the frequency characteristics of the student image.
  • This causes the image quality of the student image used for learning to match that of the sample image.
  • Second Embodiment Fig. 6 is a block diagram showing a second embodiment.
  • the same components as those in Fig. 1 are assigned the same reference numerals, and their description will be omitted.
  • This embodiment is applied to an AI image quality improvement system that constructs an inference model using training images (teacher images and student images) generated by the machine learning image generation device of the first embodiment.
  • the embodiment in Figure 6 differs from Figure 1 in that it adds a deep learning unit 5, an inference model unit 6, and a low-image-quality endoscope 7.
  • the deep learning unit 5 is provided with a student image when the learning image validity evaluation unit 4 evaluates the student image as valid and a teacher image corresponding to this student image, and performs deep learning using these teacher images and student images.
  • the deep learning unit 5 can be configured, for example, with a neural network.
  • the deep learning unit 5 determines neural network parameters through deep learning, and provides information on the determined parameters to the inference model unit 6 as model information.
  • a neural network is composed of an input layer consisting of multiple nodes, an intermediate layer (hidden layer), and an output layer. Each node is connected to nodes in the previous and next layers, and each connection is assigned a parameter called a weight coefficient. Learning is the process of updating parameters to minimize the learning loss between high-resolution images and low-resolution images.
  • a convolutional neural network (CNN), for example, may be used as the neural network.
  • An inference model configured in this way, for example, when a low-resolution input image is input, obtains and outputs a high-resolution image through inference processing.
  • the inference model unit 6 is composed of a neural network similar to that of the deep learning unit 5, and constructs an inference model by receiving model information from the deep learning unit 5 and setting the parameters obtained through deep learning into the neural network.
  • the low-quality endoscope 7 is an endoscope that obtains endoscopic images of the inside of the body for diagnosis, treatment, etc., and outputs relatively low-quality endoscopic images (low-quality images) to the inference model unit 6. These low-quality images have the same quality as the sample images provided to the learning image validity evaluation unit 4.
  • the inference model unit 6 converts the low-quality images into high-quality images through inference processing.
  • Figure 7 is a flowchart for explaining the operation of the second embodiment.
  • the same steps as in Figure 4 are assigned the same reference numerals and their explanation will be omitted.
  • high-quality teacher images and low-quality student images adjusted to a predetermined size are obtained using a procedure similar to that of the flow in Figure 4.
  • the deep learning unit 5 generates a trained inference model through deep learning using these teacher images and student images.
  • This inference model is adopted by the inference model unit 6.
  • the inference model unit 6 performs inference on low-quality endoscopic images captured by the low-quality endoscope 7 to obtain high-quality images. Because the quality of the student images used for training by the deep learning unit 5 is equivalent to the quality of the low-quality images obtained by the low-quality endoscope 7, the inference model unit 6 is able to demonstrate relatively high inference performance and obtain high-quality images.
  • an inference model is constructed using training images (teacher images and student images) generated by the machine learning image generation device of the first embodiment, making it possible to improve the image quality of images obtained by endoscopes that are actually used.
  • Figure 8 is a block diagram showing an example of incorporating AI for high-quality image processing into an endoscope device.
  • the image quality improvement processing AI 110 trained using the above-mentioned machine learning method can also be used as an endoscope device 100 together with a receiving unit 120 that receives endoscopic images and an output unit 130 that outputs the results of image quality improvement processing of the endoscopic images to a display 200.
  • the image quality improvement processing AI 110 may be installed in an endoscope processor installed in the examination room, or may reside on the cloud.
  • the present invention is not limited to the above-described embodiments, and can be embodied by modifying the components in the implementation stage without departing from the spirit of the invention. Furthermore, various inventions can be created by appropriately combining the multiple components disclosed in the above-described embodiments. For example, some of the components shown in the embodiments may be deleted. Furthermore, components from different embodiments may be combined as appropriate.
  • many of the controls and functions can be set by a program, and the above-mentioned controls and functions can be realized by a computer reading and executing the program.
  • the program can be recorded or stored, in whole or in part, as a computer program product on portable media such as flexible disks, CD-ROMs, non-volatile memory, or storage media such as hard disks and volatile memory, and can be distributed or provided at the time of product shipment, on portable media, or via communications lines.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

機械学習用画像処理方法は、第１教師画像から前記第１教師画像よりも低画質な第１生徒画像を生成し、前記第１生徒画像の第１周波数特性を算出し、低画質内視鏡により撮像して得られた低画質画像のサンプルとするサンプル画像からサンプル周波数特性を算出し、前記第１周波数特性と、前記サンプル周波数特性とを対比し、前記第１周波数特性のナイキスト周波数が前記サンプル周波数特性のナイキスト周波数より小さい場合、前記第１教師画像の画像サイズを縮小して第２教師画像を生成し、前記第２教師画像を低画質化して第２生徒画像を生成する。

Description

機械学習用画像処理方法、機械学習用画像生成装置、機械学習方法、機械学習用画像生成用プログラム及び内視鏡装置
　本発明は、高画質化処理用ＡＩの機械学習に適した機械学習用画像処理方法、機械学習用画像生成装置、機械学習方法、機械学習用画像生成用プログラム及び内視鏡装置に関する。
　近年、ＡＩ（人工知能）を利用して高画質化処理を実現するシステムが開発されている。例えば、同一構成の同一被写体についての低画質の生徒画像と高画質の教師画像のデータセットを深層学習することで、入力された低画質の画像から高画質画像を得る推論モデルを有するＡＩ高画質化システムがある。医療分野においても、低画質の内視鏡画像を高画質化するために、ＡＩ高画質化システムが採用されることがある。
　同一構成の同一被写体についての低画質の生徒画像と高画質の教師画像とを、内視鏡の撮像によって得ることは困難である。そこで、高画質での撮像が可能な高画質内視鏡により撮像して得られた高画質画像（教師画像）に対する劣化処理により低画質画像（生徒画像）を生成する手法が採用されることがある。劣化処理は、高画質内視鏡の光学系・撮像素子情報と、実使用時に低解像画像を撮像する低画質内視鏡の光学系・撮像素子情報とに基づいて行われる。
　例えば、日本国特開２０１８－１９５０６９号公報（以下、特許文献１）においては、高解像訓練画像から低解像訓練画像を生成するに際して、高解像訓練画像にＰＳＦ（Point Spread Function(点像分布関数)）を畳み込むことで、撮像素子の影響を、生成する低解像訓練画像に付加する技術が開示されている。
日本国特開２０１８－１９５０６９号公報
　しかしながら、特許文献１の技術では、想定していた再現対象となる低画質撮像装置の撮像条件と、実際に使用する撮像装置の撮像条件とが異なる場合には、高解像訓練画像及び生成した低解像訓練画像の学習によって得られた推論モデルは十分な推論性能を得られない。即ち、特許文献１は、高画質撮像装置の撮像条件（F値、波長、等倍、画素サイズ、開口率）と、再現対象となる低画質撮像装置の撮像条件（F値、波長、等倍、画素サイズ、開口率）とを把握できていなければ、有効な推論モデルを構築するための学習画像を得ることはできないという問題がある。
　本発明は、撮像装置の製品設計情報が無い場合であっても、十分な推論性能を得ることを可能にする学習画像を生成することができる機械学習用画像処理方法、機械学習用画像生成装置、機械学習方法、機械学習用画像生成用プログラム及び内視鏡装置を提供することを目的とする。
　本発明の一態様による機械学習用画像処理方法は、第１教師画像から前記第１教師画像よりも低画質な第１生徒画像を生成し、前記第１生徒画像の第１周波数特性を算出し、低画質内視鏡により撮像して得られた低画質画像のサンプルとするサンプル画像からサンプル周波数特性を算出し、前記第１周波数特性と、前記サンプル周波数特性とを対比し、前記第１周波数特性のナイキスト周波数が前記サンプル周波数特性のナイキスト周波数より小さい場合、前記第１教師画像の画像サイズを縮小して第２教師画像を生成し、前記第２教師画像を低画質化して第２生徒画像を生成する。
　本発明の一態様による機械学習用画像生成装置は、第１教師画像、および、低画質内視鏡により撮像して得られた低画質画像のサンプルとするサンプル画像を受信する画像受信部と、前記第１教師画像から前記第１教師画像よりも低画質な第１生徒画像を生成する生徒画像生成部と、前記第１生徒画像の第１周波数特性、およびサンプル画像のサンプル周波数特性を算出する周波数特性算出部と、前記第１周波数特性と、前記サンプル周波数特性とを対比する対比部と、前記第１周波数特性のナイキスト周波数が前記サンプル周波数特性のナイキスト周波数より小さい場合、前記第１教師画像の画像サイズを縮小して第２教師画像を生成する教師画像生成部と、を含み、前記生徒画像生成部は、前記第２教師画像を低画質化して第２生徒画像を生成する。
　本発明の他の態様による機械学習用画像生成装置は、プロセッサを有し、前記プロセッサは、第１教師画像を受信し、低画質内視鏡により撮像して得られた低画質画像のサンプルとするサンプル画像を受信し、前記第１教師画像から前記第１教師画像よりも低画質な第１生徒画像を生成し、前記第１生徒画像の第１周波数特性を算出し、前記サンプル画像のサンプル周波数特性を算出し、前記第１周波数特性と、前記サンプル周波数特性とを対比し、前記第１周波数特性のナイキスト周波数が前記サンプル周波数特性のナイキスト周波数より小さい場合、前記第１教師画像の画像サイズを縮小して第２教師画像を生成し、前記第２教師画像を低画質化して第２生徒画像を生成する。
　本発明の一態様による機械学習方法は、前記第１教師画像を教師画像として、前記第１周波数特性のナイキスト周波数が前記サンプル周波数特性のナイキスト周波数よりも大きい前記第１生徒画像を生徒画像として用いて、機械学習を行う。
　本発明の他の態様による機械学習方法は、前記第２教師画像を教師画像として、前記第２周波数特性のナイキスト周波数が前記サンプル周波数特性のナイキスト周波数よりも大きい前記第２生徒画像を生徒画像として用いて、機械学習を行う。
　本発明の一態様による機械学習用画像生成用プログラムは、画像受信部に、第１教師画像、および、低画質内視鏡により撮像して得られた低画質画像のサンプルとするサンプル画像を受信させ、生徒画像生成部に前記第１教師画像から前記第１教師画像よりも低画質な第１生徒画像を生成させ、周波数特性算出部に、前記第１生徒画像の第１周波数特性、およびサンプル画像のサンプル周波数特性を算出させ、対比部に、前記第１周波数特性と、前記サンプル周波数特性とを対比させ、前記第１周波数特性のナイキスト周波数が前記サンプル周波数特性のナイキスト周波数より小さい場合、教師画像生成部に前記第１教師画像の画像サイズを縮小させて第２教師画像を生成させ、前記生徒画像生成部に、前記第２教師画像を低画質化した第２生徒画像を生成させる。
　本発明の一態様による内視鏡装置は、内視鏡画像を受信する受信部と、機械学習方法により学習した高画質化処理用人工知能と、前記高画質化処理用人工知能により前記内視鏡画像を高画質化処理した結果をディスプレイに出力する出力部と、を含む。
　本発明によれば、撮像装置の製品設計情報が無い場合であっても、十分な推論性能を得ることを可能にする学習画像を生成することができるという効果を有する。
本発明の第１の実施形態に係る機械学習用画像生成装置を示すブロック図である。 横軸に画像の周波数をとり縦軸にコントラストをとり、ＬＰＦ生成部３が設定するガウシアンフィルタの周波数応答特性の一例を示すグラフである。 横軸にラインペア／ピクセルをとり縦軸にコントラストをとったグラフを用いて、生徒画像及びサンプル画像の周波数特性を説明するための説明図である。 実施形態の動作を説明するためのフローチャートである。 実施形態の動作を説明するための説明図である。 第２の実施形態を示すブロック図である。 第２の実施形態の動作を説明するためのフローチャートである。 高画質化処理用ＡＩを内視鏡装置内に組み込んだ例を示すブロック図である。
　以下、図面を参照して本発明の実施形態について詳細に説明する。
（第１の実施形態）
　図１は本発明の第１の実施形態に係る機械学習用画像生成装置を示すブロック図である。図１の機械学習用画像生成装置は、実施形態の機械学習用画像処理方法を実現するものである。当該方法は、高画質の教師画像に適切なボケ加工を施して低画質（低解像）の生徒画像を生成し、推論対象の画像を撮像する撮像装置として想定した撮像装置（以下、想定撮像装置という）により撮像して得た画像（以下、サンプル画像という）と生成した生徒画像との比較に基づいて教師画像のサイズを調整して生徒画像を再生成することで、十分な推論性能を得ることを可能にする学習画像（生徒画像）の生成を可能にするものである。
　なお、本実施形態においては、高画質画像を得る撮像装置（以下、高画質撮像装置という）として高画質内視鏡を採用し、サンプル画像を得る想定撮像装置として前記高画質内視鏡に対して相対的に画質の低い低画質内視鏡（以下、想定内視鏡という）を採用する例について説明するが、高画質画像及びサンプル画像を撮像する撮像装置としては内視鏡に限らず各種撮像装置を利用可能である。また、推論対象の画像としては、体内画像に限るものではない。
　図１に示す機械学習用画像生成装置１０は、教師画像生成部１、生徒画像生成部２及び学習画像妥当性評価部４を含む。機械学習用画像生成装置１０の各部は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）やＮＰＵ(Neural Processing Unit)等を用いたプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。また、図１の機械学習用画像生成装置１０の構成要素は全てが同じ一つの筐体に収容されている必要は無い。
　機械学習用画像生成装置１０は、学習用画像として高画質撮像装置によって撮像されて得られた高画質画像が入力され、当該高画質画像に対する画像加工によって、想定撮像装置により撮像された場合に得られる低解像画像の画質に相当する画質の生徒画像を生成するものである。高画質画像を教師画像とし、教師画像と生徒画像とのデータセットを用いたモデルの学習により、高画質処理のための推論モデルの構築を可能にする。
　学習用画像は、教師画像生成部１に供給される。例えば、学習用画像として、高画質内視鏡により撮像されて得られた高画質の内視鏡画像が採用される。教師画像生成部１は、入力された学習用画像に対して縮小処理を施すことが可能である。教師画像生成部１による縮小処理の縮小率は、後述する学習画像妥当性評価部４からの教師サイズ設定情報により決定される。なお、教師画像生成部１の縮小処理は、公知の画素補間処理や画素間引き処理によって実現可能である。
　教師画像生成部１により生成された教師画像は、生徒画像生成部２に供給される。生徒画像生成部２は、ＬＰＦ生成部３を含む。生徒画像生成部２は、図示しない画像受信部によって教師画像を受信し、受信した教師画像に対する画像加工によって、生徒画像を生成する。生徒画像生成部２としては、例えば、画像をボケ加工する各種ローパスフィルタ（ＬＰＦ）を採用することができる。例えば、生徒画像生成部２としては、ガウシアンフィルタを採用してもよい。ガウシアンフィルタは、ガウス関数に基づいた重み付けを行うことでピクセル値を滑らかに変化させ自然なぼかし効果を得ることを可能にする。生徒画像生成部２を構成するＬＰＦの周波数応答特性（フィルタ特性）は、ＬＰＦ生成部３によって決定される。ＬＰＦ生成部３には、外部から周波数応答特性情報が与えられ、ＬＰＦ生成部３は受信した周波数応答特性情報に基づいて生徒画像生成部２のフィルタ特性を決定する。周波数応答特性情報は、高画質画像をどの程度ぼけた画像にするかを決める情報であり、高画質画像の解像度と、想定内視鏡により撮像されて得られる低解像の内視鏡画像の解像度に基づいて経験的に求められる情報である。
　図２は横軸に画像の周波数をとり縦軸にコントラストをとり、ＬＰＦ生成部３が設定するガウシアンフィルタの周波数応答特性の一例を示すグラフである。図２の例では、周波数応答特性δ１～δ３を示している。周波数応答特性δ１～δ３は、いずれも周波数が高くなるほど、コントラストを低下させる特性を示している。即ち、周波数応答特性δ１～δ３にて示すフィルタ特性を高画質画像に適用することにより、より細かい画像部分ではコントラストがより低くなって、画像がぼけることを示している。図２では、周波数応答特性δ１，δ２，δ３の順にボケの度合いがより大きくなることを示している。
　生徒画像生成部２は、ＬＰＦ生成部３により設定されたフィルタ特性を教師画像に付与することにより、教師画像を低画質（低解像）化した生徒画像を生成する。生徒画像生成部２からの生徒画像は学習画像妥当性評価部４に供給される。学習画像妥当性評価部４は、制御部４１、周波数特性算出部４２及び教師サイズ設定情報生成部４３を含む。制御部４１は、学習画像妥当性評価部４の各部を統括的に制御する。
　学習画像妥当性評価部４は、図示しない画像受信部によって、想定内視鏡により撮像されて得られたサンプル画像も受信する。学習画像妥当性評価部４の周波数特性算出部４２は、制御部４１に制御されて、生徒画像の周波数特性とサンプル画像の周波数特性を算出する。例えば、周波数特性算出部４２は、生徒画像及びサンプル画像をそれぞれＦＦＴ（Fast Fourier Transform）変換することで、生徒画像及びサンプル画像の周波数特性を求めてもよい。
　対比部としての制御部４１は、生徒画像生成部２からの生徒画像の周波数特性とサンプル画像の周波数特性との対比により、生徒画像の妥当性を判定する。即ち、制御部４１は、生徒画像の周波数特性がサンプル画像の周波数特性を包含しているか否かを判定する。なお、包含とは、生徒画像のコントラストがサンプル画像のコントラストよりも各周波数において大きいことを意味するが、厳密なものでなくてもよく、周波数－コントラスト曲線が略一致か、大体において生徒画像のコントラストがサンプル画像のコントラストよりも各周波数において大きければよく、特に、後述するように、生徒画像の周波数の最大値（ナイキスト周波数）がサンプル画像の周波数の最大値（ナイキスト周波数）以上であればよい。
　制御部４１は、生徒画像の周波数特性がサンプル画像の周波数特性を包含している判定（以下、一致判定という）した場合には、当該生徒画像を学習画像として用いて推論モデルを構築した場合には、想定撮像装置により得られる画像に対する推論モデルの推論性能は十分に高くなるものとして、この場合の生徒画像は妥当性を有すると評価する。逆に、制御部４１は、生徒画像の周波数特性がサンプル画像の周波数特性を包含していないと判定（以下、不一致判定という）した場合には、当該生徒画像を学習画像として用いて推論モデルを構築した場合には、想定撮像装置により得られる画像に対する推論モデルの推論性能は高くないとして、この場合の生徒画像は妥当性を有さないと評価する。
　図３は横軸にラインペア／ピクセル（周波数強度）をとり縦軸にコントラスト（コントラスト強度）をとったグラフを用いて、生徒画像及びサンプル画像の周波数特性を説明するための説明図である。なお、ラインペア／ピクセルは、１ピクセル当たりの白黒のラインペア、即ち画像の周波数（解像度）に対応している。図３の左上欄は、生徒画像生成部２により得られる複数の生徒画像を示している。周波数特性算出部４２は、これらの生徒画像をＦＦＴ変換することで、生徒画像の周波数特性を得る。図３の右上欄は、複数の生徒画像の周波数特性の平均値又は代表値を示している。また、図３の左下欄は、複数のサンプル画像を示している。周波数特性算出部４２は、これらのサンプル画像をＦＦＴ変換することで、サンプル画像の周波数特性を得る。図３の右下欄は、複数のサンプル画像の周波数特性の平均値又は代表値を示している。
　画像に対する２次元のＦＦＴ変換によって、画像中の各位置の周波数特性が得られる。例えば、Ｘ方向に画像の横方向の周波数をとり、Ｙ方向に画像の縦方向の周波数をとり、Ｚ方向に画像のコントラストをとって、３次元の周波数特性が得られる。図３の例は、説明を簡略化するために、画像の特定の方向についての周波数特性を２次元平面で表したものである。
　制御部４１は、学習画像がサンプル画像の周波数特性、即ち、コントラスト対ラインペア／ピクセル特性を包含している場合には、生徒画像は妥当性を有すると評価する。制御部４１は、学習画像がサンプル画像の周波数特性を、包含していない場合には、生徒画像は妥当性を有していないと評価する。しかし、生徒画像及びサンプル画像について、コントラスト対ラインペア／ピクセル特性の判定のための演算量は比較的大きい。また、コントラストの変化が多少異なっていても、解像度に対する視認性の影響は比較的小さいことが考えられる。そこで、制御部４１は、周波数特性が包含しているかどうかの判定を、特定の周波数特性のナイキスト周波数、例えば、ナイキスト周波数を用いて行ってよい。
　以下の説明では、コントラストが０となる最も高い周波数（ラインペア／ピクセル）をナイキスト周波数というものとする。図３の例では、生徒画像のナイキスト周波数はＮ１であり、サンプル画像のナイキスト周波数はＮ２である。なお、制御部４１は、コントラストが０近傍の所定の値以下の最も高い周波数をナイキスト周波数として扱って、周波数特性の対比を行ってもよい。
　例えば、制御部４１は、生徒画像及びサンプル画像のナイキスト周波数を比較し、生徒画像のナイキスト周波数がサンプル画像のナイキスト周波数より大きい場合、生徒画像は妥当性を有すると評価する。また、制御部４１は、生徒画像のナイキスト周波数がサンプル画像のナイキスト周波数より小さい場合には、生徒画像は妥当性なしと評価する。制御部４１は、妥当性なしと評価した場合には、教師サイズ設定情報生成部４３を制御して、サンプル画像のナイキスト周波数に対する生徒画像のナイキスト周波数の差に基づく教師サイズ設定情報を発生させる。制御部４１は、教師サイズ設定情報生成部４３が生成した教師サイズ設定情報を教師画像生成部１に出力して、教師画像生成部１に再度教師データを作成させる。
　本実施形態においては、学習画像妥当性評価部４において一致判定が行われるまで、教師画像生成部１による教師画像の生成及び生徒画像生成部２により生徒画像の生成を繰り返すようになっている。
　教師画像生成部１は、学習画像妥当性評価部４からの教師サイズ設定情報に基づく縮小率で、学習画像を縮小して教師画像を生成する。
　教師画像を縮小処理して教師画像のサイズを小さくすると、ラインペア数に対してピクセル数が小さくなるので、教師画像の解像度は細かくなり、ナイキスト周波数は高くなる。従って、この場合には、生徒画像生成部２からの生徒画像の解像度も細かくなり、ナイキスト周波数は大きくなる。
　従って、学習画像妥当性評価部４において、生徒画像とサンプル画像のナイキスト周波数の差に応じた教師サイズ設定情報を発生することで、最終的に、生徒画像とサンプル画像のナイキスト周波数を一致又は略々一致させることが可能である。学習画像妥当性評価部４は、一致判定が得られた場合の生徒画像を学習画像として出力する。
　次に、このように構成された実施形態の動作について図４及び図５を参照して説明する。図４は実施形態の動作を説明するためのフローチャートであり、図５は実施形態の動作を説明するための説明図である。
　図４のＳ１において、生徒画像生成部２のＬＰ特性を設定しておく。即ち、高画質撮像装置によって得られる高画質画像と想定撮像装置によって得られるサンプル画像との解像度に基づいて経験的に求めた周波数応答特性を生徒画像生成部２に設定するための周波数応答特性情報をＬＰＦ生成部３に与える。ＬＰＦ生成部３は、周波数応答特性情報に基づいて生徒画像生成部２のフィルタ特性を決定する。
　高画質撮像装置によって得られた高画質画像が学習用画像として教師画像生成部１に供給される。教師画像生成部１は、入力された学習用画像を初期値の縮小率で縮小して教師画像を生成し、生成した教師画像を生徒画像生成部２に出力する。なお、教師画像生成部１は、初期値としては縮小率＝１を採用し、入力された学習用画像をそのまま教師画像としてもよい。生徒画像生成部２は、受信した教師画像をフィルタ処理して、低解像度の生徒画像を生成する（Ｓ２）。生徒画像生成部２は生成した生徒画像を学習画像妥当性評価部４に出力する。
　学習画像妥当性評価部４は、生徒画像の妥当性を評価し、妥当性がないと評価した場合には、教師サイズ設定情報を教師画像生成部１に与えて教師画像を再生成させる。即ち、教師画像生成部１は、学習画像妥当性評価部４の評価によっては教師画像の生成を繰り返し、生徒画像生成部２は、教師画像生成部１から教師画像が出力される毎に、生徒画像の生成を行う。以下の説明では、教師画像生成部１から出力される教師画像を順に第１教師画像、第２教師画像、…といい、生徒画像生成部２から出力される生徒画像を順に第１生徒画像、第２生徒画像、…というものとする。即ち、教師画像生成部１は、先ず第１教師画像を生成して出力し、生徒画像生成部２は、第１教師画像から第１生徒画像を生成する。
　学習画像妥当性評価部４は、サンプル画像も受信しており、第１生徒画像をＦＦＴ変換することにより求めた周波数強度とコントラスト強度との関係を示す第１生徒画像の周波数特性（以下、第１周波数特性という）に基づいてナイキスト周波数（ｉ）を算出する（Ｓ３）。また、学習画像妥当性評価部４は、サンプル画像をＦＦＴ変換することにより求めた周波数強度とコントラスト強度との関係を示すサンプル画像の周波数特性（以下、サンプル周波数特性という）に基づいてナイキスト周波数（ｉｉ）を算出する（Ｓ４）。学習画像妥当性評価部４は、第１生徒画像及びサンプル画像について、第１周波数特性のナイキスト周波数とサンプル周波数特性のナイキスト周波数の対比を行う（Ｓ５）。学習画像妥当性評価部４は、ナイキスト周波数同士の差が所定の範囲以内にあるか否かの一致判定又は不一致判定により、第１生徒画像の妥当性評価を行う（Ｓ６）。学習画像妥当性評価部４は、Ｓ６において妥当性の有無により処理を分岐し、一致判定（ナイキスト周波数同士の差が所定範囲内）の場合には妥当性を有するものとして処理をＳ７に移行し、入力された第１生徒画像を学習画像として出力する。学習画像妥当性評価部４は、不一致判定（ナイキスト周波数同士の差が所定範囲外）の場合には妥当性を有さないものとして、教師画像のサイズを変更させるための教師サイズ設定情報を生成して教師画像生成部１に出力することで、教師画像のサイズを変更する（Ｓ８）。以後、生徒画像が妥当性を有すると評価されるまで、Ｓ２～Ｓ６の処理を繰り返す。
　図５はナイキスト周波数の比較に基づく教師サイズ設定情報を説明するものである。
　図５の例は、第１生徒画像の妥当性評価が妥当な例Ａと、妥当で無い例Ｂについて、それぞれの周波数特性、サンプル画像のナイキスト周波数と第１生徒画像のナイキスト周波数との比較、学習画像（教師画像と生徒画像）のサイズを変更するか否か及び機序について示すものである。
　例Ａは、第１生徒画像の周波数特性（実線）とサンプル画像の周波数特性（破線）のうち、サンプル画像のナイキスト周波数が生徒画像のナイキスト周波数より同じか小さい例を示している。この場合には、学習画像妥当性評価部４は、第１生徒画像は妥当性を有すると判定する。従って、学習画像妥当性評価部４は、教師画像生成部１に供給する教師サイズ設定情報を生成することなく、入力された第１生徒画像を学習画像として出力する。
　例Ｂは、第１生徒画像の周波数特性（実線）とサンプル画像の周波数特性（破線）に示すように、第１生徒画像のナイキスト周波数はサンプル画像のナイキスト周波数よりも小さい。この場合には、学習画像妥当性評価部４は、第１生徒画像は妥当性を有していないと判定する。学習画像妥当性評価部４は、第１生徒画像のナイキスト周波数をサンプル画像のナイキスト周波数に近づけるために、教師画像を縮小するための教師サイズ設定情報を生成して教師画像生成部１に与える。
　この場合には、教師画像生成部１は、教師サイズ設定情報に基づいて、第１教師画像のサイズを、間引き処理や画素補間処理等によって縮小して教師画像（第２教師画像）を生成する。ラインペア／ピクセルで定義される周波数空間では、第２教師画像のナイキスト周波数は第１強画像のナイキスト周波数よりも高くなる。この結果、生徒画像生成部２において生成される生徒画像（第２生徒画像）のナイキスト周波数も第１生徒画像のナイキスト周波数よりも高くなり、第２生徒画像は、より高い周波数成分を含むようになる。こうして、第２生徒画像のナイキスト周波数は、サンプル画像のナイキスト周波数に近づく。
　学習画像妥当性評価部４は、第２生徒画像のナイキスト周波数とサンプル画像のナイキスト周波数とを比較し、両者の値が所定範囲内となるまで、教師画像生成部１の縮小処理を制御するための教師サイズ設定情報を生成する。
　例えば、第２生徒画像の第２周波数特性とサンプル画像のサンプル周波数特性から、第２生徒画像が妥当性を有しないと評価された場合には、第２教師画像を縮小して第３教師画像が生成され、この第３教師画像が低画質化されて第３生徒画像が生成される。
　こうして、学習画像妥当性評価部４から出力される生徒画像は、サンプル画像と同等の解像度を有する画像となる。この結果、最終的に生成された教師画像と生徒画像とを用いて推論モデルを学習することにより構築された推論モデルは、想定撮像装置により撮像された画像に対して十分な推論性能を得ることができ、低解像画像を高画質画像に変換することができる。
　このように本実施形態においては、高画質の教師画像に適切なボケ加工を施して低画質の生徒画像を生成する場合において、想定撮像装置により撮像して得たサンプル画像の周波数特性のナイキスト周波数が生徒画像の周波数特性のナイキスト周波数と同じか、小さくなるように、教師画像のサイズを縮小させる。これにより、学習に用いる生徒画像の画質をサンプル画像の画質に一致させる。このような教師画像及び生徒画像を用いた学習により推論モデルを構築することにより、当該推論モデルは、想定撮像装置により得られる低画質画像に対して十分な推論性能を発揮し、高画質画像を得ることが出来る。即ち、教師画像を得るための高画質撮像装置及び想定撮像装置の製品設計情報が無い場合でも、高い推論性能の推論モデルの構築が可能である。
（第２の実施形態）
　図６は第２の実施形態を示すブロック図である。図６において図１と同一の構成要素には同一符号を付して説明を省略する。本実施形態は第１の実施形態の機械学習用画像生成装置により生成された学習画像（教師画像及び生徒画像）を用いて推論モデルを構築するＡＩ高画質化システムに適用したものである。
　図６の実施形態は、深層学習部５、推論モデル部６及び低画質内視鏡７を付加した点が図１と異なる。深層学習部５は、学習画像妥当性評価部４により生徒画像が妥当性を有すると評価された場合の生徒画像とこの生徒画像に対応する教師画像が与えられて、これらの教師画像と生徒画像とを用いた深層学習を行う。深層学習部５は、例えばニューラルネットワークにより構成することができる。深層学習部５は、深層学習によってニューラルネットワークのパラメータを求め、求めたパラメータの情報をモデル情報として推論モデル部６に与える。
　なお、ニューラルネットワークは、複数のノードから成る入力層、中間層(隠れ層)、及び出力層から構成される。各ノードは前後の層のノードと連結しており、連結の１つ１つには重み係数と呼ばれるパラメータが与えられる。学習は、高画質度画像と低解像度画像との学習損失を最小にするようにパラメータを更新する処理である。なお、ニューラルネットワークとしては、例えば、コンボリューショナル(畳み込み、Convolutional)ニューラルネットワーク（ＣＮＮ）を採用してもよい。このように構成された推論モデルは、例えば、低解像度の入力画像が入力されると、推論処理により高画質度の画像を得て出力する。
　推論モデル部６は、深層学習部５と同様のニューラルネットワークにより構成されており、深層学習部５からモデル情報が与えられて、深層学習によって得られたパラメータをニューラルネットワークに設定することで、推論モデルを構築する。
　低画質内視鏡７は、診断や治療等のために体内の内視鏡画像を得る内視鏡であり、比較的低画質の内視鏡画像（低画質画像）であって、学習画像妥当性評価部４に与えられたサンプル画像と同等の画質の低画質画像を推論モデル部６に出力する。推論モデル部６は、推論処理によって、低画質画像を高画質画像に変換する。
　次に、このように構成された実施形態の動作について図７を参照して説明する。図７は第２の実施形態の動作を説明するためのフローチャートである。図７において図４と同一の手順には同一符号を付して説明を省略する。
　本実施形態においては、図４のフローと同様の手順により、所定サイズに調整された、高画質の教師画像及び低画質の生徒画像を得る。図７のＳ１１において、深層学習部５は、これらの教師画像及び生徒画像を用いた深層学習によって、学習済みの推論モデルを生成する。この推論モデルが推論モデル部６において採用される。推論モデル部６は、低画質内視鏡７により撮像されて得られた低画質の内視鏡画像に対する推論を行って、高画質画像を得る。深層学習部５の学習に用いる生徒画像の画質が、低画質内視鏡７により得られる低画質画像の画質と同等の画質であることから、推論モデル部６は比較的高い推論性能を発揮することが可能であり、高画質画像を得ることができる。
　このように、本実施形態においては、第１の実施形態の機械学習用画像生成装置により生成された学習画像（教師画像及び生徒画像）を用いて推論モデルを構築しており、実際に使用される内視鏡により得られた画像を高画質化することが可能である。
　図８は高画質化処理用ＡＩを内視鏡装置内に組み込んだ例を示すブロック図である。
　上述の機械学習方法により学習した高画質化処理用ＡＩ１１０は、内視鏡画像を受信する受信部１２０および前記内視鏡画像を高画質化処理した結果をディスプレイ２００へ出力する出力部１３０と一緒に内視鏡装置１００として用いることもできる。
　尚、高画質化処理用ＡＩ１１０は、検査室に据え置かれる内視鏡プロセッサに搭載されていてもよいし、クラウド上に存在していてもよい。
　本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
　また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ－ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールしたりすることで、容易に本実施の形態の機械学習用画像処理方法、機械学習用画像生成装置、機械学習方法、機械学習用画像生成用プログラム及び内視鏡装置を実現することができる。

Claims (12)

  1. 　第１教師画像から前記第１教師画像よりも低画質な第１生徒画像を生成し、
    　前記第１生徒画像の第１周波数特性を算出し、
    　低画質内視鏡により撮像して得られた低画質画像のサンプルとするサンプル画像からサンプル周波数特性を算出し、
    　前記第１周波数特性と、前記サンプル周波数特性とを対比し、
    　前記第１周波数特性のナイキスト周波数が前記サンプル周波数特性のナイキスト周波数より小さい場合、前記第１教師画像の画像サイズを縮小して第２教師画像を生成し、
    　前記第２教師画像を低画質化して第２生徒画像を生成する、
    機械学習用画像処理方法。
  2. 　前記第１周波数特性は、複数の第１生徒画像の周波数特性の代表値或いは平均値であり、
    　前記サンプル周波数特性は、複数のサンプル画像の周波数特性の代表値或いは平均値である
    請求項１に記載の機械学習用画像処理方法。
  3. 　前記第２生徒画像から第２周波数特性を算出し、
    　前記第２周波数特性と、前記サンプル周波数特性とを対比し、
    　前記第２周波数特性のナイキスト周波数が前記サンプル周波数特性のナイキスト周波数より小さい場合、前記第２教師画像の画像サイズを縮小して第３教師画像を生成し、
    　前記第３教師画像を低画質化して第３生徒画像を生成する、
    請求項１に記載の機械学習用画像処理方法。
  4. 　第１教師画像、および、低画質内視鏡により撮像して得られた低画質画像のサンプルとするサンプル画像を受信する画像受信部と、
    　前記第１教師画像から前記第１教師画像よりも低画質な第１生徒画像を生成する生徒画像生成部と、
    す　前記第１生徒画像の第１周波数特性、およびサンプル画像のサンプル周波数特性を算出する周波数特性算出部と、
    　前記第１周波数特性と、前記サンプル周波数特性とを対比する対比部と、
    　前記第１周波数特性のナイキスト周波数が前記サンプル周波数特性のナイキスト周波数より小さい場合、前記第１教師画像の画像サイズを縮小して第２教師画像を生成する教師画像生成部と、を含み、
    　前記生徒画像生成部は、前記第２教師画像を低画質化して第２生徒画像を生成する、
    機械学習用画像生成装置。
  5. 　前記周波数特性算出部は、前記第２生徒画像から第２周波数特性を算出し、
    　前記対比部は、前記第２周波数特性と、前記サンプル周波数特性とを対比し、
    　前記教師画像生成部は、前記第２周波数特性のナイキスト周波数が前記サンプル周波数特性のナイキスト周波数より小さい場合、前記第２教師画像の画像サイズを縮小して第３教師画像を生成し、
    　前記生徒画像生成部は、前記第３教師画像を低画質化して第３生徒画像を生成する、
    請求項４に記載の機械学習用画像生成装置。
  6. 　プロセッサを有し、
    　前記プロセッサは、
    　第１教師画像を受信し、
    　低画質内視鏡により撮像して得られた低画質画像のサンプルとするサンプル画像を受信し、
    　前記第１教師画像から前記第１教師画像よりも低画質な第１生徒画像を生成し、
    　前記第１生徒画像の第１周波数特性を算出し、
    　前記サンプル画像のサンプル周波数特性を算出し、
    　前記第１周波数特性と、前記サンプル周波数特性とを対比し、
    　前記第１周波数特性のナイキスト周波数が前記サンプル周波数特性のナイキスト周波数より小さい場合、前記第１教師画像の画像サイズを縮小して第２教師画像を生成し、
    　前記第２教師画像を低画質化して第２生徒画像を生成する、
    機械学習用画像生成装置。
  7. 　前記プロセッサは、
    　前記第２生徒画像から第２周波数特性を算出し、
    　前記第２周波数特性と、前記サンプル周波数特性とを対比し、
    　前記第２周波数特性のナイキスト周波数が前記サンプル周波数特性のナイキスト周波数より小さい場合、前記第２教師画像の画像サイズを縮小して第３教師画像を生成し、
    　前記第３教師画像を低画質化して第３生徒画像を生成する
    　請求項６に記載の機械学習用画像生成装置。
  8. 　請求項１に記載の
    　前記第１教師画像を教師画像として、
    　前記第１周波数特性のナイキスト周波数が前記サンプル周波数特性のナイキスト周波数よりも大きい前記第１生徒画像を生徒画像として用いて、機械学習を行う、
    機械学習方法。
  9. 　請求項２に記載の
    　前記第２教師画像を教師画像として、
    　前記第２周波数特性のナイキスト周波数が前記サンプル周波数特性のナイキスト周波数よりも大きい前記第２生徒画像を生徒画像として用いて、機械学習を行う、
    機械学習方法。
  10. 　画像受信部に、第１教師画像、および、低画質内視鏡により撮像して得られた低画質画像のサンプルとするサンプル画像を受信させ、
    　生徒画像生成部に前記第１教師画像から前記第１教師画像よりも低画質な第１生徒画像を生成させ、
    　周波数特性算出部に、前記第１生徒画像の第１周波数特性、およびサンプル画像のサンプル周波数特性を算出させ、
    　対比部に、前記第１周波数特性と、前記サンプル周波数特性とを対比させ、
    　前記第１周波数特性のナイキスト周波数が前記サンプル周波数特性のナイキスト周波数より小さい場合、教師画像生成部に前記第１教師画像の画像サイズを縮小させて第２教師画像を生成させ、
    　前記生徒画像生成部に、前記第２教師画像を低画質化した第２生徒画像を生成させる、
    機械学習用画像生成用プログラム。
  11. 　前記周波数特性算出部に、前記第２生徒画像から第２周波数特性を算出させ、
    　前記対比部に、前記第２周波数特性と、前記サンプル周波数特性とを対比させ、
    　前記教師画像生成部に、前記第２周波数特性のナイキスト周波数が前記サンプル周波数特性のナイキスト周波数より小さい場合、前記第２教師画像の画像サイズを縮小して第３教師画像を生成させ、
    　前記生徒画像生成部に、前記第３教師画像を低画質化して第３生徒画像を生成させる、
    請求項１０に記載の機械学習用画像生成プログラム。
  12. 　内視鏡画像を受信する受信部と、
    　請求項６に記載の
    　機械学習方法により学習した高画質化処理用人工知能と、
    　前記高画質化処理用人工知能により前記内視鏡画像を高画質化処理した結果をディスプレイに出力する出力部と、を含む内視鏡装置。
PCT/JP2024/023648 2024-06-28 2024-06-28 機械学習用画像処理方法、機械学習用画像生成装置、機械学習方法、機械学習用画像生成用プログラム及び内視鏡装置 Pending WO2026004136A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/023648 WO2026004136A1 (ja) 2024-06-28 2024-06-28 機械学習用画像処理方法、機械学習用画像生成装置、機械学習方法、機械学習用画像生成用プログラム及び内視鏡装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/023648 WO2026004136A1 (ja) 2024-06-28 2024-06-28 機械学習用画像処理方法、機械学習用画像生成装置、機械学習方法、機械学習用画像生成用プログラム及び内視鏡装置

Publications (1)

Publication Number Publication Date
WO2026004136A1 true WO2026004136A1 (ja) 2026-01-02

Family

ID=98221239

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/023648 Pending WO2026004136A1 (ja) 2024-06-28 2024-06-28 機械学習用画像処理方法、機械学習用画像生成装置、機械学習方法、機械学習用画像生成用プログラム及び内視鏡装置

Country Status (1)

Country Link
WO (1) WO2026004136A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10271323A (ja) * 1997-03-21 1998-10-09 Sharp Corp 画像処理方法
WO2021090469A1 (ja) * 2019-11-08 2021-05-14 オリンパス株式会社 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法
JP2023088665A (ja) * 2021-12-15 2023-06-27 キヤノン株式会社 学習装置、医用情報処理装置、学習データの生成方法、学習方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10271323A (ja) * 1997-03-21 1998-10-09 Sharp Corp 画像処理方法
WO2021090469A1 (ja) * 2019-11-08 2021-05-14 オリンパス株式会社 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法
JP2023088665A (ja) * 2021-12-15 2023-06-27 キヤノン株式会社 学習装置、医用情報処理装置、学習データの生成方法、学習方法、およびプログラム

Similar Documents

Publication Publication Date Title
US11188777B2 (en) Image processing method, image processing apparatus, learnt model manufacturing method, and image processing system
CN111539879B (zh) 基于深度学习的视频盲去噪方法及装置
JPH10509824A (ja) 画像データの適応的補間のためのシステム及び方法
JP7767338B2 (ja) 画像処理方法、画像処理装置、画像処理システム、およびプログラム
CN117726542B (zh) 基于扩散模型的可控噪声去除方法及系统
CN117522937A (zh) 面向全天候场景的自监督单目深度估计方法及装置
CN119251055A (zh) 基于改进的扩散模型的显微图像超分辨率重建方法和装置
CN110570355B (zh) 多尺度自动聚焦超分辨率处理系统和方法
JP2021189929A (ja) 画像処理方法、プログラム、画像処理装置、および、画像処理システム
CN114757838B (zh) 无监督领域自适应图像非盲解卷积方法、装置及介质
Benfenati et al. Neural blind deconvolution with Poisson data
JP2025109975A (ja) 学習方法、画像処理方法、およびプログラム
WO2026004143A1 (ja) 機械学習用画像処理方法、機械学習用画像生成装置、機械学習方法、機械学習用画像生成プログラム及び内視鏡装置
CN114862680B (zh) 一种图像重建方法、装置及电子设备
Yamawaki et al. Deep unsupervised blind learning for single image super resolution
CN116739948A (zh) 图像处理方法和装置
US20260107049A1 (en) Learned model and information processing apparatus
JP7818966B2 (ja) 画像処理方法、画像処理装置、画像処理システム、およびプログラム
US20250349108A1 (en) Image processing method, image processing apparatus, image processing system, and storage medium
WO2026042430A1 (ja) 画像処理方法、画像処理装置、画像処理システム、およびプログラム
US20260020744A1 (en) Image generation method for machine learning, machine learning method, and endoscope image processing apparatus
CN121120441B (en) Zero reference retina image enhancement method, system, equipment and medium
JP2025137084A (ja) 画像処理方法、画像処理装置、画像処理システム、およびプログラム
US20240320798A1 (en) Image processing method, image processing apparatus, method for making learned model, learning apparatus, image processing system, and storage medium
JP4718618B2 (ja) 信号処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24944627

Country of ref document: EP

Kind code of ref document: A1