WO2020003992A1 - 学習装置及び学習方法、並びに、医療画像処理装置 - Google Patents

学習装置及び学習方法、並びに、医療画像処理装置 Download PDF

Info

Publication number
WO2020003992A1
WO2020003992A1 PCT/JP2019/022910 JP2019022910W WO2020003992A1 WO 2020003992 A1 WO2020003992 A1 WO 2020003992A1 JP 2019022910 W JP2019022910 W JP 2019022910W WO 2020003992 A1 WO2020003992 A1 WO 2020003992A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
image
medical
model
endoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/022910
Other languages
English (en)
French (fr)
Inventor
麻依子 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2020527359A priority Critical patent/JP7382930B2/ja
Publication of WO2020003992A1 publication Critical patent/WO2020003992A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a learning device, a learning method, and a medical image processing device, and in particular, to a learning device and a learning method for generating a model for performing image recognition on a medical image, and a medical device using the model.
  • the present invention relates to an image processing device.
  • a technology for automatically detecting a lesion from a medical image or classifying a lesion by type using an image recognition model generated by machine learning is known.
  • image recognition such as detection and classification can be performed by learning a large number of images corresponding to a problem.
  • Patent Document 1 discloses a method of generating a highly accurate image recognition model even when the number of images for learning is small, by performing pre-learning using an image group similar to the characteristics of the image group to be learned,
  • a method of performing actual learning using a group of images to be learned Specifically, pre-learning is performed based on a group of images in which the shape of the subject is similar, a group of images obtained by capturing a living body phantom, a group of images in which the tissue structure of the subject is similar, and a group of images obtained by capturing a simulated organ using the same imaging system.
  • a method of performing main learning using a group of images to be learned has been proposed.
  • Japanese Patent Application Laid-Open No. H11-163873 performs first learning with a first image group captured at a first frame rate, and then performs a second learning with a second image group captured at a second frame rate lower than the first frame rate. A method for performing the second learning has been proposed.
  • the present invention has been made in view of such circumstances, and provides a learning device, a learning method, and a medical image processing device capable of efficiently generating a model for performing image recognition on a medical image having a specific image quality.
  • the purpose is to do.
  • a first learning unit that generates a first model that performs image recognition on a medical image of the first image quality by learning using a first medical image group including medical images of the first image quality; And performing image recognition on a medical image of the second image quality by learning using a second medical image group composed of medical images of a second image quality different from the first image quality based on the first model.
  • a second learning unit that generates two models.
  • the first model is generated by performing the first learning on the first medical image group of the first image quality.
  • the second model is generated by performing the second learning on the second medical image group of the second image quality based on the first model. Since the second learning is performed based on the first learning result, an accurate model can be generated even when the number of learning images is small. Therefore, when generating a model for performing image recognition on a medical image having a specific image quality, the first learning is performed on the first medical image group having a large number of learning images, and then the medical image having the target image quality is obtained. By performing the second learning on the image group (second medical image group), it is possible to efficiently generate a model for performing image recognition on a medical image of a target image quality.
  • the images constituting the medical image include both moving images and still images.
  • a moving image can be regarded as a time-series image group including a plurality of frames.
  • the image quality here means the image quality of an image constituting one frame in a moving image.
  • the first medical image group is composed of medical images of the first resolution
  • the second medical image group is composed of medical images of the second resolution different from the first resolution. Accordingly, when a model for performing image recognition on a medical image having a specific resolution is generated, an accurate model can be efficiently generated even when the number of learning images of the corresponding resolution is small. .
  • the second medical image group is configured by medical images having a lower resolution (second resolution) than the resolution (first resolution) of the medical images forming the first medical image group. Accordingly, when a model for performing image recognition on a medical image with a specific resolution is generated, even when the number of learning images with the corresponding resolution is small, a model with high accuracy can be efficiently generated.
  • the first medical image group is composed of medical images having a resolution of 4K or more
  • the second medical image group is composed of medical images having a resolution of less than 4K. Accordingly, when a model for performing image recognition on a medical image with a specific resolution of less than 4K is generated, even if the number of learning images of the corresponding resolution is small, a model with high accuracy can be efficiently created. Can be generated.
  • the 4K image refers to a high-definition image having about 4000 pixels on the long side. In particular, it refers to an image having about 4000 ⁇ 2000 pixels in the horizontal and vertical directions.
  • “4K UHDTV (Ultra High Definition Television: Ultra High Definition Television)” and “DCI 4K” which are generally known are included in “4K” in this specification.
  • “4K @ UHDTV” is 4K defined by the International Telecommunication Union (ITU), which is 3840 (horizontal) x 2160 (vertical) pixels.
  • DCI @ 4K is 4K defined by ⁇ Digital Cinema ⁇ Initiatives (DCI) to which movie companies and the like belong, and is an image of 4096 (width) ⁇ 2160 (height) pixels.
  • the first medical image group is composed of medical images having a resolution of 8K or more
  • the second medical image group is composed of medical images having a resolution of less than 8K. Accordingly, when a model for performing image recognition on a medical image having a specific resolution of less than 8K is generated, even if the number of learning images of the corresponding resolution is small, an accurate model can be efficiently generated. Can be generated.
  • the 8K image is a high-definition image having about 8000 pixels on the long side. In particular, it refers to an image in which the number of horizontal and vertical pixels is about 8000 ⁇ 4000.
  • the commonly known “8K UHDTV” also referred to as 8K Ultra-high-definition television, 8K Ultra HDTV, 8K UHDTV, 8K UHD, Super Hi-Vision 8K, etc.
  • 8K @ UHDTV is 8K defined by the International Telecommunication Union and is an image of 7680 horizontal ⁇ 4320 vertical pixels.
  • the second medical image group is configured by medical images having a higher resolution (second resolution) than the resolution (first resolution) of the medical images forming the first medical image group. Accordingly, when a model for performing image recognition on a medical image with a specific resolution is generated, even when the number of learning images with the corresponding resolution is small, a model with high accuracy can be efficiently generated.
  • the first medical image group is configured by medical images having a resolution of less than 4K
  • the second medical image group is configured by medical images having a resolution of 4K or more. Accordingly, when a model for performing image recognition on a medical image with a specific resolution of 4K or more is generated, even if the number of learning images of the corresponding resolution is small, an accurate model can be efficiently created. Can be generated.
  • the first medical image group is configured by medical images having a resolution of less than 8K
  • the second medical image group is configured by medical images having a resolution of 8K or more. Accordingly, when a model for performing image recognition on a medical image with a specific resolution of 8K or more is generated, even if the number of learning images of the corresponding resolution is small, a model with high accuracy can be efficiently created. Can be generated.
  • the first medical image group is constituted by medical images having less noise than the medical images constituting the second medical image group.
  • the first medical image group is configured by medical images having a larger amount of noise than the medical images forming the second medical image group.
  • the first medical image group is configured by medical images having a wider angle of view than the medical images forming the second medical image group. This makes it possible to generate a model that performs image recognition on a medical image having a specific angle of view without learning from an image that has been cut out or the like.
  • the first medical image group is composed of medical images captured by an endoscope
  • the second medical image group is medical images captured by an endoscope different from the endoscope capturing the first medical image group.
  • the learning device according to the above (1) comprising:
  • the first medical image group is configured by medical images captured by the endoscope
  • the second medical image group is configured by an endoscope different from the endoscope capturing the first medical image group. It is composed of captured medical images. Accordingly, when a model for performing image recognition on a medical image captured by a specific endoscope is generated, even if the number of learning images captured by the endoscope is small, the accuracy can be improved. Model can be generated efficiently.
  • the second medical image group is configured by medical images captured by an endoscope having a specification different from that of the endoscope capturing the medical image forming the first medical image group.
  • the first model and the second model are configured by a convolutional neural network.
  • a model configured by a medical image acquisition unit for acquiring a medical image and a second model generated by the learning device according to any one of (1) to (14), and performing image recognition on the medical image
  • a medical image processing apparatus comprising:
  • the model for performing image recognition on the medical image is configured by the second model generated by any one of the learning devices (1) to (14). Thereby, it is possible to accurately perform image recognition on a medical image having a specific image quality.
  • the medical image processing apparatus further including: a plurality of models; and a model switching unit that switches a model to be used.
  • a plurality of models for performing image recognition are provided, and are switched and used.
  • image recognition can be performed using an appropriate model according to the image quality.
  • An endoscope information acquisition unit for acquiring information of an endoscope that has taken a medical image is further provided, and the plurality of models are configured to use a second medical image group captured by different endoscopes to obtain a second model.
  • a plurality of models for performing image recognition are provided.
  • Each model is generated by learning by the second learning unit using the second medical image group captured by different endoscopes, and is used depending on the endoscope capturing the medical image to be recognized. Models to be switched automatically.
  • the plurality of models are generated by learning in the second learning unit using the second medical image group captured by the endoscope having different specifications from each other.
  • the plurality of models are generated by learning in the second learning unit using the second medical image group captured by the endoscope having different resolutions or different amounts of noise.
  • the first model is generated by performing the first learning on the first medical image group of the first image quality.
  • the second model is generated by performing the second learning on the second medical image group of the second image quality based on the first model. Since the second learning is performed based on the first learning result, an accurate model can be generated even when the number of learning images is small. Therefore, when generating a model for performing image recognition on a medical image having a specific image quality, the first learning is performed on the first medical image group having a large number of learning images, and then the medical image having the target image quality is obtained. By performing the second learning on the image group (second medical image group), it is possible to efficiently generate a model for performing image recognition on a medical image of a target image quality.
  • a model for performing image recognition on a medical image having a specific image quality can be efficiently generated.
  • FIG. 2 is a block diagram illustrating an embodiment of a configuration of a learning device.
  • Schematic diagram showing an example of the configuration of a CNN Conceptual diagram of setting of CNN constituting the first model and the second model Diagram showing an example of a hardware configuration of a learning device
  • Flow chart showing the procedure of learning performed by the learning device
  • Flowchart showing the learning procedure based on the learning result of a group of high-resolution learning images
  • the flowchart which shows the procedure of the learning based on the learning result by the low-resolution learning image group
  • the flowchart which shows the procedure of the learning based on the learning result by the learning image group of low noise.
  • a flowchart showing a learning procedure based on a learning result by a group of high-noise learning images.
  • a flowchart showing a learning procedure based on a learning result by a group of wide-angle learning images is a block diagram illustrating an embodiment of a configuration of an endoscope image processing device.
  • the figure which shows an example of the hardware constitutions of an endoscope image processing apparatus Block diagram showing a modified example of the endoscope image processing device Block diagram showing another modification of the endoscope image processing device
  • FIG. 1 is a block diagram showing an embodiment of the configuration of the learning device.
  • the learning device 1 is configured as a device that generates a model for performing image recognition on an endoscope image obtained by endoscopy by machine learning.
  • An endoscope image is an example of a medical image.
  • the learning device 1 of the present embodiment is configured as a device that generates a model for performing image recognition on an endoscope image having a specific image quality by machine learning.
  • the image recognition performed here is, for example, detection of a lesion included in the image, classification of each type of lesion, and the like.
  • a learning device 1 includes a first learning unit 10 that generates a first model M1 that performs image recognition on an endoscopic image of a first image quality by machine learning, A second learning unit that generates a second model that performs image recognition on an endoscopic image having a second image quality based on the first model that is generated by the first learning unit; And a learning control unit 30 that performs overall control of the operation. Further, a first learning data set 12 for learning by the first learning unit 10 and a second learning data set 22 for learning by the second learning unit 20 are provided.
  • the first learning unit 10 performs learning using the first learning data set 12 to generate a first model M1 that performs image recognition on an endoscopic image of the first image quality.
  • the first model M1 is composed of, for example, a convolutional neural network (CNN).
  • CNN convolutional neural network
  • the first learning data set 12 includes a first endoscope image group which is a learning image group.
  • the first endoscope image group is an example of a first medical image group, and includes an endoscope image of the first image quality.
  • the images constituting the endoscope image include both still images and moving images.
  • a moving image can be regarded as a time-series image group including a plurality of frames.
  • the data forming the image is data having intensity values (luminance values) of red (Red, R), green (Green, G) and blue (Blue, B) in pixel units.
  • the image quality means the image quality of an image constituting one frame.
  • the second learning unit 20 learns the endoscope image of the second image quality by learning using the second learning data set 22 based on the first model M1 generated by the first learning unit 10.
  • a second model M2 for performing image recognition is generated.
  • the second model M2 is composed of, for example, CNN.
  • the second model M2 generated by the second learning unit 20 is a model that performs image recognition on an endoscopic image having a specific image quality. That is, image recognition processing is performed using the second model M2 as a learned model.
  • the second learning unit 20 optimizes the weight parameter of each layer of the CNN constituting the second model M2 by learning.
  • the second learning data set 22 includes a second endoscope image group that is a learning image group.
  • the second endoscope image group is an example of a second medical image group, and includes an endoscope image having a second image quality different from the first image quality.
  • the image quality (second image quality) of the endoscope images constituting the second endoscope image group is set to the same image quality (including the same level of image quality) as that of the image recognition target.
  • the first learning data set 12 is composed of an endoscope image having an image quality (first image quality) different from the second image quality. Therefore, the image quality of the endoscope image to be subjected to image recognition is different from the image quality of the endoscope image. Specifically, it is configured by an endoscope image of higher image quality or lower image quality.
  • the learning control unit 30 controls the operations of the first learning unit 10 and the second learning unit 20, and controls the overall operation of the learning device 1. Further, the learning control unit 30 sets the CNNs that form the first model M1 and the second model M2.
  • FIG. 2 is a schematic diagram showing an example of the configuration of the CNN.
  • the CNN is configured by a multilayer neural network configured by stacking a convolutional layer, a normalization layer, a pooling layer, and the like.
  • FIG. 3 is a conceptual diagram of the setting of the CNN constituting the first model and the second model.
  • (A) is a diagram showing an example of a CNN constituting a first model M1
  • (B) is a diagram showing an example of a CNN constituting a second model M2.
  • the learning control unit 30 sets the CNN that forms the first model M1, and sets the CNN that forms the second model M2 based on the learned first model M1.
  • the CNN of the second model M2 is set by resetting the weight parameters of some layers of the CNN constituting the learned first model M1.
  • the layers for which the weight parameters are reset are some layers close to the output.
  • the weight parameters of the last three layers (all connected layers, all connected layers, and Softmax layer) surrounded by the broken line BL are reset, and the CNN of the second model M2 is set.
  • the weight parameters of the learned first model M1 are set as initial values.
  • FIG. 4 is a diagram illustrating an example of a hardware configuration of the learning device.
  • the learning device 1 is composed of computers such as a server computer and a client computer, and includes a CPU (Central Processing Unit) 51, a ROM (Read Only Memory) 52, a RAM (Random Access Memory) 53, an HDD (Hard Disk Drive) 54, and communication. An interface 55 and an input / output interface 56 are provided.
  • the learning device 1 includes an input device 57, a display device 58, and the like.
  • the CPU 51 controls each unit of the learning device 1 by executing the program, and realizes each function of the learning device 1.
  • the ROM 52 stores various programs executed by the CPU 51, various data, and the like.
  • the RAM 53 provides the CPU 51 with a work area.
  • the HDD 54 stores various programs executed by the CPU 51 and various data.
  • the communication interface 55 is an interface (interface; I / F) for connecting the learning device 1 to a network 59 such as a LAN (Local Area Network).
  • the learning device 1 communicates with an external device via the communication interface 55.
  • the input / output interface 56 is an interface for connecting external devices such as the input device 57 and the display device 58 to the learning device 1.
  • the input device 57 inputs information corresponding to an operation by a user to the learning device 1.
  • the input device 57 includes, for example, a keyboard, a mouse, and the like.
  • the display device 58 displays various information.
  • the display device 58 is configured by, for example, a liquid crystal display, an organic EL (Electro Luminescence) display, or the like.
  • the functions of the first learning unit 10, the second learning unit 20, and the learning control unit 30 that constitute the learning device 1 are realized by the CPU 51 executing a predetermined program. Further, the first learning data set 12 and the second learning data set 22 are stored in the HDD 54.
  • FIG. 5 is a flowchart illustrating a learning procedure performed by the learning device.
  • the CNN constituting the first model M1 is set (step S1).
  • the first learning is performed on the set CNN using the first learning data set 12 (step S2). That is, learning is performed on a first endoscopic image group composed of endoscopic images of the first image quality. As a result, a first model M1 for performing image recognition on the endoscopic image of the first image quality is generated.
  • the CNN constituting the second model M2 is set based on the learned first model M1 (step S3).
  • the weight parameters of some layers close to the output of the learned first model M1 are reset, and the CNN of the second model M2 is set (see FIG. 3).
  • step S4 second learning is performed on the set CNN using the second learning data set 22 (step S4). That is, learning is performed using a second endoscope image group including endoscope images of the second image quality.
  • a second model M2 for performing image recognition on the endoscopic image of the second image quality is generated.
  • the second endoscope image group used in the second learning has the same image quality (the same level of image quality) as the endoscope image (endoscope image having a specific image quality) to be subjected to image recognition. (Including image quality).
  • the second model M2 generated by the second learning is a model capable of performing image recognition on an endoscopic image having the same image quality as the endoscope image to be subjected to image recognition.
  • the endoscope of the second image quality is performed based on the first learning result.
  • the second learning is performed on the image group. Since the second learning is performed based on the first learning result, an accurate model can be generated even when the number of learning images is small. Therefore, for example, when generating a model for performing image recognition on a medical image having a specific image quality, after performing the first learning with abundant image quality for a learning image, a medical image group having a target image quality is obtained. Performs the second learning. Thereby, a target model can be efficiently generated.
  • Example ⁇ Learning with a group of learning images with different resolutions>
  • a first image is generated using an endoscope image group having a different resolution (first resolution) from the endoscope image for performing image recognition.
  • the second learning is performed using an endoscope image group having the same resolution (second resolution) as the endoscope image for performing image recognition.
  • (1) first learning is performed using an endoscope image group having a higher resolution (first resolution) than an endoscope image for which image recognition is performed, and based on the result, image learning is performed.
  • a method of performing the second learning using an endoscope image group having the same resolution (second resolution) as the endoscope image, and (2) an endoscope having a lower resolution (first resolution) than the endoscope image performing image recognition A method of performing a first learning using a group of mirror images, and performing a second learning with an endoscope image group having the same resolution (second resolution) as an endoscope image for performing image recognition based on the result. , There is. Hereinafter, the cases (1) and (2) will be described separately.
  • a model for performing image recognition on an endoscope image having a specific resolution is generated.
  • the first learning is performed using a group of endoscope images having a higher resolution than the resolution, and based on the result, the same resolution (including the same level of resolution) as the resolution of the endoscope image for performing image recognition is used.
  • the second learning is performed on the endoscope image group.
  • FIG. 6 is a flowchart showing a learning procedure based on a learning result of a high-resolution learning image group.
  • the CNN configuring the first model M1 is set (step S11).
  • the first learning is performed on the set CNN using the first learning data set 12 (step S12).
  • the first learning data set 12 includes an endoscope image having a relatively higher resolution than the resolution of the endoscope image to be subjected to image recognition.
  • a first model M1 that performs image recognition on an endoscopic image having a relatively high resolution is generated.
  • the CNN constituting the second model M2 is set based on the learned first model M1 (step S13).
  • the second learning is performed on the set CNN using the second learning data set 22 (step S14).
  • the second learning data set 22 includes an endoscope image having the same resolution (including the same level of resolution) as the resolution of the endoscope image to be subjected to image recognition.
  • a model (second model M2) capable of performing image recognition on the endoscope image having the target resolution is generated.
  • an endoscope image group having a resolution of 4K or more for example, an endoscope image group having a 4K resolution or an 8K resolution.
  • the first learning is performed, and then the second learning is performed on an endoscope image group having a target resolution (for example, 2K resolution) based on the first learning result.
  • a target resolution for example, 2K resolution
  • first learning is performed using a group of endoscopic images having a 4K resolution, and then 2K based on the first learning result.
  • the second learning is performed on the endoscope image group having the resolution.
  • a 2K image is a high-definition image in which the number of pixels on the long side is about 2000. In particular, it refers to an image in which the number of horizontal ⁇ vertical pixels is about 2000 ⁇ 1000. Therefore, general full high-definition (1920 ⁇ 1080) is included in 2K here.
  • an endoscope image group having a resolution of 8K or more (for example, an endoscope image group having an 8K resolution) is used. It is conceivable that the first learning is performed, and then the second learning is performed on an endoscope image group having a target resolution (for example, 2K resolution or 4K resolution) based on the first learning result.
  • a target resolution for example, 2K resolution or 4K resolution
  • a first learning is performed on a group of endoscopic images having an 8K resolution, and then a 4K resolution is set based on the first learning result.
  • the second learning is performed on the endoscope image group having the resolution.
  • the Optimize models at cost even when a model for performing image recognition on an endoscope image taken by a low-resolution endoscope used in a small hospital or the like is generated, the Optimize models at cost.
  • an endoscope image for performing image recognition is generated.
  • the first learning is performed using an endoscope image group having a resolution lower than the resolution, and based on the result, the same resolution (including the same level of resolution) as the resolution of the endoscope image for performing image recognition is used.
  • the second learning is performed on the endoscope image group.
  • FIG. 7 is a flowchart showing a learning procedure based on a learning result of a low-resolution learning image group.
  • the CNN constituting the first model M1 is set (step S21).
  • the first learning is performed on the set CNN using the first learning data set 12 (step S22).
  • the first learning data set 12 includes an endoscope image having a resolution relatively lower than the resolution of the endoscope image to be subjected to image recognition.
  • a first model M1 that performs image recognition on an endoscopic image having a relatively low resolution is generated.
  • the CNN constituting the second model M2 is set based on the learned first model M1 (step S23).
  • the second learning is performed on the set CNN using the second learning data set 22 (step S24).
  • the second learning data set 22 includes an endoscope image having the same resolution (including the same level of resolution) as the resolution of the endoscope image to be subjected to image recognition.
  • a model (second model M2) capable of performing image recognition on the endoscope image having the target resolution is generated.
  • the first group of endoscope images having a resolution of less than 4K (for example, an endoscope image group having a 2K resolution) is used.
  • the second learning is performed on an endoscope image group having a target resolution (for example, 4K resolution) based on the first learning result.
  • a target resolution for example, 4K resolution
  • a first learning is performed using a group of endoscopic images having a 2K resolution, and then a 4K resolution is set based on the first learning result.
  • the second learning is performed on the endoscope image group having the resolution.
  • an endoscope image group having a resolution of less than 8K for example, an endoscope image group having a 4K resolution or a 2K resolution.
  • the first learning may be performed, and then the second learning may be performed on the endoscope image group having the target resolution (for example, 8K resolution) based on the first learning result.
  • the target resolution for example, 8K resolution
  • a first learning is performed on a group of 4K resolution endoscope images, and then, based on the first learning result, an 8K resolution is obtained.
  • the second learning is performed on the endoscope image group having the resolution.
  • a model having a target resolution can be efficiently generated by using an existing learning image group even when a learning image having a target resolution is insufficient.
  • first learning is performed using an endoscope image group having a different noise amount from the endoscope image for performing image recognition.
  • the second learning is performed with an endoscope image group having the same amount of noise (including the same amount of noise) as the amount of noise of the endoscope image to be subjected to image recognition.
  • (1) the first learning is performed using an endoscope image group having a smaller amount of noise than the endoscope image for which image recognition is performed, and based on the result, the endoscope image for which image recognition is performed is performed.
  • a method of performing the second learning with an endoscope image group having the same noise amount (including the same amount of noise) as the noise amount, and (2) an endoscope having a larger amount of noise than an endoscope image performing image recognition The first learning is performed using the mirror image group, and based on the result, the endoscope image group having the same noise amount (including the same amount of noise) as the noise amount of the endoscope image for performing image recognition is used. And a second learning method.
  • the cases (1) and (2) will be described separately.
  • the learning is performed using an endoscope image that performs image recognition.
  • the second learning is performed on the endoscope image group.
  • FIG. 8 is a flowchart showing a learning procedure based on the learning result of the low-noise learning image group.
  • the CNN constituting the first model M1 is set (step S31).
  • the first learning is performed on the set CNN using the first learning data set 12 (step S32).
  • the first learning data set 12 is composed of an endoscope image having a relatively smaller noise amount than the noise amount of the endoscope image to be subjected to image recognition. For example, when generating a model for performing image recognition on an endoscope image captured by a low-end endoscope, the first learning image is generated using an endoscope image captured by a lower-end high-end endoscope.
  • the data set 12 is configured. By this first learning, a first model M1 that performs image recognition on an endoscopic image with relatively low noise is generated.
  • the CNN constituting the second model M2 is set based on the learned first model M1 (step S33).
  • the second learning data set 22 is composed of an endoscope image having the same amount of noise (including the same amount of noise) as the amount of noise of the endoscope image to be subjected to image recognition.
  • a second learning data set 22 is generated using an endoscope image captured by the low-end endoscope. Is composed.
  • a model capable of performing image recognition on the endoscope image having the target noise amount is generated.
  • large hospitals such as university hospitals use endoscopes with a relatively small amount of noise (so-called high-end endoscopes), and small hospitals such as clinics have a relatively large amount of noise.
  • An endoscope is used.
  • small hospitals have a problem that it is difficult to collect learning images because the number of examinations is smaller than that of large hospitals. For this reason, there is a case where the learning image of the target noise amount is insufficient.
  • a model for performing image recognition on an endoscope image captured by an endoscope (an endoscope having a relatively large amount of noise) used in a small hospital or the like is generated. Even if it does, the model can be optimized at low cost.
  • FIG. 9 is a flowchart showing a learning procedure based on a learning result of a group of high-noise learning images.
  • the CNN constituting the first model M1 is set (step S41).
  • the first learning is performed on the set CNN using the first learning data set 12 (step S42).
  • the first learning data set 12 includes an endoscope image having a relatively larger noise amount than the noise amount of the endoscope image to be subjected to image recognition.
  • a first model M1 that performs image recognition on an endoscopic image with relatively high noise is generated.
  • the CNN constituting the second model M2 is set based on the learned first model M1 (step S43).
  • the second learning is performed on the set CNN using the second learning data set 22 (step S44).
  • the second learning data set 22 includes an endoscope image having the same amount of noise (including the same amount of noise) as the amount of noise of the endoscope image to be subjected to image recognition.
  • a model capable of performing image recognition on the endoscope image having the target noise amount is generated.
  • the model of the target noise amount is efficiently generated using the existing learning image group. it can.
  • ⁇ Learning based on learning results using wide-angle learning images> When generating a model for performing image recognition on an endoscope image having a specific angle of view, the first learning is performed using an endoscope image group having a wider angle of view than the endoscope image for performing image recognition. Then, based on the result, the second learning is performed on an endoscope image group having the same angle of view (including substantially the same angle of view) as the angle of view of the endoscope image to be subjected to image recognition.
  • FIG. 10 is a flowchart showing a learning procedure based on a learning result of a wide-angle learning image group.
  • the CNN constituting the first model M1 is set (step S51).
  • the first learning is performed on the set CNN using the first learning data set 12 (step S52).
  • the first learning data set 12 includes an endoscope image having an angle of view relatively wider than the angle of view of the endoscope image to be subjected to image recognition.
  • a first model M1 that performs image recognition on an endoscope image having a wider angle than the target endoscope image is generated.
  • a CNN constituting the second model M2 is set based on the learned first model M1 (step S53).
  • the second learning is performed on the set CNN using the second learning data set 22 (step S54).
  • the second learning data set 22 includes an endoscope image having the same angle of view (including substantially the same angle of view) as the angle of view of the endoscope image to be subjected to image recognition.
  • an image recognition model (second model M2) optimized for use with a specific endoscope is generated.
  • ⁇ Learning based on learning results from a group of learning images captured by another endoscope> When generating a model that performs image recognition on an endoscope image captured by a specific endoscope, first learning is performed using an endoscope image group captured by another endoscope. Based on the result, the second learning is performed on an endoscope image group captured by an endoscope that performs image recognition.
  • FIG. 11 is a flowchart showing a learning procedure based on a learning result of a learning image group captured by different endoscopes.
  • the CNN constituting the first model M1 is set (step S61).
  • the first learning data set 12 includes an endoscope image captured by an endoscope (another endoscope) different from an endoscope that performs image recognition.
  • an endoscope that performs image recognition is an endoscope photographed by an endoscope having different specifications (image sensor size, image sensor resolution, image sensor type, imaging optical system configuration, light source type, etc.). It consists of.
  • a first model M1 that performs image recognition on the endoscope image captured by the other endoscope is generated.
  • the CNN configuring the second model M2 is set based on the learned first model M1 (step S63).
  • the second learning is performed on the set CNN using the second learning data set 22 (step S64).
  • the second learning data set 22 includes an endoscope image captured by the same endoscope (including an endoscope having the same model and the same specification) as the endoscope that performs image recognition.
  • a model capable of performing image recognition on the target endoscopic image is generated.
  • the learning method of this aspect even when the learning image of the endoscope to be image-recognized is insufficient, using the abundant other endoscope learning image group that exists abundantly, It is possible to efficiently generate a model for performing image recognition of an endoscope image captured by a specific endoscope.
  • an image recognition model of a specific endoscope can be efficiently generated even when there is an individual difference.
  • the functions of the first learning unit 10 and the second learning unit 20 are realized by the same computer, but the functions may be realized by a plurality of computers.
  • the functions of the first learning unit 10 and the second learning unit 20 can be realized by separate computers.
  • the model for performing image recognition is configured by CNN, but the configuration of the model for performing image recognition is not limited to this. Any model generated by machine learning may be used.
  • the CNN of the second model M2 is set by resetting the weight parameters of some layers of the CNN constituting the learned first model M1, but the second model M2 is set.
  • the technique is not limited to this.
  • a method of re-learning the entire CNN a method of performing the second learning by replacing the input layer and the output layer of the learned first model M1
  • Various methods such as a method of fixing weight parameters of some layers (for example, a layer for performing feature extraction) of the learned first model M1 and learning only other layers (for example, a layer for performing recognition) Can be adopted.
  • the learning coefficient may be changed in each layer.
  • the second learning may be performed by setting a learning coefficient larger than that in the other layers so that the learning proceeds faster.
  • the second learning including the setting of the second model can employ a so-called transfer learning (also referred to as fine tuning) method.
  • FIG. 12 is a block diagram illustrating an embodiment of the configuration of the endoscope image processing device.
  • the endoscope image processing device 100 is an example of a medical image processing device.
  • the endoscope image processing apparatus 100 acquires an endoscopic image having a specific image quality, and performs image recognition on the acquired endoscopic image (detection of a lesion included in the image, classification of each type of lesion, and the like). And output the result.
  • image recognition an image recognition model generated by the learning device 1 is used.
  • an endoscope image processing apparatus 100 includes an endoscope image acquisition unit 110 that acquires an endoscope image to be recognized, and an image recognition unit that performs image recognition on the acquired endoscope image. 112, a recognition result output unit 114 for outputting a recognition result, and an image processing control unit 116 for controlling the whole.
  • the endoscope image acquisition unit 110 is an example of a medical image acquisition unit, and acquires an endoscope image (medical image) to be recognized.
  • This endoscope image is an endoscope image having a specific image quality.
  • the image recognition unit 112 performs a process of image recognition (detection of a lesion included in the image, classification of each type of lesion, and the like) on the endoscopic image acquired by the endoscopic image acquiring unit 110.
  • the image recognizing unit 112 is configured by an image recognition model (learned model) generated by the learning device 1. Therefore, the first learning is performed with a learning image group (first endoscopic image group) having an image quality different from the target image quality, and based on the learning result, a learning image group (second image group) with the target image quality is obtained. (A group of endoscope images) and a model (second model) generated by learning.
  • the recognition result output unit 114 outputs the recognition result by the image recognition unit 112 in a predetermined format.
  • the data is output to a monitor in a predetermined display format.
  • the image processing control unit 116 controls the operation of each unit.
  • FIG. 13 is a diagram illustrating an example of a hardware configuration of the endoscope image processing device.
  • the endoscope image processing apparatus 100 is configured by a computer such as a server computer and a client computer, and includes a CPU 121, a ROM 122, a RAM 123, an HDD 124, a communication interface 125, an input / output interface 126, and the like.
  • the learning device 1 includes an input device 127, a display device 128, and the like.
  • the CPU 121 controls each unit of the endoscope image processing device 100 by executing the program, and realizes each function of the endoscope image processing device 100.
  • the ROM 122 stores various programs executed by the CPU 121, various data, and the like.
  • the RAM 123 provides the CPU 121 with a work area.
  • the HDD 124 stores various programs executed by the CPU 121 and various data.
  • the communication interface 125 is an interface for connecting the endoscope image processing device 100 to a network 59 such as a LAN.
  • the endoscope image processing device 100 communicates with an external device via the communication interface 125.
  • the input / output interface 126 is an interface for connecting external devices such as the input device 127 and the display device 128 to the endoscope image processing device 100.
  • the input device 127 inputs information according to a user operation to the endoscope image processing device 100.
  • the input device 127 includes, for example, a keyboard, a mouse, and the like.
  • the display device 128 displays various information.
  • the display device 128 includes, for example, a liquid crystal display, an organic EL display, and the like.
  • the functions of the endoscope image acquisition unit 110, the image recognition unit 112, and the recognition result output unit 114 are realized by the CPU 121 executing a predetermined program.
  • the endoscope image to be recognized is stored in, for example, the HDD 124 and acquired from the HDD 124. Alternatively, it is stored in an external storage device connected via the network 59, and acquired from the external storage device via the network 59. Alternatively, it is acquired via the network 59 from an endoscope device connected via the network 59.
  • the endoscope image acquisition unit 110 acquires an endoscope image to be recognized from a designated acquisition source under the control of the image processing control unit 116.
  • the recognition result is displayed on the display device 128 in a predetermined display format, for example.
  • the recognition result output unit 114 outputs the recognition result of the image recognition unit 112 to the display device 128 in a predetermined format under the control of the image processing control unit 116.
  • the endoscope image acquiring unit 110 acquires an endoscope image to be recognized.
  • This endoscope image is an endoscope image of a specific image quality.
  • the image recognition section 112 performs image recognition on the obtained endoscope image.
  • the recognition result output unit 114 outputs the recognition result.
  • image recognition is performed using a model optimized for a specific image quality, so that highly accurate image recognition can be performed.
  • FIG. 14 is a block diagram illustrating a modified example of the endoscope image processing device.
  • the endoscope image processing apparatus 100A of the present embodiment differs from the endoscope image processing apparatus 100 of the above-described embodiment in further including a model switching unit 130 for switching a model used for image recognition. I do.
  • the image recognition unit 112 is provided with a plurality of models for performing image recognition on the endoscope image, and the model to be used is switched by the model switching unit 130.
  • This model is a model optimized by performing the second learning.
  • the prepared plural models are stored in, for example, the ROM 122 or the HDD 124.
  • the model switching unit 130 switches a model to be used in accordance with an instruction from the image processing control unit 116.
  • the image processing control unit 116 switches the model to be used according to an instruction from the user.
  • the endoscope since the endoscope may have individual differences even with the same model, prepare a model optimized for each endoscope and use it for image recognition according to the endoscope used for the inspection. Switch models. This enables more accurate image recognition.
  • a processor device a device that processes image signals output from the endoscope and generates image data
  • a processor device a device that processes image signals output from the endoscope and generates image data
  • FIG. 15 is a block diagram illustrating another modified example of the endoscope image processing device.
  • the endoscope image processing apparatus 100 ⁇ / b> B of the present modification further includes an endoscope information acquisition unit 140 that acquires information of an endoscope that has captured an endoscope image of a recognition target. This is different from the image processing apparatus 100A.
  • a plurality of models that are optimized by the image recognition unit 112 for image recognition are prepared for each endoscope used for inspection.
  • the endoscope information acquisition unit 140 acquires information on the endoscope that has captured the endoscopic image to be recognized, and outputs the information to the image processing control unit 116.
  • the image processing control unit 116 instructs the model switching unit 130 to switch based on the acquired endoscope information so that the corresponding model is used.
  • the model switching unit 130 switches the model to be used according to an instruction from the image processing control unit 116. For example, a table in which the type (model) of the endoscope is associated with the corresponding model is prepared, and model switching is performed with reference to the table.
  • a model suitable for image recognition is automatically switched, so that high-precision image recognition is always possible.
  • a plurality of models to be switched are used in addition to a mode in which a plurality of models corresponding to the specifications of the endoscope are prepared, and a model generated by performing the second learning with a group of learning images having different resolutions from each other.
  • a model generated by performing the second learning with a group of learning images having different amounts of noise from each other, a model generated by performing a second learning with a group of learning images having different combinations thereof, and the like are prepared. . Then, an appropriate model is selected according to the application.
  • “Medical images” to which the present invention can be applied include, besides endoscope images, CT (Computerized Tomography) images, X-ray images, ultrasound diagnostic images, MRI (Magnetic Resonance Imaging) images, PET (Positron Emission Tomography).
  • CT Computerized Tomography
  • X-ray images X-ray images
  • ultrasound diagnostic images MRI (Magnetic Resonance Imaging) images
  • PET PET
  • SPECT Single Photon Emission Computed Tomography
  • fundus image a fundus image.
  • the medical image processing device of the present disclosure can be used as a diagnosis support device that supports medical examination, treatment, diagnosis, or the like by a doctor or the like.
  • diagnosis support includes the concept of consultation support and / or treatment support.
  • Hardware for realizing the learning device and the medical image processing device can be configured with various processors as described below.
  • processors include general-purpose processors that execute programs and function as various processing units, such as CPUs (Central Processing Units) and FPGAs (Field Programmable Gate Arrays).
  • CPUs Central Processing Units
  • FPGAs Field Programmable Gate Arrays
  • a dedicated electric circuit which is a processor having a circuit configuration specifically designed to execute a specific process such as a certain programmable logic device (Programmable Logic Device: PLD) or an ASIC (Application Specific Integrated Circuit), is included.
  • PLD programmable logic device
  • ASIC Application Specific Integrated Circuit
  • One processing unit may be configured by one of these various processors, or may be configured by two or more processors of the same type or different types.
  • one processing unit may be configured by a plurality of FPGAs or a combination of a CPU and an FPGA.
  • a plurality of processing units may be configured by one processor.
  • configuring a plurality of processing units with one processor first, as represented by a computer such as a client or a server, one processor is configured by a combination of one or more CPUs and software. There is a form in which a processor functions as a plurality of processing units.
  • SoC system-on-chip
  • a form using a processor that realizes the function of the entire system including a plurality of processing units with one integrated circuit (IC) chip is used.
  • IC integrated circuit
  • the various processing units are configured using one or more of the various processors described above as a hardware structure.
  • circuitry in which circuit elements such as semiconductor elements are combined.
  • Endoscope The endoscope is not limited to a flexible endoscope, but may be a rigid endoscope or a capsule endoscope.
  • observation light As the observation light (illumination light) of the endoscope, white light, light in one or a plurality of specific wavelength bands, or light in various wavelength bands according to the observation purpose such as a combination thereof is selected.
  • the white light is light in a white wavelength band or light in a plurality of wavelength bands.
  • the “specific wavelength band” is a band narrower than the white wavelength band. A specific example regarding a specific wavelength band will be described below.
  • a first example of the specific wavelength band is, for example, a blue band or a green band in a visible region.
  • the wavelength band of the first example includes a wavelength band of 390 nm or more and 450 nm or less or a wavelength band of 530 nm or more and 550 nm or less, and the light of the first example is within the wavelength band of 390 nm or more and 450 nm or less or 530 nm or more and 550 nm or less. It has a peak wavelength within the wavelength band.
  • a second example of the specific wavelength band is, for example, a red band in a visible region.
  • the wavelength band of the second example includes the wavelength band of 585 nm to 615 nm or the wavelength band of 610 nm to 730 nm, and the light of the second example is within the wavelength band of 585 nm to 615 nm or 610 nm to 730 nm.
  • the third example of the specific wavelength band includes a wavelength band in which the extinction coefficient differs between oxyhemoglobin and reduced hemoglobin, and the light of the third example peaks in a wavelength band in which the extinction coefficient differs between oxyhemoglobin and reduced hemoglobin. Having a wavelength.
  • the wavelength band of the third example includes a wavelength band of 400 ⁇ 10 nm, a wavelength band of 440 ⁇ 10 nm, a wavelength band of 470 ⁇ 10 nm, or a wavelength band of 600 nm or more and 750 nm or less. It has a peak wavelength in a wavelength band of 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm, or 600 nm or more and 750 nm or less.
  • the fourth example of the specific wavelength band is used for observation of fluorescence emitted from a fluorescent substance in a living body (fluorescence observation), and is a wavelength band of excitation light for exciting this fluorescent substance, for example, 390 nm to 470 nm.
  • a fifth example of the specific wavelength band is a wavelength band of infrared light.
  • the wavelength band of the fifth example includes a wavelength band of 790 nm or more and 820 nm or less, or a wavelength band of 905 nm or more and 970 nm or less, and the light of the fifth example is within the wavelength band of 790 nm or more and 820 nm or less or 905 nm or more and 970 nm or less. It has a peak wavelength within the wavelength band.
  • a laser light source As the type of the light source, a laser light source, a xenon light source, an LED light source (LED: Light-Emitting Diode), or an appropriate combination thereof can be adopted.
  • the type of light source, the wavelength, the presence or absence of a filter, and the like are preferably configured according to the type of subject, the purpose of observation, and the like.Also, at the time of observation, the wavelength of illumination light depends on the type of subject, the purpose of observation, and the like. It is preferable to combine and / or switch.
  • the wavelength of the light to be irradiated is switched by rotating a disk-shaped filter (rotary color filter) provided in front of the light source and provided with a filter that transmits or blocks light of a specific wavelength. You may.
  • the image sensor used for the endoscope is not limited to a color image sensor in which a color filter is provided for each pixel, but may be a monochrome image sensor.
  • a monochrome image sensor it is possible to sequentially change the wavelength of the illumination light to perform image capturing in a plane-sequential (color sequential) manner.
  • the wavelength of the emitted illumination light may be sequentially switched between violet, blue, green, and red, or may be irradiated with a broadband light (white light) and rotated by a rotary color filter (red, green, blue, etc.).
  • the wavelength of the emitted illumination light may be switched.
  • the wavelength of the illumination light emitted by the rotary color filter by irradiating one or a plurality of narrow band lights may be switched.
  • the narrow band light may be infrared light having two or more different wavelengths.
  • the processor device that processes the image of the endoscope may generate a special light image having information of a specific wavelength band based on the normal light image obtained by imaging using white light. Note that the generation here includes the concept of “acquisition”.
  • the processor unit 16 converts the signal of the specific wavelength band into red (R), green (G), and blue (B), cyan (Cyan, C), and magenta (Magenta, M) included in the normal light image. ), And can be obtained by performing an operation based on the color information of yellow (Yellow, Y).
  • a program for causing a computer to implement the functions of the learning device and the medical image processing device described in the above-described embodiment is recorded on an optical disk, a magnetic disk, or a computer-readable medium that is a non-transitory information storage medium such as a semiconductor memory or other tangible material.
  • a program it is possible to provide a program through this information storage medium.
  • the program signal can be provided as a download service using an electric communication line such as the Internet.
  • Reference Signs List 1 learning device 10 first learning unit 12 first learning data set 16 processor device 20 second learning unit 22 second learning data set 30 learning control unit 51 CPU 52 ROM 53 RAM 54 HDD 55 Communication interface 56 Input / output interface 57 Input device 58 Display device 59 Network 100 Endoscope image processing device 100A Endoscope image processing device 100B Endoscope image processing device 110 Endoscope image acquisition unit 112 Image recognition unit 114 Recognition result Output unit 116 Image processing control unit 121 CPU 122 ROM 123 RAM 124 HDD 125 Communication Interface 126 Input / Output Interface 127 Input Device 128 Display Device 130 Model Switching Unit 140 Endoscope Information Acquisition Unit M1 First Model M2 Second Model S1 to S4 Learning Procedures S11 to S14 Learning with High-Resolution Learning Image Group Learning Procedures Based on Results S21 to S24 Learning Procedures Based on Learning Results with Low-Resolution Learning Image Group S31 to S34 Learning Procedures Based on Learning Result with Low-Noise Learning Image Group From Learning Procedure S41 S44: Learning procedure based on the learning result

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

特定の画質を有する医療画像に対して画像認識を行うモデルを効率よく生成できる学習装置及び学習方法、並びに、医療画像処理装置を提供する。学習装置（１）は、第１画質の医療画像で構成される第１医療画像群を用いて学習することにより、第１画質の医療画像に対して画像認識を行う第１モデル（Ｍ１）を生成する第１学習部（１０）と、第１学習部（１０）で生成された第１モデル（Ｍ１）を元に、第２画質の医療画像で構成される第２医療画像群を用いて学習することにより、第２画質の医療画像に対して画像認識を行う第２モデル（Ｍ２）を生成する第２学習部（２０）と、を備える。第２医療画像群は、認識対象の医療画像の画質と同じ画質の医療画像で構成され、第１医療画像群は、第２画質と異なる画質の医療画像で構成される。第２学習部（２０）は、第１学習部（１０）の学習結果をベースに学習するので、第２医療画像群が少ない場合であっても、精度の高いモデルを生成できる。

Description

学習装置及び学習方法、並びに、医療画像処理装置
　本発明は、学習装置及び学習方法、並びに、医療画像処理装置に係り、特に、医療画像に対して画像認識を行うモデルを生成するための学習装置及び学習方法、並びに、そのモデルを使用した医療画像処理装置に関する。
　機械学習により生成した画像認識モデルを用いて、医療画像から病変を自動的に検出したり、病変を種類ごとに分類したりする技術が知られている。機械学習では、問題に応じた画像を大量に学習させることで、検出、分類といった画像認識が可能となる。
　特許文献１には、学習用の画像の数が少ない場合であっても、精度の高い画像認識モデルを生成する方法として、学習対象の画像群の特性と類似する画像群によって事前学習し、その後、学習対象の画像群で本学習する方法が提案されている。具体的には、被写体の形状が類似している画像群、生体ファントムを撮像した画像群、被写体の組織構造が類似した画像群、同一の撮像系によって模倣臓器を撮像した画像群等によって事前学習し、その後、学習対象の画像群で本学習する方法が提案されている。
　また、特許文献２には、第１フレームレートによって撮像された第１画像群によって第１の学習を行い、その後、第１フレームレートよりも低い第２フレームレートで撮像された第２画像群によって第２の学習を行う方法が提案されている。
国際公開第2017/221412号 国際公開第2017/175282号
　ところで、機械学習では、学習に用意した画像の画質に偏りがあると、その画質の偏りも学習してしまう。このため、学習した画像群の画質の偏りから外れた画質の画像を画像認識させると、認識の精度が低下するという問題がある。特許文献１、２の学習方法では、画質を考慮した学習が行われていないため、学習した画像群の画質と異なる画質の画像を認識させると、認識精度が低下するという欠点がある。
　一方、内視鏡等の医療画像を撮影する機器では、機種ごとに画質差が存在する場合がある。したがって、精度の高い画像認識モデルを生成するには、機種ごとに学習を最適化する必要がある。
　しかしながら、機種ごとにゼロベースで画像認識モデルを生成することは、多大な手間及びコストがかかるという問題がある。
　本発明は、このような事情に鑑みてなされたもので、特定の画質を有する医療画像に対して画像認識を行うモデルを効率よく生成できる学習装置及び学習方法、並びに、医療画像処理装置を提供することを目的とする。
　上記課題を解決するための手段は、次のとおりである。
　（１）第１画質の医療画像で構成される第１医療画像群を用いて学習することにより、第１画質の医療画像に対して画像認識を行う第１モデルを生成する第１学習部と、第１モデルを元に、第１画質と異なる第２画質の医療画像で構成される第２医療画像群を用いて学習することにより、第２画質の医療画像に対して画像認識を行う第２モデルを生成する第２学習部と、を備えた学習装置。
　本態様によれば、まず、第１画質の第１医療画像群で第１の学習を行うことにより、第１モデルが生成される。その後、第１モデルを元に、第２画質の第２医療画像群で第２の学習を行うことにより、第２モデルが生成される。第２の学習は、第１の学習結果をベースに行われるので、学習用の画像の数が少ない場合であっても、精度のよいモデルを生成できる。したがって、特定の画質を有する医療画像に対して画像認識を行うモデルを生成する場合は、学習用の画像が豊富な第１医療画像群で第１の学習を行った後、目的の画質の医療画像群（第２医療画像群）で第２の学習を行うことにより、目的の画質の医療画像に対して画像認識を行うモデルを効率よく生成できる。
　なお、医療画像を構成する画像には、動画及び静止画の双方が含まれる。動画は、複数のフレームを含む時系列の画像群と捉えることができる。また、ここでの画質は、動画においては、１フレームを構成する画像の画質を意味する。
　（２）第１医療画像群が第１解像度の医療画像で構成され、第２医療画像群が第１解像度と異なる第２解像度の医療画像で構成される、上記（１）の学習装置。
　本態様によれば、第１医療画像群が第１解像度の医療画像で構成され、第２医療画像群が第１解像度と異なる第２解像度の医療画像で構成される。これにより、特定の解像度を有する医療画像に対して画像認識を行うモデルを生成する場合に、対応する解像度の学習用画像の数が少ない場合であっても、精度のよいモデルを効率よく生成できる。
　（３）第２解像度が、第１解像度よりも低い解像度である、上記（２）の学習装置。
　本態様によれば、第２医療画像群が、第１医療画像群を構成する医療画像の解像度（第１解像度）よりも低い解像度（第２解像度）の医療画像で構成される。これにより、特定の解像度の医療画像に対して画像認識を行うモデルを生成する場合に、対応する解像度の学習用画像の数が少ない場合であっても、精度のよいモデルを効率よく生成できる。
　（４）第１医療画像群が４Ｋ以上の解像度の医療画像で構成され、第２医療画像群が４Ｋ未満の解像度の医療画像で構成される、上記（３）の学習装置。
　本態様によれば、第１医療画像群が、４Ｋ以上の解像度の医療画像で構成され、第２医療画像群が、４Ｋ未満の解像度の医療画像で構成される。これにより、４Ｋ未満の特定の解像度の医療画像に対して画像認識を行うモデルを生成する場合に、対応する解像度の学習用画像の数が少ない場合であっても、精度のよいモデルを効率よく生成できる。
　なお、４Ｋの画像とは、長辺の画素数が４０００程度の高精細画像をいう。特に、横×縦の画素数が４０００×２０００程度の画像をいう。一般に知られている「4K UHDTV（Ultra High Definition Television：超高精細度テレビジョン）」及び「DCI 4K」は、本明細書における「４Ｋ」に含まれる。「4K UHDTV」は、国際電気通信連合（International Telecommunication Union 、ＩＴＵ）が定める４Ｋであり、横３８４０×縦２１６０画素の４Ｋである。「DCI 4K」は、映画会社などが加盟する Digital Cinema Initiatives（ＤＣＩ）の定める４Ｋであり、横４０９６×縦２１６０画素の画像である。
　（５）第１医療画像群が８Ｋ以上の解像度の医療画像で構成され、第２医療画像群が８Ｋ未満の解像度の医療画像で構成される、上記（３）の学習装置。
　本態様によれば、第１医療画像群が、８Ｋ以上の解像度の医療画像で構成され、第２医療画像群が、８Ｋ未満の解像度の医療画像で構成される。これにより、８Ｋ未満の特定の解像度の医療画像に対して画像認識を行うモデルを生成する場合に、対応する解像度の学習用画像の数が少ない場合であっても、精度のよいモデルを効率よく生成できる。
　なお、８Ｋの画像とは、長辺の画素数が８０００程度の高精細画像をいう。特に、横×縦の画素数が８０００×４０００程度の画像をいう。一般に知られている「8K UHDTV」（8K Ultra-high-definition television、 8K Ultra HDTV、8K UHDTV、8K UHD、スーパーハイビジョン8Kなどとも称される）は、本明細書における「８Ｋ」に含まれる。「8K UHDTV」は、国際電気通信連合が定める８Ｋであり、横７６８０×縦４３２０画素の画像である。
　（６）第２解像度が、第１解像度よりも高い解像度である、上記（２）の学習装置。
　本態様によれば、第２医療画像群が、第１医療画像群を構成する医療画像の解像度（第１解像度）よりも高い解像度（第２解像度）の医療画像で構成される。これにより、特定の解像度の医療画像に対して画像認識を行うモデルを生成する場合に、対応する解像度の学習用画像の数が少ない場合であっても、精度のよいモデルを効率よく生成できる。
　（７）第１医療画像群が４Ｋ未満の解像度の医療画像で構成され、第２医療画像群が４Ｋ以上の解像度の医療画像で構成される、上記（６）の学習装置。
　本態様によれば、第１医療画像群が、４Ｋ未満の解像度の医療画像で構成され、第２医療画像群が、４Ｋ以上の解像度の医療画像で構成される。これにより、４Ｋ以上の特定の解像度の医療画像に対して画像認識を行うモデルを生成する場合に、対応する解像度の学習用画像の数が少ない場合であっても、精度のよいモデルを効率よく生成できる。
　（８）第１医療画像群が８Ｋ未満の解像度の医療画像で構成され、第２医療画像群が８Ｋ以上の解像度の医療画像で構成される、上記（６）の学習装置。
　本態様によれば、第１医療画像群が、８Ｋ未満の解像度の医療画像で構成され、第２医療画像群が、８Ｋ以上の解像度の医療画像で構成される。これにより、８Ｋ以上の特定の解像度の医療画像に対して画像認識を行うモデルを生成する場合に、対応する解像度の学習用画像の数が少ない場合であっても、精度のよいモデルを効率よく生成できる。
　（９）第１医療画像群が、第２医療画像群を構成する医療画像よりもノイズ量の少ない医療画像で構成される、上記（１）の学習装置。
　本態様によれば、第１医療画像群が、第２医療画像群を構成する医療画像よりもノイズ量の少ない医療画像で構成される。これにより、特定のノイズ量の医療画像に対して画像認識を行うモデルを生成する場合に、対応するノイズ量の学習用画像の数が少ない場合であっても、精度のよいモデルを効率よく生成できる。
　（１０）第１医療画像群が、第２医療画像群を構成する医療画像よりもノイズ量の多い医療画像で構成される、上記（１）の学習装置。
　本態様によれば、第１医療画像群が、第２医療画像群を構成する医療画像よりもノイズ量の多い医療画像で構成される。これにより、特定のノイズ量の医療画像に対して画像認識を行うモデルを生成する場合に、対応するノイズ量の学習用画像の数が少ない場合であっても、精度のよいモデルを効率よく生成できる。
　（１１）第１医療画像群が、第２医療画像群を構成する医療画像よりも広い画角の医療画像で構成される、上記（１）の学習装置。
　本態様によれば、第１医療画像群が、第２医療画像群を構成する医療画像よりも広い画角の医療画像で構成される。これにより、切り出し等を行った画像で学習することなく、特定の画角の医療画像に対して画像認識を行うモデルを生成できる。
　（１２）第１医療画像群が内視鏡で撮影された医療画像で構成され、第２医療画像群が第１医療画像群を撮影した内視鏡と異なる内視鏡で撮影された医療画像で構成される、上記（１）の学習装置。
　本態様によれば、第１医療画像群が、内視鏡で撮影された医療画像で構成され、第２医療画像群が、第１医療画像群を撮影した内視鏡と異なる内視鏡で撮影された医療画像で構成される。これにより、特定の内視鏡で撮影された医療画像に対して画像認識を行うモデルを生成する場合に、当該内視鏡で撮影された学習用画像の数が少ない場合であっても、精度のよいモデルを効率よく生成できる。
　（１３）第２医療画像群が第１医療画像群を構成する医療画像を撮影した内視鏡と異なる仕様の内視鏡で撮影された医療画像で構成される、上記（１２）の学習装置。
　本態様によれば、第２医療画像群が、第１医療画像群を構成する医療画像を撮影した内視鏡と異なる仕様の内視鏡で撮影された医療画像で構成される。たとえば、搭載されているイメージセンサのサイズ、画素数等が異なる内視鏡、搭載されている光学系の焦点距離が異なる内視鏡、発生するノイズ量が異なる内視鏡等で撮影された医療画像で構成される。
　（１４）第１モデル及び第２モデルが、畳み込みニューラルネットワークで構成される、上記（１）から（１３）のいずれか一の学習装置。
　本態様によれば、第１モデル及び第２モデルが、畳み込みニューラルネットワークで構成される。
　（１５）医療画像を取得する医療画像取得部と、上記（１）から（１４）のいずれか一の学習装置で生成された第２モデルで構成され、医療画像に対して画像認識を行うモデルと、を備えた医療画像処理装置。
　本態様によれば、医療画像に対して画像認識を行うモデルが、上記（１）から（１４）のいずれか一の学習装置で生成された第２モデルで構成される。これにより、特定の画質を有する医療画像に対して精度よく画像認識を行うことができる。
　（１６）複数のモデルと、使用するモデルを切り替えるモデル切替部と、を更に備えた上記（１５）の医療画像処理装置。
　本態様によれば、画像認識を行うモデルが複数備えられ、切り替えて使用される。これにより、画質に応じて適切なモデルを用いて、画像認識できる。
　（１７）医療画像を撮影した内視鏡の情報を取得する内視鏡情報取得部を更に備え、複数のモデルは、互いに異なる内視鏡で撮影された第２医療画像群を用いて第２学習部で学習することにより生成され、モデル切替部は、内視鏡情報取得部で取得される内視鏡の情報に基づいて、使用するモデルを切り替える上記（１６）の医療画像処理装置。
　本態様によれば、画像認識を行うモデルが複数備えられる。各モデルは、互いに異なる内視鏡で撮影された第２医療画像群を用いて第２学習部で学習することにより生成され、認識対象とする医療画像を撮影した内視鏡に応じて、使用するモデルが自動的に切り替えられる。
　（１８）複数のモデルは、互いに仕様の異なる内視鏡で撮影された第２医療画像群を用いて第２学習部で学習することにより生成される、上記（１７）の医療画像処理装置。
　本態様によれば、複数のモデルが、互いに仕様の異なる内視鏡で撮影された第２医療画像群を用いて第２学習部で学習することにより生成される。
　（１９）複数のモデルは、互いに解像度又はノイズ量の異なる内視鏡で撮影された第２医療画像群を用いて第２学習部で学習することにより生成される、上記（１８）の医療画像処理装置。
　本態様によれば、複数のモデルが、互いに解像度又はノイズ量の異なる内視鏡で撮影された第２医療画像群を用いて第２学習部で学習することにより生成される。
　（２０）第１画質の医療画像で構成される第１医療画像群を用いて学習することにより、第１画質の医療画像に対して画像認識を行う第１モデルを生成するステップと、第１モデルを元に、第１画質と異なる第２画質の医療画像で構成される第２医療画像群を用いて学習することにより、第２画質の医療画像に対して画像認識を行う第２モデルを生成するステップと、を備えた学習方法。
　本態様によれば、まず、第１画質の第１医療画像群で第１の学習を行うことにより、第１モデルが生成される。その後、第１モデルを元に、第２画質の第２医療画像群で第２の学習を行うことにより、第２モデルが生成される。第２の学習は、第１の学習結果をベースに行われるので、学習用の画像の数が少ない場合であっても、精度のよいモデルを生成できる。したがって、特定の画質を有する医療画像に対して画像認識を行うモデルを生成する場合は、学習用の画像が豊富な第１医療画像群で第１の学習を行った後、目的の画質の医療画像群（第２医療画像群）で第２の学習を行うことにより、目的の画質の医療画像に対して画像認識を行うモデルを効率よく生成できる。
　本発明によれば、特定の画質を有する医療画像に対して画像認識を行うモデルを効率よく生成できる。
学習装置の構成の一実施形態を示すブロック図 ＣＮＮの構成の一例を示す模式図 第１モデル及び第２モデルを構成するＣＮＮの設定の概念図 学習装置のハードウェア構成の一例を示す図 学習装置で行われる学習の手順を示すフローチャート 高解像度の学習用画像群による学習結果をベースにした学習の手順を示すフローチャート 低解像度の学習用画像群による学習結果をベースにした学習の手順を示すフローチャート 低ノイズの学習用画像群による学習結果をベースにした学習の手順を示すフローチャート 高ノイズの学習用画像群による学習結果をベースにした学習の手順を示すフローチャート 広角の学習用画像群による学習結果をベースにした学習の手順を示すフローチャート 異なる内視鏡で撮影された学習用画像群による学習結果をベースにした学習の手順を示すフローチャート 内視鏡画像処理装置の構成の一実施形態を示すブロック図 内視鏡画像処理装置のハードウェア構成の一例を示す図 内視鏡画像処理装置の変形例を示すブロック図 内視鏡画像処理装置の他の変形例を示すブロック図
　以下、添付図面に従って本発明の好ましい実施形態について詳説する。
　［学習装置の構成］
　図１は、学習装置の構成の一実施形態を示すブロック図である。
　本実施の形態の学習装置１は、内視鏡検査で得られる内視鏡画像に対して画像認識を行うモデルを機械学習により生成する装置として構成される。内視鏡画像は、医療画像の一例である。特に、本実施の形態の学習装置１は、特定の画質を有する内視鏡画像に対して画像認識を行うモデルを機械学習により生成する装置として構成される。ここで行われる画像認識は、たとえば、画像に含まれる病変の検出、病変の種類ごとの分類等である。
　図１に示すように、本実施の形態の学習装置１は、第１画質の内視鏡画像に対して画像認識を行う第１モデルＭ１を機械学習により生成する第１学習部１０と、第１学習部１０で生成された第１モデルＭ１を元に、第２画質の内視鏡画像に対して画像認識を行う第２モデルＭ２を生成する第２学習部２０と、学習装置１における全体の動作を統括制御する学習制御部３０と、を備える。また、第１学習部１０で学習するための第１学習用データセット１２及び第２学習部２０で学習するための第２学習用データセット２２を備える。
　第１学習部１０は、第１学習用データセット１２を用いて学習することにより、第１画質の内視鏡画像に対して画像認識を行う第１モデルＭ１を生成する。第１モデルＭ１は、たとえば、畳み込みニューラルネットワーク（Convolutional Neural Network；ＣＮＮ）で構成される。第１学習部１０は、学習により第１モデルＭ１を構成するＣＮＮの各層の重みパラメータを最適化する。
　第１学習用データセット１２は、学習用画像群である第１内視鏡画像群で構成される。第１内視鏡画像群は、第１医療画像群の一例であり、第１画質の内視鏡画像で構成される。
　なお、内視鏡画像を構成する画像には、静止画及び動画の双方が含まれる。動画は、複数のフレームを含む時系列の画像群と捉えることができる。画像を構成するデータは、画素単位で、赤（Red，Ｒ）、緑（Green，Ｇ）及び青（Blue，Ｂ）の各強度値（輝度値）を有するデータである。また、画質は、動画の場合、１フレームを構成する画像の画質を意味する。
　第２学習部２０は、第１学習部１０で生成された第１モデルＭ１を元に、第２学習用データセット２２を用いて学習することにより、第２画質の内視鏡画像に対して画像認識を行う第２モデルＭ２を生成する。第２モデルＭ２は、たとえば、ＣＮＮで構成される。この第２学習部２０で生成される第２モデルＭ２が、特定の画質を有する内視鏡画像に対して画像認識を行うモデルとなる。すなわち、この第２モデルＭ２を学習済みモデルとして使用して、画像認識の処理が行われる。第２学習部２０は、学習により第２モデルＭ２を構成するＣＮＮの各層の重みパラメータを最適化する。
　第２学習用データセット２２は、学習用画像群である第２内視鏡画像群で構成される。第２内視鏡画像群は、第２医療画像群の一例であり、第１画質とは異なる第２画質の内視鏡画像で構成される。この第２内視鏡画像群を構成する内視鏡画像の画質（第２画質）は、画像認識を行う対象と同じ画質（同程度の画質を含む）とされる。
　一方、第１学習用データセット１２は、第２画質とは異なる画質（第１画質）の内視鏡画像で構成される。したがって、画像認識を行う内視鏡画像の画質とは、異なる画質の内視鏡画像で構成される。具体的には、より高画質又はより低画質の内視鏡画像で構成される。
　学習制御部３０は、第１学習部１０及び第２学習部２０の動作を制御して、学習装置１における全体の動作を統括制御する。また、学習制御部３０は、第１モデルＭ１及び第２モデルＭ２を構成するＣＮＮを設定する。
　図２は、ＣＮＮの構成の一例を示す模式図である。
　同図に示すように、ＣＮＮは、畳み込み層、正規化層、プーリング層などを積み重ねて構成された多層のニューラルネットワークで構成される。
　図３は、第１モデル及び第２モデルを構成するＣＮＮの設定の概念図である。同図において、（Ａ）は、第１モデルＭ１を構成するＣＮＮの一例を示す図であり、（Ｂ）は、第２モデルＭ２を構成するＣＮＮの一例を示す図である。
　学習制御部３０は、第１モデルＭ１を構成するＣＮＮを設定し、その学習済みの第１モデルＭ１を元に、第２モデルＭ２を構成するＣＮＮを設定する。本実施の形態では、学習済みの第１モデルＭ１を構成するＣＮＮの一部の層の重みパラメータをリセットしたものを第２モデルＭ２のＣＮＮとして設定する。重みパラメータをリセットする層は、出力に近い一部の層である。図３に示す例では、破線ＢＬで囲った最終の３つの層（全結合層、全結合層及びＳｏｆｔｍａｘ層）の重みパラメータをリセットして、第２モデルＭ２のＣＮＮを設定している。この場合、実線ＳＬで囲われた残りの層は、学習済みの第１モデルＭ１の重みパラメータが初期値として設定される。
　［学習装置のハードウェア構成］
　図４は、学習装置のハードウェア構成の一例を示す図である。
　学習装置１は、サーバコンピュータ、クライアントコンピュータなどのコンピュータで構成され、ＣＰＵ（Central Processing Unit）５１、ＲＯＭ（Read Only Memory）５２、ＲＡＭ（Random Access Memory）５３、ＨＤＤ（Hard Disk Drive）５４、通信インターフェイス５５及び入出力インターフェイス５６等を備える。また、学習装置１は、入力装置５７及び表示装置５８等を備える。
　ＣＰＵ５１は、プログラムを実行することにより、学習装置１の各部を制御し、学習装置１の各機能を実現する。ＲＯＭ５２は、ＣＰＵ５１が実行する各種プログラム及び各種データ等を記憶する。ＲＡＭ５３は、ＣＰＵ５１に作業領域を提供する。ＨＤＤ５４は、ＣＰＵ５１が実行する各種プログラム及び各種データを記憶する。通信インターフェイス５５は、学習装置１をＬＡＮ（Local Area Network）等のネットワーク５９に接続するためのインターフェイス（interface；I/F）である。学習装置１は、通信インターフェイス５５を介して外部装置と通信する。入出力インターフェイス５６は、学習装置１に入力装置５７、表示装置５８等の外部機器を接続するためのインターフェイスである。入力装置５７は、ユーザによる操作に応じた情報を学習装置１に入力する。入力装置５７は、たとえば、キーボード、マウス等で構成される。表示装置５８は、各種情報を表示する。表示装置５８は、たとえば、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等で構成される。
　学習装置１を構成する第１学習部１０、第２学習部２０及び学習制御部３０の各機能は、ＣＰＵ５１が所定のプログラムを実行することにより実現される。また、第１学習用データセット１２及び第２学習用データセット２２は、ＨＤＤ５４に格納される。
　［学習方法］
　《学習の基本手順》
　図５は、学習装置で行われる学習の手順を示すフローチャートである。
　まず、第１モデルＭ１を構成するＣＮＮが設定される（ステップＳ１）。
　次に、設定されたＣＮＮに対して、第１学習用データセット１２を用いて第１の学習が行われる（ステップＳ２）。すなわち、第１画質の内視鏡画像で構成された第１内視鏡画像群で学習が行われる。これにより、第１画質の内視鏡画像に対して画像認識を行う第１モデルＭ１が生成される。
　次に、学習済みの第１モデルＭ１を元に、第２モデルＭ２を構成するＣＮＮが設定される（ステップＳ３）。上記のように、本実施の形態では、学習済みの第１モデルＭ１の出力に近い一部の層の重みパラメータをリセットして、第２モデルＭ２のＣＮＮを設定する（図３参照）。
　次に、設定されたＣＮＮに対して、第２学習用データセット２２を用いて第２の学習が行われる（ステップＳ４）。すなわち、第２画質の内視鏡画像で構成された第２内視鏡画像群で学習が行われる。これにより、第２画質の内視鏡画像に対して画像認識を行う第２モデルＭ２が生成される。
　ここで、第２の学習で用いられる第２内視鏡画像群は、画像認識の対象とされる内視鏡画像（特定の画質を有する内視鏡画像）の画質と同じ画質（同程度の画質を含む）の内視鏡画像で構成される。この結果、第２の学習で生成される第２モデルＭ２は、画像認識の対象とされる内視鏡画像と同じ画質の内視鏡画像に対して画像認識が可能なモデルとなる。
　このように、本実施の形態の学習装置１では、第１画質の内視鏡画像群で第１の学習を行った後、その第１の学習結果をベースに、第２画質の内視鏡画像群で第２の学習を行う。第２の学習は、第１の学習結果をベースに行われるので、学習用の画像の数が少ない場合であっても、精度のよいモデルを生成できる。したがって、たとえば、特定の画質を有する医療画像に対して画像認識を行うモデルを生成する場合は、学習用の画像が豊富な画質で第１の学習を行った後、目的の画質の医療画像群で第２の学習を行う。これにより、目的とするモデルを効率よく生成できる。
　《実施例》
　〈解像度の異なる学習用画像群での学習〉
　特定の解像度を有する内視鏡画像に対して画像認識を行うモデルを生成する場合において、画像認識を行う内視鏡画像と異なる解像度（第１解像度）の内視鏡画像群を用いて第１の学習を行い、その結果をベースに、画像認識を行う内視鏡画像と同じ解像度（第２解像度）の内視鏡画像群で第２の学習を行う。この場合、（１）画像認識を行う内視鏡画像よりも高い解像度（第１解像度）の内視鏡画像群を用いて第１の学習を行い、その結果をベースに、画像認識を行う内視鏡画像と同じ解像度（第２解像度）の内視鏡画像群で第２の学習を行う方法と、（２）画像認識を行う内視鏡画像よりも低い解像度（第１解像度）の内視鏡画像群を用いて第１の学習を行い、その結果をベースに、画像認識を行う内視鏡画像と同じ解像度（第２解像度）の内視鏡画像群で第２の学習を行う方法と、がある。以下、（１）及び（２）の場合に分けて説明する。
　（１）高解像度の学習用画像群による学習結果をベースにした学習
　特定の解像度を有する内視鏡画像に対して画像認識を行うモデルを生成する場合において、画像認識を行う内視鏡画像の解像度よりも高い解像度の内視鏡画像群を用いて第１の学習を行い、その結果をベースに、画像認識を行う内視鏡画像の解像度と同じ解像度（同程度の解像度を含む）の内視鏡画像群で第２の学習を行う。
　図６は、高解像度の学習用画像群による学習結果をベースにした学習の手順を示すフローチャートである。
　まず、第１モデルＭ１を構成するＣＮＮを設定する（ステップＳ１１）。
　次に、設定されたＣＮＮに対して、第１学習用データセット１２を用いて、第１の学習を行う（ステップＳ１２）。この第１学習用データセット１２は、画像認識の対象とされる内視鏡画像の解像度よりも相対的に高い解像度を有する内視鏡画像で構成される。この第１の学習により、相対的に高い解像度の内視鏡画像に対して画像認識を行う第１モデルＭ１が生成される。
　次に、学習済みの第１モデルＭ１を元に、第２モデルＭ２を構成するＣＮＮを設定する（ステップＳ１３）。
　次に、設定されたＣＮＮに対して、第２学習用データセット２２を用いて、第２の学習を行う（ステップＳ１４）。この第２学習用データセット２２は、画像認識の対象とされる内視鏡画像の解像度と同じ解像度（同程度の解像度を含む）の内視鏡画像で構成される。この第２の学習により、目的とする解像度の内視鏡画像に対して画像認識が可能なモデル（第２モデルＭ２）が生成される。
　たとえば、４Ｋ未満の解像度の内視鏡画像に対して画像認識を行うモデルを生成する場合、４Ｋ以上の解像度の内視鏡画像群（たとえば、４Ｋ解像度又は８Ｋ解像度の内視鏡画像群等）で第１の学習を行い、その後、第１の学習結果をベースに、目的とする解像度（たとえば、２Ｋ解像度等）の内視鏡画像群で第２の学習を行うことが考えられる。たとえば、２Ｋ解像度の内視鏡画像に対して画像認識を行うモデルを生成する場合、４Ｋ解像度の内視鏡画像群で第１の学習を行い、その後、第１の学習結果をベースに、２Ｋ解像度の内視鏡画像群で第２の学習を行う。これにより、たとえば、２Ｋ解像度の学習用の内視鏡画像が不足する場合であっても、コストをかけずに効率よく目的とするモデルを生成できる。
　なお、２Ｋの画像とは、長辺の画素数が２０００程度の高精細画像をいう。特に、横×縦の画素数が２０００×１０００程度の画像をいう。したがって、一般的なフルハイビジョン（横１９２０×縦１０８０）などは、ここでの２Ｋに含まれる。
　また、たとえば、８Ｋ未満の解像度の内視鏡画像に対して画像認識を行うモデルを生成する場合、８Ｋ以上の解像度の内視鏡画像群（たとえば、８Ｋ解像度の内視鏡画像群）で第１の学習を行い、その後、第１の学習結果をベースに、目的とする解像度（たとえば、２Ｋ解像度又は４Ｋ解像度等）の内視鏡画像群で第２の学習を行うことが考えられる。たとえば、４Ｋ解像度の内視鏡画像に対して画像認識を行うモデルを生成する場合、８Ｋ解像度の内視鏡画像群で第１の学習を行い、その後、第１の学習結果をベースに、４Ｋ解像度の内視鏡画像群で第２の学習を行う。これにより、たとえば、４Ｋ解像度の学習用の内視鏡画像が不足する場合であっても、コストをかけずに効率よく目的とするモデルを生成できる。
　一般に、大学病院などの大規模な病院は、比較的解像度の高い内視鏡（たとえば、経口内視鏡）が使用され、クリニックなどの小規模な病院では、比較的解像度の低い内視鏡（たとえば、経鼻内視鏡）が使用される。そして、小規模な病院では、大規模な病院に比べて検査数が少ないことから、学習用の画像を収集しにくいという問題がある。このため、目的とする解像度の学習用画像が不足する場合がある。
　本態様の学習方法によれば、小規模な病院などで使用される解像度の低い内視鏡で撮影された内視鏡画像に対して画像認識を行うモデルを生成する場合であっても、少ないコストでモデルを最適化できる。
　（２）低解像度の学習用画像群による学習結果をベースにした学習
　特定の解像度を有する内視鏡画像に対して画像認識を行うモデルを生成する場合において、画像認識を行う内視鏡画像の解像度よりも低い解像度の内視鏡画像群を用いて第１の学習を行い、その結果をベースに、画像認識を行う内視鏡画像の解像度と同じ解像度（同程度の解像度を含む）の内視鏡画像群で第２の学習を行う。
　図７は、低解像度の学習用画像群による学習結果をベースにした学習の手順を示すフローチャートである。
　まず、第１モデルＭ１を構成するＣＮＮを設定する（ステップＳ２１）。
　次に、設定されたＣＮＮに対して、第１学習用データセット１２を用いて、第１の学習を行う（ステップＳ２２）。この第１学習用データセット１２は、画像認識の対象とされる内視鏡画像の解像度よりも相対的に低い解像度を有する内視鏡画像で構成される。この第１の学習により、相対的に低い解像度の内視鏡画像に対して画像認識を行う第１モデルＭ１が生成される。
　次に、学習済みの第１モデルＭ１を元に、第２モデルＭ２を構成するＣＮＮを設定する（ステップＳ２３）。
　次に、設定されたＣＮＮに対して、第２学習用データセット２２を用いて、第２の学習を行う（ステップＳ２４）。この第２学習用データセット２２は、画像認識の対象とされる内視鏡画像の解像度と同じ解像度（同程度の解像度を含む）の内視鏡画像で構成される。この第２の学習により、目的とする解像度の内視鏡画像に対して画像認識が可能なモデル（第２モデルＭ２）が生成される。
　たとえば、４Ｋ以上の解像度の内視鏡画像に対して画像認識を行うモデルを生成する場合、４Ｋ未満の解像度の内視鏡画像群（たとえば、２Ｋ解像度の内視鏡画像群等）で第１の学習を行い、その後、第１の学習結果をベースに、目的とする解像度（たとえば、４Ｋ解像度等）の内視鏡画像群で第２の学習を行うことが考えられる。たとえば、４Ｋ解像度の内視鏡画像に対して画像認識を行うモデルを生成する場合、２Ｋ解像度の内視鏡画像群で第１の学習を行い、その後、第１の学習結果をベースに、４Ｋ解像度の内視鏡画像群で第２の学習を行う。これにより、たとえば、４Ｋ解像度の学習用の内視鏡画像が不足する場合であっても、コストをかけずに効率よく目的とするモデルを生成できる。
　また、たとえば、８Ｋ以上の解像度の内視鏡画像に対して画像認識を行うモデルを生成する場合、８Ｋ未満の解像度の内視鏡画像群（たとえば、４Ｋ解像度又は２Ｋ解像度の内視鏡画像群）で第１の学習を行い、その後、第１の学習結果をベースに、目的とする解像度（たとえば、８Ｋ解像度等）の内視鏡画像群で第２の学習を行うことが考えられる。たとえば、８Ｋ解像度の内視鏡画像に対して画像認識を行うモデルを生成する場合、４Ｋ解像度の内視鏡画像群で第１の学習を行い、その後、第１の学習結果をベースに、８Ｋ解像度の内視鏡画像群で第２の学習を行う。これにより、たとえば、８Ｋ解像度の学習用の内視鏡画像が不足する場合であっても、コストをかけずに効率よく目的とするモデルを生成できる。
　内視鏡の発展により、今後、更に画像の高解像度化が進むことが予想される。その場合、学習に使用するための高解像度な画像が不足することが考えられる。
　本態様の学習方法によれば、目的とする解像度の学習用画像が不足する場合であっても、既存の学習用の画像群を利用して、目的とする解像度のモデルを効率よく生成できる。
　〈ノイズ量の異なる学習用画像群での学習〉
　特定のノイズ量の内視鏡画像に対して画像認識を行うモデルを生成する場合において、画像認識を行う内視鏡画像と異なるノイズ量の内視鏡画像群を用いて第１の学習を行い、その結果をベースに、画像認識を行う内視鏡画像のノイズ量と同じノイズ量（同程度のノイズ量を含む）の内視鏡画像群で第２の学習を行う。この場合、（１）画像認識を行う内視鏡画像よりもノイズ量の少ない内視鏡画像群を用いて第１の学習を行い、その結果をベースに、画像認識を行う内視鏡画像のノイズ量と同じノイズ量（同程度のノイズ量を含む）の内視鏡画像群で第２の学習を行う方法と、（２）画像認識を行う内視鏡画像よりもノイズ量の多い内視鏡画像群を用いて第１の学習を行い、その結果をベースに、画像認識を行う内視鏡画像のノイズ量と同じノイズ量（同程度のノイズ量を含む）の内視鏡画像群で第２の学習を行う方法と、がある。以下、（１）及び（２）の場合に分けて説明する。
　（１）低ノイズの学習用画像群による学習結果をベースにした学習
　特定のノイズ量の内視鏡画像に対して画像認識を行うモデルを生成する場合において、画像認識を行う内視鏡画像よりも低ノイズの内視鏡画像群を用いて第１の学習を行い、その結果をベースに、画像認識を行う内視鏡画像のノイズ量と同じノイズ量（同程度のノイズ量を含む）の内視鏡画像群で第２の学習を行う。
　図８は、低ノイズの学習用画像群による学習結果をベースにした学習の手順を示すフローチャートである。
　まず、第１モデルＭ１を構成するＣＮＮを設定する（ステップＳ３１）。
　次に、設定されたＣＮＮに対して、第１学習用データセット１２を用いて、第１の学習を行う（ステップＳ３２）。この第１学習用データセット１２は、画像認識の対象とされる内視鏡画像のノイズ量よりも相対的にノイズ量の少ない内視鏡画像で構成される。たとえば、ローエンドの内視鏡で撮影された内視鏡画像に対して画像認識を行うモデルを生成する場合、より低ノイズのハイエンドの内視鏡で撮影された内視鏡画像で第１学習用データセット１２を構成する。この第１の学習により、相対的に低ノイズの内視鏡画像に対して画像認識を行う第１モデルＭ１が生成される。
　次に、学習済みの第１モデルＭ１を元に、第２モデルＭ２を構成するＣＮＮを設定する（ステップＳ３３）。
　次に、設定されたＣＮＮに対して、第２学習用データセット２２を用いて、第２の学習を行う（ステップＳ３４）。この第２学習用データセット２２は、画像認識の対象とされる内視鏡画像のノイズ量と同じノイズ量（同程度のノイズ量を含む）のノイズ量の内視鏡画像で構成される。たとえば、ローエンドの内視鏡で撮影された内視鏡画像に対して画像認識を行うモデルを生成する場合、当該ローエンドの内視鏡で撮影された内視鏡画像で第２学習用データセット２２を構成する。この第２の学習により、目的とするノイズ量の内視鏡画像に対して画像認識が可能なモデル（第２モデルＭ２）が生成される。
　一般に、大学病院などの大規模な病院は、比較的ノイズ量の少ない内視鏡（いわゆるハイエンドの内視鏡）が使用され、クリニックなどの小規模な病院では、それに比してノイズ量の多い内視鏡が使用される。そして、小規模な病院では、大規模な病院に比べて検査数が少ないことから、学習用の画像を収集しにくいという問題がある。このため、目的とするノイズ量の学習用画像が不足する場合がある。
　本態様の学習方法によれば、小規模な病院などで使用される内視鏡（比較的ノイズ量の多い内視鏡）で撮影された内視鏡画像に対して画像認識を行うモデルを生成する場合であっても、少ないコストでモデルを最適化できる。
　（２）高ノイズの学習用画像群による学習結果をベースにした学習
　特定のノイズ量の内視鏡画像に対して画像認識を行うモデルを生成する場合において、画像認識を行う内視鏡画像よりも高ノイズの内視鏡画像群を用いて第１の学習を行い、その結果をベースに、画像認識を行う内視鏡画像のノイズ量と同じノイズ量（同程度のノイズ量を含む）の内視鏡画像群で第２の学習を行う。
　図９は、高ノイズの学習用画像群による学習結果をベースにした学習の手順を示すフローチャートである。
　まず、第１モデルＭ１を構成するＣＮＮを設定する（ステップＳ４１）。
　次に、設定されたＣＮＮに対して、第１学習用データセット１２を用いて、第１の学習を行う（ステップＳ４２）。この第１学習用データセット１２は、画像認識の対象とされる内視鏡画像のノイズ量よりも相対的にノイズ量の多い内視鏡画像で構成される。この第１の学習により、相対的に高ノイズの内視鏡画像に対して画像認識を行う第１モデルＭ１が生成される。
　次に、学習済みの第１モデルＭ１を元に、第２モデルＭ２を構成するＣＮＮを設定する（ステップＳ４３）。
　次に、設定されたＣＮＮに対して、第２学習用データセット２２を用いて、第２の学習を行う（ステップＳ４４）。この第２学習用データセット２２は、画像認識の対象とされる内視鏡画像のノイズ量と同じノイズ量（同程度のノイズ量を含む）の内視鏡画像で構成される。この第２の学習により、目的とするノイズ量の内視鏡画像に対して画像認識が可能なモデル（第２モデルＭ２）が生成される。
　内視鏡の発展により、今後、更に画像の低ノイズ化が進むことが予想される。その場合、学習に使用するための低ノイズの画像が不足することが考えられる。
　本態様の学習方法によれば、目的とするノイズ量の学習用画像が不足する場合であっても、既存の学習用の画像群を利用して、目的とするノイズ量のモデルを効率よく生成できる。
　〈広角の学習用画像群による学習結果をベースにした学習〉
　特定の画角の内視鏡画像に対して画像認識を行うモデルを生成する場合において、画像認識を行う内視鏡画像よりも広い画角の内視鏡画像群を用いて第１の学習を行い、その結果をベースに、画像認識を行う内視鏡画像の画角と同じ画角（略同じ画角を含む）の内視鏡画像群で第２の学習を行う。
　図１０は、広角の学習用画像群による学習結果をベースにした学習の手順を示すフローチャートである。
　まず、第１モデルＭ１を構成するＣＮＮを設定する（ステップＳ５１）。
　次に、設定されたＣＮＮに対して、第１学習用データセット１２を用いて、第１の学習を行う（ステップＳ５２）。この第１学習用データセット１２は、画像認識の対象とされる内視鏡画像の画角よりも相対的に広い画角の内視鏡画像で構成される。この第１の学習により、目的の内視鏡画像よりも広角の内視鏡画像に対して画像認識を行う第１モデルＭ１が生成される。
　次に、学習済みの第１モデルＭ１を元に、第２モデルＭ２を構成するＣＮＮを設定する（ステップＳ５３）。
　次に、設定されたＣＮＮに対して、第２学習用データセット２２を用いて、第２の学習を行う（ステップＳ５４）。この第２学習用データセット２２は、画像認識の対象とされる内視鏡画像の画角と同じ画角（略同じ画角を含む）の内視鏡画像で構成される。この第２の学習により、特定の内視鏡での使用に最適化された画像認識のモデル（第２モデルＭ２）が生成される。
　このように、広角の学習用画像群による学習の結果をベースに、目的とする画角の学習用画像群で学習することにより、切り出し等を行った画像で再学習を行う必要がなく、より少ないコストで学習を行うことができる。
　〈他の内視鏡で撮影された学習用画像群による学習結果をベースにした学習〉
　特定の内視鏡で撮影された内視鏡画像に対して画像認識を行うモデルを生成する場合において、他の内視鏡で撮影された内視鏡画像群を用いて第１の学習を行い、その結果をベースに、画像認識を行う内視鏡で撮影された内視鏡画像群で第２の学習を行う。
　図１１は、異なる内視鏡で撮影された学習用画像群による学習結果をベースにした学習の手順を示すフローチャートである。
　まず、第１モデルＭ１を構成するＣＮＮを設定する（ステップＳ６１）。
　次に、設定されたＣＮＮに対して、第１学習用データセット１２を用いて、第１の学習を行う（ステップＳ６２）。この第１学習用データセット１２は、画像認識を行う内視鏡とは異なる内視鏡（他の内視鏡）で撮影された内視鏡画像で構成される。たとえば、画像認識を行う内視鏡とは仕様（イメージセンサのサイズ、イメージセンサの解像度、イメージセンサの種類、撮影光学系の構成、光源種等）の異なる内視鏡で撮影された内視鏡で構成される。この第１の学習により、当該他の内視鏡で撮影された内視鏡画像に対して画像認識を行う第１モデルＭ１が生成される。
　次に、学習済みの第１モデルＭ１を元に、第２モデルＭ２を構成するＣＮＮを設定する（ステップＳ６３）。
　次に、設定されたＣＮＮに対して、第２学習用データセット２２を用いて、第２の学習を行う（ステップＳ６４）。この第２学習用データセット２２は、画像認識を行う内視鏡と同じ内視鏡（同じ機種及び同じ仕様の内視鏡を含む）で撮影された内視鏡画像で構成される。この第２の学習により、目的とする内視鏡画像に対して画像認識が可能なモデル（第２モデルＭ２）が生成される。
　本態様の学習方法によれば、画像認識の対象となる内視鏡の学習用画像が不足する場合であっても、豊富に存在する他の内視鏡の学習用画像群を利用して、特定の内視鏡で撮影された内視鏡画像の画像認識を行うモデルを効率よく生成できる。
　また、内視鏡は、同じ機種であっても個体差が存在する場合がある。本態様の学習方法によれば、個体差がある場合であっても、特定の内視鏡の画像認識モデルを効率よく生成できる。
　［学習装置の変形例］
　《学習装置のハードウェア構成の変形例》
　上記実施の形態では、第１学習部１０及び第２学習部２０の機能を同一のコンピュータで実現する構成としているが、複数のコンピュータで実現する構成とすることもできる。たとえば、第１学習部１０及び第２学習部２０の機能を別々のコンピュータで実現することもできる。
　《第１モデル及び第２モデルの構成》
　上記実施の形態では、画像認識を行うモデルをＣＮＮで構成しているが、画像認識を行うモデルの構成は、これに限定されるものではない。機械学習で生成されるモデルであればよい。
　《第２モデルの設定》
　上記実施の形態では、学習済みの第１モデルＭ１を構成するＣＮＮの一部の層の重みパラメータをリセットしたものを第２モデルＭ２のＣＮＮとして設定しているが、第２モデルＭ２を設定する手法は、これに限定されるものではない。たとえば、学習済みの第１モデルＭ１の重みパラメータを初期値として、ＣＮＮ全体で学習し直す手法、学習済みの第１モデルＭ１の入力層及び出力層を置換して、第２の学習を行う手法、学習済みの第１モデルＭ１の一部の層（たとえば、特徴抽出を行う層）の重みパラメータを固定し、他の層（たとえば、認識を行う層）だけを学習する手法など、種々の手法を採用できる。
　また、上記実施の形態のように、学習済みの第１モデルＭ１の一部の層の重みパラメータをリセットして、第２の学習を行う場合、各層で学習係数を変えてもよい。たとえば、重みパラメータをリセットした層では、学習が速く進むように、他の層に比べて学習係数を大きく設定して第２の学習を行うようにしてもよい。
　この第２モデルの設定を含む第２の学習には、いわゆる転移学習（ファインチューニングなどとも称される）の手法を採用できる。
　［内視鏡画像処理装置］
　図１２は、内視鏡画像処理装置の構成の一実施形態を示すブロック図である。
　内視鏡画像処理装置１００は、医療画像処理装置の一例である。内視鏡画像処理装置１００は、特定の画質を有する内視鏡画像を取得し、取得した内視鏡画像に対して画像認識（画像に含まれる病変の検出、病変の種類ごとの分類等）を行い、その結果を出力する。画像認識には、上記学習装置１で生成された画像認識のモデルが使用される。
　図１２に示すように、内視鏡画像処理装置１００は、認識対象の内視鏡画像を取得する内視鏡画像取得部１１０、取得した内視鏡画像に対して画像認識を行う画像認識部１１２、認識結果を出力する認識結果出力部１１４、及び、全体を制御する画像処理制御部１１６を備える。
　内視鏡画像取得部１１０は、医療画像取得部の一例であり、認識対象の内視鏡画像（医療画像）を取得する。この内視鏡画像は、特定の画質を有する内視鏡画像である。
　画像認識部１１２は、内視鏡画像取得部１１０で取得された内視鏡画像に対して、画像認識（画像に含まれる病変の検出、病変の種類ごとの分類等）の処理を行う。画像認識部１１２は、上記学習装置１で生成された画像認識のモデル（学習済みモデル）で構成される。したがって、目的とする画質と異なる画質の学習用画像群（第１内視鏡画像群）で第１の学習を行い、その学習結果をベースに、目的とする画質の学習用画像群（第２内視鏡画像群）で学習して生成されたモデル（第２モデル）で構成される。
　認識結果出力部１１４は、画像認識部１１２による認識結果を所定のフォーマットで出力する。たとえば、モニタに所定の表示フォーマットで出力する。
　画像処理制御部１１６は、各部の動作を統括制御する。
　［内視鏡画像処理装置のハードウェア構成］
　図１３は、内視鏡画像処理装置のハードウェア構成の一例を示す図である。
　内視鏡画像処理装置１００は、サーバコンピュータ、クライアントコンピュータなどのコンピュータで構成され、ＣＰＵ１２１、ＲＯＭ１２２、ＲＡＭ１２３、ＨＤＤ１２４、通信インターフェイス１２５及び入出力インターフェイス１２６等を備える。また、学習装置１は、入力装置１２７及び表示装置１２８等を備える。
　ＣＰＵ１２１は、プログラムを実行することにより、内視鏡画像処理装置１００の各部を制御し、内視鏡画像処理装置１００の各機能を実現する。ＲＯＭ１２２は、ＣＰＵ１２１が実行する各種プログラム及び各種データ等を記憶する。ＲＡＭ１２３は、ＣＰＵ１２１に作業領域を提供する。ＨＤＤ１２４は、ＣＰＵ１２１が実行する各種プログラム及び各種データを記憶する。通信インターフェイス１２５は、内視鏡画像処理装置１００をＬＡＮ等のネットワーク５９に接続するためのインターフェイスである。内視鏡画像処理装置１００は、通信インターフェイス１２５を介して外部装置と通信する。入出力インターフェイス１２６は、内視鏡画像処理装置１００に入力装置１２７、表示装置１２８等の外部機器を接続するためのインターフェイスである。入力装置１２７は、ユーザによる操作に応じた情報を内視鏡画像処理装置１００に入力する。入力装置１２７は、たとえば、キーボード、マウス等で構成される。表示装置１２８は、各種情報を表示する。表示装置１２８は、たとえば、液晶ディスプレイ、有機ＥＬディスプレイ等で構成される。
　内視鏡画像取得部１１０、画像認識部１１２及び認識結果出力部１１４の各機能は、ＣＰＵ１２１が所定のプログラムを実行することにより実現される。
　認識対象の内視鏡画像は、たとえば、ＨＤＤ１２４に格納され、ＨＤＤ１２４から取得される。あるいは、ネットワーク５９を介して接続された外部の記憶装置に格納され、その外部の記憶装置からネットワーク５９を介して取得される。あるいは、ネットワーク５９を介して接続された内視鏡装置からネットワーク５９を介して取得される。内視鏡画像取得部１１０は、画像処理制御部１１６による制御の下、指定された取得先から認識対象の内視鏡画像を取得する。
　認識結果は、たとえば、表示装置１２８に所定の表示フォーマットで表示される。認識結果出力部１１４は、画像処理制御部１１６による制御の下、画像認識部１１２の認識結果を所定のフォーマットで表示装置１２８に出力する。
　［画像処理方法］
　まず、内視鏡画像取得部１１０によって、認識対象の内視鏡画像が取得される。この内視鏡画像は、特定の画質の内視鏡画像である。次に、画像認識部１１２において、取得された内視鏡画像に対して画像認識が行われる。次に、認識結果出力部１１４によって、認識結果が出力される。
　本実施の形態の内視鏡画像処理装置１００では、特定の画質に最適化されたモデルで画像認識が行われるため、精度の高い画像認識を行うことができる。
　［内視鏡画像処理装置の変形例］
　《内視鏡画像処理装置の変形例１》
　図１４は、内視鏡画像処理装置の変形例を示すブロック図である。
　同図に示すように、本例の内視鏡画像処理装置１００Ａは、画像認識に使用するモデルを切り替えるモデル切替部１３０を更に備える点で上記実施の形態の内視鏡画像処理装置１００と相違する。
　画像認識部１１２は、内視鏡画像に対して画像認識を行うモデルが複数備えてられており、使用するモデルが、モデル切替部１３０によって切り替えられる。このモデルは、第２の学習を行うことにより、最適化されたモデルである。用意された複数のモデルは、たとえば、ＲＯＭ１２２又はＨＤＤ１２４に格納される。
　モデル切替部１３０は、画像処理制御部１１６からの指示に応じて、使用するモデルを切り替える。画像処理制御部１１６は、ユーザからの指示に応じて、使用するモデルを切り替える。
　たとえば、仕様の異なる複数の内視鏡を使い分けて検査する場合において、内視鏡ごとに最適化されたモデルを用意する。そして、検査に使用した内視鏡に応じて、画像認識に使用するモデルを切り替える。これにより、精度の高い画像認識が可能になる。
　また、内視鏡は、同じ機種でも個体差が存在する場合があるので、内視鏡ごとに最適化されたモデルを用意し、検査に使用した内視鏡に応じて、画像認識に使用するモデルを切り替える。これにより、より精度の高い画像認識が可能になる。
　また、一般に、内視鏡は、異なる機種であっても、プロセッサ装置（内視鏡から出力される撮像信号を処理し、画像データを生成する装置）は共用されることが多い。機種ごとに最適化されたモデルを用意し、検査に使用した内視鏡に応じて、画像認識に使用するモデルを切り替えることにより、より精度の高い画像認識が可能になる。
　《内視鏡画像処理装置の変形例２》
　図１５は、内視鏡画像処理装置の他の変形例を示すブロック図である。
　本例の内視鏡画像処理装置１００Ｂは、認識対象の内視鏡画像を撮影した内視鏡の情報を取得する内視鏡情報取得部１４０を更に備える点で上記変形例１の内視鏡画像処理装置１００Ａと相違する。画像認識部１１２が、画像認識に使用するモデルは、検査に使用される内視鏡ごとに最適化されたものが複数用意される。
　内視鏡情報取得部１４０は、認識対象の内視鏡画像を撮影した内視鏡の情報を取得し、画像処理制御部１１６に出力する。画像処理制御部１１６は、取得した内視鏡の情報に基づいて、対応するモデルが使用されるように、モデル切替部１３０に切り替えを指示する。モデル切替部１３０は、画像処理制御部１１６からの指示に応じて、使用するモデルを切り替える。たとえば、内視鏡の種類（機種）と、対応するモデルとが関連付けられたテーブルが用意され、そのテーブルを参照して、モデルの切り替えが行われる。
　本例の内視鏡画像処理装置１００Ｂによれば、画像認識に適したモデルが自動的に切り替えられるので、常に高精度な画像認識が可能になる。
　なお、切り替えて使用する複数のモデルは、内視鏡の仕様に応じたものが複数用意される態様の他、互いに解像度の異なる学習用画像群で第２の学習が行われて生成されたモデル、互いにノイズ量の異なる学習用画像群で第２の学習が行われて生成されたモデル、その組み合わせが異なる学習用画像群で第２の学習が行われて生成されたモデル等が用意される。そして、用途に応じて、適切なモデルが選択される。
　［その他の実施の形態］
　《医療画像》
　上記実施の形態では、医療画像として内視鏡画像を対象に画像認識する場合を例に説明したが、本発明が適用可能な医療画像は、これに限定されるものではない。
　本発明が適用可能な「医療画像」には、内視鏡画像の他、ＣＴ（Computerized Tomography）画像、Ｘ線画像、超音波診断画像、ＭＲＩ（Magnetic Resonance Imaging）画像、ＰＥＴ(Positron Emission Tomography)画像、ＳＰＥＣＴ(Single Photon Emission Computed Tomography）画像、又は、眼底画像など、様々な種類の画像が含まれる。
　本開示の医療画像処理装置は、医師等による診察、治療、又は診断などを支援する診断支援装置として用いることができる。「診断支援」という用語は、診察支援及び／又は治療支援の概念を含む。
　《ハードウェア構成について》
　学習装置及び医療画像処理装置を実現するハードウェアは、次に示すような各種のプロセッサ（processor）で構成できる。
　各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。たとえば、１つの処理部は、複数のＦＰＧＡ、あるいは、ＣＰＵとＦＰＧＡの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第一に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第二に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　《内視鏡》
　内視鏡は、軟性内視鏡に限らず、硬性内視鏡であってもよいし、カプセル内視鏡であってもよい。
　《内視鏡の観察光について》
　内視鏡の観察光（照明光）は、白色光、あるいは１又は複数の特定の波長帯域の光、あるいはこれらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。白色光は、白色の波長帯域の光又は複数の波長帯域の光である。「特定の波長帯域」は、白色の波長帯域よりも狭い帯域である。特定の波長帯域に関する具体例を以下に示す。
　〈第１例〉
　特定の波長帯域の第１例は、たとえば、可視域の青色帯域又は緑色帯域である。この第１例の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下の波長帯域又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、第１例の光は、３９０ｎｍ以上４５０ｎｍ以下の波長帯域内又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する。
　〈第２例〉
　特定の波長帯域の第２例は、たとえば、可視域の赤色帯域である。この第２例の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下の波長帯域又は６１０ｎｍ以上７３０ｎｍ以下の波長帯 域を含み、かつ、第２例の光は、５８５ｎｍ以上６１５ｎｍの波長帯域内以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する。
　〈第３例〉
　特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍの波長帯域、４７０±１０ｎｍの波長帯域、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、第３例の光は、上記４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域内にピーク波長を有する。
　〈第４例〉
　特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察（蛍光観察）に用いられ、かつ、この蛍光物質を励起させる励起光の波長帯域、たとえば、３９０ｎｍから４７０ｎｍである。
　〈第５例〉
　特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下の波長帯域又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、第５例の光は、７９０ｎｍ以上８２０ｎｍ以下の波長帯域内又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域内にピーク波長を有する。
　《内視鏡の観察光の切り替えについて》
　光源の種類は、レーザ光源、キセノン光源、若しくは、ＬＥＤ光源（ＬＥＤ：Light-Emitting Diode）又はこれらの適宜の組み合わせを採用できる。光源の種類、波長、フィルタの有無等は被写体の種類、観察の目的等に応じて構成することが好ましく、また、観察の際は、被写体の種類、観察の目的等に応じて照明光の波長を組み合わせ、及び／又は、切り替えることが好ましい。波長を切り替える場合、たとえば、光源の前方に配置され特定波長の光を透過又は遮光するフィルタが設けられた円板状のフィルタ（ロータリカラーフィルタ）を回転させることにより、照射する光の波長を切り替えてもよい。
　内視鏡に用いるイメージセンサは、各画素に対しカラーフィルタが配設されたカラー撮像素子に限定されるものではなく、モノクロ撮像素子でもよい。モノクロ撮像素子を用いる場合、照明光の波長を順次切り替えて面順次（色順次）で撮像することができる。たとえば、出射する照明光の波長を、紫色、青色、緑色、及び赤色の間で順次切り替えてもよいし、広帯域光（白色光）を照射してロータリカラーフィルタ（赤色、緑色、青色等）により出射する照明光の波長を切り替えてもよい。また、１又は複数の狭帯域光を照射してロータリカラーフィルタにより出射する照明光の波長を切り替えてもよい。狭帯域光は波長の異なる２波長以上の赤外光でもよい。
　《特殊光画像の生成例》
　内視鏡の画像を処理するプロセッサ装置は、白色光を用いて撮像して得られた通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を生成してもよい。なお、ここでいう生成には「取得」の概念が含まれる。プロセッサ装置１６は、特定の波長帯域の信号を、通常光画像に含まれる赤（Ｒ）、緑（Ｇ）、及び、青（Ｂ）、あるいは、シアン（Cyan,Ｃ）、マゼンタ（Magenta,Ｍ）、イエロ（Yellow,Ｙ）の色情報に基づく演算を行うことで得ることができる。
　《コンピュータに学習装置及び医療画像処理装置の機能を実現させるプログラムについて》
　上述の実施形態で説明した学習装置及び医療画像処理装置の機能をコンピュータに実現させるプログラムを光ディスク、磁気ディスク、若しくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。またこのような有体物たる非一時的な情報記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。
　また、上述の実施形態で説明した学習装置及び医療画像処理装置の機能の一部又は全部をアプリケーションサーバとして提供し、電気通信回線を通じて処理機能を提供するサービスを行うことも可能である。
１　学習装置
１０　第１学習部
１２　第１学習用データセット
１６　プロセッサ装置
２０　第２学習部
２２　第２学習用データセット
３０　学習制御部
５１　ＣＰＵ
５２　ＲＯＭ
５３　ＲＡＭ
５４　ＨＤＤ
５５　通信インターフェイス
５６　入出力インターフェイス
５７　入力装置
５８　表示装置
５９　ネットワーク
１００　内視鏡画像処理装置
１００Ａ　内視鏡画像処理装置
１００Ｂ　内視鏡画像処理装置
１１０　内視鏡画像取得部
１１２　画像認識部
１１４　認識結果出力部
１１６　画像処理制御部
１２１　ＣＰＵ
１２２　ＲＯＭ
１２３　ＲＡＭ
１２４　ＨＤＤ
１２５　通信インターフェイス
１２６　入出力インターフェイス
１２７　入力装置
１２８　表示装置
１３０　モデル切替部
１４０　内視鏡情報取得部
Ｍ１　第１モデル
Ｍ２　第２モデル
Ｓ１からＳ４　学習の手順
Ｓ１１からＳ１４　高解像度の学習用画像群による学習結果をベースにした学習の手順
Ｓ２１からＳ２４　低解像度の学習用画像群による学習結果をベースにした学習の手順
Ｓ３１からＳ３４　低ノイズの学習用画像群による学習結果をベースにした学習の手順
Ｓ４１からＳ４４　高ノイズの学習用画像群による学習結果をベースにした学習の手順
Ｓ５１からＳ５４　広角の学習用画像群による学習結果をベースにした学習の手順
Ｓ６１からＳ６４　異なる内視鏡で撮影された学習用画像群による学習結果をベースにした学習の手順

Claims (20)

  1. 　第１画質の医療画像で構成される第１医療画像群を用いて学習することにより、前記第１画質の医療画像に対して画像認識を行う第１モデルを生成する第１学習部と、
    　前記第１モデルを元に、前記第１画質と異なる第２画質の医療画像で構成される第２医療画像群を用いて学習することにより、前記第２画質の医療画像に対して画像認識を行う第２モデルを生成する第２学習部と、
    　を備えた学習装置。
  2. 　前記第１医療画像群が第１解像度の医療画像で構成され、前記第２医療画像群が前記第１解像度と異なる第２解像度の医療画像で構成される、
    　請求項１に記載の学習装置。
  3. 　前記第２解像度が、前記第１解像度よりも低い解像度である、
    　請求項２に記載の学習装置。
  4. 　前記第１医療画像群が４Ｋ以上の解像度の医療画像で構成され、前記第２医療画像群が４Ｋ未満の解像度の医療画像で構成される、
    　請求項３に記載の学習装置。
  5. 　前記第１医療画像群が８Ｋ以上の解像度の医療画像で構成され、前記第２医療画像群が８Ｋ未満の解像度の医療画像で構成される、
    　請求項３に記載の学習装置。
  6. 　前記第２解像度が、前記第１解像度よりも高い解像度である、
    　請求項２に記載の学習装置。
  7. 　前記第１医療画像群が４Ｋ未満の解像度の医療画像で構成され、前記第２医療画像群が４Ｋ以上の解像度の医療画像で構成される、
    　請求項６に記載の学習装置。
  8. 　前記第１医療画像群が８Ｋ未満の解像度の医療画像で構成され、前記第２医療画像群が８Ｋ以上の解像度の医療画像で構成される、
    　請求項６に記載の学習装置。
  9. 　前記第１医療画像群が、前記第２医療画像群を構成する医療画像よりもノイズ量の少ない医療画像で構成される、
    　請求項１に記載の学習装置。
  10. 　前記第１医療画像群が、前記第２医療画像群を構成する医療画像よりもノイズ量の多い医療画像で構成される、
    　請求項１に記載の学習装置。
  11. 　前記第１医療画像群が、前記第２医療画像群を構成する医療画像よりも広い画角の医療画像で構成される、
    　請求項１に記載の学習装置。
  12. 　前記第１医療画像群が内視鏡で撮影された医療画像で構成され、前記第２医療画像群が前記第１医療画像群を撮影した内視鏡と異なる内視鏡で撮影された医療画像で構成される、
    　請求項１に記載の学習装置。
  13. 　前記第２医療画像群が前記第１医療画像群を構成する医療画像を撮影した内視鏡と異なる仕様の内視鏡で撮影された医療画像で構成される、
    　請求項１２に記載の学習装置。
  14. 　前記第１モデル及び前記第２モデルが、畳み込みニューラルネットワークで構成される、
    　請求項１から１３のいずれか１項に記載の学習装置。
  15. 　医療画像を取得する医療画像取得部と、
    　請求項１から１４のいずれか１項に記載の学習装置で生成された前記第２モデルで構成され、前記医療画像に対して画像認識を行うモデルと、
    　を備えた医療画像処理装置。
  16. 　複数の前記モデルと、
    　使用する前記モデルを切り替えるモデル切替部と、
    　を更に備えた請求項１５に記載の医療画像処理装置。
  17. 　前記医療画像を撮影した内視鏡の情報を取得する内視鏡情報取得部を更に備え、
    　複数の前記モデルは、互いに異なる内視鏡で撮影された前記第２医療画像群を用いて前記第２学習部で学習することにより生成され、
    　前記モデル切替部は、前記内視鏡情報取得部で取得される前記内視鏡の情報に基づいて、使用する前記モデルを切り替える
    　請求項１６に記載の医療画像処理装置。
  18. 　複数の前記モデルは、互いに仕様の異なる内視鏡で撮影された前記第２医療画像群を用いて前記第２学習部で学習することにより生成される、
    　請求項１７に記載の医療画像処理装置。
  19. 　複数の前記モデルは、互いに解像度又はノイズ量の異なる内視鏡で撮影された前記第２医療画像群を用いて前記第２学習部で学習することにより生成される、
    　請求項１８に記載の医療画像処理装置。
  20. 　第１画質の医療画像で構成される第１医療画像群を用いて学習することにより、前記第１画質の医療画像に対して画像認識を行う第１モデルを生成するステップと、
    　前記第１モデルを元に、前記第１画質と異なる第２画質の医療画像で構成される第２医療画像群を用いて学習することにより、前記第２画質の医療画像に対して画像認識を行う第２モデルを生成するステップと、
    　を備えた学習方法。
PCT/JP2019/022910 2018-06-28 2019-06-10 学習装置及び学習方法、並びに、医療画像処理装置 Ceased WO2020003992A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020527359A JP7382930B2 (ja) 2018-06-28 2019-06-10 医療画像処理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018123443 2018-06-28
JP2018-123443 2018-06-28

Publications (1)

Publication Number Publication Date
WO2020003992A1 true WO2020003992A1 (ja) 2020-01-02

Family

ID=68986461

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/022910 Ceased WO2020003992A1 (ja) 2018-06-28 2019-06-10 学習装置及び学習方法、並びに、医療画像処理装置

Country Status (2)

Country Link
JP (1) JP7382930B2 (ja)
WO (1) WO2020003992A1 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021156974A1 (ja) * 2020-02-05 2021-08-12 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム、表示制御装置及び内視鏡装置
JPWO2021240656A1 (ja) * 2020-05-26 2021-12-02
WO2022065504A1 (ja) * 2020-09-28 2022-03-31 ＬｅａｐＭｉｎｄ株式会社 認識処理実行プログラム及び認識処理実行装置
JP2022069737A (ja) * 2020-10-26 2022-05-12 キヤノン株式会社 情報処理システム、情報端末、情報処理方法及びプログラム
JPWO2022180786A1 (ja) * 2021-02-26 2022-09-01
CN115023171A (zh) * 2020-01-20 2022-09-06 奥林巴斯株式会社 学习用医疗图像数据生成装置、学习用医疗图像数据生成方法以及程序
JP2023011215A (ja) * 2021-07-12 2023-01-24 富士フイルム株式会社 画像処理装置及び医療画像処理装置
WO2023042273A1 (ja) * 2021-09-14 2023-03-23 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
JP2023043051A (ja) * 2021-09-15 2023-03-28 富士フイルム株式会社 画像処理装置、学習装置、画像処理方法、学習方法、画像処理プログラム、及び学習プログラム
CN116507270A (zh) * 2020-09-08 2023-07-28 全球先进临床解决方案有限公司 用于利用统计学分析和人工智能分析进行癫痫发作检测的系统和方法
CN116744854A (zh) * 2021-01-25 2023-09-12 株式会社岛津制作所 X射线透视摄影装置
WO2025009147A1 (ja) * 2023-07-06 2025-01-09 オリンパスメディカルシステムズ株式会社 画像診断支援装置、画像診断支援システム、及び画像診断支援方法
JP2025514224A (ja) * 2022-04-27 2025-05-02 ジャイラス エーシーエムアイ インク ディー／ビー／エー オリンパス サージカル テクノロジーズ アメリカ 複数の順序付けされた分類モジュールを有するシステム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017175282A1 (ja) * 2016-04-04 2017-10-12 オリンパス株式会社 学習方法、画像認識装置およびプログラム
JP2017221486A (ja) * 2016-06-16 2017-12-21 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び医療用観察システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008302075A (ja) 2007-06-08 2008-12-18 Olympus Corp 画像処理装置並びにスコープおよびこれらを備える内視鏡装置
JP6900190B2 (ja) 2016-01-14 2021-07-07 キヤノン株式会社 認識学習装置、認識学習方法及びプログラム
JP6750854B2 (ja) 2016-05-25 2020-09-02 キヤノン株式会社 情報処理装置および情報処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017175282A1 (ja) * 2016-04-04 2017-10-12 オリンパス株式会社 学習方法、画像認識装置およびプログラム
JP2017221486A (ja) * 2016-06-16 2017-12-21 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び医療用観察システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SONOYAMA, SHOJI ET AL.: "Transfer Learning for Bag-of-Visual words approach to NBI endoscopic image classification", 2015 37TH ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY, 25 August 2015 (2015-08-25), pages 785 - 788, XP032810308, DOI: 10.1109/EMBC.2015.7318479 *
SONOYAMA, SHOJI: "Transfer Learning for Endoscopic Image Classification", IEICE TECHNICAL REPORT, vol. 115, no. 401, January 2016 (2016-01-01), pages 223 - 227, XP055666694 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115023171A (zh) * 2020-01-20 2022-09-06 奥林巴斯株式会社 学习用医疗图像数据生成装置、学习用医疗图像数据生成方法以及程序
WO2021156974A1 (ja) * 2020-02-05 2021-08-12 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム、表示制御装置及び内視鏡装置
US12137879B2 (en) 2020-02-05 2024-11-12 Olympus Corporation Image processing apparatus, image processing method, and endoscope apparatus
JPWO2021240656A1 (ja) * 2020-05-26 2021-12-02
WO2021240656A1 (ja) * 2020-05-26 2021-12-02 日本電気株式会社 画像処理装置、制御方法及び記憶媒体
US12530877B2 (en) 2020-05-26 2026-01-20 Nec Corporation Display candidate area information according to display mode determined for decision-making based on evaluation result by machine learning model
JP7529021B2 (ja) 2020-05-26 2024-08-06 日本電気株式会社 画像処理装置、制御方法及びプログラム
CN116507270A (zh) * 2020-09-08 2023-07-28 全球先进临床解决方案有限公司 用于利用统计学分析和人工智能分析进行癫痫发作检测的系统和方法
WO2022065504A1 (ja) * 2020-09-28 2022-03-31 ＬｅａｐＭｉｎｄ株式会社 認識処理実行プログラム及び認識処理実行装置
US12518516B2 (en) 2020-09-28 2026-01-06 Maxell, Ltd. Recognition process execution program and recognition process execution device
JP7630952B2 (ja) 2020-10-26 2025-02-18 キヤノン株式会社 情報処理システム、情報端末、情報処理方法及びプログラム
JP2022069737A (ja) * 2020-10-26 2022-05-12 キヤノン株式会社 情報処理システム、情報端末、情報処理方法及びプログラム
CN116744854A (zh) * 2021-01-25 2023-09-12 株式会社岛津制作所 X射线透视摄影装置
US12602779B2 (en) 2021-02-26 2026-04-14 Nec Corporation Image processing device, image processing method and storage medium
JP7485193B2 (ja) 2021-02-26 2024-05-16 日本電気株式会社 画像処理装置、画像処理方法及びプログラム
WO2022180786A1 (ja) * 2021-02-26 2022-09-01 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
JPWO2022180786A1 (ja) * 2021-02-26 2022-09-01
JP2023011215A (ja) * 2021-07-12 2023-01-24 富士フイルム株式会社 画像処理装置及び医療画像処理装置
JP7653853B2 (ja) 2021-07-12 2025-03-31 富士フイルム株式会社 画像処理装置
WO2023042273A1 (ja) * 2021-09-14 2023-03-23 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
JPWO2023042273A1 (ja) * 2021-09-14 2023-03-23
JP2023043051A (ja) * 2021-09-15 2023-03-28 富士フイルム株式会社 画像処理装置、学習装置、画像処理方法、学習方法、画像処理プログラム、及び学習プログラム
JP7703408B2 (ja) 2021-09-15 2025-07-07 富士フイルム株式会社 画像処理装置、学習装置、画像処理方法、学習方法、画像処理プログラム、及び学習プログラム
US12524874B2 (en) * 2021-09-15 2026-01-13 Fujifilm Corporation Image processing device, learning device, image processing method, learning method, image processing program, and learning program that can accurately detect a lesion from a medical image using a lesion detection model
JP2025514224A (ja) * 2022-04-27 2025-05-02 ジャイラス エーシーエムアイ インク ディー／ビー／エー オリンパス サージカル テクノロジーズ アメリカ 複数の順序付けされた分類モジュールを有するシステム
WO2025009147A1 (ja) * 2023-07-06 2025-01-09 オリンパスメディカルシステムズ株式会社 画像診断支援装置、画像診断支援システム、及び画像診断支援方法

Also Published As

Publication number Publication date
JPWO2020003992A1 (ja) 2021-06-24
JP7382930B2 (ja) 2023-11-17

Similar Documents

Publication Publication Date Title
JP7382930B2 (ja) 医療画像処理装置
JP7346285B2 (ja) 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム
JP7801393B2 (ja) 光不足環境におけるツール追跡を伴うハイパースペクトル撮像
US11727542B2 (en) Super resolution and color motion artifact correction in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
JP7383105B2 (ja) 医療画像処理装置及び内視鏡システム
JP7289373B2 (ja) 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム
US12268469B2 (en) Medical imaging systems and methods that facilitate use of different fluorescence imaging agents
CN113994661A (zh) 具有固定模式噪声消除的超光谱、荧光和激光标测成像
WO2020054543A1 (ja) 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
CN114173641A (zh) 内窥镜荧光成像系统中的图像旋转
WO2020017213A1 (ja) 内視鏡画像認識装置、内視鏡画像学習装置、内視鏡画像学習方法及びプログラム
US20250359760A1 (en) Medical imaging systems and methods
WO2019039259A1 (ja) 診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法
JP7335399B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
WO2019220801A1 (ja) 内視鏡画像処理装置、内視鏡画像処理方法、及びプログラム
CN114175620A (zh) 内窥镜激光标测成像系统中的图像旋转
WO2021044590A1 (ja) 内視鏡システム、処理システム、内視鏡システムの作動方法及び画像処理プログラム
CN214231268U (zh) 内窥镜成像装置和电子设备
US20240212104A1 (en) Systems and methods for low-light image enhancement
JP7593796B2 (ja) 医用画像処理システム、医用画像処理システムの作動方法
KR101281802B1 (ko) 감량 영상 구성장치
US20240013392A1 (en) Processor device, medical image processing device, medical image processing system, and endoscope system
JP2023011303A (ja) 医療画像処理装置及びその作動方法
WO2024166306A1 (ja) 医療用装置、内視鏡システム、制御方法、制御プログラム、及び学習装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19825158

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020527359

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19825158

Country of ref document: EP

Kind code of ref document: A1