WO2022097294A1 - 情報処理システム、内視鏡システム及び情報処理方法 - Google Patents

情報処理システム、内視鏡システム及び情報処理方法 Download PDF

Info

Publication number
WO2022097294A1
WO2022097294A1 PCT/JP2020/041659 JP2020041659W WO2022097294A1 WO 2022097294 A1 WO2022097294 A1 WO 2022097294A1 JP 2020041659 W JP2020041659 W JP 2020041659W WO 2022097294 A1 WO2022097294 A1 WO 2022097294A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
magnification
normal
learning
trained model
Prior art date
Application number
PCT/JP2020/041659
Other languages
English (en)
French (fr)
Inventor
弘 松崎
良介 村田
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2020/041659 priority Critical patent/WO2022097294A1/ja
Publication of WO2022097294A1 publication Critical patent/WO2022097294A1/ja
Priority to US18/140,106 priority patent/US20230260117A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the present invention relates to an information processing system, an endoscope system, an information processing method, and the like.
  • a method of detecting the class, position, or area of an object captured in an image using machine learning is known.
  • This method can recognize the object area captured in the image in detail, for example, for automatic cutting of an object, image processing such as image quality improvement for the object area, or focusing on an object position. It is useful.
  • image processing such as image quality improvement for the object area, or focusing on an object position.
  • the burden of interpretation by a doctor can be reduced. From this point of view, the above method is also useful.
  • the prior art of such diagnostic support is disclosed in, for example, Patent Document 1.
  • Patent Document 1 an abnormal part of an image of the large intestine mucosa is detected, and which of the five types of pit patterns of colorectal polyps corresponds to the abnormal part is determined by using a machine-learned trained model and the determination is made. Present the results to the doctor.
  • the purpose is various, such as rough position detection of a lesion or diagnosis of malignancy of a lesion.
  • the doctor makes an observation by combining observation with a normal magnification, observation with a magnifying magnification, and the like.
  • the appearance of organs, tissues, mucosal textures, etc. differs depending on the magnification of the image, and the necessary diagnostic support differs depending on the purpose. Therefore, it is difficult to handle all tasks with one type of trained model.
  • a storage unit that stores the first trained model and the second trained model and a target image captured by the imaging unit of the endoscopic system are input to the first trained model.
  • the trained model is a trained model trained to perform the detection process on the first trained image using the first trained image having a normal magnification
  • the second trained model is a trained model. It is a trained model trained to perform the diagnostic processing on the second learning image using the second learning image having a magnification higher than the normal magnification
  • the processing unit is the target image.
  • Another aspect of the present disclosure relates to an endoscopic system including the information processing system described above, the image pickup unit, and the operation unit.
  • the target image captured by the image pickup unit of the endoscope system and the magnification change information acquired by the operation unit of the endoscope system for changing the magnification of the target image are obtained.
  • the detection process for detecting the lesion from the target image is performed, and when the magnification change information indicates a magnification higher than the normal magnification, the second learning image of the magnification is used for the second learning. It relates to an information processing method for performing a diagnostic process for diagnosing the lesion from the target image by a process based on a second trained model learned to diagnose the lesion from an image.
  • First configuration example of an endoscope system A second configuration example of an endoscope system.
  • the first example of the processing performed by the processing unit The explanatory view of the processing performed by the processing unit of 1st example.
  • Configuration example of learning device The first detailed example of the detection process for normal magnification.
  • a second detailed example of the detection process for normal magnification The explanatory view of the process performed by the detection process for normal magnification of the 2nd detailed example.
  • diagnostic processing for magnifying power Flowchart of processing performed by the processing unit. Flowchart of processing performed by the processing unit.
  • FIG. 1 shows a first configuration example of the endoscope system 10.
  • the endoscope system 10 includes an information processing system 100, a scope 200, and a display unit 400.
  • the scope 200 includes an image pickup unit 210 and an operation unit 220.
  • the scope 200 is inserted into the living body, an image in the living body is imaged by an imaging unit 210 provided at the tip thereof, and the image data is transmitted to the information processing system 100.
  • the image captured by the image pickup unit 210 is referred to as a target image IMIN.
  • the target image IMIN refers to each frame image of a moving image taken by, for example, the scope 200.
  • the image pickup unit 210 is a device for capturing an image in a living body.
  • the image pickup unit 210 includes an optical system for forming an image of a subject and an image sensor for photoelectric conversion of the image formation.
  • the optical system may be configured with a fixed optical magnification or a variable optical magnification.
  • the operation unit 220 is a device for the user of the endoscope system 10 to input an operation to the endoscope system 10.
  • the operation input is, for example, changing the magnification or switching the observation mode.
  • the operation unit 220 is composed of, for example, a button or a dial.
  • the operation unit 220 may be a touch panel or the like provided on the display unit 400, a pointing device connected to the control device of the endoscope system 10, a keyboard or the like.
  • the shooting magnification of the optical system may be changed by the operation input of the operation unit.
  • the display may be performed at a display magnification according to the operation input by digital zoom or the like.
  • the signal or data indicating the magnification input from the operation unit 220 is referred to as the magnification change information SMAG.
  • the observation mode is a mode depending on the type of illumination light or the presence or absence of dyeing.
  • white light and special light can be assumed as the illumination light.
  • White light is also called ordinary light, and is, for example, continuous spectrum light in the visible light wavelength region generated by a xenon lamp or the like, or light generated by an RGB3 light source such as an LED or a laser.
  • the special light is so-called narrow band light and has a spectrum composed of one or a plurality of narrow bands.
  • the width of each narrow band is narrower than the width of the visible light wavelength region.
  • the width of the narrow band belonging to the blue wavelength region is narrower than the region width of the wavelength range of the blue wavelength region.
  • NBI NBI (Narrow Band Imaging) using blue narrow band light and green narrow band light can be assumed.
  • Staining is a method of staining the mucosal surface or mucosal cells by spraying a drug on the mucosal surface to emphasize the unevenness of the mucosa or the structure of the mucosal cells.
  • a drug for example, indigo blue, crystal violet, or the like is assumed.
  • the information processing system 100 includes a processing unit 110 and a storage unit 120.
  • the processing unit 110 performs image recognition processing using machine learning on the target image IMIN, generates a display image IMDS from the result and the target image IMIN, and outputs the display image IMDS to the display unit 400.
  • the display unit 400 is a display device such as a liquid crystal display device, and displays the display image IMDS.
  • the storage unit 120 stores the first trained model 121 and the second trained model 122 that have been machine-learned in advance using the teacher data.
  • the processing unit 110 switches between the detection process based on the first trained model 121 and the diagnostic process based on the second trained model 122 according to the magnification change information SMAG. Details of machine learning, detection processing, and diagnostic processing will be described later.
  • the hardware that constitutes the processing unit 110 is a general-purpose processor such as a CPU (Central Processing Unit), GPU (Graphical Processing Unit), or DSP (Digital Signal Processor).
  • the storage unit 120 stores the program in which the inference algorithm is described and the parameters used in the inference algorithm as the first trained model 121 and the second trained model 122.
  • the processing unit 110 may be a dedicated processor in which the inference algorithm is hardwareized.
  • the dedicated processor is, for example, an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • the storage unit 120 stores the parameters used in the inference algorithm as the first trained model 121 and the second trained model 122.
  • the storage unit 120 is a storage device such as a semiconductor memory, a hard disk drive, or an optical disk drive.
  • the semiconductor memory is RAM, ROM, non-volatile memory, or the like.
  • a neural network can be adopted.
  • the weighting factor of the connection between nodes in the neural network is a parameter.
  • the neural network includes an input layer in which image data is input, an intermediate layer that performs arithmetic processing on the data input through the input layer, and an output layer that outputs recognition results based on the arithmetic results output from the intermediate layer.
  • a CNN Convolutional Neural Network
  • a CNN is suitable as a neural network used for image recognition processing.
  • various neural network techniques can be adopted.
  • the inference algorithm is not limited to neural networks, and various machine learning techniques used for image recognition can be adopted.
  • the information processing system 100 also serves as a control device for the endoscope system 10. That is, the processing unit 110 controls each unit of the endoscope system 10. For example, the processing unit 110 performs imaging timing control, image processing for the captured image, control of each unit according to an operation input, and the like.
  • FIG. 2 shows a second configuration example of the endoscope system 10.
  • the endoscope system 10 further includes a control device 300, and the information processing system 100 is provided separately from the control device 300.
  • the control device 300 includes a processing unit 310, a storage unit 320, and an interface 330.
  • the processing unit 310 is a processor such as a CPU, and controls each unit of the endoscope system 10.
  • the storage unit 320 is a storage device such as a semiconductor memory, and stores operation setting information of the endoscope system 10, records image data, or operates as a working memory of the processing unit 310.
  • the interface 330 is a communication interface for communicating and connecting the control device 300 and the information processing system 100.
  • the communication method of the interface 330 is a wired communication such as a wired LAN or USB, a wireless communication such as a wireless LAN, or a network communication via the Internet.
  • the information processing system 100 includes a processing unit 110, a storage unit 120, and an interface 130.
  • the information processing system 100 may be an information processing device such as a PC, or may be a cloud system composed of a plurality of information processing devices connected to a network.
  • the interface 130 is an interface that is communicatively connected to the interface 330.
  • the processing unit 310 of the control device 300 transmits the target image IMIN and the magnification change information SMAG to the processing unit 110 of the information processing system 100 via the interface 330 and the interface 130.
  • the processing unit 110 performs detection processing or diagnostic processing using the received target image IMIN and the magnification change information SMAG, and transmits the result to the processing unit 310 of the control device 300 via the interface 130 and the interface 330.
  • the processing unit 310 generates a display image IMDS from the received result and the target image IMIN.
  • FIG. 3 shows a first example of processing performed by the processing unit 110. Further, FIG. 4 shows an explanatory diagram of the processing performed by the processing unit 110 of the first example. Further, FIG. 5 shows a configuration example of the learning device 600.
  • the switch 113 performs a process of selecting either the normal magnification detection process 111 or the magnifying magnification diagnostic process 112 according to the magnification change information SMAG.
  • the switch 113 outputs the target image IMIN to the normal magnification detection process 111 when the magnification change information SMAG indicates the normal magnification, and diagnoses the target image IMIN for the enlargement magnification when the magnification change information SMAG indicates the enlargement magnification.
  • the target image IMIN is input to the switch 113 from the imaging unit 210, and the magnification change information SMAG is input to the switch 113 from the operation unit 220.
  • the storage unit 120 may temporarily store the target image IMIN and the magnification change information SMAG, and after the imaging in the living body is completed, the target image IMIN and the magnification change information SMAG may be input to the switch 113 from the storage unit 120. ..
  • a moving image is recorded in the storage unit 120, metadata is recorded for each frame image thereof, and the metadata includes the magnification change information SMAG.
  • the normal magnification is a magnification used when roughly observing a wide range in a living body, and is a magnification used in so-called screening.
  • the magnifying power is a magnifying power higher than the normal magnifying power, and is a magnifying power used for observing a living body in detail in close proximity to the living body, and is a magnifying power used for so-called magnifying observation.
  • the magnification means the display magnification of the subject on the display screen. For example, when the magnification is 100 times the normal magnification, a subject of 1 mm on the display screen of the normal magnification is enlarged to 100 mm on the display screen of the normal magnification. As described above, the magnification may be changed optically or by image processing such as digital zoom.
  • the normal magnification detection process 111 is a process using the first trained model 121, and is a process of detecting a lesion from the target image IMIN.
  • the first trained model 121 is a neural network
  • the target image IMIN is input to the input layer
  • the neural network detects the position of the lesion from the target image IMIN, and the detection position and the score indicating the certainty of the detection. And generate.
  • the output layer of the neural network outputs the detection position as the detection result DET1.
  • the normal magnification detection process 111 is a detector that performs image recognition processing called detection. As shown in FIG. 4, it is assumed that the frames F1 and F2 are imaged at a normal magnification and the frame F3 is imaged at a magnifying magnification.
  • the normal magnification detection process 111 is applied to the images IM1 and IM2 of the frames F1 and F2. Since the image IM1 does not include a lesion, the detection result is not displayed on the display image DS1, and the image IM1 is displayed as it is as the display image DS1.
  • the normal magnification detection process 111 Since the image IM2 contains the lesion LSA, the normal magnification detection process 111 generates a boundary box BBX indicating the position of the lesion LSA, and the boundary box BBX is superimposed on the image IM2 and displayed as a display image DS2. ..
  • the boundary box BBX is a rectangle circumscribing the lesion LSA.
  • the first trained model 121 is pre-learned by the learning device 600 of FIG.
  • the learning device 600 is realized by an information processing device such as a PC, and includes a processing unit 610 and a storage unit 620.
  • the processing unit 610 is a processor such as a CPU
  • the storage unit 120 is a storage device such as a semiconductor memory or a hard disk drive.
  • the storage unit 620 stores the first learning model 621 and the first teacher data 631, and the processing unit 610 trains the first learning model 621 using the first teacher data 631 to train the first trained model.
  • Generate 121 The generated first trained model 121 is transferred to the storage unit 120 of the information processing system 100.
  • the first teacher data 631 includes a large number of first learning images 631a and a first annotation 631b attached to each first learning image 631a.
  • the first learning image 631a is an image in which the inside of the living body is captured by the endoscope system 10 at a normal magnification. A doctor or the like attaches the first annotation 631b to the first learning image 631a.
  • the first annotation 631b is a boundary box indicating the position of the lesion included in the first learning image 631a.
  • the magnifying magnification diagnostic process 112 of FIG. 3 is a process using the second trained model 122, and is a process of diagnosing the lesion type from the target image IMIN.
  • the second trained model 122 is a neural network
  • the target image IMIN is input to the input layer
  • the neural network classifies the lesion type from the target image IMIN, and the score indicating the probability of the type is obtained for each type. Generate.
  • the output layer of the neural network outputs the type with the highest score as the diagnosis result DET2.
  • the magnifying power diagnostic process 112 is a classifier that classifies images into classes or categories. As shown in FIG. 4, the magnifying power diagnostic process 112 is applied to the image IM3 of the frame F3 captured at the magnifying power.
  • the image IM3 is an enlarged image of the lesion LSA of the image IM2.
  • the magnifying power diagnostic process 112 classifies the type of lesion LSA from the image IM3. For example, if the lesion LSA is determined to be "type 1", the character CLS of the "type 1" is superimposed on the image IM3 and displayed as the display image DS2.
  • the second trained model 122 is pre-learned by the learning device 600 of FIG.
  • the storage unit 620 stores the second learning model 622 and the second teacher data 632, and the processing unit 610 trains the second learning model 622 using the second teacher data 632, so that the second trained model Generate 122.
  • the generated second trained model 122 is transferred to the storage unit 120 of the information processing system 100.
  • the second teacher data 632 includes a large number of second learning images 632a and a second annotation 632b attached to each second learning image 632a.
  • the second learning image 632a is an image in which the inside of the living body is captured by the endoscope system 10 at a magnifying magnification. A doctor or the like attaches the second annotation 632b to the second learning image 632a.
  • the second annotation 632b is a type of lesion included in the second learning image 632a.
  • the switch 114 in FIG. 3 performs a process of selecting either the detection result DET1 or the diagnosis result DET2 according to the magnification change information SMAG.
  • the switch 114 outputs the detection result DET1 as an image recognition result DETQ to the display process 116 when the magnification change information SMAG indicates a normal magnification, and image recognizes the diagnosis result DET2 when the magnification change information SMAG indicates an enlargement magnification. As a result, it is output to the display process 116 as a DETQ.
  • the magnification control 115 is a process of controlling the magnification of the image according to the magnification change information SMAG.
  • the magnification control 115 enlarges the target image IMIN at the magnification indicated by the magnification change information SMAG, and outputs the enlarged image IMQ to the display process 116.
  • the magnification control 115 outputs the target image IMIN as an image IMQ to the display process 116.
  • the image pickup magnification of the image pickup unit 210 may be optically changed.
  • the display process 116 generates a display image IMDS from the image IMQ and the image recognition result DETQ, and outputs the display image IMDS to the display unit 400.
  • the display process 116 generates the display image IMDS by overlaying the image recognition result DETQ on the image IMQ.
  • the display process 116 may display the reliability of the image recognition result DETQ together with the display image IMDS.
  • the normal magnification detection process 111 outputs the score of the detection result together with the detection result
  • the magnifying magnification diagnostic process 112 outputs the score of the diagnosis result together with the diagnosis result.
  • the display process 116 causes the display image IMDS to display these scores as reliability.
  • the endoscope system 10 When the endoscope system 10 is for the gastrointestinal tract, for example, various lesions such as polyps, cancers, and inflammatory diseases occurring in the gastrointestinal mucosa are assumed as lesions.
  • the type of lesion is a further classification of each of polyps, cancers, inflammatory diseases, etc. into the classes or categories below it. Specifically, the type is a type or malignancy that can be classified according to an image feature such as a fine structure or color.
  • the doctor sets the illumination light to NBI (Narrow Band Imaging) light and the magnification of the image to the normal magnification, and searches for a region in the large intestine mucosa where a polyp is suspected.
  • the processing unit 110 normally performs the magnification detection process 111, and displays the position where there is a possibility of polyp by the boundary box BBX.
  • the doctor sets the magnification of the image to the magnification, enlarges the area where the polyp is suspected, and diagnoses the type of polyp from the running pattern of the microvessels of the mucosa, the structure of the duct opening, or the shape of the mucosal cells. do.
  • the illumination light remains NBI (Narrow Band Imaging) light.
  • the processing unit 110 performs the magnifying power diagnosis process 112 and displays the type of polyp.
  • the type of polyp is a type classified according to the traveling pattern of mucosal microvessels, the structure of glandular duct openings, the tissue structure such as the shape of mucosal cells, or the reach depth of abnormal tissues.
  • the second trained model 122 is trained so that the type of this polyp can be recognized from the image.
  • the information processing system 100 includes a storage unit 120 and a processing unit 110.
  • the storage unit 120 stores the first trained model 121 and the second trained model 122.
  • the processing unit 110 inputs a target image IMIN imaged by the imaging unit 210 of the endoscope system 10, and performs a detection process of detecting a lesion from the target image IMIN by a process based on the first trained model 121, and a second learning.
  • a diagnostic process for diagnosing a lesion from the target image IMIN by a process based on the completed model 122 is performed.
  • the first trained model 121 is a trained model trained to perform detection processing on the first learning image 631a using the first learning image 631a having a normal magnification.
  • the second trained model 122 is a trained model trained to perform diagnostic processing on the second learning image 632a using the second learning image 632a having a magnifying power higher than the normal magnification.
  • the magnification change information SMAG acquired by the operation unit 220 of the endoscope system 10 for changing the magnification of the target image IMIN is input to the processing unit 110.
  • the processing unit 110 performs detection processing on the target image IMIN when the magnification change information SMAG indicates a normal magnification, and performs diagnostic processing on the target image IMIN when the magnification change information SMAG indicates an enlargement magnification.
  • the trained model used for diagnostic support can be switched between the observation with a normal magnification and the observation with a magnifying magnification. That is, a trained model corresponding to the appearance of organs, tissues, mucous membrane textures, etc. at normal magnification and a trained model corresponding to the appearance of organs, tissues, mucosa textures, etc. at magnification magnification are prepared and switched between them. Can be used. This makes it possible to provide diagnostic support that can handle various tasks that combine observation with normal magnification and observation with magnifying magnification.
  • the normal image which is the target image IMIN of the normal magnification is an image captured under at least one first condition of white light, special light, or staining.
  • the first trained model 121 is trained using the first training image 631a captured under the first condition.
  • the special image which is the target image IMIN of the enlargement magnification is an image which is captured under at least one second condition of special light or staining, and a part of the field of view of the normal image is enlarged.
  • the second trained model 122 is trained using the second training image 632a captured under the second condition.
  • the target image IMIN which is an inference target at a normal magnification
  • the first learning image 631a used for learning the first trained model 121 are images captured under the same first condition. ..
  • a first trained model 121 corresponding to the appearance of organs, tissues, mucosal textures, etc. at normal magnification is generated, and appropriate diagnostic support at normal magnification is performed by detection processing using the first trained model 121. Is possible.
  • the target image IMIN which is the inference target at the magnification
  • the second learning image 632a used for learning the second trained model 122 are images captured under the same second condition.
  • a second trained model 122 corresponding to the appearance of organs, tissues, mucosal textures, etc. at the magnified magnification is generated, and appropriate diagnostic support at the normal magnification is performed by diagnostic processing using the second trained model 122. Is possible.
  • the target image IMIN with a normal magnification and the target image IMIN with a magnifying magnification are images taken with special light and without dyeing.
  • the magnification is 50 times or more and less than 100 times the normal magnification in the observation magnification on the display screen.
  • Special light is used in pit pattern diagnosis using a colonoscope. Further, in the pit pattern diagnosis, by setting the magnification to 50 times or more and less than 100 times the normal magnification, an image in a textured state suitable for diagnosis is captured. According to the present embodiment, in pit pattern diagnosis using a colonoscope, diagnostic support in normal observation and diagnostic support in magnified observation can be appropriately provided.
  • the spectrum of special light has a peak belonging to the band of 390 nm to 445 nm and a peak belonging to the band of 530 nm to 550 nm.
  • NBI is used in pit pattern diagnosis using a colonoscope.
  • the spectrum of the special light is the spectrum of the illumination light used in NBI.
  • NBI can appropriately provide diagnostic support in normal observation and diagnostic support in magnified observation. By using NBI, the textured features of the lesion can be clearly visualized, so that accurate diagnostic support can be provided.
  • the special light is not limited to the illumination light used in the above NBI.
  • special light is used for LCI (Linked Color Imaging), which is a combination of a white light laser and a narrow band light observation laser, or BLI (Blue Light Imaging), which adjusts the emission ratio of two types of laser light. It may be light.
  • LCI Linked Color Imaging
  • BLI Blue Light Imaging
  • the lesion is a polyp of the large intestine mucosa.
  • the type of lesion is the type of polyp classified by the pit pattern of microvessels in the mucosa of the polyp.
  • a detection process for detecting the position of a polyp in the large intestine mucosa is performed at a normal magnification, and a diagnostic process for diagnosing the type of the polyp is performed at a magnifying magnification.
  • the first trained model 121 uses the first annotation 631b indicating the position of the lesion in the first learning image 631a, and the position of the lesion indicated by the first annotation 631b is the position of the lesion indicated by the first learning image 631a. Learned to detect from.
  • the processing unit 110 detects the position of the lesion from the target image IMIN in the detection process.
  • the second trained model 122 is trained to detect the type of lesion indicated by the second annotation 632b from the second learning image 632a by using the second annotation 632b indicating the type of lesion in the second learning image 632a. Will be done. In the diagnostic process, the processing unit 110 diagnoses the type of lesion from the target image IMIN.
  • a first trained model 121 for detecting a lesion position from an image of a normal magnification and a second trained model 122 for diagnosing a lesion type from an image of a magnified magnification are generated. ..
  • the processing using the first trained model 121 realizes the detection process for detecting the lesion position from the target image IMIN at the normal magnification
  • the processing using the second trained model 122 realizes the detection process at the magnified magnification.
  • a diagnostic process for diagnosing the lesion type from IMIN is realized.
  • the processing unit 110 acquires the reliability of the diagnosis result together with the diagnosis result in the diagnosis process, and performs a process of displaying the diagnosis result and the reliability on the display unit 400.
  • the reliability is an index showing the certainty of the diagnosis result, for example, the score output by the neural network.
  • the diagnosis result and the reliability are presented to the user as the diagnosis support information, so that the user can evaluate the diagnosis result based on the reliability. This makes it easier for the user to make a more appropriate diagnosis.
  • FIG. 6 shows a first detailed example of the normal magnification detection process 111.
  • the observation mode information SLGT indicating the observation mode set by the operation unit 220 is input to the processing unit 110.
  • the observation mode information SLGT is input from the operation unit 220 to the processing unit 110.
  • the storage unit 120 temporarily records the target image IMIN and the observation mode information SLGT, and the recorded target image IMIN and the observation mode information SLGT are recorded. It is input to the processing unit 110. For example, a moving image is recorded in the storage unit 120, metadata is recorded for each frame image thereof, and the metadata includes observation mode information SLGT.
  • the observation mode has a normal observation mode and a special observation mode, and indicates the type of illumination light or the presence or absence of dyeing.
  • the normal observation mode is a mode in which the inside of the living body is imaged with white light and no staining. An image captured in the normal observation mode is referred to as a normal image.
  • the special observation mode is a mode in which the inside of the living body is imaged with white light and staining, special light and no staining, or special light and staining. An image captured in the special observation mode is called a special image.
  • the switch 163 performs a process of selecting either the detector 161a or the detector 161b according to the observation mode information SLGT.
  • the switch 163 outputs the target image IMIN to the detector 161a when the observation mode information SLGT indicates normal observation. In this case, the target image IMIN is a normal image.
  • Observation mode information When SLGT indicates special observation, the target image IMIN is output to the detector 161b. In this case, the target image IMIN is a special image.
  • the detector 161a detects a lesion from a normal image by processing using the first trained model 121a for a normal image, and outputs the detection result DET1a.
  • the detector 161b detects a lesion from the special image by processing using the first trained model 121b for the special image, and outputs the detection result DET1b.
  • the first trained model 121a for normal images and the first trained model 121b for special images are separate trained models included in the first trained model 121, and are trained in advance by a learning device.
  • the first trained model 121a for normal images the first learning normal image captured in the normal observation mode and the annotation attached to it are input as teacher data, and the lesion can be detected from the first learning normal image. To be learned.
  • the first trained model 121b for special images the first training special image captured in the special observation mode and the annotation attached to it are input as teacher data, and the lesion can be detected from the first learning special image. To be learned.
  • the switch 164 performs a process of selecting either the detection result DET1a or the detection result DET1b according to the observation mode information SLGT.
  • the switch 164 outputs the detection result DET1a as the detection result DET1 to the switch 114 when the observation mode information SLGT indicates the normal observation mode, and outputs the detection result DET1b as the detection result DET1 when the observation mode information SLGT indicates the special observation mode.
  • the detection result is output to the switch 114 as DET1.
  • FIG. 6 shows an example in which separate detectors are provided for the normal image and the special image
  • the detection process may be performed on the normal image and the special image with one detector.
  • the target image IMIN is a normal image or a special image
  • the target image IMIN is input to the detector, and the detector detects the lesion from the target image IMIN by the process based on the first trained model 121.
  • the first trained model 121 is not divided into a normal image and a special image, and is one trained model.
  • the first trained model 121 includes a first learning normal image captured in the normal observation mode, an annotation attached to the first learning normal image, a first learning special image captured in the special observation mode, and an annotation attached to the first learning normal image. Is input as teacher data, and is trained so that the lesion can be detected from the first learning normal image and the first learning special image.
  • the target image IMIN is a normal image captured by white light, or a special image captured by at least one of special light or staining.
  • the first learning image 631a includes a first learning normal image captured by white light and a first learning special image captured by at least one of special light or staining.
  • the first trained model 121 includes a first trained model 121a for a normal image trained using a normal image for first training and a first trained model 121 for a special image trained using a special image for first training. Includes model 121b.
  • the processing unit 110 detects a lesion from the target image IMIN by processing based on the first trained model 121a for the normal image when the normal image is input, and when the special image is input, the first trained for the special image has been trained. Lesions are detected from the target image IMIN by processing based on model 121b.
  • the trained model used for the detection process is switched between the normal image and the special image. That is, a trained model corresponding to the appearance of organs, tissues, mucosal textures, etc. in a normal image and a trained model corresponding to the appearance of organs, tissues, mucosa textures, etc. in a special image are prepared and switched between them. Can be used for detection processing. This makes it possible to provide diagnostic support capable of responding to various tasks that combine observation with a normal image and observation with a special image.
  • the first trained model 121 may be trained using the first learning normal image and the first learning special image.
  • one trained model is used for a normal image and a special image without providing a separate trained model, a first trained model 121a for a normal image and a first trained model 121b for a special image. Detection processing is realized.
  • FIG. 7 shows a second detailed example of the normal magnification detection process 111.
  • FIG. 8 shows an explanatory diagram of the process performed by the normal magnification detection process 111 of the second detailed example.
  • the classifiers 163a and 163b are provided in front of the detectors 161a and 161b, and the operation of the detectors 161a and 161b is adjusted based on the classification results by the classifiers 163a and 163b. Will be done.
  • the switch 165 performs a process of selecting one of the classifier 163a and the detector 161a, or the classifier 163b and the detector 161b according to the observation mode information SLGT.
  • the switch 163 outputs the target image IMIN to the classifier 163a and the detector 161a when the observation mode information SLGT indicates normal observation.
  • the target image IMIN is output to the classifier 163b and the detector 161b.
  • the classifier 163a performs a classification process on a normal image by a process using the third trained model 123a for a normal image, and outputs the classification result DET3a.
  • the classifier 163b performs classification processing on the special image by processing using the third trained model 123b for special images, and outputs the classification result DET3b.
  • the third trained model 123a for normal images and the third trained model 123b for special images are stored in the storage unit 120 of the information processing system 100 as the third trained models.
  • the classification process here is a process of determining whether the input target image IMIN is an image containing a lesion or an image not containing a lesion. In the classification process, a score indicating the certainty of the image including the lesion is obtained, and when the score is equal to or higher than the threshold value, the image including the lesion is determined.
  • the third trained model 123a for normal images and the third trained model 123b for special images are separate trained models and are trained in advance by the learning device.
  • the third trained model 123a for a normal image the third trained normal image captured in the normal observation mode and the annotation attached to the normal image for normal image are input as teacher data.
  • the annotation indicates whether or not the third learning normal image is an image containing a lesion.
  • the third trained model 123a for normal images is trained so that it can be determined whether or not the third trained normal image is an image containing a lesion by using the teacher data.
  • the special image for the third learning captured in the special observation mode and the annotation attached to the special image for the special image are input as teacher data.
  • the annotation indicates whether or not the third learning special image is an image containing a lesion.
  • the third trained model 123b for the special image is trained so that the lesion can be detected from the special image for the third learning by using the teacher data.
  • the detector 161a adjusts the detection process according to the classification result DET3a. As shown in FIG. 8, it is assumed that the classifier 163a determines in the frame F1 that the target image IMIN does not contain a lesion. When the classification result DET3a indicating that the target image IMIN does not include the lesion is input, the detector 161a does not perform the process of detecting the lesion from the target image IMIN. In frame F2, it is assumed that the classifier 163a determines that the target image IMIN contains the lesion LSA. When the classification result DET3a indicating that the target image IMIN contains a lesion is input, the detector 161a performs a process of detecting the lesion from the target image IMIN. The detector 161a generates a boundary box BBX indicating the position of the lesion LSA, and the boundary box BBX is superimposed and displayed on the image.
  • FIG. 7 shows an example in which two sets of classifiers and detectors are provided for a normal image and a special image, but the normal image and the special image are processed by one set of the classifier and the detector. You may go. Whether the target image IMIN is a normal image or a special image, the target image IMIN is input to the classifier and the detector. The classifier determines whether or not the target image IMIN is an image containing a lesion by processing based on the third trained model. In this case, the third trained model is not divided into a normal image and a special image, and is one trained model. The third trained model includes the third learning normal image captured in the normal observation mode, the annotation attached to it, the third learning special image captured in the special observation mode, and the annotation attached to it.
  • the detector performs detection processing on the target image IMIN by processing based on the first trained model. At this time, the detector adjusts the detection process for the target image IMIN according to the classification result.
  • the storage unit 620 stores the third trained model.
  • the third trained model is a trained model trained to classify whether or not the third trained image is an image containing a lesion by using the third trained image having a normal magnification.
  • the processing unit 110 classifies whether or not the target image IMIN is an image including a lesion by processing based on the third trained model.
  • the processing unit 110 determines that the target image IMIN is an image including a lesion, the processing unit 110 performs detection processing on the target image IMIN.
  • the third trained model 123a for normal images and the third trained model 123b for special images correspond to the third trained model.
  • the third trained model may be configured by one trained model without dividing it into a normal image and a special image.
  • the detection process for the target image IMIN can be adjusted according to the classification result. For example, when it is determined that the target image IMIN contains a lesion, the detection process is executed for the target image IMIN.
  • FIG. 9 shows a detailed example of the magnifying power diagnostic process 112.
  • the switch 165 performs a process of selecting either the classifier 162a or the classifier 162b according to the observation mode information SLGT.
  • the switch 165 outputs the target image IMIN to the classifier 162a when the observation mode information SLGT indicates normal observation. Observation mode information When the SLGT indicates special observation, the target image IMIN is output to the classifier 162b.
  • the classifier 162a diagnoses a lesion from a normal image by processing using the second trained model 122a for a normal image, and outputs the diagnosis result DET2a.
  • the classifier 162a diagnoses a lesion from a special image by processing using the second trained model 122b for a special image, and outputs the diagnosis result DET2b.
  • the second trained model 122a for normal images and the second trained model 122b for special images are separate trained models included in the second trained model 122, and are trained in advance by the learning device.
  • the second trained model 122a for normal images the second learning normal image captured in the normal observation mode and the annotation attached to it are input as teacher data, and the lesion can be diagnosed from the second learning normal image.
  • the second trained model 122b for special images the special image for second learning captured in the special observation mode and the annotation attached to it are input as teacher data, and the lesion can be diagnosed from the special image for second learning. To be learned.
  • the switch 166 performs a process of selecting either the diagnosis result DET2a or the diagnosis result DET2b according to the observation mode information SLGT.
  • the switch 166 outputs the diagnosis result DET2a as the diagnosis result DET2 to the switch 114 when the observation mode information SLGT indicates the normal observation mode, and outputs the diagnosis result DET2b as the diagnosis result DET2 when the observation mode information SLGT indicates the special observation mode.
  • the diagnosis result is output to the switch 114 as DET2.
  • FIG. 9 shows an example in which separate classifiers are provided for a normal image and a special image
  • diagnostic processing may be performed on the normal image and the special image with one classifier.
  • the target image IMIN is input to a classifier, and the classifier diagnoses a lesion from the target image IMIN by processing based on the second trained model 122.
  • the second trained model 122 is not divided into a normal image and a special image, and is one trained model.
  • the second trained model 122 has a second learning normal image captured in the normal observation mode, an annotation attached thereto, a second learning special image captured in the special observation mode, and an annotation attached thereto. Is input as teacher data, and is learned so that the lesion can be detected from the second learning normal image and the second learning special image.
  • the target image IMIN is a normal image captured by white light, or a special image captured by at least one of special light or staining.
  • the second learning image 632a includes a second learning normal image captured by white light and a second learning special image captured by at least one of the special light or staining.
  • the second trained model 122 includes a second trained model 122a for a normal image trained using a normal image for second training and a second trained model 122a for a special image trained using a special image for second training. Includes model 122b.
  • the processing unit 110 diagnoses the lesion from the target image IMIN by processing based on the second trained model 122a for the normal image, and when the special image is input, the second trained for the special image is completed. Lesions are diagnosed from the target image IMIN by processing based on model 122b.
  • the trained model used for the diagnostic process is switched between the normal image and the special image. That is, a trained model corresponding to the appearance of organs, tissues, mucosal textures, etc. in a normal image and a trained model corresponding to the appearance of organs, tissues, mucosa textures, etc. in a special image are prepared and switched between them. Can be used for diagnostic processing. This makes it possible to provide diagnostic support capable of responding to various tasks that combine observation with a normal image and observation with a special image.
  • the second trained model may be trained using the second learning normal image and the second learning special image.
  • one trained model is used for a normal image and a special image without providing a separate trained model, a second trained model 122a for a normal image and a second trained model 122b for a special image. Diagnostic processing is realized.
  • FIG. 10 shows a flowchart of the processing performed by the processing unit 110.
  • step S1 the target image IMIN is input to the processing unit 110.
  • step S2 the processing unit 110 determines whether the magnification of the target image IMIN is a normal magnification or an enlargement magnification based on the magnification change information SMAG.
  • step S3 the processing unit 110 determines whether or not the target image IMIN is an image containing a lesion by the classifier 163a or the classifier 163b.
  • step S4 the processing unit 110 detects the lesion from the target image IMIN by the detector 161a or the detector 161b.
  • step S5 the processing unit 110 diagnoses the lesion from the target image IMIN by the classifier 162a or the classifier 162b.
  • step S6 the processing unit 110 generates a display image IMDS by superimposing the detection result of step S4 or the diagnosis result of step S5 on the target image IMIN, and outputs the display image IMDS to the display unit 400.
  • step S2 of FIG. 11 classification and detection may be executed in parallel in the normal magnification detection process 111. ..
  • the processing unit 110 performs parallel processing of the classification process in step S3 and the detection process in step S4. That is, the detection process of step S4 is executed regardless of the result of the classification process of step S3.
  • step S6 the processing unit 110 adjusts and displays the result of the detection processing in step S4 according to the result of the classification processing in step S3.
  • step S3 when it is determined in step S3 that the target image IMIN contains a lesion, the processing unit 110 displays the boundary box generated by the detection process in step S4.
  • the processing unit 110 determines in step S3 that the target image IMIN does not include a lesion, the processing unit 110 does not display the boundary box generated by the detection process in step S4.
  • 10 Endoscope system 100 information processing system, 110 processing unit, 111 normal magnification detection processing, 112 magnification magnification diagnostic processing, 113, 114 switch, 115 magnification control, 116 display processing, 120 storage unit, 121 first learning Completed model, 121a 1st trained model for normal image, 121b 1st trained model for special image, 122 2nd trained model, 122a 2nd trained model for normal image, 122b 2nd trained model for special image, 123a 3rd trained model for normal image, 123b 3rd trained model for special image, 130 interface, 161a, 161b detector, 162a, 162b classifier, 163 switch, 163a, 163b classifier, 164, 165, 166 switch , 200 scope, 210 imaging unit, 220 operation unit, 300 control device, 310 processing unit, 320 storage unit, 330 interface, 400 display unit, 600 learning device, 610 processing unit, 620 storage unit, 621 first learning model, 622 2nd learning model, 631 1

Abstract

情報処理システム（１００）は、第１学習済みモデル（１２１）と第２学習済みモデル（１２２）とを記憶する記憶部（１２０）と、処理部（１１０）と、を含む。第１学習済みモデル（１２１）は、通常倍率の第１学習用画像に対して検出処理を行うように学習される。第２学習済みモデル（１２２）は、拡大倍率の第２学習用画像に対して診断処理を行うように学習される。処理部（１１０）には、対象画像（ＩＭＩＮ）の倍率を変更する内視鏡システム（１０）の操作部（２２０）により取得された倍率変更情報（ＳＭＡＧ）が入力される。処理部（１１０）は、倍率変更情報（ＳＭＡＧ）が通常倍率を示すとき、第１学習済みモデル（１２１）に基づく処理により対象画像（ＩＭＩＮ）から病変を検出する検出処理を行い、倍率変更情報（ＳＭＡＧ）が拡大倍率を示すとき、第２学習済みモデル（１２２）に基づく処理により対象画像（ＩＭＩＮ）から病変を診断する診断処理を行う。

Description

情報処理システム、内視鏡システム及び情報処理方法
　本発明は、情報処理システム、内視鏡システム及び情報処理方法等に関する。
　画像内に撮影されているオブジェクトのクラス、位置、又は領域を、機械学習を用いて検出する手法が知られている。この手法は、画像内に撮影されているオブジェクト領域を詳細に認識することが可能であり、例えば、オブジェクトの自動切り出し、オブジェクト領域に対する画質改善等の画像処理、又はオブジェクト位置への合焦等に有用である。医療分野では、上記手法を用いて、画像内に撮影されている病変領域を認識することで、医師の読影の負担を軽減できる。このような観点からも、上記手法は有用である。このような診断支援の従来技術は例えば特許文献１に開示されている。特許文献１では、大腸粘膜の画像の異常部分を検出し、その異常部分が、大腸ポリープのピットパターン５種のいずれに該当するかについて、機械学習した学習済モデルを用いて判断し、その判断結果を医師に提示する。
特開２０１６－８７３７０号公報
　医師が画像を観察する際、その目的は、病変の大まかな位置検出であったり、或いは病変の悪性度の診断であったり、様々である。これらの目的に合わせて、医師は、通常倍率による観察、又は拡大倍率による観察等を組み合わせながら、観察を行う。画像の倍率によって臓器、組織又は粘膜テクスチャ等の写り方は異なり、また目的によって必要な診断支援は異なっている。このため、１種類の学習済みモデルにより全てのタスクに対応することは困難である。
　本開示の一態様は、第１学習済みモデルと第２学習済みモデルとを記憶する記憶部と、内視鏡システムの撮像部により撮像された対象画像が入力され、前記第１学習済みモデルに基づく処理により前記対象画像から病変を検出する検出処理と、前記第２学習済みモデルに基づく処理により前記対象画像から前記病変を診断する診断処理と、を行う処理部と、を含み、前記第１学習済みモデルは、通常倍率の第１学習用画像を用いて、前記第１学習用画像に対して前記検出処理を行うように学習された学習済みモデルであり、前記第２学習済みモデルは、前記通常倍率より高い拡大倍率の第２学習用画像を用いて、前記第２学習用画像に対して前記診断処理を行うように学習された学習済みモデルであり、前記処理部は、前記対象画像の倍率を変更する前記内視鏡システムの操作部により取得された倍率変更情報が入力され、前記倍率変更情報が前記通常倍率を示すとき、前記対象画像に対して前記検出処理を行い、前記倍率変更情報が前記拡大倍率を示すとき、前記対象画像に対して前記診断処理を行う情報処理システムに関係する。
　また本開示の他の態様は、上記に記載された情報処理システムと、前記撮像部と、前記操作部と、を含む内視鏡システムに関係する。
　また本開示の更に他の態様は、内視鏡システムの撮像部により撮像された対象画像と、前記対象画像の倍率を変更する前記内視鏡システムの操作部により取得された倍率変更情報とが入力され、前記倍率変更情報が通常倍率を示すとき、前記通常倍率の第１学習用画像を用いて前記第１学習用画像から病変を検出するように学習された第１学習済みモデルに基づく処理により、前記対象画像から前記病変を検出する検出処理を行い、前記倍率変更情報が、前記通常倍率より高い拡大倍率を示すとき、前記拡大倍率の第２学習用画像を用いて前記第２学習用画像から前記病変を診断するように学習された第２学習済みモデルに基づく処理により、前記対象画像から前記病変を診断する診断処理を行う情報処理方法に関係する。
内視鏡システムの第１構成例。 内視鏡システムの第２構成例。 処理部が行う処理の第１例。 第１例の処理部が行う処理の説明図。 学習装置の構成例。 通常倍率用検出処理の第１詳細例。 通常倍率用検出処理の第２詳細例。 第２詳細例の通常倍率用検出処理が行う処理の説明図。 拡大倍率用診断処理の詳細例。 処理部が行う処理のフローチャート。 処理部が行う処理のフローチャート。
　以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。
　１．内視鏡システムと情報処理システム
　図１に、内視鏡システム１０の第１構成例を示す。内視鏡システム１０は、情報処理システム１００とスコープ２００と表示部４００とを含む。
　スコープ２００は、撮像部２１０と操作部２２０とを含む。スコープ２００は生体内に挿入され、先端に設けられた撮像部２１０により生体内の画像を撮像し、その画像データを情報処理システム１００に送信する。撮像部２１０により撮像された画像を対象画像ＩＭＩＮと呼ぶこととする。対象画像ＩＭＩＮは、例えばスコープ２００により撮影される動画像の各フレーム画像を指す。
　撮像部２１０は、生体内の画像を撮像する装置である。例えば、撮像部２１０は、被写体を結像させる光学系と、その結像を光電変換するイメージセンサと、を含む。光学系は、その光学的な撮影倍率が固定に構成されてもよいし、可変に構成されてもよい。
　操作部２２０は、内視鏡システム１０のユーザが内視鏡システム１０に対して操作入力を行うための装置である。操作入力は、例えば、倍率の変更又は観察モードの切り替え等である。操作部２２０は、例えばボタン又はダイヤル等で構成される。なお、操作部２２０は、表示部４００に設けられたタッチパネル等であってもよいし、内視鏡システム１０の制御装置に接続されるポインティングデバイス、又はキーボード等であってもよい。
　撮像部２１０の光学系が撮影倍率可変に構成される場合には、操作部操作入力により光学系の撮影倍率が変更されてもよい。或いは、デジタルズーム等によって、操作入力に応じた表示倍率で表示が行われてもよい。図１に示すように、操作部２２０から入力された倍率を示す信号又はデータを倍率変更情報ＳＭＡＧとする。観察モードは、照明光の種類、或いは染色の有無に応じたモードである。
　照明光は、例えば白色光と特殊光を想定できる。白色光は通常光とも呼ばれ、例えばキセノンランプ等により生成された可視光波長領域の連続スペクトル光、或いはＬＥＤ又はレーザ等のＲＧＢ３光源により生成された光である。特殊光は、いわゆる狭帯域光であり、１又は複数の狭帯域で構成されたスペクトルを有する。各狭帯域の幅は、可視光波長領域の領域幅よりも狭い。例えば、青色の波長領域に属する狭帯域の幅は、その青色の波長領域の波長範囲の領域幅よりも狭い。特殊光観察としては、例えば青色の狭帯域光と緑色の狭帯域光を用いるＮＢＩ（Narrow Band Imaging）を想定できる。
　染色は、粘膜表面に薬剤を散布することで粘膜表面又は粘膜細胞を染色し、粘膜の凹凸又は粘膜細胞の構造等を強調する手法である。薬剤としては、例えばインジゴブルー、又はクリスタルバイオレット等が想定される。
　情報処理システム１００は、処理部１１０と記憶部１２０とを含む。処理部１１０は、対象画像ＩＭＩＮに対して、機械学習を用いた画像認識処理を行い、その結果と対象画像ＩＭＩＮから表示画像ＩＭＤＳを生成し、その表示画像ＩＭＤＳを表示部４００に出力する。表示部４００は、例えば液晶表示装置等の表示装置であり、表示画像ＩＭＤＳを表示する。記憶部１２０は、教師データを用いて予め機械学習された第１学習済みモデル１２１及び第２学習済みモデル１２２を記憶している。処理部１１０は、倍率変更情報ＳＭＡＧに応じて、第１学習済みモデル１２１に基づく検出処理と第２学習済みモデル１２２に基づく診断処理とを切り替える。機械学習、検出処理及び診断処理の詳細については後述する。
　処理部１１０を構成するハードウェアは、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphical Processing Unit）又はＤＳＰ（Digital Signal Processor）等の汎用プロセッサである。この場合、記憶部１２０は、推論アルゴリズムが記述されたプログラムと、その推論アルゴリズムに用いられるパラメータと、を第１学習済みモデル１２１及び第２学習済みモデル１２２として記憶する。或いは、処理部１１０は、推論アルゴリズムがハードウェア化された専用プロセッサであってもよい。専用プロセッサは例えばＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field Programmable Gate Array）等である。この場合、記憶部１２０は、推論アルゴリズムに用いられるパラメータを第１学習済みモデル１２１及び第２学習済みモデル１２２として記憶する。記憶部１２０は、例えば半導体メモリ、ハードディスクドライブ、又は光学ディスクドライブ等の記憶装置である。半導体メモリは、ＲＡＭ、ＲＯＭ又は不揮発性メモリ等である。
　推論アルゴリズムとしては、例えばニューラルネットワークを採用できる。ニューラルネットワークにおけるノード間接続の重み係数がパラメータである。ニューラルネットワークは、画像データが入力される入力層と、入力層を通じて入力されたデータに対し演算処理を行う中間層と、中間層から出力される演算結果に基づいて認識結果を出力する出力層と、を含む。画像認識処理に用いられるニューラルネットワークとして、ＣＮＮ（Convolutional Neural Network）が好適である。但し、ＣＮＮに限らず、様々なニューラルネットワーク技術を採用できる。また推論アルゴリズムはニューラルネットワークに限らず、画像認識に用いられる様々な機械学習技術を採用できる。
　第１構成例において、情報処理システム１００は内視鏡システム１０の制御装置を兼ねている。即ち、処理部１１０は、内視鏡システム１０各部の制御を行う。例えば、処理部１１０は、撮像タイミング制御、撮像画像に対する画像処理、及び操作入力に応じた各部の制御等を行う。
　図２に、内視鏡システム１０の第２構成例を示す。第２構成例では、内視鏡システム１０は更に制御装置３００を含んでおり、その制御装置３００とは別に情報処理システム１００が設けられた構成となっている。
　制御装置３００は、処理部３１０と記憶部３２０とインターフェース３３０とを含む。処理部３１０は、ＣＰＵ等のプロセッサであり、内視鏡システム１０各部の制御を行う。記憶部３２０は、半導体メモリ等の記憶装置であり、内視鏡システム１０の動作設定情報の記憶、画像データの記録、又は処理部３１０のワーキングメモリとしての動作等を行う。インターフェース３３０は、制御装置３００と情報処理システム１００を通信接続する通信インターフェースである。インターフェース３３０の通信方式は、有線ＬＡＮ又はＵＳＢ等の有線通信、無線ＬＡＮ等の無線通信、或いはインターネットを介したネットワーク通信等である。
　情報処理システム１００は、処理部１１０と記憶部１２０とインターフェース１３０とを含む。情報処理システム１００は、ＰＣ等の情報処理装置であってもよいし、或いは、ネットワーク接続された複数の情報処理装置によって構成されたクラウドシステムであってもよい。
　インターフェース１３０は、インターフェース３３０に通信接続されるインターフェースである。制御装置３００の処理部３１０は、対象画像ＩＭＩＮと倍率変更情報ＳＭＡＧをインターフェース３３０とインターフェース１３０を介して情報処理システム１００の処理部１１０に送信する。処理部１１０は、受信された対象画像ＩＭＩＮと倍率変更情報ＳＭＡＧを用いて検出処理又は診断処理を行い、その結果をインターフェース１３０とインターフェース３３０を介して制御装置３００の処理部３１０に送信する。処理部３１０は、受信した結果と対象画像ＩＭＩＮから表示画像ＩＭＤＳを生成する。
　２．処理部
　図３に、処理部１１０が行う処理の第１例を示す。また、図４に、第１例の処理部１１０が行う処理の説明図を示す。また、図５に、学習装置６００の構成例を示す。
　図３に示すように、スイッチ１１３は、倍率変更情報ＳＭＡＧに応じて通常倍率用検出処理１１１又は拡大倍率用診断処理１１２のいずれかを選択する処理を行う。スイッチ１１３は、倍率変更情報ＳＭＡＧが通常倍率を示す場合には対象画像ＩＭＩＮを通常倍率用検出処理１１１に出力し、倍率変更情報ＳＭＡＧが拡大倍率を示す場合には対象画像ＩＭＩＮを拡大倍率用診断処理１１２に出力する。
　対象画像ＩＭＩＮは撮像部２１０からスイッチ１１３に入力され、倍率変更情報ＳＭＡＧは操作部２２０からスイッチ１１３に入力される。或いは、記憶部１２０が、対象画像ＩＭＩＮと倍率変更情報ＳＭＡＧを一旦記憶し、生体内の撮像が終わった後に、記憶部１２０から対象画像ＩＭＩＮと倍率変更情報ＳＭＡＧがスイッチ１１３に入力されてもよい。例えば、記憶部１２０に動画が記録され、その各フレーム画像に対してメタデータが記録されており、そのメタデータが倍率変更情報ＳＭＡＧを含んでいる。
　通常倍率は、生体内の広い範囲を大まかに観察するときに用いられる倍率であり、いわゆるスクリーニングの際に用いられる倍率である。拡大倍率は、通常倍率より高い倍率であり、生体に近接して生体を詳細に観察するときに用いられる倍率であり、いわゆる拡大観察の際に用いられる倍率である。倍率は、表示画面上における被写体の表示倍率を意味する。例えば、拡大倍率が通常倍率の１００倍であるとき、通常倍率の表示画面上において１ｍｍの被写体は、拡大倍率の表示画面上において１００ｍｍに拡大される。上述したように、倍率は光学的に変更されてもよいし、デジタルズーム等の画像処理によって変更されてもよい。
　通常倍率用検出処理１１１は、第１学習済みモデル１２１を用いた処理であり、対象画像ＩＭＩＮから病変を検出する処理である。第１学習済みモデル１２１がニューラルネットワークである場合、その入力層に対象画像ＩＭＩＮが入力され、ニューラルネットワークが対象画像ＩＭＩＮから病変の位置を検出し、その検出位置と、検出の確からしさを示すスコアとを生成する。ニューラルネットワークの出力層は、スコアが、予め設定された閾値を超える場合、検出位置を検出結果ＤＥＴ１として出力する。
　通常倍率用検出処理１１１は、ディテクションと呼ばれる画像認識処理を行う検出器である。図４に示すように、フレームＦ１、Ｆ２において通常倍率で撮像され、フレームＦ３において拡大倍率で撮像されたとする。フレームＦ１、Ｆ２の画像ＩＭ１、ＩＭ２に対しては、通常倍率用検出処理１１１が適用される。画像ＩＭ１には病変が含まれないので、表示画像ＤＳ１には検出結果は表示されず、画像ＩＭ１がそのまま表示画像ＤＳ１として表示される。画像ＩＭ２には病変ＬＳＡが含まれるので、通常倍率用検出処理１１１は、病変ＬＳＡの位置を示すバウンダリボックスＢＢＸを生成し、そのバウンダリボックスＢＢＸが画像ＩＭ２に重畳されて表示画像ＤＳ２として表示される。バウンダリボックスＢＢＸは、病変ＬＳＡに外接する矩形である。
　第１学習済みモデル１２１は、図５の学習装置６００によって予め学習されている。学習装置６００は、例えばＰＣ等の情報処理装置によって実現され、処理部６１０と記憶部６２０とを含む。処理部６１０はＣＰＵ等のプロセッサであり、記憶部１２０は半導体メモリ又はハードディスクドライブ等の記憶装置である。記憶部６２０は第１学習モデル６２１と第１教師データ６３１とを記憶しており、処理部６１０が第１教師データ６３１を用いて第１学習モデル６２１を学習させることで、第１学習済みモデル１２１を生成する。生成された第１学習済みモデル１２１は、情報処理システム１００の記憶部１２０に転送される。
　第１教師データ６３１は、多数の第１学習用画像６３１ａと、各第１学習用画像６３１ａに付された第１アノテーション６３１ｂと、を含む。第１学習用画像６３１ａは、内視鏡システム１０によって通常倍率で生体内が撮像された画像である。医師等が第１学習用画像６３１ａに対して第１アノテーション６３１ｂを付す。第１アノテーション６３１ｂは、第１学習用画像６３１ａに含まれる病変の位置を示すバウンダリボックスである。
　図３の拡大倍率用診断処理１１２は、第２学習済みモデル１２２を用いた処理であり、対象画像ＩＭＩＮから病変種別を診断する処理である。第２学習済みモデル１２２がニューラルネットワークである場合、その入力層に対象画像ＩＭＩＮが入力され、ニューラルネットワークが対象画像ＩＭＩＮから病変種別を分類し、各種別について、その種別である確率を示すスコアを生成する。ニューラルネットワークの出力層は、スコアが最も高い種別を診断結果ＤＥＴ２として出力する。
　拡大倍率用診断処理１１２は、画像をクラス又はカテゴリに分類する分類器である。図４に示すように、拡大倍率で撮像されたフレームＦ３の画像ＩＭ３に対しては、拡大倍率用診断処理１１２が適用される。画像ＩＭ３は、画像ＩＭ２の病変ＬＳＡが拡大撮影された画像である。拡大倍率用診断処理１１２は、画像ＩＭ３から病変ＬＳＡの種別を分類する。例えば病変ＬＳＡが「タイプ１」と判定されたとすると、その「タイプ１」の文字ＣＬＳが画像ＩＭ３に重畳されて表示画像ＤＳ２として表示される。
　第２学習済みモデル１２２は、図５の学習装置６００によって予め学習されている。記憶部６２０は第２学習モデル６２２と第２教師データ６３２とを記憶しており、処理部６１０が第２教師データ６３２を用いて第２学習モデル６２２を学習させることで、第２学習済みモデル１２２を生成する。生成された第２学習済みモデル１２２は、情報処理システム１００の記憶部１２０に転送される。
　第２教師データ６３２は、多数の第２学習用画像６３２ａと、各第２学習用画像６３２ａに付された第２アノテーション６３２ｂと、を含む。第２学習用画像６３２ａは、内視鏡システム１０によって拡大倍率で生体内が撮像された画像である。医師等が第２学習用画像６３２ａに対して第２アノテーション６３２ｂを付す。第２アノテーション６３２ｂは、第２学習用画像６３２ａに含まれる病変の種別である。
　図３のスイッチ１１４は、倍率変更情報ＳＭＡＧに応じて検出結果ＤＥＴ１又は診断結果ＤＥＴ２のいずれかを選択する処理を行う。スイッチ１１４は、倍率変更情報ＳＭＡＧが通常倍率を示す場合には検出結果ＤＥＴ１を画像認識結果ＤＥＴＱとして表示処理１１６に出力し、倍率変更情報ＳＭＡＧが拡大倍率を示す場合には診断結果ＤＥＴ２を画像認識結果ＤＥＴＱとして表示処理１１６に出力する。
　倍率制御１１５は、倍率変更情報ＳＭＡＧに応じて画像の倍率を制御する処理である。倍率制御１１５は、倍率変更情報ＳＭＡＧが示す倍率で対象画像ＩＭＩＮを拡大処理し、拡大後の画像ＩＭＱを表示処理１１６に出力する。倍率制御１１５は、倍率が１倍の場合には対象画像ＩＭＩＮを画像ＩＭＱとして表示処理１１６に出力する。なお、ここでは画像処理により表示倍率を変更する例を説明したが、撮像部２１０の撮像倍率を光学的に変更してもよい。
　表示処理１１６は、画像ＩＭＱと画像認識結果ＤＥＴＱから表示画像ＩＭＤＳを生成し、その表示画像ＩＭＤＳを表示部４００に出力する。例えば、表示処理１１６は、画像ＩＭＱに画像認識結果ＤＥＴＱをオーバーレイすることで表示画像ＩＭＤＳを生成する。或いは、表示処理１１６は、画像認識結果ＤＥＴＱと共に、その信頼度を表示画像ＩＭＤＳに表示させてもよい。この場合、通常倍率用検出処理１１１は、検出結果と共に、その検出結果のスコアを出力し、拡大倍率用診断処理１１２は、診断結果と共に、その診断結果のスコアを出力する。表示処理１１６は、これらのスコアを信頼度として表示画像ＩＭＤＳに表示させる。
　内視鏡システム１０が例えば消化管用である場合、病変として、消化管粘膜に生じたポリープ、ガン又は炎症性疾患等の様々な病変が想定される。病変の種別は、ポリープ、ガン又は炎症性疾患等の各々を、その下のクラス又はカテゴリに更に区分したものである。具体的には、種別は、微細な構造又は色等の画像上の特徴によって区分可能な類型又は悪性度等である。
　大腸内視鏡を用いたポリープのピットパターン診断を一例として、診断の流れと、病変の種別について説明する。まず、医師は、照明光をＮＢＩ（Narrow Band Imaging）光に設定すると共に画像の倍率を通常倍率に設定し、大腸粘膜においてポリープが疑われる領域を探索する。このとき、処理部１１０は通常倍率用検出処理１１１を行い、ポリープの可能性がある位置をバウンダリボックスＢＢＸにより表示する。
　医師は、画像の倍率を拡大倍率に設定し、ポリープが疑われる領域を拡大表示させ、粘膜の微小血管の走行パターン、腺管開口部の構造、又は粘膜細胞の形状等からポリープの種別を診断する。照明光は、ＮＢＩ（Narrow Band Imaging）光のままである。このとき、処理部１１０は拡大倍率用診断処理１１２を行い、ポリープの種別を表示する。ポリープの種別は、粘膜の微小血管の走行パターン、腺管開口部の構造、又は粘膜細胞の形状等の組織構造、或いは異常組織の到達深度によって区分された類型である。第２学習済みモデル１２２は、このポリープの類型を画像から認識できるように学習されている。
　以上に説明した本実施形態では、情報処理システム１００は記憶部１２０と処理部１１０とを含む。記憶部１２０は、第１学習済みモデル１２１と第２学習済みモデル１２２とを記憶する。処理部１１０は、内視鏡システム１０の撮像部２１０により撮像された対象画像ＩＭＩＮが入力され、第１学習済みモデル１２１に基づく処理により対象画像ＩＭＩＮから病変を検出する検出処理と、第２学習済みモデル１２２に基づく処理により対象画像ＩＭＩＮから病変を診断する診断処理と、を行う。第１学習済みモデル１２１は、通常倍率の第１学習用画像６３１ａを用いて、第１学習用画像６３１ａに対して検出処理を行うように学習された学習済みモデルである。第２学習済みモデル１２２は、通常倍率より高い拡大倍率の第２学習用画像６３２ａを用いて、第２学習用画像６３２ａに対して診断処理を行うように学習された学習済みモデルである。処理部１１０には、対象画像ＩＭＩＮの倍率を変更する内視鏡システム１０の操作部２２０により取得された倍率変更情報ＳＭＡＧが入力される。処理部１１０は、倍率変更情報ＳＭＡＧが通常倍率を示すとき、対象画像ＩＭＩＮに対して検出処理を行い、倍率変更情報ＳＭＡＧが拡大倍率を示すとき、対象画像ＩＭＩＮに対して診断処理を行う。
　本実施形態によれば、内視鏡を用いた観察において、通常倍率による観察と拡大倍率による観察とで、診断支援に用いられる学習済みモデルが切り替えられる。即ち、通常倍率における臓器、組織又は粘膜テクスチャ等の写り方に対応した学習済みモデルと、拡大倍率における臓器、組織又は粘膜テクスチャ等の写り方に対応した学習済みモデルとを用意し、それらを切り替えて用いることが可能となる。これにより、通常倍率による観察と拡大倍率による観察とを組み合わせた様々なタスクに対応可能な、診断支援を行うことができる。
　また本実施形態では、通常倍率の対象画像ＩＭＩＮである通常画像は、白色光、特殊光又は染色の少なくとも１つの第１条件で撮像された画像である。第１学習済みモデル１２１は、第１条件で撮像された第１学習用画像６３１ａを用いて学習される。拡大倍率の対象画像ＩＭＩＮである特殊画像は、特殊光又は染色の少なくとも１つの第２条件で撮像され、通常画像の視野の一部が拡大された画像である。第２学習済みモデル１２２は、第２条件で撮像された第２学習用画像６３２ａを用いて学習される。
　本実施形態によれば、通常倍率において推論対象である対象画像ＩＭＩＮと、第１学習済みモデル１２１の学習に用いられる第１学習用画像６３１ａとが、同じ第１条件で撮像された画像となる。これにより、通常倍率における臓器、組織又は粘膜テクスチャ等の写り方に対応した第１学習済みモデル１２１が生成され、その第１学習済みモデル１２１を用いた検出処理によって、通常倍率における適切な診断支援が可能となる。同様に、拡大倍率において推論対象である対象画像ＩＭＩＮと、第２学習済みモデル１２２の学習に用いられる第２学習用画像６３２ａとが、同じ第２条件で撮像された画像となる。これにより、拡大倍率における臓器、組織又は粘膜テクスチャ等の写り方に対応した第２学習済みモデル１２２が生成され、その第２学習済みモデル１２２を用いた診断処理によって、通常倍率における適切な診断支援が可能となる。
　また本実施形態では、通常倍率の対象画像ＩＭＩＮ及び拡大倍率の対象画像ＩＭＩＮは、特殊光且つ無染色で撮像された画像である。拡大倍率は、表示画面上の観察倍率において、通常倍率の５０倍以上１００倍未満である。
　大腸内視鏡を用いたピットパターン診断において、特殊光が用いられる。また、ピットパターン診断においては、拡大倍率を通常倍率の５０倍以上１００倍未満とすることで、診断に好適なテクスチャ状態の画像が撮像される。本実施形態によれば、大腸内視鏡を用いたピットパターン診断において、通常観察における診断支援、及び拡大観察における診断支援を、適切に提供できる。
　また本実施形態では、特殊光のスペクトルは、３９０ｎｍから４４５ｎｍの帯域に属するピークと、５３０ｎｍから５５０ｎｍの帯域に属するピークとを有する。
　大腸内視鏡を用いたピットパターン診断において、ＮＢＩが用いられる。上記特殊光のスペクトルは、ＮＢＩで用いられる照明光のスペクトルである。本実施形態によれば、ＮＢＩにおいて、通常観察における診断支援、及び拡大観察における診断支援を、適切に提供できる。ＮＢＩを用いることで、病変のテクスチャ的特徴を鮮明に可視化できるため、正確な診断支援を提供できる。
　なお、特殊光は、上記ＮＢＩで用いられる照明光に限定されない。例えば、特殊光は、白色光用レーザと狭帯域光観察用レーザを組み合わせたＬＣＩ（Linked Color Imaging）、或いは２種類のレーザ光の発光比率を調整するＢＬＩ（Blue Light Imaging）等に用いられる照明光であってもよい。
　また本実施形態では、病変は、大腸粘膜のポリープである。病変の種別は、ポリープの粘膜における微小血管のピットパターンによって分類されるポリープの種別である。
　本実施形態によれば、通常倍率において大腸粘膜のポリープの位置を検出する検出処理が行われ、拡大倍率において、そのポリープの種別を診断する診断処理が行われる。これにより、大腸内視鏡を用いたピットパターン診断において、通常観察における診断支援、及び拡大観察における診断支援を、適切に提供できる。
　また本実施形態では、第１学習済みモデル１２１は、第１学習用画像６３１ａにおける病変の位置を示す第１アノテーション６３１ｂを用いて、第１アノテーション６３１ｂが示す病変の位置を第１学習用画像６３１ａから検出するように学習される。処理部１１０は、検出処理において、対象画像ＩＭＩＮから病変の位置を検出する。第２学習済みモデル１２２は、第２学習用画像６３２ａにおける病変の種別を示す第２アノテーション６３２ｂを用いて、第２アノテーション６３２ｂが示す病変の種別を第２学習用画像６３２ａから検出するように学習される。処理部１１０は、診断処理において、対象画像ＩＭＩＮから病変の種別を診断する。
　本実施形態によれば、通常倍率の画像から病変位置を検出するための第１学習済みモデル１２１と、拡大倍率の画像から病変種別を診断するための第２学習済みモデル１２２とが生成される。これにより、第１学習済みモデル１２１を用いた処理により、通常倍率において対象画像ＩＭＩＮから病変位置を検出する検出処理が実現され、第２学習済みモデル１２２を用いた処理により、拡大倍率において対象画像ＩＭＩＮから病変種別を診断する診断処理が実現される。
　また本実施形態では、処理部１１０は、診断処理において診断結果と共に診断結果の信頼度を取得し、診断結果と信頼度を表示部４００に表示する処理を行う。
　信頼度は、診断結果の確からしさを示す指標であり、例えばニューラルネットワークが出力するスコアである。本実施形態によれば、診断結果と信頼度が診断支援情報としてユーザに提示されることで、信頼度に基づいてユーザが診断結果を評価できる。これにより、ユーザが、より適切な診断を行いやすくなる。
　３．通常倍率用検出処理と拡大倍率用診断処理の詳細例
　図６に、通常倍率用検出処理１１１の第１詳細例を示す。
　この例では、操作部２２０により設定された観察モードを示す観察モード情報ＳＬＧＴが、処理部１１０に入力される。リアルタイムに画像認識を行う場合、観察モード情報ＳＬＧＴは操作部２２０から処理部１１０に入力される。或いは、生体内の撮像が終わった後に、事後的に画像認識を行う場合、記憶部１２０が対象画像ＩＭＩＮと観察モード情報ＳＬＧＴを一旦記録し、その記録された対象画像ＩＭＩＮと観察モード情報ＳＬＧＴが処理部１１０に入力される。例えば、記憶部１２０に動画が記録され、その各フレーム画像に対してメタデータが記録されており、そのメタデータが観察モード情報ＳＬＧＴを含んでいる。
　観察モードは、通常観察モードと特殊観察モードがあり、照明光の種類又は染色の有無を示す。通常観察モードは、白色光及び無染色で生体内が撮像されるモードである。通常観察モードで撮像された画像を通常画像と呼ぶこととする。特殊観察モードは、白色光及び染色、特殊光及び無染色、又は特殊光及び染色で生体内が撮像されるモードである。特殊観察モードで撮像された画像を特殊画像と呼ぶこととする。
　スイッチ１６３は、観察モード情報ＳＬＧＴに応じて検出器１６１ａ又は検出器１６１ｂのいずれかを選択する処理を行う。スイッチ１６３は、観察モード情報ＳＬＧＴが通常観察を示す場合には対象画像ＩＭＩＮを検出器１６１ａに出力する。この場合、対象画像ＩＭＩＮは通常画像である。観察モード情報ＳＬＧＴが特殊観察を示す場合には、対象画像ＩＭＩＮを検出器１６１ｂに出力する。この場合、対象画像ＩＭＩＮは特殊画像である。
　検出器１６１ａは、通常画像用第１学習済みモデル１２１ａを用いた処理により、通常画像から病変を検出し、その検出結果ＤＥＴ１ａを出力する。検出器１６１ｂは、特殊画像用第１学習済みモデル１２１ｂを用いた処理により、特殊画像から病変を検出し、その検出結果ＤＥＴ１ｂを出力する。
　通常画像用第１学習済みモデル１２１ａと特殊画像用第１学習済みモデル１２１ｂは、第１学習済みモデル１２１に含まれる別個の学習済みモデルであり、学習装置により予め学習される。通常画像用第１学習済みモデル１２１ａは、通常観察モードで撮像された第１学習用通常画像と、それに付されたアノテーションとが教師データとして入力され、第１学習用通常画像から病変を検出できるように学習される。特殊画像用第１学習済みモデル１２１ｂは、特殊観察モードで撮像された第１学習用特殊画像と、それに付されたアノテーションとが教師データとして入力され、第１学習用特殊画像から病変を検出できるように学習される。
　スイッチ１６４は、観察モード情報ＳＬＧＴに応じて検出結果ＤＥＴ１ａ又は検出結果ＤＥＴ１ｂのいずれかを選択する処理を行う。スイッチ１６４は、観察モード情報ＳＬＧＴが通常観察モードを示す場合には、検出結果ＤＥＴ１ａを検出結果ＤＥＴ１としてスイッチ１１４に出力し、観察モード情報ＳＬＧＴが特殊観察モードを示す場合には、検出結果ＤＥＴ１ｂを検出結果ＤＥＴ１としてスイッチ１１４に出力する。
　なお、図６には、通常画像用と特殊画像用に別個の検出器を設ける例を示したが、通常画像と特殊画像に対して１つの検出器で検出処理を行ってもよい。対象画像ＩＭＩＮが通常画像又は特殊画像のいずれであっても、対象画像ＩＭＩＮは検出器に入力され、検出器は、第１学習済みモデル１２１に基づく処理により対象画像ＩＭＩＮから病変を検出する。この場合、第１学習済みモデル１２１は、通常画像用と特殊画像用に分かれておらず１つの学習済みモデルである。第１学習済みモデル１２１は、通常観察モードで撮像された第１学習用通常画像と、それに付されたアノテーションと、特殊観察モードで撮像された第１学習用特殊画像と、それに付されたアノテーションとが教師データとして入力され、第１学習用通常画像及び第１学習用特殊画像から病変を検出できるように学習される。
　以上に説明した本実施形態では、対象画像ＩＭＩＮは、白色光で撮像された通常画像、又は、特殊光又は染色の少なくとも１つで撮像された特殊画像である。第１学習用画像６３１ａは、白色光で撮像された第１学習用通常画像と、特殊光又は染色の少なくとも１つで撮像された第１学習用特殊画像と、を含む。第１学習済みモデル１２１は、第１学習用通常画像を用いて学習された通常画像用第１学習済みモデル１２１ａと、第１学習用特殊画像を用いて学習された特殊画像用第１学習済みモデル１２１ｂと、を含む。処理部１１０は、通常画像が入力されたとき、通常画像用第１学習済みモデル１２１ａに基づく処理により対象画像ＩＭＩＮから病変を検出し、特殊画像が入力されたとき、特殊画像用第１学習済みモデル１２１ｂに基づく処理により対象画像ＩＭＩＮから病変を検出する。
　本実施形態によれば、通常画像と特殊画像とで、検出処理に用いられる学習済みモデルが切り替えられる。即ち、通常画像における臓器、組織又は粘膜テクスチャ等の写り方に対応した学習済みモデルと、特殊画像における臓器、組織又は粘膜テクスチャ等の写り方に対応した学習済みモデルとを用意し、それらを切り替えて検出処理に用いることが可能となる。これにより、通常画像による観察と特殊画像による観察とを組み合わせた様々なタスクに対応可能な、診断支援を行うことができる。
　また本実施形態では、第１学習済みモデル１２１は、第１学習用通常画像及び第１学習用特殊画像を用いて学習されてもよい。
　本実施形態によれば、通常画像用第１学習済みモデル１２１ａと特殊画像用第１学習済みモデル１２１ｂという別個の学習済みモデルを設けずに、１つの学習済みモデルによって、通常画像と特殊画像に対する検出処理が実現される。
　図７に、通常倍率用検出処理１１１の第２詳細例を示す。また、図８に、第２詳細例の通常倍率用検出処理１１１が行う処理の説明図を示す。図７に示すように、第２詳細例では、検出器１６１ａ、１６１ｂの前段に分類器１６３ａ、１６３ｂが設けられ、分類器１６３ａ、１６３ｂによる分類結果に基づいて検出器１６１ａ、１６１ｂの動作が調整される。
　スイッチ１６５は、観察モード情報ＳＬＧＴに応じて分類器１６３ａ及び検出器１６１ａ、又は分類器１６３ｂ及び検出器１６１ｂのいずれかを選択する処理を行う。スイッチ１６３は、観察モード情報ＳＬＧＴが通常観察を示す場合には対象画像ＩＭＩＮを分類器１６３ａ及び検出器１６１ａに出力する。観察モード情報ＳＬＧＴが特殊観察を示す場合には、対象画像ＩＭＩＮを分類器１６３ｂ及び検出器１６１ｂに出力する。
　分類器１６３ａは、通常画像用第３学習済みモデル１２３ａを用いた処理により、通常画像に対する分類処理を行い、その分類結果ＤＥＴ３ａを出力する。分類器１６３ｂは、特殊画像用第３学習済みモデル１２３ｂを用いた処理により、特殊画像に対する分類処理を行い、その分類結果ＤＥＴ３ｂを出力する。通常画像用第３学習済みモデル１２３ａと特殊画像用第３学習済みモデル１２３ｂは、第３学習済みモデルとして情報処理システム１００の記憶部１２０に記憶されている。ここでの分類処理は、入力される対象画像ＩＭＩＮが、病変を含む画像であるか、病変を含まない画像であるかを判定する処理である。分類処理において、病変を含む画像である確からしさを示すスコアが求められ、そのスコアが閾値以上である場合に、病変を含む画像であると判定される。
　通常画像用第３学習済みモデル１２３ａと特殊画像用第３学習済みモデル１２３ｂは別個の学習済みモデルであり、学習装置により予め学習される。通常画像用第３学習済みモデル１２３ａは、通常観察モードで撮像された第３学習用通常画像と、それに付されたアノテーションとが教師データとして入力される。アノテーションは、第３学習用通常画像が病変を含む画像であるか否かを示す。通常画像用第３学習済みモデル１２３ａは、上記教師データを用いて、第３学習用通常画像が病変を含む画像であるか否かを判定できるように学習される。特殊画像用第３学習済みモデル１２３ｂは、特殊観察モードで撮像された第３学習用特殊画像と、それに付されたアノテーションとが教師データとして入力される。アノテーションは、第３学習用特殊画像が病変を含む画像であるか否かを示す。特殊画像用第３学習済みモデル１２３ｂは、上記教師データを用いて、第３学習用特殊画像から病変を検出できるように学習される。
　検出器１６１ａは、分類結果ＤＥＴ３ａに応じて検出処理を調整する。図８に示すように、フレームＦ１において、分類器１６３ａが、対象画像ＩＭＩＮに病変が含まれないと判定したとする。検出器１６１ａは、対象画像ＩＭＩＮが病変を含まないことを示す分類結果ＤＥＴ３ａが入力された場合には、対象画像ＩＭＩＮから病変を検出する処理を行わない。フレームＦ２において、分類器１６３ａが、対象画像ＩＭＩＮに病変ＬＳＡが含まれると判定したとする。検出器１６１ａは、対象画像ＩＭＩＮが病変を含むことを示す分類結果ＤＥＴ３ａが入力された場合には、対象画像ＩＭＩＮから病変を検出する処理を行う。検出器１６１ａは、病変ＬＳＡの位置を示すバウンダリボックスＢＢＸを生成し、そのバウンダリボックスＢＢＸが画像に重畳されて表示される。
　なお、図７には、通常画像用と特殊画像用に２組の分類器と検出器を設ける例を示したが、通常画像と特殊画像に対して１組の分類器と検出器で処理を行ってもよい。対象画像ＩＭＩＮが通常画像又は特殊画像のいずれであっても、対象画像ＩＭＩＮは分類器と検出器に入力される。分類器は、第３学習済みモデルに基づく処理により、対象画像ＩＭＩＮが病変を含む画像であるか否かを判定する。この場合、第３学習済みモデルは、通常画像用と特殊画像用に分かれておらず１つの学習済みモデルである。第３学習済みモデルは、通常観察モードで撮像された第３学習用通常画像と、それに付されたアノテーションと、特殊観察モードで撮像された第３学習用特殊画像と、それに付されたアノテーションとが教師データとして入力され、第３学習用通常画像及び第３学習用特殊画像が画像を含む画像であるか否かを判定できるように学習される。検出器は、第１学習済みモデルに基づく処理により対象画像ＩＭＩＮに対する検出処理を行う。このとき、検出器は、分類結果に応じて、対象画像ＩＭＩＮに対する検出処理を調整する。
　以上に説明した本実施形態では、記憶部６２０は、第３学習済みモデルを記憶する。第３学習済みモデルは、通常倍率の第３学習用画像を用いて、第３学習用画像が病変を含む画像であるか否かを分類するように学習された学習済みモデルである。処理部１１０は、倍率変更情報ＳＭＡＧが通常倍率を示すとき、第３学習済みモデルに基づく処理により、対象画像ＩＭＩＮが病変を含む画像であるか否かを分類する。処理部１１０は、対象画像ＩＭＩＮが病変を含む画像であると判定した場合、対象画像ＩＭＩＮに対して検出処理を行う。なお、図７では、通常画像用第３学習済みモデル１２３ａと特殊画像用第３学習済みモデル１２３ｂが第３学習済みモデルに対応する。或いは、通常画像用と特殊画像用に分けずに１つの学習済みモデルで第３学習済みモデルが構成されてもよい。
　本実施形態によれば、第３学習済みモデルを用いることで、通常倍率の対象画像ＩＭＩＮが、病変を含む画像であるか否かの分類を、実行できる。これにより、対象画像ＩＭＩＮに対する検出処理を、分類結果に応じて調整できる。例えば、対象画像ＩＭＩＮが病変を含むと判定されたとき、その対象画像ＩＭＩＮに対して検出処理が実行される。
　図９に、拡大倍率用診断処理１１２の詳細例を示す。
　スイッチ１６５は、観察モード情報ＳＬＧＴに応じて分類器１６２ａ又は分類器１６２ｂのいずれかを選択する処理を行う。スイッチ１６５は、観察モード情報ＳＬＧＴが通常観察を示す場合には対象画像ＩＭＩＮを分類器１６２ａに出力する。観察モード情報ＳＬＧＴが特殊観察を示す場合には、対象画像ＩＭＩＮを分類器１６２ｂに出力する。
　分類器１６２ａは、通常画像用第２学習済みモデル１２２ａを用いた処理により、通常画像から病変を診断し、その診断結果ＤＥＴ２ａを出力する。分類器１６２ａは、特殊画像用第２学習済みモデル１２２ｂを用いた処理により、特殊画像から病変を診断し、その診断結果ＤＥＴ２ｂを出力する。
　通常画像用第２学習済みモデル１２２ａと特殊画像用第２学習済みモデル１２２ｂは、第２学習済みモデル１２２に含まれる別個の学習済みモデルであり、学習装置により予め学習される。通常画像用第２学習済みモデル１２２ａは、通常観察モードで撮像された第２学習用通常画像と、それに付されたアノテーションとが教師データとして入力され、第２学習用通常画像から病変を診断できるように学習される。特殊画像用第２学習済みモデル１２２ｂは、特殊観察モードで撮像された第２学習用特殊画像と、それに付されたアノテーションとが教師データとして入力され、第２学習用特殊画像から病変を診断できるように学習される。
　スイッチ１６６は、観察モード情報ＳＬＧＴに応じて診断結果ＤＥＴ２ａ又は診断結果ＤＥＴ２ｂのいずれかを選択する処理を行う。スイッチ１６６は、観察モード情報ＳＬＧＴが通常観察モードを示す場合には、診断結果ＤＥＴ２ａを診断結果ＤＥＴ２としてスイッチ１１４に出力し、観察モード情報ＳＬＧＴが特殊観察モードを示す場合には、診断結果ＤＥＴ２ｂを診断結果ＤＥＴ２としてスイッチ１１４に出力する。
　なお、図９には、通常画像用と特殊画像用に別個の分類器を設ける例を示したが、通常画像と特殊画像に対して１つの分類器で診断処理を行ってもよい。対象画像ＩＭＩＮが通常画像又は特殊画像のいずれであっても、対象画像ＩＭＩＮは分類器に入力され、分類器は、第２学習済みモデル１２２に基づく処理により対象画像ＩＭＩＮから病変を診断する。この場合、第２学習済みモデル１２２は、通常画像用と特殊画像用に分かれておらず１つの学習済みモデルである。第２学習済みモデル１２２は、通常観察モードで撮像された第２学習用通常画像と、それに付されたアノテーションと、特殊観察モードで撮像された第２学習用特殊画像と、それに付されたアノテーションとが教師データとして入力され、第２学習用通常画像及び第２学習用特殊画像から病変を検出できるように学習される。
　以上に説明した本実施形態では、対象画像ＩＭＩＮは、白色光で撮像された通常画像、又は特殊光又は染色の少なくとも１つで撮像された特殊画像である。第２学習用画像６３２ａは、白色光で撮像された第２学習用通常画像と、特殊光又は染色の前記少なくとも１つで撮像された第２学習用特殊画像と、を含む。第２学習済みモデル１２２は、第２学習用通常画像を用いて学習された通常画像用第２学習済みモデル１２２ａと、第２学習用特殊画像を用いて学習された特殊画像用第２学習済みモデル１２２ｂと、を含む。処理部１１０は、通常画像が入力されたとき、通常画像用第２学習済みモデル１２２ａに基づく処理により対象画像ＩＭＩＮから病変を診断し、特殊画像が入力されたとき、特殊画像用第２学習済みモデル１２２ｂに基づく処理により対象画像ＩＭＩＮから病変を診断する。
　本実施形態によれば、通常画像と特殊画像とで、診断処理に用いられる学習済みモデルが切り替えられる。即ち、通常画像における臓器、組織又は粘膜テクスチャ等の写り方に対応した学習済みモデルと、特殊画像における臓器、組織又は粘膜テクスチャ等の写り方に対応した学習済みモデルとを用意し、それらを切り替えて診断処理に用いることが可能となる。これにより、通常画像による観察と特殊画像による観察とを組み合わせた様々なタスクに対応可能な、診断支援を行うことができる。
　また本実施形態では、第２学習済みモデルは、第２学習用通常画像及び第２学習用特殊画像を用いて学習されてもよい。
　本実施形態によれば、通常画像用第２学習済みモデル１２２ａと特殊画像用第２学習済みモデル１２２ｂという別個の学習済みモデルを設けずに、１つの学習済みモデルによって、通常画像と特殊画像に対する診断処理が実現される。
　図１０に処理部１１０が行う処理のフローチャートを示す。
　ステップＳ１において、処理部１１０に対象画像ＩＭＩＮが入力される。ステップＳ２において、処理部１１０は、対象画像ＩＭＩＮの倍率が通常倍率であるか拡大倍率であるかを、倍率変更情報ＳＭＡＧに基づいて判定する。
　ステップＳ２において通常倍率と判定されたとき、ステップＳ３において、処理部１１０は、分類器１６３ａ又は分類器１６３ｂにより、対象画像ＩＭＩＮが病変を含む画像であるか否かを判定する。ステップＳ４において、処理部１１０は、検出器１６１ａ又は検出器１６１ｂにより、対象画像ＩＭＩＮから病変を検出する。
　ステップＳ２において拡大倍率と判定されたとき、ステップＳ５において、処理部１１０は、分類器１６２ａ又は分類器１６２ｂにより、対象画像ＩＭＩＮから病変を診断する。
　ステップＳ６において、処理部１１０は、ステップＳ４の検出結果又はステップＳ５の診断結果を対象画像ＩＭＩＮに重畳することで表示画像ＩＭＤＳを生成し、その表示画像ＩＭＤＳを表示部４００に出力する。
　なお、以上では通常倍率用検出処理１１１において分類と検出を直列に実行する例を説明したが、図１１に示すように、通常倍率用検出処理１１１において分類と検出を平行に実行してもよい。図１１のステップＳ２において通常倍率と判定されたとき、処理部１１０は、ステップＳ３における分類処理と、ステップＳ４における検出処理とを並列処理する。即ち、ステップＳ４の検出処理は、ステップＳ３の分類処理の結果に依らずに実行される。ステップＳ６において、処理部１１０は、ステップＳ３の分類処理の結果に応じて、ステップＳ４の検出処理の結果を調整して表示を行う。即ち、処理部１１０は、ステップＳ３において、対象画像ＩＭＩＮが病変を含むと判定したとき、ステップＳ４の検出処理により生成されたバウンダリボックスを表示する。処理部１１０は、ステップＳ３において、対象画像ＩＭＩＮが病変を含まないと判定したとき、ステップＳ４の検出処理により生成されたバウンダリボックスを表示しない。
　以上、本実施形態およびその変形例について説明したが、本開示は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、本開示の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
１０　内視鏡システム、１００　情報処理システム、１１０　処理部、１１１　通常倍率用検出処理、１１２　拡大倍率用診断処理、１１３，１１４　スイッチ、１１５　倍率制御、１１６　表示処理、１２０　記憶部、１２１　第１学習済みモデル、１２１ａ　通常画像用第１学習済みモデル、１２１ｂ　特殊画像用第１学習済みモデル、１２２　第２学習済みモデル、１２２ａ　通常画像用第２学習済みモデル、１２２ｂ　特殊画像用第２学習済みモデル、１２３ａ　通常画像用第３学習済みモデル、１２３ｂ　特殊画像用第３学習済みモデル、１３０　インターフェース、１６１ａ，１６１ｂ　検出器、１６２ａ，１６２ｂ　分類器、１６３　スイッチ、１６３ａ，１６３ｂ　分類器、１６４，１６５，１６６　スイッチ、２００　スコープ、２１０　撮像部、２２０　操作部、３００　制御装置、３１０　処理部、３２０　記憶部、３３０　インターフェース、４００　表示部、６００　学習装置、６１０　処理部、６２０　記憶部、６２１　第１学習モデル、６２２　第２学習モデル、６３１　第１教師データ、６３１ａ　第１学習用画像、６３１ｂ　第１アノテーション、６３２　第２教師データ、６３２ａ　第２学習用画像、６３２ｂ　第２アノテーション、ＩＭＩＮ　対象画像、ＬＳＡ　病変、ＳＬＧＴ　観察モード情報、ＳＭＡＧ　倍率変更情報

Claims (14)

  1. 　第１学習済みモデルと第２学習済みモデルとを記憶する記憶部と、
    　内視鏡システムの撮像部により撮像された対象画像が入力され、前記第１学習済みモデルに基づく処理により前記対象画像から病変を検出する検出処理と、前記第２学習済みモデルに基づく処理により前記対象画像から前記病変を診断する診断処理と、を行う処理部と、
    　を含み、
    　前記第１学習済みモデルは、通常倍率の第１学習用画像を用いて、前記第１学習用画像に対して前記検出処理を行うように学習された学習済みモデルであり、
    　前記第２学習済みモデルは、前記通常倍率より高い拡大倍率の第２学習用画像を用いて、前記第２学習用画像に対して前記診断処理を行うように学習された学習済みモデルであり、
    　前記処理部は、前記対象画像の倍率を変更する前記内視鏡システムの操作部により取得された倍率変更情報が入力され、前記倍率変更情報が前記通常倍率を示すとき、前記対象画像に対して前記検出処理を行い、前記倍率変更情報が前記拡大倍率を示すとき、前記対象画像に対して前記診断処理を行うことを特徴とする情報処理システム。
  2. 　請求項１において、
    　前記通常倍率の前記対象画像である通常画像は、白色光、特殊光又は染色の少なくとも１つの第１条件で撮像された画像であり、
    　前記第１学習済みモデルは、前記第１条件で撮像された前記第１学習用画像を用いて学習され、
    　前記拡大倍率の前記対象画像である特殊画像は、特殊光又は染色の少なくとも１つの第２条件で撮像され、前記通常画像の視野の一部が拡大された画像であり、
    　前記第２学習済みモデルは、前記第２条件で撮像された前記第２学習用画像を用いて学習されることを特徴とする情報処理システム。
  3. 　請求項１において、
    　前記通常倍率の前記対象画像及び前記拡大倍率の前記対象画像は、特殊光且つ無染色で撮像された画像であり、
    　前記拡大倍率は、表示画面上の観察倍率において、前記通常倍率の５０倍以上１００倍未満であることを特徴とする情報処理システム。
  4. 　請求項３において、
    　前記特殊光のスペクトルは、３９０ｎｍから４４５ｎｍの帯域に属するピークと、５３０ｎｍから５５０ｎｍの帯域に属するピークとを有することを特徴とする情報処理システム。
  5. 　請求項３において、
    　前記病変は、大腸粘膜のポリープであり、
    　前記種別は、前記ポリープの粘膜における微小血管のピットパターンによって分類される前記ポリープの種別であることを特徴とする情報処理システム。
  6. 　請求項１において、
    　前記第１学習済みモデルは、前記第１学習用画像における前記病変の位置を示す第１アノテーションを用いて、前記第１アノテーションが示す前記病変の位置を前記第１学習用画像から検出するように学習され、
    　前記処理部は、前記検出処理において、前記対象画像から前記病変の位置を検出し、
    　前記第２学習済みモデルは、前記第２学習用画像における前記病変の種別を示す第２アノテーションを用いて、前記第２アノテーションが示す前記病変の種別を前記第２学習用画像から検出するように学習され、
    　前記処理部は、前記診断処理において、前記対象画像から前記病変の種別を診断することを特徴とする情報処理システム。
  7. 　請求項６において、
    　前記処理部は、前記診断処理において診断結果と共に前記診断結果の信頼度を取得し、前記診断結果と前記信頼度を表示部に表示する処理を行うことを特徴とする情報処理システム。
  8. 　請求項１において、
    　前記対象画像は、白色光で撮像された通常画像、又は、特殊光又は染色の少なくとも１つで撮像された特殊画像であり、
    　前記第１学習用画像は、前記白色光で撮像された第１学習用通常画像と、前記特殊光又は前記染色の前記少なくとも１つで撮像された第１学習用特殊画像と、を含み、
    　前記第１学習済みモデルは、前記第１学習用通常画像を用いて学習された通常画像用第１学習済みモデルと、前記第１学習用特殊画像を用いて学習された特殊画像用第１学習済みモデルと、を含み、
    　前記処理部は、前記通常画像が入力されたとき、前記通常画像用第１学習済みモデルに基づく処理により前記対象画像から前記病変を検出し、前記特殊画像が入力されたとき、前記特殊画像用第１学習済みモデルに基づく処理により前記対象画像から前記病変を検出することを特徴とする情報処理システム。
  9. 　請求項１において、
    　前記対象画像は、白色光で撮像された通常画像、又は特殊光又は染色の少なくとも１つで撮像された特殊画像であり、
    　前記第１学習用画像は、前記白色光で撮像された第１学習用通常画像と、前記特殊光又は前記染色の前記少なくとも１つで撮像された第１学習用特殊画像と、を含み、
    　前記第１学習済みモデルは、前記第１学習用通常画像及び前記第１学習用特殊画像を用いて学習されることを特徴とする情報処理システム。
  10. 　請求項１において、
    　前記対象画像は、白色光で撮像された通常画像、又は特殊光又は染色の少なくとも１つで撮像された特殊画像であり、
    　前記第２学習用画像は、前記白色光で撮像された第２学習用通常画像と、前記特殊光又は前記染色の前記少なくとも１つで撮像された第２学習用特殊画像と、を含み、
    　前記第２学習済みモデルは、前記第２学習用通常画像を用いて学習された通常画像用第２学習済みモデルと、前記第２学習用特殊画像を用いて学習された特殊画像用第２学習済みモデルと、を含み、
    　前記処理部は、前記通常画像が入力されたとき、前記通常画像用第２学習済みモデルに基づく処理により前記対象画像から前記病変を診断し、前記特殊画像が入力されたとき、前記特殊画像用第２学習済みモデルに基づく処理により前記対象画像から前記病変を診断することを特徴とする情報処理システム。
  11. 　請求項１において、
    　前記対象画像は、白色光で撮像された通常画像、又は特殊光又は染色の前記少なくとも１つで撮像された特殊画像であり、
    　前記第２学習用画像は、前記白色光で撮像された第２学習用通常画像と、前記特殊光又は前記染色の前記少なくとも１つで撮像された第２学習用特殊画像と、を含み、
    　前記第２学習済みモデルは、前記第２学習用通常画像及び前記第２学習用特殊画像を用いて学習されることを特徴とする情報処理システム。
  12. 　請求項１において、
    　前記記憶部は、第３学習済みモデルを記憶し、
    　前記第３学習済みモデルは、前記通常倍率の第３学習用画像を用いて、前記第３学習用画像が前記病変を含む画像であるか否かを分類するように学習された学習済みモデルであり、
    　前記処理部は、前記倍率変更情報が前記通常倍率を示すとき、前記第３学習済みモデルに基づく処理により、前記対象画像が前記病変を含む画像であるか否かを分類し、前記対象画像が前記病変を含む画像であると判定した場合、前記対象画像に対して前記検出処理を行うことを特徴とする情報処理システム。
  13. 　請求項１に記載された情報処理システムと、
    　前記撮像部と、
    　前記操作部と、
    　を含むことを特徴とする内視鏡システム。
  14. 　内視鏡システムの撮像部により撮像された対象画像と、前記対象画像の倍率を変更する前記内視鏡システムの操作部により取得された倍率変更情報とが入力され、
    　前記倍率変更情報が通常倍率を示すとき、前記通常倍率の第１学習用画像を用いて前記第１学習用画像から病変を検出するように学習された第１学習済みモデルに基づく処理により、前記対象画像から前記病変を検出する検出処理を行い、
    　前記倍率変更情報が、前記通常倍率より高い拡大倍率を示すとき、前記拡大倍率の第２学習用画像を用いて前記第２学習用画像から前記病変を診断するように学習された第２学習済みモデルに基づく処理により、前記対象画像から前記病変を診断する診断処理を行うことを特徴とする情報処理方法。
PCT/JP2020/041659 2020-11-09 2020-11-09 情報処理システム、内視鏡システム及び情報処理方法 WO2022097294A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2020/041659 WO2022097294A1 (ja) 2020-11-09 2020-11-09 情報処理システム、内視鏡システム及び情報処理方法
US18/140,106 US20230260117A1 (en) 2020-11-09 2023-04-27 Information processing system, endoscope system, and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/041659 WO2022097294A1 (ja) 2020-11-09 2020-11-09 情報処理システム、内視鏡システム及び情報処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/140,106 Continuation US20230260117A1 (en) 2020-11-09 2023-04-27 Information processing system, endoscope system, and information processing method

Publications (1)

Publication Number Publication Date
WO2022097294A1 true WO2022097294A1 (ja) 2022-05-12

Family

ID=81457671

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/041659 WO2022097294A1 (ja) 2020-11-09 2020-11-09 情報処理システム、内視鏡システム及び情報処理方法

Country Status (2)

Country Link
US (1) US20230260117A1 (ja)
WO (1) WO2022097294A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017002184A1 (ja) * 2015-06-29 2017-01-05 オリンパス株式会社 画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラム
WO2018020558A1 (ja) * 2016-07-25 2018-02-01 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
WO2018105062A1 (ja) * 2016-12-07 2018-06-14 オリンパス株式会社 画像処理装置及び画像処理方法
WO2018105063A1 (ja) * 2016-12-07 2018-06-14 オリンパス株式会社 画像処理装置
WO2018159461A1 (ja) * 2017-03-03 2018-09-07 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2020036121A1 (ja) * 2018-08-17 2020-02-20 富士フイルム株式会社 内視鏡システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017002184A1 (ja) * 2015-06-29 2017-01-05 オリンパス株式会社 画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラム
WO2018020558A1 (ja) * 2016-07-25 2018-02-01 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
WO2018105062A1 (ja) * 2016-12-07 2018-06-14 オリンパス株式会社 画像処理装置及び画像処理方法
WO2018105063A1 (ja) * 2016-12-07 2018-06-14 オリンパス株式会社 画像処理装置
WO2018159461A1 (ja) * 2017-03-03 2018-09-07 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2020036121A1 (ja) * 2018-08-17 2020-02-20 富士フイルム株式会社 内視鏡システム

Also Published As

Publication number Publication date
US20230260117A1 (en) 2023-08-17

Similar Documents

Publication Publication Date Title
JP6657480B2 (ja) 画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム
JP7346285B2 (ja) 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム
WO2023103467A1 (zh) 图像处理方法、装置及设备
WO2018105062A1 (ja) 画像処理装置及び画像処理方法
JPWO2018159363A1 (ja) 内視鏡システム及びその作動方法
WO2020162275A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理方法
WO2006087981A1 (ja) 医用画像処理装置、管腔画像処理装置、管腔画像処理方法及びそれらのためのプログラム
JP7278202B2 (ja) 画像学習装置、画像学習方法、ニューラルネットワーク、及び画像分類装置
JP6883662B2 (ja) 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法
CN104203075B (zh) 医疗用图像处理装置
WO2020008834A1 (ja) 画像処理装置、方法及び内視鏡システム
JPWO2019220859A1 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
WO2020054543A1 (ja) 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
WO2021029292A1 (ja) 画像診断支援装置、内視鏡システム、画像診断支援方法、及び画像診断支援プログラム
WO2021229684A1 (ja) 画像処理システム、内視鏡システム、画像処理方法及び学習方法
CN114372951A (zh) 基于图像分割卷积神经网络的鼻咽癌定位分割方法和系统
WO2021140600A1 (ja) 画像処理システム、内視鏡システム及び画像処理方法
WO2020170809A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理方法
JP2020141995A (ja) 内視鏡画像学習装置、方法及びプログラム、内視鏡画像認識装置
WO2022097294A1 (ja) 情報処理システム、内視鏡システム及び情報処理方法
JP2022050738A (ja) スリットランプ顕微鏡システム
US20220361739A1 (en) Image processing apparatus, image processing method, and endoscope apparatus
WO2022228396A1 (zh) 内窥镜多光谱图像处理系统及处理和训练方法
JP2022035168A (ja) スリットランプ顕微鏡システム
CN116681681B (zh) 内窥镜图像的处理方法、装置、用户设备及介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20960846

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20960846

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP