WO2024084578A1 - 画像処理装置、画像処理方法及び記憶媒体 - Google Patents

画像処理装置、画像処理方法及び記憶媒体 Download PDF

Info

Publication number
WO2024084578A1
WO2024084578A1 PCT/JP2022/038743 JP2022038743W WO2024084578A1 WO 2024084578 A1 WO2024084578 A1 WO 2024084578A1 JP 2022038743 W JP2022038743 W JP 2022038743W WO 2024084578 A1 WO2024084578 A1 WO 2024084578A1
Authority
WO
WIPO (PCT)
Prior art keywords
inference
image
lesion
processing device
image processing
Prior art date
Application number
PCT/JP2022/038743
Other languages
English (en)
French (fr)
Inventor
雅弘 西光
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2022/038743 priority Critical patent/WO2024084578A1/ja
Priority to PCT/JP2023/031838 priority patent/WO2024084838A1/ja
Priority to US18/410,187 priority patent/US20240161283A1/en
Publication of WO2024084578A1 publication Critical patent/WO2024084578A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Definitions

  • This disclosure relates to the technical fields of image processing devices, image processing methods, and storage media that process images acquired during endoscopic examinations.
  • Patent Document 1 discloses an endoscopic examination system that detects an area of interest based on an endoscopic image and an area of interest detection threshold, and determines whether the area of interest is a flat lesion or a raised lesion.
  • endoscopic images may contain a wide variety of lesions, and the environments in which endoscopic images are taken are also diverse, making it very difficult to accurately detect the lesion area. Therefore, even doctors may not agree on the lesion area that is a candidate for biopsy.
  • one of the objectives of the present disclosure is to provide an image processing device, an image processing method, and a storage medium that are capable of accurately detecting an area of interest contained in an endoscopic image.
  • One aspect of the image processing device is An acquisition means for acquiring an endoscopic image of a subject; an inference means for generating a plurality of inference results related to the region of interest of the subject in the endoscopic image based on the endoscopic image; An integration means for integrating the plurality of inference results;
  • the image processing device has the following features.
  • One aspect of the image processing method includes: The computer An endoscopic image of the subject is acquired, generating a plurality of inference results regarding a region of interest of the subject in the endoscopic image based on the endoscopic image; Integrating the multiple inference results; An image processing method.
  • One aspect of the storage medium is An endoscopic image of the subject is acquired, generating a plurality of inference results regarding a region of interest of the subject in the endoscopic image based on the endoscopic image;
  • a storage medium storing a program for causing a computer to execute a process for integrating the multiple inference results.
  • FIG. 1 shows a schematic configuration of an endoscopic examination system.
  • 2 shows the hardware configuration of an image processing device.
  • 3 is a diagram showing an overview of a lesion detection process executed by the image processing device in the first embodiment.
  • FIG. 4 is an example of a functional block of a lesion detection process in the first embodiment.
  • 13A shows an example of calculating the similarity between a model input image and a representative image
  • FIG. 13B shows an example of calculating the similarity between a lesion confidence map of a model input image and a representative image.
  • 4 shows an example of a display screen displayed by a display device during an endoscopic examination.
  • 4 is an example of a flowchart illustrating an overview of a process executed by an image processing device during an endoscopic examination in the first embodiment.
  • FIG. 1 shows a schematic configuration of an endoscopic examination system.
  • 2 shows the hardware configuration of an image processing device.
  • 3 is a diagram showing an overview of a lesion detection process executed by the image processing device in the first
  • FIG. 11 is a diagram showing an overview of a lesion detection process executed by an image processing device in a second embodiment.
  • FIG. 11 is a functional block diagram of an image processing device related to lesion detection processing in a second embodiment.
  • 13 is an example of a flowchart illustrating an overview of a process executed by an image processing device during an endoscopic examination in the second embodiment.
  • FIG. 13 is a diagram showing an overview of a lesion detection process executed by an image processing device in a third embodiment.
  • 13 is an example of a flowchart illustrating an overview of a process executed by an image processing device during an endoscopic examination in the third embodiment.
  • FIG. 13 is a block diagram of an image processing device according to a fourth embodiment. 13 is an example of a flowchart executed by the image processing apparatus in the fourth embodiment.
  • FIG. 1 shows a schematic configuration of an endoscopic examination system 100.
  • the endoscopic examination system 100 is a system that detects a part of a subject suspected of having a lesion (also called a "lesion site") to an examiner such as a doctor who performs an examination or treatment using an endoscope, and presents the part as a candidate site for cell sampling (biopsy), etc.
  • the endoscopic examination system 100 mainly includes an image processing device 1, a display device 2, and an endoscope scope 3 connected to the image processing device 1.
  • the image processing device 1 acquires images (also called “endoscopic images Ia") captured by the endoscope 3 in a time series from the endoscope 3, and displays a screen based on the endoscopic images Ia on the display device 2.
  • the endoscopic images Ia are images captured at a predetermined frame rate during at least one of the processes of inserting or ejecting the endoscope 3 into the subject.
  • the image processing device 1 analyzes the endoscopic images Ia to detect the area of the lesion site (also called the "lesion area”) in the endoscopic images Ia, and displays information related to the detection results on the display device 2.
  • the lesion area is an example of a "region of interest”.
  • the display device 2 is a display or the like that performs a predetermined display based on a display signal supplied from the image processing device 1.
  • the endoscope 3 mainly comprises an operation section 36 that allows the examiner to perform predetermined inputs, a flexible shaft 37 that is inserted into the subject's organ to be imaged, a tip section 38 that incorporates an imaging section such as a miniature image sensor, and a connection section 39 for connecting to the image processing device 1.
  • the configuration of the endoscopic examination system 100 shown in FIG. 1 is an example, and various modifications may be made.
  • the image processing device 1 may be configured integrally with the display device 2.
  • the image processing device 1 may be configured from multiple devices.
  • the subject of the endoscopic examination in the present disclosure may be any organ that can be examined endoscopically, such as the large intestine, esophagus, stomach, or pancreas.
  • endoscopes that are the subject of the present disclosure include pharyngeal endoscopes, bronchoscopes, upper gastrointestinal endoscopes, duodenoscopes, small intestinal endoscopes, colonoscopes, capsule endoscopes, thoracoscopes, laparoscopes, cystoscopes, cholangioscopes, arthroscopes, spinal endoscopes, vascular endoscopes, and epidural endoscopes.
  • Examples of the pathology of the lesion site that is the subject of the endoscopic examination include (a) to (f) below.
  • FIG. 2 shows the hardware configuration of the image processing device 1.
  • the image processing device 1 mainly includes a processor 11, a memory 12, an interface 13, an input unit 14, a light source unit 15, and a sound output unit 16. These elements are connected via a data bus 19.
  • the processor 11 executes predetermined processing by executing programs stored in the memory 12.
  • the processor 11 is a processor such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or a TPU (Tensor Processing Unit).
  • the processor 11 may be composed of multiple processors.
  • the processor 11 is an example of a computer.
  • the memory 12 is composed of various volatile memories used as working memories, such as RAM (Random Access Memory) and ROM (Read Only Memory), and non-volatile memories that store information necessary for the processing of the image processing device 1.
  • the memory 12 may include an external storage device such as a hard disk connected to or built into the image processing device 1, or may include a removable storage medium such as a flash memory.
  • the memory 12 stores programs that enable the image processing device 1 to execute each process in this embodiment.
  • Memory 12 also stores lesion area inference model information D1, which is information related to the lesion area inference model.
  • the lesion area inference model is a machine learning model that generates an inference result related to a lesion area corresponding to a disease to be detected in an endoscopic examination, and parameters required for the model are stored in lesion area inference model information D1. For example, when an endoscopic image is input, the lesion area inference model outputs an inference result indicating a lesion area in the input endoscopic image.
  • the lesion area inference model may be a model (including a statistical model, the same applies below) including an architecture adopted in any machine learning such as a neural network or a support vector machine.
  • the lesion area inference model information D1 includes various parameters such as the layer structure, the neuron structure of each layer, the number of filters and filter size in each layer, and the weights of each element of each filter.
  • the inference result output by the lesion area inference model is, for example, a map of scores (also called “lesion confidence scores") representing the confidence that each unit area of the input endoscopic image is a lesion area.
  • the above map will also be called a "lesion confidence map.”
  • the lesion confidence map is an image showing the lesion confidence scores for each unit pixel (which may include subpixels) or pixel group.
  • the lesion confidence score indicates that the higher the lesion confidence score of an area, the higher the confidence that the area is a lesion area.
  • the lesion confidence map may be a mask image that shows the lesion area using binary values. In this way, the lesion area inference model is a model that has learned the relationship between the image input to the lesion area inference model and the lesion area in that image.
  • the lesion area inference model is trained in advance based on a pair of an input image conforming to the input format of the lesion area inference model and correct answer data (in this embodiment, a correct lesion reliability map) indicating the correct inference result that the lesion area inference model should output when the input image is input. Then, the parameters of each model obtained by training are stored in memory 12 as lesion area inference model information D1.
  • the memory 12 may optionally include other information necessary for the image processing device 1 to execute each process in this embodiment.
  • the lesion area inference model information D1 may be stored in a storage device separate from the image processing device 1. In this case, the image processing device 1 receives the lesion area inference model information D1 from the above-mentioned storage device.
  • the interface 13 performs interface operations between the image processing device 1 and an external device. For example, the interface 13 supplies the display information "Ib" generated by the processor 11 to the display device 2. The interface 13 also supplies light generated by the light source unit 15 to the endoscope scope 3. The interface 13 also supplies an electrical signal indicating the endoscopic image Ia supplied from the endoscope scope 3 to the processor 11.
  • the interface 13 may be a communication interface such as a network adapter for communicating with an external device by wire or wirelessly, or may be a hardware interface compliant with USB (Universal Serial Bus), SATA (Serial AT Attachment), etc.
  • the input unit 14 generates an input signal based on the operation by the examiner.
  • the input unit 14 is, for example, a button, a touch panel, a remote controller, a voice input device, etc.
  • the light source unit 15 generates light to be supplied to the tip 38 of the endoscope 3.
  • the light source unit 15 may also incorporate a pump or the like for sending water or air to be supplied to the endoscope 3.
  • the sound output unit 16 outputs sound based on the control of the processor 11.
  • Lesion detection processing which is processing related to detection of a lesion area, will be described.
  • the image processing device 1 increases the endoscopic image Ia to "N" images (N is an integer equal to or greater than 2) by data expansion (i.e., data augmentation), and integrates the inference results obtained by inputting each of the N images into a lesion area inference model. In this way, the image processing device 1 accurately detects lesion areas that are candidate sites for biopsy.
  • FIG. 3 is a diagram showing an overview of the lesion detection process executed by the image processing device 1 in the first embodiment.
  • the image processing device 1 uses data expansion to generate N images from each endoscopic image Ia obtained from the endoscope 3 at a predetermined frame cycle as images to be input to the lesion area inference model (also called "model input images").
  • any operation such as an image size change operation, a brightness change operation (including specification of whether or not to normalize brightness), a color change operation (including adjustment of the intensity of redness), or a combination of these, may be adopted as a data expansion method.
  • the image processing device 1 inputs each model input image to a lesion area inference model, and obtains a lesion confidence map, which is an inference result regarding the lesion area output by the lesion area inference model.
  • the lesion confidence map is a mask image that indicates whether or not the area is a lesion area using a binary value (here, white indicates a lesion area).
  • the image processing device 1 performs rotation operations in the reverse direction (counterclockwise) of 0 degrees, 90 degrees, 180 degrees, and 270 degrees for each lesion confidence map (i.e., a rotation operation that reverses the rotation operation performed when the model input image was generated), and performs integration by weighted averaging on the images obtained.
  • the image processing device 1 regards, as a lesion area, pixels in the integrated image that have pixel values that indicate a certain degree of certainty that the pixel is a lesion area or higher, and generates an image showing the final lesion detection result (here, a mask image representing the lesion area).
  • the image processing device 1 displays this mask image together with the endoscopic image Ia.
  • the endoscopic image Ia used for lesion detection may contain a wide variety of lesions, and the shooting environment of the endoscopic image Ia is also diverse, so accurate detection of the lesion area may be very difficult.
  • lesions contained in the endoscopic image Ia may be of various types, such as raised, flat, and depressed, and their shapes change successively.
  • the shooting environment differs depending on the lesion position, lighting conditions, the presence or absence of water splashes, and the presence or absence of blurring or blurring. Therefore, even doctors may not agree on the lesion area that is a candidate site for biopsy.
  • the image processing device 1 generates multiple inference results and integrates the inference results to ultimately identify the lesion area. This makes it possible to present the lesion area that is a candidate for a biopsy site to the examiner in an appropriate manner.
  • Fig. 4 shows an example of functional blocks for lesion detection processing in the first embodiment.
  • the processor 11 of the image processing device 1 functionally has an endoscopic image acquisition unit 30, a conversion unit 31, an inference unit 32, an integration unit 33, a lesion detection unit 34, and a display control unit 35. Note that in Fig. 4, blocks between which data is exchanged are connected by solid lines, but the combination of blocks between which data is exchanged is not limited to this. The same applies to other functional block diagrams described later.
  • the endoscopic image acquisition unit 30 acquires the endoscopic image Ia captured by the endoscopic scope 3 via the interface 13 at predetermined intervals.
  • the endoscopic image acquisition unit 30 then supplies the acquired endoscopic image Ia to the conversion unit 31 and the display control unit 35, respectively.
  • Each downstream processing unit then performs the processing described below, with the time interval at which the endoscopic image acquisition unit 30 acquires the endoscopic image Ia being set as a period.
  • the time for each frame period will also be referred to as the "processing time.”
  • the conversion unit 31 generates N model input images from the endoscopic image Ia by data expansion.
  • the conversion unit 31 generates N model input images that are different from each other by performing, for example, a rotation operation, an image size change operation, a brightness change operation, a color change operation, or any combination of these operations on the endoscopic image Ia.
  • the method of data expansion is not limited to the various operations exemplified above, and may be any operation used for data expansion.
  • the conversion unit 31 supplies the generated N model input images to the inference unit 32.
  • the inference unit 32 obtains N lesion confidence maps, which are inference results regarding the lesion area, based on the N model input images and the lesion area inference model constructed by referencing the lesion area inference model information D1. In this case, the inference unit 32 inputs each of the N model input images to the lesion area inference model and obtains N lesion confidence maps output by the lesion area inference model. The inference unit 32 supplies the N lesion confidence maps to the integration unit 33.
  • the integration unit 33 generates an integrated image by integrating N lesion confidence maps by weighted averaging.
  • the weighting factor wi is determined, for example, based on the similarity between the corresponding model input image or lesion confidence map and the input image or image representing the correct answer data used in learning the lesion region inference model (also called the "representative image"). In another example, the weighting factor wi is set to the same value (i.e., "1/N") regardless of the index i so that the weights are uniform. The method of determining the weighting factor wi will be described later.
  • the integration unit 33 supplies the generated integrated image to the lesion detection unit 34.
  • Lesion detection unit 34 determines whether or not a lesion area exists based on the integrated image, and identifies the lesion area if a lesion area exists. In this case, for example, lesion detection unit 34 determines that a lesion area exists when there are a predetermined number or more pixels in the integrated image having a lesion confidence score equal to or greater than a predetermined threshold, and identifies the pixels in the integrated image having a lesion confidence score equal to or greater than the predetermined threshold as a lesion area.
  • lesion detection unit 34 may perform clustering for pixels having a lesion confidence score equal to or greater than a predetermined threshold, in which adjacent pixels are grouped into the same cluster, and may consider a cluster having a predetermined number or more pixels to be a lesion area.
  • Lesion detection unit 34 supplies the determination result of the presence or absence of a lesion area and information indicating the identified lesion area to display control unit 35 as a lesion detection result.
  • the display control unit 35 generates display information Ib based on the latest endoscopic image Ia supplied from the endoscopic image acquisition unit 30 and the lesion detection result supplied from the lesion detection unit 34, and supplies the generated display information Ib to the display device 2, thereby causing the display device 2 to display the latest endoscopic image Ia and the lesion detection result, etc.
  • the display control unit 35 may control the sound output of the sound output unit 16 so as to output a warning sound or voice guidance, etc., to notify the user that a lesion area has been detected, based on the lesion detection result.
  • each of the components of the endoscopic image acquisition unit 30, conversion unit 31, inference unit 32, integration unit 33, lesion detection unit 34, and display control unit 35 can be realized, for example, by the processor 11 executing a program. Also, each component may be realized by recording the necessary programs in any non-volatile storage medium and installing them as needed. Note that at least a portion of each of these components may not be realized by software using a program, but may be realized by any combination of hardware, firmware, and software. Also, at least a portion of each of these components may be realized using a user-programmable integrated circuit, such as an FPGA (Field-Programmable Gate Array) or a microcontroller. In this case, the integrated circuit may be used to realize a program composed of each of the above components.
  • FPGA Field-Programmable Gate Array
  • each component may be configured by an ASSP (Application Specific Standard Production), an ASIC (Application Specific Integrated Circuit), or a quantum processor (quantum computer control chip).
  • ASSP Application Specific Standard Production
  • ASIC Application Specific Integrated Circuit
  • quantum processor quantum computer control chip
  • FIG. 5(A) shows an example of calculating the similarity between a model input image of index i and a representative image.
  • the integration unit 33 uses a training endoscopic image (also called a "training lesion image”) that is used to train the lesion area inference model and contains a lesion area as the representative image, and calculates the similarity with the model input image for each index i.
  • a training endoscopic image also called a "training lesion image”
  • one arbitrary training lesion image is defined as the representative image, but this is not limiting.
  • the integrating unit 33 may define an average image of multiple training lesion images or an image integrated using any statistical method other than the average as the representative image.
  • the integrating unit 33 may define each of multiple training lesion images as a representative image, and define the average of the similarities between each training lesion image and the model input image of index i as the similarity used to determine the weighting coefficient wi.
  • any similarity index based on a comparison between images may be calculated as the similarity between the model input image and the representative image.
  • the similarity index may be, for example, a correlation coefficient, a Structural SIMilarity (SSIM) index, a Peak Signal-to-Noise Ratio (PSNR) index, or a squared error between corresponding pixels.
  • the integration unit 33 may vectorize the model input image and the representative image after normalizing their sizes, and calculate the cosine similarity of these vectors as the similarity.
  • FIG. 5(B) shows an example of calculating the similarity between the lesion confidence map (here, a mask image) of the model input image of index i and the representative image.
  • the integration unit 33 uses, as the representative image, the correct lesion confidence map (here, a mask image indicating a lesion area) that should be output by the lesion area inference model annotated to the learning lesion image.
  • the integration unit 33 then calculates, for each index i, the similarity between the correct lesion confidence map used for learning and the lesion confidence map generated by the lesion area inference model from the model input image.
  • the correct lesion reliability map for any one learning lesion image is defined as the representative image, but this is not limited thereto.
  • the representative image may be an average image of the correct lesion reliability maps for multiple learning lesion images or an image obtained by integrating lesion reliability maps using any statistical method other than the average.
  • the integration unit 33 calculates an arbitrary similarity index based on a comparison between the images as the similarity between the lesion confidence map of the learning lesion image and the lesion confidence map of the model input image.
  • the integration unit 33 sets the weighting coefficient wi so that the total value ⁇ wi for all indexes i is 1 and the higher the corresponding similarity, the higher the value becomes.
  • a specific example of the method of calculating the similarity and the method of setting the weighting coefficient wi based on the similarity is the same as the example shown in FIG. 5(A).
  • Display Example Fig. 6 shows an example of a display screen displayed by the display device 2 during an endoscopic examination.
  • the display control unit 35 of the image processing device 1 outputs display information Ib generated based on the endoscopic image Ia acquired by the endoscopic image acquisition unit 30 and the lesion detection result by the lesion detection unit 34, etc., to the display device 2.
  • the display control unit 35 transmits the endoscopic image Ia and the display information Ib to the display device 2, thereby causing the display device 2 to display the above-mentioned display screen.
  • the display control unit 35 of the image processing device 1 provides a real-time image display area 70 and a lesion detection result display area 71 on the display screen.
  • the display control unit 35 displays a moving image representing the latest endoscopic image Ia in the real-time image display area 70. Furthermore, in the lesion detection result display area 71, the display control unit 35 displays the lesion detection result by the lesion detection unit 34. Note that since the lesion detection unit 34 has determined that a lesion site exists at the time of displaying the display screen shown in FIG. 6, the display control unit 35 displays a text message indicating that a lesion is highly likely to exist and a mask image indicating the lesion area in the lesion detection result display area 71 based on the lesion detection result.
  • the display control unit 35 may output a sound (including voice) notifying that a lesion is highly likely to exist by the sound output unit 16.
  • FIG. 7 is an example of a flowchart showing an overview of the processing executed by the image processing device 1 during endoscopic examination in the first embodiment.
  • the image processing device 1 acquires an endoscopic image Ia (step S11).
  • the endoscopic image acquisition unit 30 of the image processing device 1 receives the endoscopic image Ia from the endoscopic scope 3 via the interface 13.
  • the image processing device 1 generates N different model input images by data expansion from the endoscopic image Ia acquired in step S11 (step S12). Then, the image processing device 1 generates a lesion confidence map from each model input image using a lesion area inference model configured with reference to the lesion area inference model information D1 (step S13). In this case, the image processing device 1 inputs each model input image to the lesion area inference model to obtain a lesion confidence map output from the lesion area inference model.
  • the image processing device 1 calculates a weighting factor wi for each lesion confidence map (step S14).
  • the image processing device 1 performs a conversion operation on the angle and size of each lesion confidence map so as to reverse the conversion operation due to data expansion in step S12.
  • the image processing device 1 generates an integrated image by integrating the lesion reliability map using the weighting coefficient wi (step S15). Then, the image processing device 1 generates a lesion detection result based on the integrated image (step S16). Then, the image processing device 1 displays information based on the endoscopic image Ia obtained in step S11 and the lesion detection result generated in step S16 on the display device 2 (step S17).
  • step S18 the image processing device 1 determines whether or not the endoscopic examination has ended. For example, when the image processing device 1 detects a predetermined input to the input unit 14 or the operation unit 36, it determines that the endoscopic examination has ended. When the image processing device 1 determines that the endoscopic examination has ended (step S18; Yes), it ends the processing of the flowchart. On the other hand, when the image processing device 1 determines that the endoscopic examination has not ended (step S18; No), it returns the processing to step S11. Then, the image processing device 1 performs the processing of steps S11 to S17 on the endoscopic image Ia newly generated by the endoscope 3.
  • the image processing device 1 may process the video composed of the endoscopic images Ia generated during the endoscopic examination after the examination.
  • the image processing device 1 sequentially performs the processing of the flowchart in FIG. 7 on the time-series endoscopic images Ia that constitute the specified image. Then, when the image processing device 1 determines in step S18 that the target image has ended, it ends the processing of the flowchart, and when the target image has not ended, it returns to step S11 and performs the processing of the flowchart on the next endoscopic image Ia in the time series.
  • the detection target is not limited to the lesion area, but may be an area in the endoscopic image Ia that represents any area of interest that the examiner needs to focus on (also called the "area of interest”).
  • areas of interest may be lesion areas, areas of inflammation, areas of surgical scars or other cuts, areas of folds or protrusions, areas where the tip 38 of the endoscope 3 is likely to come into contact (be easily pinched) with the wall surface inside the lumen, etc.
  • the image processing device 1 according to the second embodiment differs from the first embodiment in that, instead of generating N lesion reliability maps from N model input images generated from an endoscopic image Ia, N lesion reliability maps are generated from an endoscopic image Ia using different N lesion area inference models.
  • N lesion reliability maps are generated from an endoscopic image Ia using different N lesion area inference models.
  • components similar to those in the first embodiment are appropriately designated by the same reference numerals, and their description will be omitted.
  • the hardware configuration of the image processing device 1 according to the second embodiment is the same as the configuration shown in FIG. 2 described in the first embodiment.
  • FIG. 8 is a diagram showing an overview of the lesion detection process executed by the image processing device 1 in the second embodiment.
  • the image processing device 1 inputs each endoscopic image Ia obtained from the endoscope 3 at a predetermined frame cycle into N lesion area inference models (here, models A to D). As a result, the image processing device 1 obtains a total of N lesion reliability maps from the N lesion area inference models.
  • the N lesion region inference models differ from the other lesion region inference models in at least one of the architecture or the learning data used for learning. As a result, even when the same endoscopic image Ia is input, the N lesion region inference models each generate a different inference result.
  • N lesion region inference models may include a model other than a deep learning model (e.g., a model based on a support vector machine) or a combination of a deep learning model and a model other than a deep learning model.
  • a set of training data i.e., a set of training data corresponding to N vendors
  • N lesion area inference models are trained using the set of training data for each vendor.
  • a set of training data i.e., a set of training data corresponding to N lesion types
  • each lesion type e.g., elevated, flat, depressed, etc.
  • the image processing device 1 generates an integrated image by weighting and integrating the N lesion reliability maps using the weighting coefficient wi.
  • the image processing device 1 determines the lesion reliability score for each pixel of the integrated image by adding values obtained by multiplying the lesion reliability score for each pixel of the N lesion reliability maps by the corresponding weighting coefficient.
  • the image processing device 1 regards pixels in the integrated image that have a lesion confidence score indicating that the degree of certainty that they are a lesion area is equal to or greater than a predetermined level as a lesion area, and generates an image showing the final lesion detection result (here, a mask image representing the lesion area).
  • the image processing device 1 displays this mask image together with the endoscopic image Ia.
  • the image processing device 1 in the second embodiment generates multiple inference results and integrates the inference results to identify the final lesion area. This makes it possible to appropriately present the lesion area that is a candidate for a biopsy site to the examiner.
  • FIG. 9 is a functional block diagram of the image processing device 1 related to the lesion detection process in the second embodiment.
  • the processor 11 of the image processing device 1 according to the second embodiment functionally has an endoscopic image acquisition unit 30A, an inference unit 32A, an integration unit 33A, a lesion detection unit 34A, and a display control unit 35A.
  • the memory 12 stores lesion area inference model information D1 including at least the learned parameters of the N lesion area inference models.
  • the endoscopic image acquisition unit 30A acquires the endoscopic image Ia captured by the endoscope 3 at a predetermined interval via the interface 13. The endoscopic image acquisition unit 30A then supplies the acquired endoscopic image Ia to the inference unit 32A and the display control unit 35A, respectively.
  • the inference unit 32A obtains N lesion reliability maps, which are inference results regarding the lesion area, based on the endoscopic image Ia and N lesion area inference models constructed by referencing the lesion area inference model information D1. In this case, the inference unit 32A inputs the endoscopic image Ia to each of the N lesion area inference models and obtains the N lesion reliability maps output by the lesion area inference models. The inference unit 32A supplies the N lesion reliability maps to the integration unit 33A.
  • the integration unit 33A generates an integrated image by integrating N lesion confidence maps by weighted averaging.
  • the integration unit 33A sets the weight coefficient wi to the same value (i.e., "1/N") regardless of the index i.
  • the integration unit 33A sets the weight coefficient wi based on the similarity between the lesion confidence map for each index i and the representative image.
  • the representative image is, for example, the correct lesion confidence map used in training the lesion area inference model corresponding to index i.
  • the "correct lesion confidence map" includes an average image of the lesion confidence maps indicated by the correct data corresponding to multiple training lesion images, or an image obtained by integrating the lesion confidence maps using any statistical method other than the average. In this way, the representative image may be prepared in advance according to the training data used in the lesion area inference model corresponding to index i.
  • Lesion detection unit 34A determines whether or not a lesion area exists and identifies the lesion area if a lesion area exists based on the integrated image generated by integration unit 33A, and supplies the determination result of the presence or absence of a lesion area and information indicating the identified lesion area as a lesion detection result to display control unit 35A. Note that the processing performed by lesion detection unit 34A is the same as the processing performed by lesion detection unit 34.
  • the display control unit 35A generates display information Ib based on the latest endoscopic image Ia supplied from the endoscopic image acquisition unit 30A and the lesion detection result supplied from the lesion detection unit 34A, and supplies the generated display information Ib to the display device 2, thereby causing the display device 2 to display the latest endoscopic image Ia and the lesion detection result, etc. Note that the processing executed by the display control unit 35A is the same as the processing executed by the display control unit 35.
  • FIG. 10 is an example of a flowchart showing an overview of the processing executed by the image processing device 1 during endoscopic examination in the second embodiment.
  • the image processing device 1 acquires an endoscopic image Ia (step S21).
  • the image processing device 1 generates N lesion reliability maps from the endoscopic image Ia acquired in step S11 using N lesion area inference models configured with reference to the lesion area inference model information D1 (step S22).
  • the image processing device 1 acquires lesion reliability maps output from each lesion area inference model by inputting the endoscopic image Ia to each lesion area inference model.
  • the image processing device 1 calculates a weighting factor wi for each lesion reliability map (step S23).
  • the image processing device 1 generates an integrated image by integrating the lesion reliability map using the weighting coefficient wi (step S24). Then, the image processing device 1 generates a lesion detection result based on the integrated image (step S25). Then, the image processing device 1 displays information based on the endoscopic image Ia obtained in step S11 and the lesion detection result generated in step S25 on the display device 2 (step S26).
  • step S26 the image processing device 1 determines whether or not the endoscopic examination has ended (step S27). If the image processing device 1 determines that the endoscopic examination has ended (step S27; Yes), it ends the processing of the flowchart. On the other hand, if the image processing device 1 determines that the endoscopic examination has not ended (step S27; No), it returns the processing to step S21. Then, the image processing device 1 executes the processing of steps S21 to S26 on the endoscopic image Ia newly generated by the endoscope 3.
  • the image processing device 1 according to the third embodiment differs from the first or second embodiment in that it applies setting conditions of N different patterns (N patterns) to one lesion area inference model to generate N lesion reliability maps from an endoscopic image Ia.
  • N patterns N different patterns
  • the hardware configuration of the image processing device 1 according to the third embodiment is the same as the configuration shown in FIG. 2 described in the first embodiment.
  • the functional blocks of the image processing device 1 related to the lesion detection process in the third embodiment are the same as the configuration shown in FIG. 9 described in the second embodiment, for example.
  • FIG. 11 is a diagram showing an overview of the lesion detection process executed by the image processing device 1 in the third embodiment.
  • the image processing device 1 inputs each endoscopic image Ia obtained from the endoscope 3 at a predetermined frame cycle to a lesion area inference model (here, model A) to which N patterns of setting conditions (here, setting conditions a to d) have been applied.
  • a lesion area inference model here, model A
  • N patterns of setting conditions here, setting conditions a to d
  • the image processing device 1 obtains a total of N lesion confidence maps from the lesion area inference model to which the N patterns of setting conditions have been applied.
  • the image processing device 1 obtains N inference results output from the lesion area inference model by inputting the endoscopic image Ia obtained at each processing time to the lesion area inference model N times while changing the setting conditions of the lesion area inference model.
  • the setting condition may be, for example, a setting parameter of the lesion area inference model that can be adjusted by a user's input, and may be a threshold parameter that determines whether or not a pixel is a lesion area according to the lesion confidence score of each pixel.
  • the lesion confidence score is set to a value between 0 and 1 (when it is 1, the pixel is deemed to be the most likely to be a lesion), and when the lesion confidence score of a pixel is smaller than the threshold parameter, the lesion confidence score of the pixel is set to 0, so that the pixel is deemed to be a non-lesion area.
  • the threshold parameter when the threshold parameter is set to a value close to 1, only the area that the inference model infers to be more likely to be a lesion becomes a lesion area, and the other areas become non-lesion areas. Conversely, when the threshold parameter is set to a value close to 0, the area that the inference model infers to be not a lesion also becomes a lesion area.
  • the former is a setting that emphasizes that the estimated lesion area is correctly a lesion area and is intended to not erroneously estimate a non-lesion area as a lesion area (emphasis on precision)
  • the latter is a setting that allows non-lesion areas to be included as lesion areas and is intended to not allow lesion areas to be missed (emphasis on recall). In this way, it is possible to generate confidence maps for multiple lesion area inference models with different settings (e.g., whether to prioritize recall or precision).
  • the image processing device 1 generates an integrated image by weighting and integrating the N lesion reliability maps using the weighting coefficient wi.
  • the image processing device 1 determines the pixel value of the integrated image by adding values obtained by multiplying the lesion reliability scores of each pixel of the N lesion reliability maps by the corresponding weighting coefficients.
  • the image processing device 1 regards pixels in the integrated image that have a lesion confidence score indicating that the degree of certainty that they are a lesion area is equal to or greater than a predetermined level as a lesion area, and generates an image showing the final lesion detection result (here, a mask image representing the lesion area).
  • the image processing device 1 displays this mask image together with the endoscopic image Ia.
  • the image processing device 1 in the third embodiment generates multiple inference results and integrates the inference results to identify the final lesion area. This makes it possible to present the lesion area that is a candidate for a biopsy site to the examiner in an appropriate manner.
  • FIG. 12 is an example of a flowchart showing an overview of the processing executed by the image processing device 1 during endoscopic examination in the third embodiment.
  • the image processing device 1 acquires an endoscopic image Ia (step S31).
  • the image processing device 1 applies N patterns of setting conditions to one lesion area inference model constructed by referring to the lesion area inference model information D1, and generates N lesion reliability maps from the endoscopic image Ia acquired in step S11 (step S32).
  • the image processing device 1 inputs the endoscopic image Ia obtained at each processing time to the lesion area inference model N times while changing the setting conditions of the lesion area inference model, thereby acquiring N lesion reliability maps (i.e., inference results) output from the lesion area inference model.
  • the image processing device 1 calculates a weighting factor wi for each lesion reliability map (step S33).
  • the image processing device 1 sets the weighting factor wi based on the similarity between a representative image common to all indexes i and the lesion reliability map corresponding to index i.
  • the image processing device 1 generates an integrated image by integrating the lesion reliability map using the weighting coefficient wi (step S34). Then, the image processing device 1 generates a lesion detection result based on the integrated image (step S35). Then, the image processing device 1 displays information based on the endoscopic image Ia obtained in step S11 and the lesion detection result generated in step S25 on the display device 2 (step S36).
  • step S36 the image processing device 1 determines whether or not the endoscopic examination has ended (step S37). If the image processing device 1 determines that the endoscopic examination has ended (step S37; Yes), it ends the processing of the flowchart. On the other hand, if the image processing device 1 determines that the endoscopic examination has not ended (step S37; No), it returns the processing to step S31. Then, the image processing device 1 executes the processing of steps S31 to S36 on the endoscopic image Ia newly generated by the endoscope 3.
  • the fourth Embodiment 13 is a block diagram of an image processing device 1X according to the fourth embodiment.
  • the image processing device 1X includes an acquisition unit 30X, an inference unit 32X, and an integration unit 33X.
  • the image processing device 1X may be composed of a plurality of devices.
  • the acquisition means 30X acquires an endoscopic image of the subject.
  • the acquisition means 30X can be the endoscopic image acquisition section 30 in the first embodiment, or the endoscopic image acquisition section 30A in the second or third embodiment.
  • the acquisition means 30X may instantly acquire an endoscopic image generated by the imaging section, or may acquire an endoscopic image generated in advance by the imaging section and stored in a storage device at a predetermined timing.
  • the inference means 32X generates multiple inference results regarding the region of interest of the subject in the endoscopic image based on the endoscopic image.
  • the inference means 32X can be the inference unit 32 in the first embodiment, or the inference unit 32A in the second or third embodiment.
  • the integration means 33X integrates multiple inference results.
  • the integration means 33X can be the integration unit 33 in the first embodiment, or the integration unit 33A in the second or third embodiment.
  • FIG. 14 is an example of a flowchart showing the processing procedure in the fourth embodiment.
  • the acquisition means 30X acquires an endoscopic image of a subject.
  • the acquisition means 30X acquires an endoscopic image of a subject (step S41).
  • the inference means 32X generates multiple inference results related to the region of interest of the subject in the endoscopic image based on the endoscopic image (step S42).
  • the integration means 33X integrates the multiple inference results (step S43).
  • the image processing device 1X can accurately detect the area of interest from an endoscopic image of a subject.
  • Non-transitory computer readable media include various types of tangible storage media.
  • Examples of non-transitory computer-readable media include magnetic storage media (e.g., flexible disks, magnetic tapes, hard disk drives), optical storage media (e.g., optical disks), CD-ROMs (Read Only Memory), CD-Rs, CD-R/Ws, semiconductor memories (e.g., mask ROMs, PROMs (Programmable ROMs), EPROMs (Erasable PROMs), flash ROMs, and RAMs (Random Access Memory).
  • Programs may also be supplied to computers by various types of transient computer-readable media.
  • Examples of transient computer-readable media include electrical signals, optical signals, and electromagnetic waves.
  • Transient computer-readable media can supply programs to computers via wired communication paths such as electric wires and optical fibers, or wireless communication paths.
  • the inference means inputs each of the plurality of images into an inference model to obtain the inference result output from the inference model;
  • An image processing device as described in Appendix 2, wherein the inference model is a model that learns the relationship between an image input to the inference model and the area of interest in the image.
  • the inference means inputs the endoscopic image into a plurality of inference models to obtain the plurality of inference results output from the plurality of inference models;
  • [Appendix 5] The image processing device described in Appendix 4, wherein the multiple inference models are models that differ from each other in at least one of the model architecture or the learning data used for learning.
  • the inference means inputs the endoscopic image into an inference model a plurality of times while changing a setting condition of the inference model, thereby obtaining the plurality of inference results output from the inference model;
  • the setting condition is a threshold parameter that determines whether or not the region is a region of interest.
  • [Appendix 8] The image processing device described in Appendix 7, wherein the inference means at least acquires the inference result obtained when the threshold parameter that emphasizes recall and the threshold parameter that emphasizes precision are respectively set in the inference model.
  • [Appendix 9] The image processing device described in Appendix 3, wherein the integration means weights and integrates each of the multiple inference results based on the similarity between each of the multiple images and a learning image including the area of interest used to train the inference model.
  • [Appendix 10] An image processing device described in any one of Appendix 3 to 8, wherein the integration means weights and integrates each of the multiple inference results based on the similarity between each of the multiple inference results and correct answer data used to train the inference model. [Appendix 11] 2.
  • the image processing device further comprising a detection means for detecting the region of interest based on an image obtained by integrating the multiple inference results.
  • a detection means for detecting the region of interest based on an image obtained by integrating the multiple inference results.
  • an output control means for displaying or outputting information related to the result of the detection.
  • the computer An endoscopic image of the subject is acquired, generating a plurality of inference results regarding a region of interest of the subject in the endoscopic image based on the endoscopic image; Integrating the multiple inference results; Image processing methods.
  • An endoscopic image of the subject is acquired, generating a plurality of inference results regarding a region of interest of the subject in the endoscopic image based on the endoscopic image;
  • a storage medium storing a program for causing a computer to execute a process of integrating the multiple inference results.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Endoscopes (AREA)

Abstract

画像処理装置（１Ｘ）は、取得手段（３０Ｘ）と、推論手段（３２Ｘ）と、統合手段（３３Ｘ）と、を備える。取得手段（３０Ｘ）は、被検体を撮影した内視鏡画像を取得する。推論手段（３２Ｘ）は、内視鏡画像に基づき、内視鏡画像における被検体の注目領域に関する複数の推論結果を生成する。統合手段（３３Ｘ）は、複数の推論結果を統合する。

Description

画像処理装置、画像処理方法及び記憶媒体
　本開示は、内視鏡検査において取得される画像の処理を行う画像処理装置、画像処理方法及び記憶媒体の技術分野に関する。
　従来から、臓器の管腔内を撮影した画像を表示する内視鏡検査システムが知られている。例えば、特許文献１には、内視鏡画像と注目領域検出閾値とに基づいて注目領域を検出し、注目領域が平坦病変又は隆起病変のいずれであるかを判定する内視鏡検査システムが開示されている。
国際公開ＷＯ２０１９／１４６０７７
　一般的に、内視鏡画像には多種多様な病変が含まれている可能性があり、かつ、内視鏡画像の撮影環境も多種多様であり、病変領域の正確な検知が非常に困難である場合がある。従って、生検を行う候補箇所となる病変領域は、医師の間でも一致しないことがある。
　本開示は、上述した課題を鑑み、内視鏡画像に含まれる注目領域を的確に検知することが可能な画像処理装置、画像処理方法及び記憶媒体を提供することを目的の一つとする。
　画像処理装置の一の態様は、
　被検体を撮影した内視鏡画像を取得する取得手段と、
　前記内視鏡画像に基づき、前記内視鏡画像における前記被検体の注目領域に関する複数の推論結果を生成する推論手段と、
　前記複数の推論結果を統合する統合手段と、
を有する画像処理装置である。
　画像処理方法の一の態様は、
　コンピュータが、
　被検体を撮影した内視鏡画像を取得し、
　前記内視鏡画像に基づき、前記内視鏡画像における前記被検体の注目領域に関する複数の推論結果を生成し、
　前記複数の推論結果を統合する、
画像処理方法である。
　記憶媒体の一の態様は、
　被検体を撮影した内視鏡画像を取得し、
　前記内視鏡画像に基づき、前記内視鏡画像における前記被検体の注目領域に関する複数の推論結果を生成し、
　前記複数の推論結果を統合する処理をコンピュータに実行させるプログラムを格納した記憶媒体である。
　本開示の１つの効果の例として、内視鏡画像に含まれる注目領域を的確に検知することが可能となる。
内視鏡検査システムの概略構成を示す。 画像処理装置のハードウェア構成を示す。 第１実施形態における画像処理装置が実行する病変検知処理の概要を示す図である。 第１実施形態における病変検知処理の機能ブロックの一例である。 （Ａ）モデル入力画像と代表画像との類似度を算出する例を示す。（Ｂ）モデル入力画像の病変信頼度マップと代表画像との類似度を算出する例を示す。 内視鏡検査において表示装置が表示する表示画面例を示す。 第１実施形態において内視鏡検査時に画像処理装置が実行する処理の概要を示すフローチャートの一例である。 第２実施形態における画像処理装置が実行する病変検知処理の概要を示す図である。 第２実施形態での病変検知処理に関する画像処理装置の機能ブロック図である。 第２実施形態において内視鏡検査時に画像処理装置が実行する処理の概要を示すフローチャートの一例である。 第３実施形態における画像処理装置が実行する病変検知処理の概要を示す図である。 第３実施形態において内視鏡検査時に画像処理装置が実行する処理の概要を示すフローチャートの一例である。 第４実施形態における画像処理装置のブロック図である。 第４実施形態において画像処理装置が実行するフローチャートの一例である。
　以下、図面を参照しながら、画像処理装置、画像処理方法及び記憶媒体の実施形態について説明する。
　＜第１実施形態＞
　（１）システム構成
　図１は、内視鏡検査システム１００の概略構成を示す。図１に示すように、内視鏡検査システム１００は、内視鏡を利用した検査又は治療を行う医師等の検査者に対して病変の疑いがある被検体の部位（「病変部位」とも呼ぶ。）を検知し、細胞採取（生検）を行う候補箇所等として提示するシステムである。内視鏡検査システム１００は、主に、画像処理装置１と、表示装置２と、画像処理装置１に接続された内視鏡スコープ３と、を備える。
　画像処理装置１は、内視鏡スコープ３が時系列により撮影する画像（「内視鏡画像Ｉａ」とも呼ぶ。）を内視鏡スコープ３から取得し、内視鏡画像Ｉａに基づく画面を表示装置２に表示させる。内視鏡画像Ｉａは、被検者への内視鏡スコープ３の挿入工程又は排出工程の少なくとも一方において所定のフレーム周期により撮影された画像である。本実施形態においては、画像処理装置１は、内視鏡画像Ｉａを解析することで、内視鏡画像Ｉａにおける病変部位の領域（「病変領域」とも呼ぶ。）を検知し、その検知結果に関する情報を表示装置２に表示させる。病変領域は「注目領域」の一例である。
　表示装置２は、画像処理装置１から供給される表示信号に基づき所定の表示を行うディスプレイ等である。
　内視鏡スコープ３は、主に、検査者が所定の入力を行うための操作部３６と、被検者の撮影対象となる臓器内に挿入され、柔軟性を有するシャフト３７と、超小型撮像素子などの撮影部を内蔵した先端部３８と、画像処理装置１と接続するための接続部３９とを有する。
　図１に示される内視鏡検査システム１００の構成は一例であり、種々の変更が行われてもよい。例えば、画像処理装置１は、表示装置２と一体に構成されてもよい。他の例では、画像処理装置１は、複数の装置から構成されてもよい。
　なお、本開示における内視鏡検査の被検体は、大腸、食道、胃、膵臓などの内視鏡検査が可能な任意の臓器であってもよい。例えば、本開示において対象となる内視鏡は、咽頭内視鏡、気管支鏡、上部消化管内視鏡、十二指腸内視鏡、小腸内視鏡、大腸内視鏡、カプセル内視鏡、胸腔鏡、腹腔鏡、膀胱鏡、胆道鏡、関節鏡、脊椎内視鏡、血管内視鏡、硬膜外腔内視鏡などが挙げられる。また、内視鏡検査において検知対象となる病変部位の病状は、以下の（ａ）～（ｆ）ように例示される。
　（ａ）頭頚部：咽頭ガン、悪性リンパ腫、乳頭腫
　（ｂ）食道：食道ガン、食道炎、食道裂孔ヘルニア、食道静脈瘤、食道アカラシア、食道粘膜下腫瘍、食道良性腫瘍
　（ｃ）胃：胃ガン、胃炎、胃潰瘍、胃ポリープ、胃腫瘍
　（ｄ）十二指腸：十二指腸ガン、十二指腸潰瘍、十二指腸炎、十二指腸腫瘍、十二指腸リンパ腫
　（ｅ）小腸：小腸ガン、小腸腫瘍性疾患、小腸炎症性疾患、小腸血管性疾患
　（ｆ）大腸：大腸ガン、大腸腫瘍性疾患、大腸炎症性疾患、大腸ポリープ、大腸ポリポーシス、クローン病、大腸炎、腸結核、痔
　（２）ハードウェア構成
　図２は、画像処理装置１のハードウェア構成を示す。画像処理装置１は、主に、プロセッサ１１と、メモリ１２と、インターフェース１３と、入力部１４と、光源部１５と、音出力部１６と、を含む。これらの各要素は、データバス１９を介して接続されている。
　プロセッサ１１は、メモリ１２に記憶されているプログラム等を実行することにより、所定の処理を実行する。プロセッサ１１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＴＰＵ（Ｔｅｎｓｏｒ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのプロセッサである。プロセッサ１１は、複数のプロセッサから構成されてもよい。プロセッサ１１は、コンピュータの一例である。
　メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの、作業メモリとして使用される各種の揮発性メモリ及び画像処理装置１の処理に必要な情報を記憶する不揮発性メモリにより構成される。なお、メモリ１２は、画像処理装置１に接続又は内蔵されたハードディスクなどの外部記憶装置を含んでもよく、着脱自在なフラッシュメモリなどの記憶媒体を含んでもよい。メモリ１２には、画像処理装置１が本実施形態における各処理を実行するためのプログラムが記憶される。
　また、メモリ１２は、病変領域推論モデルに関する情報である病変領域推論モデル情報Ｄ１を記憶している。病変領域推論モデルは、内視鏡検査において検知対象となる疾患に該当する病変領域に関する推論結果を生成する機械学習モデルであり、当該モデルに必要なパラメータが病変領域推論モデル情報Ｄ１に記憶されている。病変領域推論モデルは、例えば、内視鏡画像が入力された場合に、入力された内視鏡画像における病変領域を示す推論結果を出力する。病変領域推論モデルは、ニューラルネットワークやサポートベクターマシーンなどの任意の機械学習において採用されるアーキテクチャを含むモデル（統計モデルを含む、以下同じ。）であってもよい。このようなニューラルネットワークの代表モデルとして、例えば、Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ、ＳｅｇＮｅｔ、Ｕ－Ｎｅｔ、Ｖ－Ｎｅｔ、Ｆｅａｔｕｒｅ Ｐｙｒａｍｉｄ Ｎｅｔｗｏｒｋ、Ｍａｓｋ Ｒ－ＣＮＮ、ＤｅｅｐＬａｂなどが存在する。病変領域推論モデルがニューラルネットワークにより構成される場合、病変領域推論モデル情報Ｄ１は、例えば、層構造、各層のニューロン構造、各層におけるフィルタ数及びフィルタサイズ、並びに各フィルタの各要素の重みなどの各種パラメータを含む。
　ここで、病変領域推論モデルが出力する推論結果は、例えば、入力された内視鏡画像の単位領域ごとに、病変領域であることの信頼度を表すスコア（「病変信頼度スコア」とも呼ぶ。）のマップである。上述のマップを、以後では、「病変信頼度マップ」とも呼ぶ。例えば、病変信頼度マップは、病変信頼度スコアを単位画素（サブピクセルを含んでもよい）又は画素群ごとに示した画像である。なお、病変信頼度スコアは、病変信頼度スコアが高い領域ほど、病変領域である信頼度が高いことを表すものとする。なお、病変信頼度マップは、病変領域を２値により示したマスク画像であってもよい。このように、病変領域推論モデルは、病変領域推論モデルに入力される画像と、当該画像における病変領域との関係を学習したモデルである。
　なお、病変領域推論モデルは、病変領域推論モデルの入力形式に即した入力画像と当該入力画像が入力された場合に病変領域推論モデルが出力すべき推論結果の正解を示す正解データ（本実施形態では正解の病変信頼度マップ）との組に基づき予め学習される。そして、学習により得られた各モデルのパラメータ等が病変領域推論モデル情報Ｄ１としてメモリ１２に記憶される。
　また、メモリ１２には、画像処理装置１が本実施形態における各処理を実行するために必要なその他の情報を任意に含んでもよい。
　なお、病変領域推論モデル情報Ｄ１は、画像処理装置１とは別の記憶装置に記憶されてもよい。この場合、画像処理装置１は、上述の記憶装置から病変領域推論モデル情報Ｄ１を受信する。
　インターフェース１３は、画像処理装置１と外部装置とのインターフェース動作を行う。例えば、インターフェース１３は、プロセッサ１１が生成した表示情報「Ｉｂ」を表示装置２に供給する。また、インターフェース１３は、光源部１５が生成する光等を内視鏡スコープ３に供給する。また、インターフェース１３は、内視鏡スコープ３から供給される内視鏡画像Ｉａを示す電気信号をプロセッサ１１に供給する。インターフェース１３は、外部装置と有線又は無線により通信を行うためのネットワークアダプタなどの通信インターフェースであってもよく、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＳＡＴＡ（Ｓｅｒｉａｌ　ＡＴ　Ａｔｔａｃｈｍｅｎｔ）などに準拠したハードウェアインターフェースであってもよい。
　入力部１４は、検査者による操作に基づく入力信号を生成する。入力部１４は、例えば、ボタン、タッチパネル、リモートコントローラ、音声入力装置等である。光源部１５は、内視鏡スコープ３の先端部３８に供給するための光を生成する。また、光源部１５は、内視鏡スコープ３に供給する水や空気を送り出すためのポンプ等も内蔵してもよい。音出力部１６は、プロセッサ１１の制御に基づき音を出力する。
　（３）病変検知処理
　病変領域の検知に関する処理である病変検知処理について説明する。概略的には、画像処理装置１は、内視鏡画像Ｉａをデータ拡張（即ちデータオーグメンテーション）により「Ｎ」枚（Ｎは２以上の整数）の画像に増やし、Ｎ枚の画像の夫々を病変領域推論モデルに入力して得られる推論結果を統合する。これにより、画像処理装置１は、生検を行う候補箇所となる病変領域を的確に検知する。
　（３－１）概要説明
　図３は、第１実施形態における画像処理装置１が実行する病変検知処理の概要を示す図である。
　まず、画像処理装置１は、内視鏡スコープ３から所定のフレーム周期により得られる各内視鏡画像Ｉａから、データ拡張により、N枚の画像を、病変領域推論モデルに入力する画像（「モデル入力画像」とも呼ぶ。）として生成する。図３の例では、一例として、画像処理装置１は、内視鏡画像Ｉａに対して０度、９０度、１８０度、２７０度の時計回りへの回転操作を行うことで、４枚（即ちＮ＝４）のモデル入力画像を生成している。なお、回転操作の他、画像サイズの変更操作、輝度の変更操作（輝度の正規化の有無の指定を含む）、色の変更操作（赤みの強弱の調整を含む）、又はこれらの組み合わせなどの任意の操作をデータ拡張の手法として採用してもよい。
　次に、画像処理装置１は、各モデル入力画像を病変領域推論モデルに入力し、当該病変領域推論モデルが出力する病変領域に関する推論結果である病変信頼度マップを取得する。図３では、一例として、病変信頼度マップは、病変領域であるか否かを２値（ここでは、白が病変領域）により示したマスク画像であるものとする。
　そして、画像処理装置１は、Ｎ枚（Ｎ＝４）の病変信頼度マップを重み付け平均により統合した画像（「統合画像」とも呼ぶ。）を生成する。ここでは、合計値が１となる重み係数「ｗｉ」（ｉは推論結果のインデックスであり、ｉ＝１，…，Ｎ）が用いられており、Ｎ枚の病変信頼度マップの画素ごとの病変信頼度スコアを重み係数を用いて平均化することで、統合画像の画素ごとの病変信頼度スコアを決定する。図３では、統合画像において、白に近づくほど、病変信頼度スコアが高い（即ち病変領域である確信度が高い）箇所を示すものとする。なお、データ拡張において画像の回転やサイズの拡大縮小などの幾何学的画像変換を行った場合は、原画像の角度や画像サイズに戻したうえで統合する。従って、図３の例では、画像処理装置１は、病変信頼度マップの各々に対し、０度、９０度、１８０度、２７０度の逆方向（反時計回り）への回転操作（即ち、モデル入力画像の生成時の回転操作を戻す回転操作）を行うことで得られる画像に対し、重み付け平均による統合を行う。
　そして、画像処理装置１は、統合画像において、病変領域である確信度が所定度合い以上であることを示す画素値を有する画素を病変領域とみなし、最終的な病変検知結果を示す画像（ここでは病変領域を表すマスク画像）を生成する。画像処理装置１は、このマスク画像を内視鏡画像Ｉａと共に表示する。
　ここで、一般的に、病変検知に用いる内視鏡画像Ｉａは多種多様な病変を含んでいる可能性があり、かつ、内視鏡画像Ｉａの撮影環境も多種多様であり、病変領域の正確な検知は非常に困難である場合がある。例えば、内視鏡画像Ｉａに含まれる病変には、隆起型、平坦型、陥凹型などのタイプが存在し、形状は逐次変化する。また、撮影環境は、病変位置、照明条件、水しぶきの有無、ブレ・ボケの有無によって異なる。従って、生検を行う候補箇所となる病変領域は、医師の間でも一致しないことがある。
　以上を勘案し、画像処理装置１は、複数の推論結果を生成し、その推論結果を統合することで最終的な病変領域を特定する。これにより、生検箇所の候補となる病変領域を好適に検査者に提示することが可能となる。
　（３－２）機能ブロック
　図４は、第１実施形態における病変検知処理の機能ブロックの一例である。画像処理装置１のプロセッサ１１は、機能的には、内視鏡画像取得部３０と、変換部３１と、推論部３２と、統合部３３と、病変検知部３４と、表示制御部３５と、を有する。なお、図４では、データの授受が行われるブロック同士を実線により結んでいるが、データの授受が行われるブロックの組合せはこれに限定されない。後述する他の機能ブロックの図においても同様である。
　内視鏡画像取得部３０は、インターフェース１３を介して内視鏡スコープ３が撮影した内視鏡画像Ｉａを所定間隔により取得する。そして、内視鏡画像取得部３０は、取得した内視鏡画像Ｉａを、変換部３１及び表示制御部３５に夫々供給する。そして、内視鏡画像取得部３０が内視鏡画像Ｉａを取得する時間間隔を周期として、後段の各処理部が後述の処理を行う。以後では、このフレーム周期ごとの時刻を「処理時刻」とも呼ぶ。
　変換部３１は、データ拡張により、内視鏡画像ＩａからN枚のモデル入力画像を生成する。この場合、変換部３１は、例えば、内視鏡画像Ｉａに対して、回転操作、画像サイズの変更操作、輝度の変更操作、または色の変更操作、又はこれらの任意の組み合わせの操作を行うことで、互いに異なるＮ枚のモデル入力画像を生成する。なお、データ拡張の手法は、例示した各種操作に限定されず、データ拡張に用いられる任意の操作であってもよい。変換部３１は、生成したＮ枚のモデル入力画像を推論部３２に供給する。
　推論部３２は、Ｎ枚のモデル入力画像と、病変領域推論モデル情報Ｄ１を参照することで構成した病変領域推論モデルと、に基づき、病変領域に関する推論結果であるＮ個の病変信頼度マップを取得する。この場合、推論部３２は、Ｎ枚のモデル入力画像の各々を病変領域推論モデルに入力し、当該病変領域推論モデルが出力するＮ個の病変信頼度マップを取得する。推論部３２は、Ｎ個の病変信頼度マップを統合部３３に供給する。
　統合部３３は、Ｎ枚の病変信頼度マップを重み付け平均により統合した統合画像を生成する。この場合、推論部３２は、変換部３１での変換操作を戻すように各病変信頼度マップの角度や画像サイズを変換した後、合計値が１となる重み係数ｗｉ（ｉ＝１，…，Ｎ）を各病変信頼度マップに設定し、Ｎ枚の病変信頼度マップの画素ごとの病変信頼度スコアに、対応する重み係数ｗｉを乗じた値を足し合わせることで、統合画像の画素ごとの値である病変信頼度スコアを決定する。重み係数ｗｉは、例えば、対応するモデル入力画像又は病変信頼度マップと、病変領域推論モデルの学習に用いる入力画像又は正解データを代表する画像（「代表画像」とも呼ぶ。）との類似度に基づき決定される。他の例では、重み係数ｗｉは、重みが均等となるように、インデックスｉによらずに全て等しい値（即ち、「１／Ｎ」）に設定される。重み係数ｗｉの決定方法については後述する。統合部３３は、生成した統合画像を病変検知部３４に供給する。
　病変検知部３４は、統合画像に基づき、病変領域の存否の判定及び病変領域が存在する場合の病変領域の特定を行う。この場合、例えば、病変検知部３４は、所定の閾値以上となる病変信頼度スコアを有する統合画像の画素が所定個数以上存在する場合に、病変領域が存在すると判定し、所定の閾値以上となる病変信頼度スコアを有する統合画像の画素を病変領域として特定する。なお、病変検知部３４は、所定の閾値以上となる病変信頼度スコアを有する画素について隣接画素同士を同一のクラスタとするクラスタリングを行い、所定個数以上の画素を有するクラスタを病変領域とみなしてもよい。病変検知部３４は、病変領域の存否の判定結果及び特定した病変領域を示す情報を、病変検知結果として表示制御部３５に供給する。
　表示制御部３５は、内視鏡画像取得部３０から供給される最新の内視鏡画像Ｉａと、病変検知部３４から供給される病変検知結果とに基づき、表示情報Ｉｂを生成し、生成した表示情報Ｉｂを表示装置２に供給することで、最新の内視鏡画像Ｉａ及び病変検知結果等を表示装置２に表示させる。なお、表示制御部３５は、病変検知結果に基づき、病変部位が検知されたことをユーザに通知する警告音又は音声案内等を出力するように、音出力部１６の音出力制御を行ってもよい。
　なお、内視鏡画像取得部３０、変換部３１、推論部３２、統合部３３、病変検知部３４、及び表示制御部３５の各構成要素は、例えば、プロセッサ１１がプログラムを実行することによって実現できる。また、必要なプログラムを任意の不揮発性記憶媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。なお、これらの各構成要素の少なくとも一部は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組合せ等により実現してもよい。また、これらの各構成要素の少なくとも一部は、例えばＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）又はマイクロコントローラ等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。また、各構成要素の少なくとも一部は、ＡＳＳＰ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｓｔａｎｄａｒｄ　Ｐｒｏｄｕｃｅ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）又は量子プロセッサ（量子コンピュータ制御チップ）により構成されてもよい。このように、各構成要素は、種々のハードウェアにより実現されてもよい。以上のことは、後述する他の実施の形態においても同様である。さらに、これらの各構成要素は、例えば、クラウドコンピューティング技術などを用いて、複数のコンピュータの協働によって実現されてもよい。
　（３－３）重み係数の設定例
　次に、重み係数ｗｉをインデックスｉごとに設定する場合の統合部３３による重み係数ｗｉの設定例について説明する。この場合、統合部３３は、各モデル入力画像又はその病変信頼度マップと、検知対象となる病変領域を含んだ画像を代表する代表画像との類似度に基づき、重み係数ｗｉを決定する。
　図５（Ａ）は、インデックスｉのモデル入力画像と代表画像との類似度を算出する例を示す。この例では、統合部３３は、代表画像として、病変領域推論モデルの学習に用いられ、病変領域を含む学習用の内視鏡画像（「学習用病変画像」とも呼ぶ。）を用い、モデル入力画像との類似度をインデックスｉごとに算出する。
　なお、図５（Ａ）の例では、任意の１枚の学習用病変画像を代表画像として定めているが、これに限らず、例えば、統合部３３は、複数枚の学習用病変画像の平均画像又は平均以外の任意の統計的手法により統合した画像を、代表画像として定めてもよい。他の例では、統合部３３は、複数枚の学習用病変画像を代表画像として夫々定め、各学習用病変画像とインデックスｉのモデル入力画像との類似度の平均を、重み係数ｗｉの決定に用いる類似度として定めてもよい。
　なお、モデル入力画像と代表画像との類似度として、画像間の比較（即ち画像同士の比較）に基づく任意の類似度の指標を算出してもよい。この場合の類似度の指標は、例えば、相関係数、ＳＳＩＭ（Ｓｔｒｕｃｔｕｒａｌ　ＳＩＭｉｌａｒｉｔｙ）指標、ＰＳＮＲ（Ｐｅａｋ　Ｓｉｇｎａｌ－ｔｏ－Ｎｏｉｓｅ　Ｒａｔｉｏ）指標、対応する画素同士の二乗誤差などが挙げられる。また、統合部３３は、モデル入力画像と代表画像とを、夫々サイズを正規化した上でベクトル化し、これらのベクトルのコサイン類似度を、類似度として算出してもよい。
　そして、統合部３３は、インデックスｉごとに上述する類似度を算出し、類似度が高いインデックスｉほど、重み係数ｗｉを大きい値に設定する。例えば、インデックスｉの類似度を「Ｓｉ」とすると、統合部３３は、重み係数ｗｉを、類似度Ｓｉの合計値を表す「ΣＳｉ」を用いた以下の式により設定する。
　ｗｉ＝Ｓｉ／ΣＳｉ
　この例によれば、全てのインデックスｉの合計値Σｗｉが１となり、かつ、対応する類似度Ｓｉが高いほど高い値となる重み係数ｗｉを設定することができる。
　図５（Ｂ）は、インデックスｉのモデル入力画像の病変信頼度マップ（ここではマスク画像）と代表画像との類似度を算出する例を示す。この例では、統合部３３は、代表画像として、学習用病変画像に対してアノテーションされた病変領域推論モデルが出力すべき正解の病変信頼度マップ（ここでは病変領域を示すマスク画像）を用いる。そして、統合部３３は、学習に用いられた正解の病変信頼度マップと、モデル入力画像から病変領域推論モデルが生成した病変信頼度マップとの類似度をインデックスｉごとに算出する。
　なお、図５（Ｂ）の例では、任意の１枚の学習用病変画像に対する正解の病変信頼度マップを代表画像として定めているが、これに限らず、複数枚の学習用病変画像に対する正解の病変信頼度マップの平均画像又は平均以外の任意の統計的手法により病変信頼度マップを統合した画像を、代表画像として定めてもよい。
　そして、統合部３３は、学習用病変画像の病変信頼度マップと、モデル入力画像の病変信頼度マップとの類似度として、画像間の比較に基づく任意の類似度の指標を算出する。そして、統合部３３は、全てのインデックスｉでの合計値Σｗｉが１となり、かつ、対応する類似度が高いほど高い値となるように、重み係数ｗｉを設定する。類似度の算出方法及び類似度に基づく重み係数ｗｉの設定方法の具体例については、図５（Ａ）の例において示した例と同一である。
　（３－４）表示例
　図６は、内視鏡検査において表示装置２が表示する表示画面例を示す。画像処理装置１の表示制御部３５は、内視鏡画像取得部３０が取得する内視鏡画像Ｉａと病変検知部３４による病変検知結果等とに基づき生成した表示情報Ｉｂを表示装置２に出力する。表示制御部３５は、内視鏡画像Ｉａ及び表示情報Ｉｂを表示装置２に送信することで、上述の表示画面を表示装置２に表示させている。図６に示す表示画面例では、画像処理装置１の表示制御部３５は、リアルタイム画像表示領域７０と、病変検知結果表示領域７１と、を表示画面上に設けている。
　ここで、表示制御部３５は、リアルタイム画像表示領域７０において、最新の内視鏡画像Ｉａを表す動画像を表示する。さらに、病変検知結果表示領域７１において、表示制御部３５は、病変検知部３４による病変検知結果を表示する。なお、図６に示す表示画面の表示時点において、病変部位が存在すると病変検知部３４が判定したことから、表示制御部３５は、病変検知結果に基づき、病変が存在する可能性が高い旨のテキストメッセージと、病変領域を示すマスク画像とを、病変検知結果表示領域７１に表示している。なお、表示制御部３５は、病変が存在する可能性が高い旨のテキストメッセージを病変検知結果表示領域７１に表示することに代えて、又はこれに加えて、病変が存在する可能性が高い旨を通知する音（音声を含む）を、音出力部１６により出力してもよい。
　（３－５）処理フロー
　図７は、第１実施形態において内視鏡検査時に画像処理装置１が実行する処理の概要を示すフローチャートの一例である。
　まず、画像処理装置１は、内視鏡画像Ｉａを取得する（ステップＳ１１）。この場合、画像処理装置１の内視鏡画像取得部３０は、インターフェース１３を介して内視鏡スコープ３から内視鏡画像Ｉａを受信する。
　次に、画像処理装置１は、ステップＳ１１で取得された内視鏡画像Ｉａからデータ拡張により、夫々異なるＮ枚のモデル入力画像を生成する（ステップＳ１２）。そして、画像処理装置１は、病変領域推論モデル情報Ｄ１を参照して構成される病変領域推論モデルにより、各モデル入力画像から病変信頼度マップを生成する（ステップＳ１３）。この場合、画像処理装置１は、各モデル入力画像を病変領域推論モデルに入力することで病変領域推論モデルから出力される病変信頼度マップを取得する。
　そして、画像処理装置１は、病変信頼度マップごとに重み係数ｗｉを算出する（ステップＳ１４）。この場合、例えば、画像処理装置１は、インデックスｉ（ｉ＝１，…，Ｎ）ごとに、モデル入力画像又は病変信頼度マップと対応する代表画像との類似度に基づき、重み係数ｗｉを設定する。また、画像処理装置１は、ステップＳ１２でのデータ拡張による変換操作を戻すように、各病変信頼度マップの角度やサイズの変換操作を行う。
　次に、画像処理装置１は、病変信頼度マップを重み係数ｗｉを用いて統合した統合画像を生成する（ステップＳ１５）。そして、画像処理装置１は、統合画像に基づき、病変検知結果を生成する（ステップＳ１６）。そして、画像処理装置１は、ステップＳ１１で得られた内視鏡画像Ｉａと、ステップＳ１６で生成した病変検知結果とに基づく情報を表示装置２に表示する（ステップＳ１７）。
　そして、画像処理装置１は、ステップＳ１７の後、内視鏡検査が終了したか否か判定する（ステップＳ１８）。例えば、画像処理装置１は、入力部１４又は操作部３６への所定の入力等を検知した場合に、内視鏡検査が終了したと判定する。そして、画像処理装置１は、内視鏡検査が終了したと判定した場合（ステップＳ１８；Ｙｅｓ）、フローチャートの処理を終了する。一方、画像処理装置１は、内視鏡検査が終了していないと判定した場合（ステップＳ１８；Ｎｏ）、ステップＳ１１へ処理を戻す。そして、画像処理装置１は、内視鏡スコープ３が新たに生成する内視鏡画像Ｉａに対してステップＳ１１～ステップＳ１７の処理を実行する。
　（４）変形例
　画像処理装置１は、内視鏡検査時に生成された内視鏡画像Ｉａから構成された映像を、検査後において処理してもよい。
　例えば、画像処理装置１は、検査後の任意のタイミングにおいて、入力部１４によるユーザ入力等に基づき、処理を行う対象となる映像が指定された場合に、当該映像を構成する時系列の内視鏡画像Ｉａに対して逐次的に図７のフローチャートの処理を行う。そして、画像処理装置１は、ステップＳ１８において対象の映像が終了したと判定した場合に、フローチャートの処理を終了し、対象の映像が終了していない場合にはステップＳ１１に戻り、時系列において次の内視鏡画像Ｉａを対象としてフローチャートの処理を行う。
　また、検知対象は病変領域に限らず、検査者が注目する必要がある任意の注目箇所を表す内視鏡画像Ｉａ内の領域（「注目領域」とも呼ぶ。）であってもよい。このような注目箇所は、病変領域、炎症が生じている箇所、手術痕その他の切り傷が生じている箇所、ひだや突起が生じている箇所、内視鏡スコープ３の先端部３８が管腔内の壁面において接触しやすい（閊えやすい）箇所などであってもよい。
　なお、本変形例は、後述する第２実施形態及び第３実施形態にも同様に適用される。
　＜第２実施形態＞
　第２実施形態に係る画像処理装置１は、内視鏡画像Ｉａから生成したＮ枚のモデル入力画像からＮ個の病変信頼度マップを生成する代わりに、異なるＮ個の病変領域推論モデルを用いて内視鏡画像ＩａからＮ個の病変信頼度マップを生成する点において、第１実施形態と異なる。以後では、第１実施形態と同様の構成要素については適宜同一符号を付し、その説明を省略する。なお、第２実施形態に係る画像処理装置１のハードウェア構成は、第１実施形態において説明した図２に示す構成と同一であるものとする。
　図８は、第２実施形態における画像処理装置１が実行する病変検知処理の概要を示す図である。
　まず、画像処理装置１は、内視鏡スコープ３から所定のフレーム周期により得られる各内視鏡画像Ｉａを、Ｎ個の病変領域推論モデル（ここではモデルＡ～モデルＤ）に夫々入力する。これにより、画像処理装置１は、Ｎ個の病変領域推論モデルから計Ｎ個の病変信頼度マップを取得する。
　ここで、Ｎ個の病変領域推論モデルは、アーキテクチャ又は学習に用いた学習データの少なくとも一方が他の病変領域推論モデルと異なっている。これにより、Ｎ個の病変領域推論モデルは、同一の内視鏡画像Ｉａが入力された場合であっても、夫々異なる推論結果を生成する。
　アーキテクチャが異なる例は、例えば、深層学習モデルの場合、層構造、各層のニューロン構造、各層におけるフィルタ数及びフィルタサイズ、並びに各フィルタの各要素の重みの少なくともいずれかが異なる場合が挙げられる。また、Ｎ個の病変領域推論モデルには、深層学習モデル以外のモデル（例えばサポートベクターマシーンに基づくモデル）又は深層学習モデルと深層学習モデル以外のモデルとの組み合わせが含まれていてもよい。
　また、学習データが異なる例では、内視鏡スコープのベンダーごとに、内視鏡画像及び病変領域の正解データの組となる学習データのセット（即ちＮ社分のベンダーに対応する学習データのセット）が用意され、ベンダーごとの学習データのセットによりＮ個の病変領域推論モデルが学習される。学習データが異なる他の例では、病変タイプ（隆起型、平坦型、陥凹型など）ごとに、内視鏡画像及び病変領域の正解データの組となる学習データのセット（即ちＮ個分の病変タイプに対応する学習データのセット）が用意され、病変タイプごとの学習データのセットによりＮ個の病変領域推論モデルが学習される。
　そして、画像処理装置１は、Ｎ個の病変信頼度マップを重み係数ｗｉにより重み付けして統合した統合画像を生成する。この場合、画像処理装置１は、Ｎ枚の病変信頼度マップの画素ごとの病変信頼度スコアに、対応する重み係数を乗じた値を足し合わせることで、統合画像の画素ごとの病変信頼度スコアを決定する。
　そして、画像処理装置１は、統合画像において、病変領域である確信度が所定度合い以上であることを示す病変信頼度スコアを有する画素を病変領域とみなし、最終的な病変検知結果を示す画像（ここでは病変領域を表すマスク画像）を生成する。画像処理装置１は、このマスク画像を内視鏡画像Ｉａと共に表示する。
　このように、第２実施形態における画像処理装置１は、複数の推論結果を生成し、その推論結果を統合することで最終的な病変領域を特定する。これにより、生検箇所の候補となる病変領域を好適に検査者に提示することが可能となる。
　図９は、第２実施形態での病変検知処理に関する画像処理装置１の機能ブロック図である。第２実施形態に係る画像処理装置１のプロセッサ１１は、機能的には、内視鏡画像取得部３０Ａと、推論部３２Ａと、統合部３３Ａと、病変検知部３４Ａと、表示制御部３５Ａと、を有する。また、メモリ１２には、Ｎ個の病変領域推論モデルの学習済みのパラメータを少なくとも含んだ病変領域推論モデル情報Ｄ１が記憶されている。
　内視鏡画像取得部３０Ａは、インターフェース１３を介して内視鏡スコープ３が撮影した内視鏡画像Ｉａを所定間隔により取得する。そして、内視鏡画像取得部３０Ａは、取得した内視鏡画像Ｉａを、推論部３２Ａ及び表示制御部３５Ａに夫々供給する。
　推論部３２Ａは、内視鏡画像Ｉａと、病変領域推論モデル情報Ｄ１を参照することで構成したＮ個の病変領域推論モデルと、に基づき、病変領域に関する推論結果であるＮ個の病変信頼度マップを取得する。この場合、推論部３２Ａは、内視鏡画像ＩａをＮ個の病変領域推論モデルに夫々入力し、当該病変領域推論モデルが出力するＮ個の病変信頼度マップを取得する。推論部３２Ａは、Ｎ個の病変信頼度マップを統合部３３Ａに供給する。
　統合部３３Ａは、Ｎ枚の病変信頼度マップを重み付け平均により統合した統合画像を生成する。この場合、例えば、統合部３３Ａは、重み係数ｗｉを、インデックスｉによらずに全て等しい値（即ち、「１／Ｎ」）に設定する。他の例では、統合部３３Ａは、重み係数ｗｉを、インデックスｉごとの病変信頼度マップと、代表画像との類似度に基づき設定する。この場合、代表画像は、例えば、インデックスｉに対応する病変領域推論モデルの学習に用いられた正解の病変信頼度マップとなる。なお、「正解の病変信頼度マップ」には、複数枚の学習用病変画像に対応する正解データが示す病変信頼度マップの平均画像又は平均以外の任意の統計的手法により当該病変信頼度マップを統合した画像が含まれる。このように、代表画像は、インデックスｉごとに対応する病変領域推論モデルに用いられた学習データに応じて予め用意されてもよい。
　病変検知部３４Ａは、統合部３３Ａが生成した統合画像に基づき、病変領域の存否の判定及び病変領域が存在する場合の病変領域の特定を行い、病変領域の存否の判定結果及び特定した病変領域を示す情報を、病変検知結果として表示制御部３５Ａに供給する。なお、病変検知部３４Ａが実行する処理は、病変検知部３４が実行する処理と同一である。
　表示制御部３５Ａは、内視鏡画像取得部３０Ａから供給される最新の内視鏡画像Ｉａと、病変検知部３４Ａから供給される病変検知結果とに基づき、表示情報Ｉｂを生成し、生成した表示情報Ｉｂを表示装置２に供給することで、最新の内視鏡画像Ｉａ及び病変検知結果等を表示装置２に表示させる。なお、表示制御部３５Ａが実行する処理は、表示制御部３５が実行する処理と同一である。
　図１０は、第２実施形態において内視鏡検査時に画像処理装置１が実行する処理の概要を示すフローチャートの一例である。
　まず、画像処理装置１は、内視鏡画像Ｉａを取得する（ステップＳ２１）。次に、画像処理装置１は、病変領域推論モデル情報Ｄ１を参照して構成されるＮ個の病変領域推論モデルにより、ステップＳ１１で取得された内視鏡画像ＩａからＮ個の病変信頼度マップを生成する（ステップＳ２２）。この場合、画像処理装置１は、内視鏡画像Ｉａを各病変領域推論モデルに入力することで各病変領域推論モデルから出力される病変信頼度マップを取得する。
　そして、画像処理装置１は、病変信頼度マップごとに重み係数ｗｉを算出する（ステップＳ２３）。この場合、例えば、画像処理装置１は、インデックスｉ（ｉ＝１，…，Ｎ）ごとに用意された代表画像と、インデックスｉに対応する病変信頼度マップとの類似度に基づき、重み係数ｗｉを設定する。
　次に、画像処理装置１は、病変信頼度マップを重み係数ｗｉを用いて統合した統合画像を生成する（ステップＳ２４）。そして、画像処理装置１は、統合画像に基づき、病変検知結果を生成する（ステップＳ２５）。そして、画像処理装置１は、ステップＳ１１で得られた内視鏡画像Ｉａと、ステップＳ２５で生成した病変検知結果とに基づく情報を表示装置２に表示する（ステップＳ２６）。
　そして、画像処理装置１は、ステップＳ２６の後、内視鏡検査が終了したか否か判定する（ステップＳ２７）。そして、画像処理装置１は、内視鏡検査が終了したと判定した場合（ステップＳ２７；Ｙｅｓ）、フローチャートの処理を終了する。一方、画像処理装置１は、内視鏡検査が終了していないと判定した場合（ステップＳ２７；Ｎｏ）、ステップＳ２１へ処理を戻す。そして、画像処理装置１は、内視鏡スコープ３が新たに生成する内視鏡画像Ｉａに対してステップＳ２１～ステップＳ２６の処理を実行する。
　＜第３実施形態＞
　第３実施形態に係る画像処理装置１は、１つの病変領域推論モデルに対して異なるＮ個のパターン（Ｎパターン）の設定条件を適用して内視鏡画像ＩａからＮ個の病変信頼度マップを生成する点において、第１実施形態又は第２実施形態と異なる。以後では、第１実施形態又は第２実施形態と同様の構成要素については適宜同一符号を付し、その説明を省略する。
　なお、第３実施形態に係る画像処理装置１のハードウェア構成は、第１実施形態において説明した図２に示す構成と同一であるものとする。また、第３実施形態での病変検知処理に関する画像処理装置１の機能ブロックは、例えば、第２実施形態において説明した図9に示される構成と同一である。
　図１１は、第３実施形態における画像処理装置１が実行する病変検知処理の概要を示す図である。
　まず、画像処理装置１は、内視鏡スコープ３から所定のフレーム周期により得られる各内視鏡画像Ｉａを、Ｎパターンの設定条件（ここでは設定条件ａ～ｄ）を適用した病変領域推論モデル（ここではモデルＡ）に入力する。これにより、画像処理装置１は、Ｎパターンの設定条件が適用された病変領域推論モデルから計Ｎ個の病変信頼度マップを取得する。言い換えると、画像処理装置１は、処理時刻ごとに得られる内視鏡画像Ｉａを、病変領域推論モデルに、病変領域推論モデルの設定条件を変えながらＮ回入力することで、当該病変領域推論モデルから出力されるＮ個の推論結果を取得する。
　ここで、設定条件は、例えば、ユーザが入力により調整可能な病変領域推論モデルの設定パラメータであり、各画素の病変信頼度スコアに応じて、当該画素が病変領域であるか否かを決定する閾値パラメータであってもよい。具体的には、病変信頼度スコアは０～１の値（１の時、当該画素がもっとも病変らしいとする）をとることとし、ある画素の病変信頼度スコアが閾値パラメータより小さいとき、当該画素の病変信頼度スコアを０とすることで、当該画素を非病変領域とすることができる。このとき、例えば閾値パラメータを１に近い値に設定したとき、推論モデルがより病変らしいと推論する領域のみが病変領域となり、それ以外の領域は非病変領域となる。逆に、閾値パラメータを０に近い値に設定したとき、推論モデルが病変ではないと推論する領域も病変領域となる。これは、前者が推定された病変領域が正しく病変領域であることを重視し、非病変領域を誤って病変領域と推定しないことを意図した（適合率を重視した）設定であり、後者が非病変領域を病変領域として含むことを許容した上で、病変領域の検知漏れを許さないことを意図した（再現率を重視した）設定となる。このように意図の異なる（例えば、再現率を重視するか又は適合率を重視するかで異なる）複数の病変領域推論モデルの設定パラメータで各々の信頼度マップを生成することができる。
　そして、画像処理装置１は、Ｎ個の病変信頼度マップを重み係数ｗｉにより重み付けして統合した統合画像を生成する。この場合、画像処理装置１は、Ｎ枚の病変信頼度マップの画素ごとの病変信頼度スコアに、対応する重み係数を乗じた値を足し合わせることで、統合画像の画素値を決定する。
　そして、画像処理装置１は、統合画像において、病変領域である確信度が所定度合い以上であることを示す病変信頼度スコアを有する画素を病変領域とみなし、最終的な病変検知結果を示す画像（ここでは病変領域を表すマスク画像）を生成する。画像処理装置１は、このマスク画像を内視鏡画像Ｉａと共に表示する。
　このように、第３実施形態における画像処理装置１は、複数の推論結果を生成し、その推論結果を統合することで最終的な病変領域を特定する。これにより、生検箇所の候補となる病変領域を好適に検査者に提示することが可能となる。
　図１２は、第３実施形態において内視鏡検査時に画像処理装置１が実行する処理の概要を示すフローチャートの一例である。
　まず、画像処理装置１は、内視鏡画像Ｉａを取得する（ステップＳ３１）。次に、画像処理装置１は、病変領域推論モデル情報Ｄ１を参照して構成される１個の病変領域推論モデルに対し、Ｎパターンの設定条件を適用し、ステップＳ１１で取得された内視鏡画像ＩａからＮ個の病変信頼度マップを生成する（ステップＳ３２）。この場合、画像処理装置１は、処理時刻ごとに得られる内視鏡画像Ｉａを、病変領域推論モデルに、病変領域推論モデルの設定条件を変えながらＮ回入力することで、当該病変領域推論モデルから出力されるＮ個の病変信頼度マップ（即ち推論結果）を取得する。
　そして、画像処理装置１は、病変信頼度マップごとに重み係数ｗｉを算出する（ステップＳ３３）。この場合、例えば、画像処理装置１は、全てのインデックスｉにおいて共通の代表画像と、インデックスｉに対応する病変信頼度マップとの類似度に基づき、重み係数ｗｉを設定する。
　次に、画像処理装置１は、病変信頼度マップを重み係数ｗｉを用いて統合した統合画像を生成する（ステップＳ３４）。そして、画像処理装置１は、統合画像に基づき、病変検知結果を生成する（ステップＳ３５）。そして、画像処理装置１は、ステップＳ１１で得られた内視鏡画像Ｉａと、ステップＳ２５で生成した病変検知結果とに基づく情報を表示装置２に表示する（ステップＳ３６）。
　そして、画像処理装置１は、ステップＳ３６の後、内視鏡検査が終了したか否か判定する（ステップＳ３７）。そして、画像処理装置１は、内視鏡検査が終了したと判定した場合（ステップＳ３７；Ｙｅｓ）、フローチャートの処理を終了する。一方、画像処理装置１は、内視鏡検査が終了していないと判定した場合（ステップＳ３７；Ｎｏ）、ステップＳ３１へ処理を戻す。そして、画像処理装置１は、内視鏡スコープ３が新たに生成する内視鏡画像Ｉａに対してステップＳ３１～ステップＳ３６の処理を実行する。
　＜第４実施形態＞
　図１３は、第４実施形態における画像処理装置１Ｘのブロック図である。画像処理装置１Ｘは、取得手段３０Ｘと、推論手段３２Ｘと、統合手段３３Ｘと、を備える。画像処理装置１Ｘは、複数の装置から構成されてもよい。
　取得手段３０Ｘは、被検体を撮影した内視鏡画像を取得する。取得手段３０Ｘは、第１実施形態における内視鏡画像取得部３０、又は、第２実施形態若しくは第３実施形態における内視鏡画像取得部３０Ａとすることができる。なお、取得手段３０Ｘは、撮影部が生成した内視鏡画像を即時に取得してもよく、予め撮影部が生成して記憶装置に記憶された内視鏡画像を、所定のタイミングにおいて取得してもよい。
　推論手段３２Ｘは、内視鏡画像に基づき、内視鏡画像における被検体の注目領域に関する複数の推論結果を生成する。推論手段３２Ｘは、第１実施形態における推論部３２、又は、第２実施形態若しくは第３実施形態における推論部３２Ａとすることができる。
　統合手段３３Ｘは、複数の推論結果を統合する。統合手段３３Ｘは、第１実施形態における統合部３３、又は、第２実施形態若しくは第３実施形態における統合部３３Ａとすることができる。
　図１４は、第４実施形態における処理手順を示すフローチャートの一例である。取得手段３０Ｘは、被検体を撮影した内視鏡画像を取得する。取得手段３０Ｘは、被検体を撮影した内視鏡画像を取得する（ステップＳ４１）。次に、推論手段３２Ｘは、内視鏡画像に基づき、内視鏡画像における被検体の注目領域に関する複数の推論結果を生成する（ステップＳ４２）。そして、統合手段３３Ｘは、複数の推論結果を統合する（ステップＳ４３）。
　第４実施形態によれば、画像処理装置１Ｘは、被検体を撮影した内視鏡画像から注目箇所の領域を的確に検知することができる。
　なお、上述した各実施形態において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（Ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ　ｃｏｍｐｕｔｅｒ　ｒｅａｄａｂｌｅ　ｍｅｄｉｕｍ）を用いて格納され、コンピュータであるプロセッサ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体（Ｔａｎｇｉｂｌｅ　ｓｔｏｒａｇｅ　ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記憶媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（Ｔｒａｎｓｉｔｏｒｙ　ｃｏｍｐｕｔｅｒ　ｒｅａｄａｂｌｅ　ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　その他、上記の各実施形態（変形例を含む、以下同じ）の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。
　［付記１］
　被検体を撮影した内視鏡画像を取得する取得手段と、
　前記内視鏡画像に基づき、前記内視鏡画像における前記被検体の注目領域に関する複数の推論結果を生成する推論手段と、
　前記複数の推論結果を統合する統合手段と、
を有する画像処理装置。
　［付記２］
　前記内視鏡画像をデータ拡張により複数の画像に変換する変換手段をさらに有し、
　前記推論手段は、前記複数の画像の各々から前記注目領域に関する推論結果を生成する、付記１に記載の画像処理装置。
　［付記３］
　前記推論手段は、前記複数の画像の各々を推論モデルに入力することで当該推論モデルから出力される前記推論結果を取得し、
　前記推論モデルは、前記推論モデルに入力される画像と、当該画像における前記注目領域との関係を学習したモデルである、付記２に記載の画像処理装置。
　［付記４］
　前記推論手段は、前記内視鏡画像を複数の推論モデルに入力することで当該複数の推論モデルから出力される前記複数の推論結果を取得し、
　前記複数の推論モデルは、前記推論モデルに入力される画像と、当該画像における前記注目領域との関係を学習したモデルである、付記１に記載の画像処理装置。
　［付記５］
　前記複数の推論モデルは、モデルのアーキテクチャ又は学習に用いた学習データの少なくとも一方が互いに異なるモデルである、付記４に記載の画像処理装置。
　［付記６］
　前記推論手段は、前記内視鏡画像を、推論モデルに当該推論モデルの設定条件を変えながら複数回入力することで当該推論モデルから出力される前記複数の推論結果を取得し、
　前記複数の推論モデルは、前記推論モデルに入力される画像と、当該画像における前記注目領域との関係を学習したモデルである、付記１に記載の画像処理装置。
　［付記７］
　前記設定条件は、前記注目領域であるか否かを決定する閾値パラメータである、付記６に記載の画像処理装置。
　［付記８］
　前記推論手段は、再現率を重視した前記閾値パラメータと、適合率を重視した前記閾値パラメータとを夫々前記推論モデルに設定した場合に得られる前記推論結果を少なくとも取得する、付記７に記載の画像処理装置。
　［付記９］
　前記統合手段は、前記複数の画像の各々と、前記推論モデルの学習に用いる前記注目領域を含む学習用画像との類似度に基づき、前記複数の推論結果の各々を重み付けして統合する、付記３に記載の画像処理装置。
　［付記１０］
　前記統合手段は、前記複数の推論結果の各々と、前記推論モデルの学習に用いる正解データとの類似度に基づき、前記複数の推論結果の各々を重み付けして統合する、付記３～８のいずれか一項に記載の画像処理装置。
　［付記１１］
　前記複数の推論結果を統合した画像に基づき、前記注目領域の検知を行う検知手段をさらに有する、付記１に記載の画像処理装置。
　［付記１２］
　前記検知の結果に関する情報を表示又は音声出力する出力制御手段をさらに有する、付記９に記載の画像処理装置。
　［付記１３］
　コンピュータが、
　被検体を撮影した内視鏡画像を取得し、
　前記内視鏡画像に基づき、前記内視鏡画像における前記被検体の注目領域に関する複数の推論結果を生成し、
　前記複数の推論結果を統合する、
画像処理方法。
　［付記１４］
　被検体を撮影した内視鏡画像を取得し、
　前記内視鏡画像に基づき、前記内視鏡画像における前記被検体の注目領域に関する複数の推論結果を生成し、
　前記複数の推論結果を統合する処理をコンピュータに実行させるプログラムを格納した記憶媒体。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献及び非特許文献の各開示は、本書に引用をもって繰り込むものとする。
　１、１Ｘ　画像処理装置
　２　表示装置
　３　内視鏡スコープ
　１１　プロセッサ
　１２　メモリ
　１３　インターフェース
　１４　入力部
　１５　光源部
　１６　音出力部
　１００　内視鏡検査システム

Claims (14)

  1. 　被検体を撮影した内視鏡画像を取得する取得手段と、
    　前記内視鏡画像に基づき、前記内視鏡画像における前記被検体の注目領域に関する複数の推論結果を生成する推論手段と、
    　前記複数の推論結果を統合する統合手段と、
    を有する画像処理装置。
  2. 　前記内視鏡画像をデータ拡張により複数の画像に変換する変換手段をさらに有し、
    　前記推論手段は、前記複数の画像の各々から前記注目領域に関する推論結果を生成する、請求項１に記載の画像処理装置。
  3. 　前記推論手段は、前記複数の画像の各々を推論モデルに入力することで当該推論モデルから出力される前記推論結果を取得し、
    　前記推論モデルは、前記推論モデルに入力される画像と、当該画像における前記注目領域との関係を学習したモデルである、請求項２に記載の画像処理装置。
  4. 　前記推論手段は、前記内視鏡画像を複数の推論モデルに入力することで当該複数の推論モデルから出力される前記複数の推論結果を取得し、
    　前記複数の推論モデルは、前記推論モデルに入力される画像と、当該画像における前記注目領域との関係を学習したモデルである、請求項１に記載の画像処理装置。
  5. 　前記複数の推論モデルは、モデルのアーキテクチャ又は学習に用いた学習データの少なくとも一方が互いに異なるモデルである、請求項４に記載の画像処理装置。
  6. 　前記推論手段は、前記内視鏡画像を、推論モデルに当該推論モデルの設定条件を変えながら複数回入力することで当該推論モデルから出力される前記複数の推論結果を取得し、
    　前記推論モデルは、前記推論モデルに入力される画像と、当該画像における前記注目領域との関係を学習したモデルである、請求項１に記載の画像処理装置。
  7. 　前記設定条件は、前記注目領域であるか否かを決定する閾値パラメータである、請求項６に記載の画像処理装置。
  8. 　前記推論手段は、再現率を重視した前記閾値パラメータと、適合率を重視した前記閾値パラメータとを夫々前記推論モデルに設定した場合に得られる前記推論結果を少なくとも取得する、請求項７に記載の画像処理装置。
  9. 　前記統合手段は、前記複数の画像の各々と、前記推論モデルの学習に用いる前記注目領域を含む学習用画像との類似度に基づき、前記複数の推論結果の各々を重み付けして統合する、請求項３に記載の画像処理装置。
  10. 　前記統合手段は、前記複数の推論結果の各々と、前記推論モデルの学習に用いる正解データとの類似度に基づき、前記複数の推論結果の各々を重み付けして統合する、請求項３～８のいずれか一項に記載の画像処理装置。
  11. 　前記複数の推論結果を統合した画像に基づき、前記注目領域の検知を行う検知手段をさらに有する、請求項１に記載の画像処理装置。
  12. 　前記検知の結果に関する情報を表示又は音声出力する出力制御手段をさらに有する、請求項９に記載の画像処理装置。
  13. 　コンピュータが、
    　被検体を撮影した内視鏡画像を取得し、
    　前記内視鏡画像に基づき、前記内視鏡画像における前記被検体の注目領域に関する複数の推論結果を生成し、
    　前記複数の推論結果を統合する、
    画像処理方法。
  14. 　被検体を撮影した内視鏡画像を取得し、
    　前記内視鏡画像に基づき、前記内視鏡画像における前記被検体の注目領域に関する複数の推論結果を生成し、
    　前記複数の推論結果を統合する処理をコンピュータに実行させるプログラムを格納した記憶媒体。
PCT/JP2022/038743 2022-10-18 2022-10-18 画像処理装置、画像処理方法及び記憶媒体 WO2024084578A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2022/038743 WO2024084578A1 (ja) 2022-10-18 2022-10-18 画像処理装置、画像処理方法及び記憶媒体
PCT/JP2023/031838 WO2024084838A1 (ja) 2022-10-18 2023-08-31 画像処理装置、画像処理方法及び記憶媒体
US18/410,187 US20240161283A1 (en) 2022-10-18 2024-01-11 Image processing device, image processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/038743 WO2024084578A1 (ja) 2022-10-18 2022-10-18 画像処理装置、画像処理方法及び記憶媒体

Publications (1)

Publication Number Publication Date
WO2024084578A1 true WO2024084578A1 (ja) 2024-04-25

Family

ID=90737152

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2022/038743 WO2024084578A1 (ja) 2022-10-18 2022-10-18 画像処理装置、画像処理方法及び記憶媒体
PCT/JP2023/031838 WO2024084838A1 (ja) 2022-10-18 2023-08-31 画像処理装置、画像処理方法及び記憶媒体

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/031838 WO2024084838A1 (ja) 2022-10-18 2023-08-31 画像処理装置、画像処理方法及び記憶媒体

Country Status (2)

Country Link
US (1) US20240161283A1 (ja)
WO (2) WO2024084578A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020026349A1 (ja) * 2018-07-31 2020-02-06 オリンパス株式会社 画像診断支援システムおよび画像診断支援装置
WO2021010225A1 (ja) * 2019-07-18 2021-01-21 Hoya株式会社 コンピュータプログラム、情報処理方法、及び内視鏡用プロセッサ
JP2021074404A (ja) * 2019-11-12 2021-05-20 Hoya株式会社 プログラム、情報処理方法及び情報処理装置
WO2021240656A1 (ja) * 2020-05-26 2021-12-02 日本電気株式会社 画像処理装置、制御方法及び記憶媒体
WO2022029824A1 (ja) * 2020-08-03 2022-02-10 オリンパス株式会社 診断支援システム、診断支援方法及び診断支援プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016185617A1 (ja) * 2015-05-21 2016-11-24 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2021140600A1 (ja) * 2020-01-09 2021-07-15 オリンパス株式会社 画像処理システム、内視鏡システム及び画像処理方法
WO2021140602A1 (ja) * 2020-01-09 2021-07-15 オリンパス株式会社 画像処理システム、学習装置及び学習方法
EP4298986A4 (en) * 2021-02-26 2024-03-13 Nec Corporation IMAGE PROCESSING DEVICE AND METHOD, AND STORAGE MEDIUM

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020026349A1 (ja) * 2018-07-31 2020-02-06 オリンパス株式会社 画像診断支援システムおよび画像診断支援装置
WO2021010225A1 (ja) * 2019-07-18 2021-01-21 Hoya株式会社 コンピュータプログラム、情報処理方法、及び内視鏡用プロセッサ
JP2021074404A (ja) * 2019-11-12 2021-05-20 Hoya株式会社 プログラム、情報処理方法及び情報処理装置
WO2021240656A1 (ja) * 2020-05-26 2021-12-02 日本電気株式会社 画像処理装置、制御方法及び記憶媒体
WO2022029824A1 (ja) * 2020-08-03 2022-02-10 オリンパス株式会社 診断支援システム、診断支援方法及び診断支援プログラム

Also Published As

Publication number Publication date
US20240161283A1 (en) 2024-05-16
WO2024084838A1 (ja) 2024-04-25

Similar Documents

Publication Publication Date Title
JP7335552B2 (ja) 画像診断支援装置、学習済みモデル、画像診断支援装置の作動方法および画像診断支援プログラム
CN110049709B (zh) 图像处理装置
JP6150583B2 (ja) 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法
US20180263568A1 (en) Systems and Methods for Clinical Image Classification
JP5444511B1 (ja) 画像処理装置
JP4994737B2 (ja) 医療用画像処理装置及び医療用画像処理方法
JP7313512B2 (ja) 内視鏡用プロセッサ、プログラム、情報処理方法及び情報処理装置
WO2007119297A1 (ja) 医療用画像処理装置及び医療用画像処理方法
JP2011206251A (ja) 画像処理装置、画像処理方法及びプログラム
WO2012153568A1 (ja) 医用画像処理装置及び医用画像処理方法
WO2020194785A1 (ja) 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法
WO2019138772A1 (ja) 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム
WO2023042273A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
WO2024084578A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
JP7162744B2 (ja) 内視鏡用プロセッサ、内視鏡システム、情報処理装置、プログラム及び情報処理方法
JP7485193B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2023126999A1 (ja) 画像処理装置、画像処理方法、及び、記憶媒体
WO2022224446A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
WO2023187886A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
WO2023181353A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
WO2023234071A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
WO2024075242A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
WO2024075240A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
WO2023162216A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
WO2024013848A1 (ja) 画像処理装置、画像処理方法及び記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22962690

Country of ref document: EP

Kind code of ref document: A1