WO2021240656A1 - 画像処理装置、制御方法及び記憶媒体 - Google Patents

画像処理装置、制御方法及び記憶媒体 Download PDF

Info

Publication number
WO2021240656A1
WO2021240656A1 PCT/JP2020/020778 JP2020020778W WO2021240656A1 WO 2021240656 A1 WO2021240656 A1 WO 2021240656A1 JP 2020020778 W JP2020020778 W JP 2020020778W WO 2021240656 A1 WO2021240656 A1 WO 2021240656A1
Authority
WO
WIPO (PCT)
Prior art keywords
detection model
evaluation
candidate
detection
candidate site
Prior art date
Application number
PCT/JP2020/020778
Other languages
English (en)
French (fr)
Inventor
雅弘 西光
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/926,909 priority Critical patent/US20230230364A1/en
Priority to PCT/JP2020/020778 priority patent/WO2021240656A1/ja
Priority to JP2022527329A priority patent/JPWO2021240656A5/ja
Publication of WO2021240656A1 publication Critical patent/WO2021240656A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present disclosure relates to technical fields of image processing devices, control methods, and storage media for processing images acquired in endoscopy.
  • Patent Document 1 discloses a learning method of a learning model that outputs a lesion included in the photographed image data when the photographed image data generated by the photographing device is input.
  • Patent Document 1 When detecting a lesion site from an image taken by endoscopy using a learned model, the reliability of the detection result differs depending on the suitability of the model used. Patent Document 1 does not disclose that the detection result is displayed in consideration of the suitability of such a model.
  • An object of the present disclosure is to provide an image processing device, a control method, and a storage medium capable of appropriately displaying the detection result of a site of interest such as a lesion site in endoscopy in view of the above-mentioned problems. be.
  • One aspect of the image processing device is a detection model evaluation means that evaluates the suitability of a detection model that detects a region of interest to be noted based on an image taken by an imaging unit provided in the endoscope.
  • the candidate site information indicating the candidate site that is a candidate for the attention site detected by one or a plurality of detection models included in the detection model for which the evaluation was performed is determined by the display mode determined based on the evaluation result.
  • One aspect of the control method is to evaluate the suitability of a detection model that detects a notable part of interest based on an image taken by an imaging unit provided in the endoscope by a computer, and the evaluation is performed.
  • the candidate site information indicating the candidate site that is a candidate for the attention site detected by one or a plurality of detection models included in the detection model in which the above is performed is displayed on the display device by the display mode determined based on the result of the evaluation. It is a control method to display on the photographed image to be displayed.
  • One aspect of the storage medium is a detection model evaluation means that evaluates the suitability of a detection model that detects a region of interest to be noted based on an image taken by an imaging unit provided in the endoscope.
  • Candidate site information indicating a candidate site that is a candidate for the attention site detected by one or a plurality of detection models included in the detection model for which the evaluation has been performed is displayed by a display mode determined based on the evaluation result.
  • It is a storage medium that stores a program that causes a computer to function as a display control means to be displayed on the captured image to be displayed on the device.
  • candidates for a site of interest such as a lesion site can be suitably displayed.
  • the schematic configuration of the endoscopy system is shown.
  • the hardware configuration of the image processing device is shown. It is a functional block diagram of an image processing apparatus.
  • (A) It is a figure which clearly shows the candidate part detected by the 1st detection model with respect to the photographed image on the photographed image.
  • (B) It is a figure which clearly shows the candidate part detected by the 2nd detection model with respect to the photographed image on the photographed image.
  • (C) It is a figure which clearly shows the candidate part detected by the 3rd detection model with respect to the photographed image on the photographed image.
  • a first display example of a display screen displayed by a display device in an endoscopy is shown.
  • a second display example of the display screen displayed by the display device in the endoscopy is shown.
  • a third display example of the display screen displayed by the display device in the endoscopy is shown.
  • a fourth display example of the display screen displayed by the display device in the endoscopy is shown.
  • a fifth display example of the display screen displayed by the display device in the endoscopy is shown.
  • It is an example of the flowchart which shows the outline of the display processing which the image processing apparatus performs at the time of an endoscopic examination in 1st Embodiment.
  • An example of the functional block of the image processing apparatus according to the modified example is shown. It is a schematic block diagram of an endoscopy system in a modification. It is a block diagram of the image processing apparatus in 2nd Embodiment. This is an example of a flowchart executed by the image processing apparatus in the second embodiment.
  • FIG. 1 shows a schematic configuration of an endoscopy system 100.
  • the endoscopy system 100 mainly includes an image processing device 1, a display device 2, and an endoscope scope 3 connected to the image processing device 1.
  • the processing in the endoscopy of the large intestine will be described.
  • the subject of the examination is not limited to the large intestine, but may be the esophagus or the stomach.
  • the image processing device 1 acquires an image (also referred to as “captured image Ic”) captured by the endoscope scope 3 in chronological order from the endoscope scope 3, and displays a screen based on the captured image Ic on the display device 2.
  • the captured image Ic is, for example, an image of the lumen of the large intestine of the subject to be imaged, and is a predetermined time interval in at least one of the steps of inserting the endoscope scope 3 into the subject and the step of discharging the endoscope. It is an image taken by.
  • the image processing apparatus 1 detects a candidate site (also referred to as “candidate site Pc”) as a lesion site in the lumen by analyzing the captured image Ic, and the detected candidate site.
  • Information also referred to as “candidate site information Ipc” indicating the above is displayed on the captured image Ic displayed by the display device 2.
  • the display device 2 is a display or the like that performs a predetermined display based on a display signal supplied from the image processing device 1.
  • the endoscope scope 3 is, for example, a device for photographing the lumen of the large intestine by being inserted into the large intestine of the subject.
  • the endoscope scope 3 is mainly inserted into a lumen with a connection unit 35 for connecting to the image processing device 1, an operation unit 36 for the inspector to perform a predetermined input, and has flexibility. It has a shaft 37 and a tip 38 having a built-in imaging unit such as an ultra-small image sensor.
  • FIG. 2 shows the hardware configuration of the image processing device 1.
  • the image processing device 1 mainly includes a processor 11, a memory 12, an interface 13, an input unit 14, a light source unit 15, and a sound output unit 16. Each of these elements is connected via the data bus 19.
  • the processor 11 executes a predetermined process by executing a program or the like stored in the memory 12.
  • the processor 11 is a processor such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and a quantum processor.
  • the memory 12 is composed of various volatile memories used as working memory such as RAM (Random Access Memory) and ROM (Read Only Memory), and a non-volatile memory for storing information necessary for processing of the image processing device 1. Will be done.
  • the memory 12 may include an external storage device such as a hard disk connected to or built in the image processing device 1, or may include a storage medium such as a detachable flash memory.
  • the memory 12 stores a program for the image processing device 1 to execute each process in the present embodiment. Further, the memory 12 stores the model evaluation information D1, the detection model information D2, and the display mode information D3. Details of these data will be described later.
  • the model evaluation information D1, the detection model information D2, and the display mode information D3 may be stored in an external device capable of data communication with the image processing device 1 by wire or wirelessly instead of the memory 12.
  • the interface 13 performs an interface operation between the image processing device 1 and the external device.
  • the interface 13 supplies the display information “Id” generated by the processor 11 to the display device 2.
  • the interface 13 supplies the light or the like generated by the light source unit 15 to the endoscope scope 3.
  • the interface 13 supplies the processor 11 with an electric signal indicating the captured image Ic supplied from the endoscope scope 3.
  • the interface 13 may be a communication interface such as a network adapter for communicating with an external device by wire or wirelessly, and is a hardware interface compliant with USB (Universal Serial Bus), SATA (Serial AT Atchment), or the like. You may.
  • the input unit 14 generates an input signal based on the operation by the inspector.
  • the input unit 14 is, for example, a button, a touch panel, a remote controller, a voice input device, or the like.
  • the light source unit 15 generates light to be supplied to the tip portion 38 of the endoscope scope 3. Further, the light source unit 15 may also include a pump or the like for sending out water or air to be supplied to the endoscope scope 3.
  • the sound output unit 16 outputs sound based on the control of the processor 11.
  • the detection model information D2 is information related to a model (also referred to as a "detection model") for detecting a lesion site from a captured image Ic.
  • the detection model information D2 includes information about a plurality of detection models.
  • the detection model information D2 includes parameters for configuring the detection model and the like.
  • the detection model is a model configured to output information regarding the position of the lesion site in the captured image Ic, for example, when the captured image Ic is input.
  • the information output by the detection model may be a coordinate value of the center of the lesion site, may indicate a range of the lesion site, or may be a reliability map.
  • the "coordinate value” may be a value indicating a position in the image in pixel units, or may be a value indicating a position in the image in sub-pixel units.
  • the reliability map is a map on the image showing the reliability of each coordinate value of the lesion site.
  • the information output by the detection model may be designed to be suitable for each detection model.
  • the detection model is a learning model learned by machine learning.
  • the detection model may be a learning model based on a neural network, may be another type of learning model such as a support vector machine, or may be a combination thereof.
  • the detection model information D2 includes a layer structure, a neuron structure of each layer, a number of filters and a filter size in each layer, and weights of each element of each filter. Includes various parameters.
  • the detection model registered in the detection model information D2 is provided for each of various classifications.
  • the detection model registered in the detection model information D2 may be provided for each classification of the characteristics of the captured image Ic, or may be provided for each classification of the state of the lumen (that is, the inspection target). It may be provided for each combination classification (that is, classification by two or more axes).
  • the detection model provided according to the characteristics of the captured image Ic is also referred to as an "image characteristic dependent detection model”
  • the detection model provided according to the state of the inspection target is also referred to as a "state dependent detection model”. ..
  • the image characteristic-dependent detection model is a detection model for a dark (low overall brightness) captured image Ic (for example, learned mainly using a dark captured image Ic), and a detection model for a bright captured image Ic.
  • a detection model for a photographed image Ic with strong redness, a detection model for a photographed image Ic with blurring, a detection model for a photographed image Ic with noise, and the like are included.
  • the state-dependent detection model includes a detection model specialized for detecting a specific type of lesion site, a detection model provided for each classification according to the presence or absence of drug spraying, and the like, which are provided according to the type of lesion site.
  • the type of lesion site may be classified according to the shape appearing as a symptom, for example.
  • the detection model information D2 can cause the image processing device 1 to accurately detect the lesion site for the inspection target in various states.
  • Model evaluation information D1 is information related to an evaluation model that evaluates the suitability of each detection model based on the captured image Ic.
  • the model evaluation information D1 includes parameters for constructing the evaluation model and the like.
  • the evaluation model is a model in which each detection model that can be configured from the information indicating the detection model suitable for lesion detection using the captured image Ic as the input and the detection model information D2 is appropriate. It is a model configured to output a certainty equivalent to the certainty of being.
  • the evaluation model may be a learning model based on a neural network, may be another type of learning model such as a support vector machine, or may be a combination thereof.
  • the model evaluation information D1 includes a layer structure, a neuron structure of each layer, a number of filters and a filter size in each layer, and weights of each element of each filter. Store various parameters.
  • the display mode information D3 is information regarding the display mode of the candidate site information Ipc for clearly indicating the candidate site Pc detected by each detection model on the captured image Ic.
  • the display mode information D3 is information for displaying the candidate site information Ipc in a display mode suitable (dependent) for the detection model in which the candidate site Pc is detected.
  • the display mode information D3 is information for determining the display mode of the candidate site information Ipc according to the certainty of the detection model that detected the candidate site Pc.
  • the candidate site information Ipc may be a contour line such as a circle or an ellipse indicating the candidate site Pc, or may be a filled region overlapping the candidate site Pc.
  • the candidate site information Ipc may be displayed in various colors, shapes, and shades.
  • the display mode information D3 includes, for example, information that specifies whether the candidate site information Ipc is displayed by the contour line or the filled area according to the detection model or the certainty, and the candidate site information Ipc. It contains information that specifies color, shape, shading, etc.
  • FIG. 3 is a functional block diagram of the image processing device 1.
  • the processor 11 of the image processing device 1 functionally includes a captured image acquisition unit 30, a detection model evaluation unit 31, a lesion detection unit 32, and a display control unit 33.
  • the captured image acquisition unit 30 acquires the captured images Ic captured by the endoscope scope 3 via the interface 13 at predetermined intervals. Then, the captured image acquisition unit 30 supplies the acquired captured image Ic to the detection model evaluation unit 31, the lesion detection unit 32, and the display control unit 33, respectively.
  • the detection model evaluation unit 31 evaluates the suitability of each configurable detection model with reference to the detection model information D2 based on the captured image Ic supplied from the captured image acquisition unit 30, and displays the evaluation result “R1”. It is supplied to the control unit 33. In this case, the detection model evaluation unit 31 configures the evaluation model by referring to the model evaluation information D1, and inputs the captured image Ic to the configured evaluation model to generate the evaluation result R1.
  • the evaluation result R1 includes, for example, information indicating (designating) a detection model (also referred to as “appropriate detection model”) evaluated to be suitable for lesion detection based on the input captured image Ic.
  • Each detection model includes certainty that indicates the certainty that it is an appropriate model.
  • the evaluation result R1 may have only information indicating the suitability detection model.
  • the aptitude detection model indicated by the evaluation result R1 may be one or a plurality.
  • the detection model evaluation unit 31 regards the detection model with the highest certainty as the suitability detection model.
  • the detection model evaluation unit 31 considers one or more detection models whose certainty is equal to or higher than a predetermined threshold value as an aptitude detection model.
  • the detection model evaluation unit 31 considers a detection model having a higher certainty of certainty as an aptitude detection model.
  • the lesion detection unit 32 is a candidate for a lesion site imaged in the captured image Ic based on the captured image Ic supplied from the captured image acquisition unit 30 and the evaluation result R1 supplied from the detection model evaluation unit 31.
  • the site Pc is detected, and the detection result "R2" is supplied to the display control unit 33.
  • the lesion detection unit 32 configures the aptitude detection model indicated by the evaluation result R1 by referring to the detection model information D2, and inputs the captured image Ic to the configured aptitude detection model.
  • the detection result R2 is generated.
  • the detection result R2 includes, for example, information indicating a region of the candidate site Pc in the captured image Ic.
  • the lesion detection unit 32 When there are two or more aptitude detection models, the lesion detection unit 32 generates a detection result R2 indicating the candidate site Pc detected by each of the aptitude detection models.
  • the display control unit 33 generates display information Id to be displayed on the display device 2 based on the captured image Ic, the evaluation result R1, and the detection result R2. In this case, the display control unit 33 generates the candidate site information Ipc for clearly indicating the candidate site Pc on the captured image Ic, and the display information Id for displaying the generated candidate site information Ipc on the captured image Ic. To generate. Further, the display control unit 33 determines the display mode of the candidate site information Ipc by referring to the display mode information D3. In this case, in the first example, the display control unit 33 refers to the display mode information D3 that defines the display mode of the candidate site information Ipc for each detection model, and clearly indicates the candidate site Pc detected by the suitability detection model.
  • the candidate site information Ipc is superimposed on the captured image Ic and displayed.
  • the display control unit 33 displays the candidate site information Ipc on the captured image Ic according to the display mode associated with the target suitability detection model in the display mode information D3.
  • the display control unit 33 refers to the display mode information D3 that defines the display mode of the candidate site information Ipc for each certainty degree, and indicates the candidate site Pc detected by the suitability detection model.
  • the Ipc is superimposed on the captured image Ic and displayed.
  • the display control unit 33 displays the candidate site information Ipc on the captured image Ic in a display mode according to the certainty of the evaluation result R1 with respect to the target suitability detection model. A specific example of displaying the candidate site information Ipc will be described later.
  • Each component of the captured image acquisition unit 30, the detection model evaluation unit 31, the lesion detection unit 32, and the display control unit 33 described in FIG. 3 can be realized, for example, by the processor 11 executing a program. More specifically, each component can be realized by the processor 11 executing the program stored in the memory 12. Further, each component may be realized by recording a necessary program in an arbitrary non-volatile storage medium and installing it as needed. It should be noted that each of these components is not limited to being realized by software by a program, and may be realized by any combination of hardware, firmware, and software. Further, each of these components may be realized by using a user-programmable integrated circuit such as an FPGA (field-programmable gate array) or a microcomputer. In this case, this integrated circuit may be used to realize a program composed of each of the above components. As described above, each component may be realized by any computer (controller) including hardware other than the processor. The above is the same in other embodiments described later.
  • the detection model information D2 includes parameters for configuring the first detection model, the second detection model, and the third detection model.
  • FIG. 4A is a diagram showing the first candidate site “Pc1”, which is the candidate site Pc detected by the first detection model with respect to the captured image Ic, on the captured image Ic.
  • FIG. 4B is a diagram showing the second candidate site “Pc2”, which is the candidate site Pc detected by the second detection model with respect to the above-mentioned captured image Ic, on the captured image Ic.
  • FIG. 4C is a diagram showing a third candidate site “Pc3”, which is a candidate site Pc detected by the third detection model with respect to the above-mentioned captured image Ic, on the captured image Ic.
  • FIGS. 1 the first candidate site Pc1
  • FIG. 4B is a diagram showing the second candidate site “Pc2”, which is the candidate site Pc detected by the second detection model with respect to the above-mentioned captured image Ic, on the captured image Ic.
  • FIG. 4C is a diagram showing a third candidate site “Pc3”, which is a candidate site
  • the first detection model to the third detection model are different image characteristic-dependent detection models or state-dependent detection models, respectively, and different parts in the captured image Ic are designated as the first candidate part Pc1 to the third candidate part Pc3, respectively. It is being detected.
  • FIG. 5 shows a first display example of a display screen displayed by the display device 2 in an endoscopic examination.
  • the image processing device 1 defines the detection model with the highest evaluation by the detection model evaluation unit 31 as the suitability detection model, and clearly indicates the detection result by the display mode associated with the suitability detection model.
  • the display control unit 33 of the image processing apparatus 1 generates the first candidate site information "Ipc1" which is the candidate site information Ipc that clearly indicates the first candidate site Pc1, and the first candidate site information Ipc1. Is superimposed on the first candidate portion Pc1 on the captured image Ic and displayed on the display device 2. Further, the display control unit 33 clearly indicates that the first candidate site information Ipc1 is a site having a high possibility of a lesion site in the margin area in the display screen adjacent to the captured image Ic.
  • the detection model evaluation unit 31 of the image processing device 1 evaluates the suitability of the first to third detection models for the captured image Ic based on the evaluation model configured with reference to the model evaluation information D1. Then, the detection model evaluation unit 31 generates an evaluation result R1 in which the first detection model with the highest evaluation is used as the suitability detection model. Then, the lesion detection unit 32 generates a detection result R2 indicating the first candidate site Pc1 based on the first detection model configured with reference to the detection model information D2. Then, the display control unit 33 generates the first candidate site information Ipc1 for clearly indicating the first candidate site Pc1 on the captured image Ic.
  • the display control unit 33 generates the first candidate site information Ipc1 according to the display mode associated with the first detection model in the display mode information D3.
  • the first detection model is a state-dependent detection model for detecting a flat lesion whose boundary is difficult to understand, and the detection result of the first detection model is displayed by a filled area without contour in the display mode information D3. Contains information to the effect.
  • the display control unit 33 refers to the display mode information D3 and displays the first candidate site information Ipc1 indicating the detection result of the first detection model by the filled area without contour.
  • the output of the first detection model is a reliability map
  • the display control unit 33 fills the pixel area where the reliability output by the first detection model is equal to or higher than a predetermined degree. Generate Ipc1.
  • the filled area may have a predetermined transmittance so that the overlapping area of the captured image Ic can be seen through.
  • the image processing device 1 can suitably display the detection result by the most suitable detection model by the appropriate display mode associated with the detection model.
  • FIG. 6 shows a second display example of the display screen displayed by the display device 2.
  • the image processing device 1 defines a detection model having the highest certainty of three as an aptitude detection model, and displays each aptitude detection model by a display mode associated with each aptitude detection model.
  • the display control unit 33 generates first candidate site information Ipc1 to third candidate site information Ipc3, which are candidate site information Ipc that clearly indicate the first candidate site Pc1 to the third candidate site Pc3, respectively.
  • the first candidate site information Ipc1 to the third candidate site information Ipc3 are superimposed on the first candidate site Pc1 to the third candidate site Pc3 on the captured image Ic and displayed on the display device 2.
  • the detection model evaluation unit 31 evaluates the suitability of the first to third detection models for the captured image Ic based on the evaluation model configured with reference to the model evaluation information D1, and the calculated certainty is the top three.
  • the evaluation result R1 is generated by using the first detection model to the third detection model as the aptitude detection model.
  • the lesion detection unit 32 processes the captured image Ic based on the first detection model to the third detection model configured with reference to the detection model information D2 to obtain the first candidate site Pc1 to the third candidate site Pc3.
  • the detection result R2 shown is generated.
  • the display control unit 33 generates the first candidate site information Ipc1 to the third candidate site information Ipc3 for clearly indicating the first candidate site Pc1 to the third candidate site Pc3 on the captured image Ic.
  • the display control unit 33 refers to the display mode information D3, and depending on the display mode linked to the first detection model to the third detection model, the first candidate site information Ipc1 to the third candidate site. Generate information Ipc3.
  • the first detection model to the third detection model are state-dependent detection models for detecting lesions A to C, respectively, and have shapes (flat, raised, etc.) of lesions A to C.
  • An appropriate display mode corresponding to the display mode is defined in the display mode information D3.
  • the display control unit 33 refers to the display mode information D3, displays the first candidate site information Ipc1 by a filled area without a contour, displays the second candidate site information Ipc2 by a circular contour line, and displays the second candidate site information Ipc2 by a circular contour line.
  • Candidate site information Ipc3 is displayed by a rectangular outline. For example, when the output of the second detection model is a reliability map, the display control unit 33 follows the smallest circle surrounding the pixel area where the reliability output by the second detection model is equal to or higher than a predetermined degree. A line is generated as the second candidate site information Ipc2.
  • the display control unit 33 when the output of the second detection model is a coordinate value indicating the center position of the lesion site, the display control unit 33 is a circle of a predetermined size centered on the coordinate value output by the second detection model. A line along the line is generated as the second candidate site information Ipc2. Further, the display control unit 33 can generate the third candidate site information Ipc3 by the same method as the second candidate site information Ipc2.
  • the display control unit 33 refers to the display mode information D3, and associates the first candidate site information Ipc1 with the third candidate site information Ipc3 in the margin area in the display screen adjacent to the captured image Ic, and first.
  • the names of the lesions in the candidate sites Pc1 to the third candidate site Pc3 are clearly indicated.
  • the display mode information D3 includes information indicating the name of the lesion site detected by each detection model. It should be noted that, as in this example, information or the like indicating the name of the lesion site may or may not be displayed in the margin area.
  • the respective detection results are preferably obtained by the appropriate display mode associated with each detection model. Can be displayed.
  • FIG. 7 shows a third display example of the display screen displayed by the display device 2.
  • the image processing device 1 defines a detection model having a certainty level equal to or higher than a threshold value as an aptitude detection model, and displays each aptitude detection model in a display mode associated with each aptitude detection model.
  • the detection model evaluation unit 31 evaluates the suitability of the first to third detection models for the captured image Ic, and determines the first detection model and the second detection model whose calculated certainty is equal to or higher than the threshold value.
  • the evaluation result R1 used as the aptitude detection model is generated.
  • the lesion detection unit 32 generates a detection result R2 indicating the first candidate site Pc1 and the second candidate site Pc2 based on the first detection model and the second detection model configured with reference to the detection model information D2.
  • the display control unit 33 generates the first candidate site information Ipc1 and the second candidate site information Ipc2 for clearly indicating the first candidate site Pc1 and the second candidate site Pc2 on the captured image Ic.
  • the display control unit 33 refers to the display mode information D3, displays the first candidate site information Ipc1 in which the first candidate site Pc1 is surrounded by the broken line frame, and the second candidate site Pc2 is surrounded by the solid line frame. 2 Candidate site information Ipc2 is displayed.
  • the image processing device 1 can suitably display the detection result of each suitability detection model by the appropriate line type associated with each detection model by the display mode information D3. can. Similarly, the image processing device 1 may display the detection result of each suitability detection model by the color associated with each detection model by the display mode information D3.
  • FIG. 8 shows a fourth display example of the display screen displayed by the display device 2.
  • the image processing device 1 displays the detection results of each detection model in a display mode according to the certainty of each detection model
  • the shading of the candidate site information Ipc indicating each detection result is set. Determined according to the certainty of the detection model.
  • the detection model evaluation unit 31 calculates the certainty of the first to third detection models with respect to the captured image Ic, and the lesion detection unit 32 detects the suitability of the first detection model to the third detection model. It is regarded as a model, and the first candidate site Pc1 to the third candidate site Pc3 are specified by each detection model. Then, the display control unit 33 generates the first candidate site information Ipc1 to the third candidate site information Ipc3, which is a filled area for clearly indicating the first candidate site Pc1 to the third candidate site Pc3 on the captured image Ic.
  • the display control unit 33 displays the candidate site information Ipc, which indicates the candidate site detected by the aptitude detection model with high certainty, as darker as possible. Specifically, the display control unit 33 displays the first candidate site information Ipc1 indicating the detection result of the first detection model having the highest certainty of "0.6” in the darkest, and has the lowest certainty of "0.6". The third candidate site information Ipc3 showing the detection result of the third detection model of "0.1" is displayed in the lightest position. Further, the display control unit 33 determines the certainty of the detection model that has detected the first candidate site Pc1 to the third candidate site Pc3 in the margin area in the display screen adjacent to the captured image Ic, and the corresponding first candidate site information. It is clearly shown in association with Ipc1 to the third candidate site information Ipc3.
  • the display control unit 33 can more preferably make the candidate portion Pc detected by the detection model with high certainty conspicuous on the captured image Ic.
  • FIG. 9 shows a fifth display example of the display screen displayed by the display device 2.
  • each detection model displays a display mode of a contour line surrounding each detection result. Determined according to the degree of certainty.
  • the detection model evaluation unit 31 calculates the certainty of the first to third detection models with respect to the captured image Ic, and the lesion detection unit 32 detects the suitability of the first detection model to the third detection model. It is regarded as a model, and the first candidate site Pc1 to the third candidate site Pc3 are specified by each detection model. Then, the display control unit 33 generates the first candidate site information Ipc1 to the third candidate site information Ipc3, which is a contour line for clearly indicating the first candidate site Pc1 to the third candidate site Pc3 on the captured image Ic.
  • the display control unit 33 displays the line width as thick as the candidate site information Ipc corresponding to the aptitude detection model with high certainty, and by a conspicuous line type. Specifically, the display control unit 33 sets the thickest line width and the outline of the solid line as the first candidate site information Ipc1 indicating the detection result of the first detection model having the highest certainty of "0.6". indicate. On the other hand, the display control unit 33 displays the contour line of the thinnest line width and the alternate long and short dash line as the third candidate site information Ipc3 indicating the detection result of the third detection model having the lowest certainty of "0.1". .. Further, the display control unit 33 clearly indicates the correspondence between the certainty of the detection model and the display mode of the candidate site information Ipc (here, the line type of the contour line) in the margin area in the display screen adjacent to the captured image Ic. doing.
  • the display control unit 33 can make the candidate site Pc detected by the detection model with high certainty more conspicuous on the captured image Ic, as in the fourth display example. can.
  • FIG. 10 is an example of a flowchart showing an outline of display processing executed by the image processing apparatus 1 at the time of endoscopic examination in the first embodiment.
  • the image processing device 1 acquires the captured image Ic (step S11).
  • the captured image acquisition unit 30 of the image processing device 1 receives the captured image Ic from the endoscope scope 3 via the interface 13.
  • the image processing device 1 evaluates each detection model based on the captured image Ic and determines the suitability detection model (step S12).
  • the detection model evaluation unit 31 of the image processing device 1 inputs the captured image Ic into the evaluation model configured with reference to the model evaluation information D1, and determines the suitability detection model based on the output result of the evaluation model.
  • the suitability detection model may be one detection model having the highest certainty, and is one or a plurality of detection models in which the certainty output by the evaluation model is equal to or higher than the threshold value or has a higher predetermined number. You may.
  • the image processing device 1 performs lesion detection processing using the aptitude detection model (step S13).
  • the lesion detection unit 32 of the image processing device 1 configures the suitability detection model with reference to the detection model information D2, and inputs the captured image Ic into the configured suitability detection model to enter the captured image Ic.
  • the detection result R2 regarding the candidate site Pc of is generated.
  • the image processing device 1 determines whether or not the candidate site Pc is detected in step S13 (step S14).
  • the display control unit 33 of the image processing device 1 causes the display device 2 to display the captured image Ic (step). S16).
  • the display control unit 33 causes the display device 2 to display the captured image Ic as it is because the site that is a candidate for the lesion site does not exist in the imaging range.
  • the image processing device 1 displays the captured image Ic in which the candidate site Pc is clearly indicated by the display mode based on the evaluation result R1 by the detection model evaluation unit 31. Is displayed (step S15).
  • the display control unit 33 refers to the display mode information D3 to generate the detection model used for detecting the candidate site Pc or the candidate site information Ipc having a display mode according to the certainty thereof. Then, the display control unit 33 generates the display information Id for displaying the candidate site information Ipc superimposed on the captured image Ic, and supplies the generated display information Id to the display device 2 via the interface 13.
  • the display control unit 33 can suitably clearly indicate the candidate site Pc on the captured image Ic depending on the display mode according to the detection model used or the certainty of the detection model used.
  • step S17 the image processing apparatus 1 determines whether or not the endoscopy has been completed. For example, when the image processing device 1 detects a predetermined input to the input unit 14 or the operation unit 36, it determines that the endoscopy has been completed. Then, when it is determined that the endoscopy has been completed (step S17; Yes), the image processing device 1 ends the processing of the flowchart. On the other hand, when the image processing apparatus 1 determines that the endoscopy has not been completed (step S17; No), the image processing apparatus 1 returns the processing to step S11. Then, the image processing device 1 executes the processes of steps S11 to S17 on the captured image Ic newly generated by the endoscope scope 3.
  • the lesion detection unit 32 may detect the lesion site using all the detection models configurable by the detection model information D2, regardless of the evaluation result R1 generated by the detection model evaluation unit 31.
  • FIG. 11 shows an example of a functional block of the processor 11 of the image processing device 1 according to the modification 1.
  • the lesion detection unit 32 refers to the detection model information D2 for all the detection models that can be configured by referring to the detection model information D2, regardless of the evaluation result R1 generated by the detection model evaluation unit 31.
  • the detection model evaluation unit 31 supplies, as the evaluation result R1, an evaluation result R1 indicating the degree of certainty for each of all the detection models configurable by the detection model information D2 to the display control unit 33.
  • the display control unit 33 generates a candidate site information Ipc for clearly indicating the candidate site Pc indicated by the detection result R2 in a display mode according to the certainty of the detection model used for detecting the candidate site Pc. ..
  • the display mode of the candidate site information Ipc according to the degree of certainty is exemplified in FIGS. 8 and 9, for example.
  • the display control unit 33 supplies the display information Id for superimposing and displaying the generated candidate site information Ipc on the captured image Ic to the display device 2.
  • the image processing device 1 can suitably clearly indicate the candidate site Pc on the captured image Ic according to the evaluation result of the detection model.
  • Modification 2 After displaying the captured image Ic on which the candidate site information Ipc is superimposed, the image processing device 1 accepts and accepts the input regarding whether or not the candidate site Pc specified by the displayed candidate site information Ipc corresponds to the actual lesion site.
  • the evaluation model may be trained based on the input.
  • the candidate site Pc specified by the candidate site information Ipc corresponds to the actual lesion site.
  • the input unit 14 accepts the input regarding whether or not.
  • the input unit 14 is a touch panel laminated on the display device 2, and the image processing device 1 receives a touch operation on the candidate site information Ipc that correctly points to the lesion site, whereby is a correct example (correct answer).
  • the detection model that detected the candidate site Pc is specified.
  • the image processing device 1 may specify a detection model that detects a candidate site Pc that is a negative example (incorrect answer) by accepting a touch operation for the candidate site information Ipc that does not correctly point to the lesion site.
  • the image processing device 1 learns the evaluation model by machine learning using the correct / incorrect determination result of the detection model specified from the input signal generated by the input unit 14 as the correct answer data and the used captured image Ic as the sample data. conduct. In this case, the image processing device 1 updates the parameters of the evaluation model so that the error (loss) between the output of the evaluation model and the correct answer is minimized.
  • the algorithm for determining the above parameters to minimize the loss may be any learning algorithm used in machine learning such as gradient descent or backpropagation. Then, the image processing device 1 stores the updated parameters of the evaluation model in the memory 12 as model evaluation information D1.
  • the image processing device 1 can suitably learn and update the model evaluation information D1.
  • the image processing device 1 may process an image composed of the captured image Ic generated at the time of the endoscopic examination after the examination.
  • each captured image Ic constituting the image is designated.
  • the evaluation process and the lesion detection process shown in steps S12 and S13 of FIG. 10 are performed.
  • the image processing device 1 superimposes the candidate site information Ipc generated based on step S15 on the captured image Ic in which the candidate site Pc is detected. And display it on the display device 2.
  • the model evaluation information D1, the detection model information D2, and the display mode information D3 may be stored in a storage device different from the image processing device 1.
  • FIG. 12 is a schematic configuration diagram of the endoscopy system 100A in the modified example 4. Note that FIG. 12 does not show the display device 2, the endoscope scope 3, and the like for the sake of brevity.
  • the endoscopy system 100A shown in FIG. 12 includes a server device 4 that stores model evaluation information D1, detection model information D2, and display mode information D3. Further, the endoscopy system 100A includes a plurality of image processing devices 1 (1A, 1B, ...) That can perform data communication with the server device 4 via a network.
  • each image processing device 1 refers to the model evaluation information D1, the detection model information D2, and the display mode information D3 via the network.
  • the interface 13 of each image processing device 1 includes a communication interface such as a network adapter for performing communication.
  • each image processing device 1 refers to the model evaluation information D1, the detection model information D2, and the display mode information D3, and preferably displays the captured image Ic clearly indicating the candidate site Pc, as in the above-described embodiment. be able to.
  • the target to be detected by the detection model is not limited to the lesion site, and may be any point of interest that the examiner needs to pay attention to.
  • Such points of interest are not limited to lesions, but are not limited to lesions, but are inflamed, surgical scars and other cuts, folds and protrusions, and endoscopic scope 3
  • the tip portion 38 may be a portion on the wall surface in the lumen where it is easy to come into contact (easy to bite).
  • FIG. 13 is a block diagram of the image processing apparatus 1X according to the second embodiment.
  • the image processing device 1X includes a detection model evaluation means 31X and a display control means 33X.
  • the detection model evaluation means 31X evaluates the suitability of the detection model that detects a notable part of interest based on the photographed image "Ic" in which the inspection target is photographed by the imaging unit provided in the endoscope.
  • the detection model evaluation means 31X can be the detection model evaluation unit 31 in the first embodiment.
  • the detection model evaluation means 31X may immediately acquire the captured image Ic generated by the photographing unit, or acquire the captured image Ic generated in advance by the photographing unit and stored in the storage device at a predetermined timing. You may.
  • the display control means 33X has a display mode in which candidate site information indicating a candidate site that is a candidate for a site of interest detected by one or a plurality of detection models included in the detected detection model that has been evaluated is determined based on the evaluation result. Is displayed on the captured image Ic to be displayed on the display device 2X.
  • the display control means 33X can be the display control unit 33 in the first embodiment.
  • the "one or more detection models” can be the “appropriate detection model” in the first embodiment.
  • the “one or more detection models” may be the same as the "evaluated detection model", or may be a partial detection model of the "evaluated detection model". In the former case, the "one or more detection models” and the “evaluated detection model” may be the same one detection model.
  • FIG. 14 is an example of a flowchart showing the processing procedure in the second embodiment.
  • the detection model evaluation means 31X evaluates the suitability of the detection model for detecting a notable portion of interest based on the captured image Ic obtained by photographing the inspection target by the imaging unit provided in the endoscope (step S21). ..
  • the display control means 33X has a display mode in which candidate site information indicating a candidate site that is a candidate for a site of interest detected by one or a plurality of detection models included in the detected detection model that has been evaluated is determined based on the evaluation result. Is displayed on the captured image Ic to be displayed on the display device 2X (step S22).
  • the image processing apparatus 1X displays candidate site information indicating a candidate site that is a candidate for the site of interest in an appropriate display mode according to the evaluation of the detection model that detects the site of interest, and attracts attention. The observer can accurately recognize the site.
  • a detection model evaluation means that evaluates the suitability of a detection model that detects a notable part based on an image taken by an imaging unit provided in the endoscope.
  • Candidate site information indicating a candidate site that is a candidate for the attention site detected by one or a plurality of detection models included in the detection model for which the evaluation has been performed is displayed by a display mode determined based on the evaluation result.
  • Display control means to be displayed on the captured image to be displayed on the device, and Image processing device with.
  • the detection model evaluation means outputs the degree of certainty regarding the suitability of each of the detection models for which the evaluation has been performed.
  • the detection model evaluation means designates the one or a plurality of detection models as the result of the evaluation.
  • Appendix 6 The image processing apparatus according to Appendix 5, wherein the display control means changes at least one of the color, shape, and shading of the contour line or the region based on the result of the evaluation.
  • the detection model evaluation means evaluates the state-dependent detection model prepared for each state to be inspected based on the captured image.
  • the image according to any one of Supplementary note 1 to 7, wherein the display control means displays the candidate site information for the candidate site detected by the state-dependent detection model selected based on the evaluation result. Processing device.
  • a detection model evaluation means that evaluates the suitability of a detection model that detects a notable part based on an image taken by an imaging unit provided in the endoscope.
  • Candidate site information indicating a candidate site that is a candidate for the attention site detected by one or a plurality of detection models included in the detection model for which the evaluation has been performed is displayed by a display mode determined based on the evaluation result.
  • a storage medium that stores a program that causes a computer to function as a display control means to be displayed on the captured image to be displayed on the device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)

Abstract

画像処理装置１Ｘは、検知モデル評価手段３１Ｘと、表示制御手段３３Ｘとを備える。検知モデル評価手段３１Ｘは、内視鏡に設けられた撮影部３Ｘにより検査対象を撮影した撮影画像Ｉｃに基づき、注目すべき注目部位を検知する検知モデルの適性に関する評価を行う。表示制御手段３３Ｘは、評価が行われた検知モデルに含まれる１又は複数の検知モデルにより検知された注目部位の候補となる候補部位を示す候補部位情報を、評価の結果に基づき決定した表示態様により、表示装置２Ｘに表示させる撮影画像Ｉｃ上に表示する。

Description

画像処理装置、制御方法及び記憶媒体
　本開示は、内視鏡検査において取得される画像の処理を行う画像処理装置、制御方法及び記憶媒体の技術分野に関する。
　従来から、臓器の管腔内を撮影した画像を表示する内視鏡システムが知られている。例えば、特許文献１には、撮影デバイスが生成した撮影画像データが入力される場合に撮影画像データに含まれる病変を出力する学習モデルの学習方法が開示されている。
国際公開ＷＯ２０２０／００３６０７
　学習されたモデルを用いて、内視鏡検査において撮影された画像から病変部位などを検知する場合、使用したモデルの適性によって検知結果の信頼性が異なる。このようなモデルの適性を考慮して検知結果を表示する点については、特許文献１には何ら開示されていない。
　本開示の目的は、上述した課題を鑑み、内視鏡検査において、病変部位などの注目部位の検知結果を好適に表示することが可能な画像処理装置、制御方法及び記憶媒体を提供することである。
　画像処理装置の一の態様は、内視鏡に設けられた撮影部により検査対象を撮影した撮影画像に基づき、注目すべき注目部位を検知する検知モデルの適性に関する評価を行う検知モデル評価手段と、前記評価が行われた検知モデルに含まれる１又は複数の検知モデルにより検知された前記注目部位の候補となる候補部位を示す候補部位情報を、前記評価の結果に基づき決定した表示態様により、表示装置に表示させる前記撮影画像上に表示する表示制御手段と、を有する画像処理装置である。
　制御方法の一の態様は、コンピュータにより、内視鏡に設けられた撮影部により検査対象を撮影した撮影画像に基づき、注目すべき注目部位を検知する検知モデルの適性に関する評価を行い、前記評価が行われた検知モデルに含まれる１又は複数の検知モデルにより検知された前記注目部位の候補となる候補部位を示す候補部位情報を、前記評価の結果に基づき決定した表示態様により、表示装置に表示させる前記撮影画像上に表示する、制御方法である。
　記憶媒体の一の態様は、内視鏡に設けられた撮影部により検査対象を撮影した撮影画像に基づき、注目すべき注目部位を検知する検知モデルの適性に関する評価を行う検知モデル評価手段と、前記評価が行われた検知モデルに含まれる１又は複数の検知モデルにより検知された前記注目部位の候補となる候補部位を示す候補部位情報を、前記評価の結果に基づき決定した表示態様により、表示装置に表示させる前記撮影画像上に表示する表示制御手段としてコンピュータを機能させるプログラムを格納した記憶媒体である。
　本開示によれば、病変部位などの注目部位の候補を好適に表示することができる。
内視鏡検査システムの概略構成を示す。 画像処理装置のハードウェア構成を示す。 画像処理装置の機能ブロック図である。 （Ａ）撮影画像に対して第１検知モデルにより検知された候補部位を撮影画像上において明示した図である。（Ｂ）撮影画像に対して第２検知モデルにより検知された候補部位を撮影画像上において明示した図である。（Ｃ）撮影画像に対して第３検知モデルにより検知された候補部位を撮影画像上において明示した図である。 内視鏡検査において表示装置が表示する表示画面の第１表示例を示す。 内視鏡検査において表示装置が表示する表示画面の第２表示例を示す。 内視鏡検査において表示装置が表示する表示画面の第３表示例を示す。 内視鏡検査において表示装置が表示する表示画面の第４表示例を示す。 内視鏡検査において表示装置が表示する表示画面の第５表示例を示す。 第１実施形態において内視鏡検査時に画像処理装置が実行する表示処理の概要を示すフローチャートの一例である。 変形例に係る画像処理装置の機能ブロックの一例を示す。 変形例における内視鏡検査システムの概略構成図である。 第２実施形態における画像処理装置のブロック図である。 第２実施形態において画像処理装置が実行するフローチャートの一例である。
　以下、図面を参照しながら、画像処理装置、制御方法及び記憶媒体の実施形態について説明する。
　＜第１実施形態＞
　（１）システム構成
　図１は、内視鏡検査システム１００の概略構成を示す。図１に示すように、内視鏡検査システム１００は、主に、画像処理装置１と、表示装置２と、画像処理装置１に接続された内視鏡スコープ３と、を備える。以後では、代表例として、大腸の内視鏡検査における処理の説明を行う。なお、検査対象は、大腸に限らず、食道又は胃を対象としてもよい。
　画像処理装置１は、内視鏡スコープ３が時系列により撮影する画像（「撮影画像Ｉｃ」とも呼ぶ。）を内視鏡スコープ３から取得し、撮影画像Ｉｃに基づく画面を表示装置２に表示させる。撮影画像Ｉｃは、例えば、撮影対象である被検者の大腸の管腔を撮影した画像であり、被検者への内視鏡スコープ３の挿入工程又は排出工程の少なくとも一方において所定の時間間隔により撮影された画像である。本実施形態においては、画像処理装置１は、撮影画像Ｉｃを解析することで、管腔内の病変部位の候補となる部位（「候補部位Ｐｃ」とも呼ぶ。）を検知し、検知した候補部位を示す情報（「候補部位情報Ｉｐｃ」とも呼ぶ。）を、表示装置２が表示する撮影画像Ｉｃ上に表示する。
　表示装置２は、画像処理装置１から供給される表示信号に基づき所定の表示を行うディスプレイ等である。
　内視鏡スコープ３は、例えば、被検者の大腸に挿入されることで大腸の管腔を撮影する機器である。内視鏡スコープ３は、主に、画像処理装置１と接続するための接続部３５と、検査者が所定の入力を行うための操作部３６と、管腔内に挿入され、柔軟性を有するシャフト３７と、超小型撮像素子などの撮影部を内蔵した先端部３８とを有する。
　（２）ハードウェア構成
　図２は、画像処理装置１のハードウェア構成を示す。画像処理装置１は、主に、プロセッサ１１と、メモリ１２と、インターフェース１３と、入力部１４と、光源部１５と、音出力部１６と、を含む。これらの各要素は、データバス１９を介して接続されている。
　プロセッサ１１は、メモリ１２に記憶されているプログラム等を実行することにより、所定の処理を実行する。プロセッサ１１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、量子プロセッサなどのプロセッサである。
　メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの、作業メモリとして使用される各種の揮発性メモリ及び画像処理装置１の処理に必要な情報を記憶する不揮発性メモリにより構成される。なお、メモリ１２は、画像処理装置１に接続又は内蔵されたハードディスクなどの外部記憶装置を含んでもよく、着脱自在なフラッシュメモリなどの記憶媒体を含んでもよい。メモリ１２には、画像処理装置１が本実施形態における各処理を実行するためのプログラムが記憶される。また、メモリ１２は、モデル評価情報Ｄ１と、検知モデル情報Ｄ２と、表示態様情報Ｄ３とを記憶している。これらのデータの詳細については後述する。なお、モデル評価情報Ｄ１、検知モデル情報Ｄ２、表示態様情報Ｄ３は、メモリ１２に代えて、画像処理装置１と有線又は無線によりデータ通信が可能な外部装置に記憶されてもよい。
　インターフェース１３は、画像処理装置１と外部装置とのインターフェース動作を行う。例えば、インターフェース１３は、プロセッサ１１が生成した表示情報「Ｉｄ」を表示装置２に供給する。また、インターフェース１３は、光源部１５が生成する光等を内視鏡スコープ３に供給する。また、インターフェース１３は、内視鏡スコープ３から供給される撮影画像Ｉｃを示す電気信号をプロセッサ１１に供給する。インターフェース１３は、外部装置と有線又は無線により通信を行うためのネットワークアダプタなどの通信インターフェースであってもよく、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＳＡＴＡ（Ｓｅｒｉａｌ　ＡＴ　Ａｔｔａｃｈｍｅｎｔ）などに準拠したハードウェアインターフェースであってもよい。
　入力部１４は、検査者による操作に基づく入力信号を生成する。入力部１４は、例えば、ボタン、タッチパネル、リモートコントローラ、音声入力装置等である。光源部１５は、内視鏡スコープ３の先端部３８に供給するための光を生成する。また、光源部１５は、内視鏡スコープ３に供給する水や空気を送り出すためのポンプ等も内蔵してもよい。音出力部１６は、プロセッサ１１の制御に基づき音を出力する。
　（３）データの概要
　次に、モデル評価情報Ｄ１、検知モデル情報Ｄ２及び表示態様情報Ｄ３の概要について、検知モデル情報Ｄ２から説明する。
　検知モデル情報Ｄ２は、撮影画像Ｉｃから病変部位を検知するためのモデル（「検知モデル」とも呼ぶ。）に関する情報である。ここで、検知モデル情報Ｄ２は、複数の検知モデルに関する情報を含む。ここで、検知モデル情報Ｄ２は、検知モデルを構成するためのパラメータなどを含む。検知モデルは、例えば撮影画像Ｉｃが入力された場合に、撮影画像Ｉｃ内での病変部位の位置に関する情報を出力するように構成されたモデルである。ここで、検知モデルが出力する情報は、病変部位の中心の座標値であってもよく、病変部位の範囲を示すものであってもよく、信頼度マップであってもよい。ここで、「座標値」は、ピクセル単位での画像内の位置を示す値であってもよく、サブピクセル単位での画像内の位置を示す値であってもよい。また、信頼度マップは、病変部位の座標値ごとの信頼度を示す画像上のマップである。なお、検知モデルが出力する情報は、検知モデル毎に適した出力となるように夫々設計されてもよい。
　また、検知モデルは、機械学習により学習される学習モデルである。検知モデルは、ニューラルネットワークに基づく学習モデルであってもよく、サポートベクターマシーンなどの他の種類の学習モデルであってもよく、これらの組み合わせであってもよい。例えば、上述の学習モデルが畳み込みニューラルネットワークなどのニューラルネットワークである場合、検知モデル情報Ｄ２は、層構造、各層のニューロン構造、各層におけるフィルタ数及びフィルタサイズ、並びに各フィルタの各要素の重みなどの各種パラメータを含む。
　また、検知モデル情報Ｄ２に登録される検知モデルは、種々の分類毎に設けられている。例えば、検知モデル情報Ｄ２に登録される検知モデルは、撮影画像Ｉｃの特性の分類毎に設けられてもよく、管腔（即ち検査対象）の状態の分類毎に設けられてもよく、これらを組合せた分類（即ち２軸以上による分類）毎に設けられてもよい。以後では、撮影画像Ｉｃの特性に応じて設けられた検知モデルを「画像特性依存型検知モデル」とも呼び、検査対象の状態に応じて設けられた検知モデルを「状態依存型検知モデル」とも呼ぶ。
　例えば、画像特性依存型検知モデルは、暗い（全体として輝度が低い）撮影画像Ｉｃ用の（例えば、暗い撮影画像Ｉｃを主に用いて学習された）検知モデル、明るい撮影画像Ｉｃ用の検知モデル、赤みが強い撮影画像Ｉｃ用の検知モデル、ブレ（ぼけ）が生じている撮影画像Ｉｃ用の検知モデル、ノイズが生じている撮影画像Ｉｃ用の検知モデルなどが含まれる。また、状態依存型検知モデルは、病変部位の種類に応じて設けられる、特定種類の病変部位の検知に特化した検知モデル、薬剤散布の有無による分類毎に設けられる検知モデルなどを含む。病変部位の種類は、例えば症状として表れる形状毎に分類されてもよい。検知モデル情報Ｄ２は、このような状態依存型検知モデルの情報を含むことで、種々の状態における検査対象について、病変部位の的確な検知を、画像処理装置１に実行させることができる。
　モデル評価情報Ｄ１は、撮影画像Ｉｃに基づき各検知モデルの適性を評価する評価モデルに関する情報である。ここで、モデル評価情報Ｄ１は、評価モデルを構成するためのパラメータなどを含む。例えば、評価モデルは、撮影画像Ｉｃが入力された場合に、当該撮影画像Ｉｃを入力とする病変検知に適する検知モデルを示す情報と、検知モデル情報Ｄ２から構成可能な各検知モデルが適切なモデルであることの確からしさに相当する確信度とを出力するように構成されたモデルである。評価モデルは、ニューラルネットワークに基づく学習モデルであってもよく、サポートベクターマシーンなどの他の種類の学習モデルであってもよく、これらの組み合わせであってもよい。例えば、上述の学習モデルが畳み込みニューラルネットワークなどのニューラルネットワークである場合、モデル評価情報Ｄ１は、層構造、各層のニューロン構造、各層におけるフィルタ数及びフィルタサイズ、並びに各フィルタの各要素の重みなどの各種パラメータを記憶する。
　表示態様情報Ｄ３は、各検知モデルにより検知された候補部位Ｐｃを撮影画像Ｉｃ上で明示するための候補部位情報Ｉｐｃの表示態様に関する情報である。第１の例では、表示態様情報Ｄ３は、候補部位Ｐｃを検知した検知モデルに適した（依存した）表示態様により候補部位情報Ｉｐｃを表示するための情報である。第２の例では、表示態様情報Ｄ３は、候補部位Ｐｃを検知した検知モデルの確信度に応じて候補部位情報Ｉｐｃの表示態様を決定するための情報である。ここで、候補部位情報Ｉｐｃは、候補部位Ｐｃを示す円形又は楕円形などの輪郭線であってもよく、候補部位Ｐｃに重ねる塗り潰し領域であってもよい。また、候補部位情報Ｉｐｃは、種々の色、形状、濃淡により表示されてもよい。このように、表示態様情報Ｄ３は、例えば、検知モデル又は確信度に応じ、候補部位情報Ｉｐｃを輪郭線により表示するか又は塗り潰し領域により表示するかを指定する情報、及び、候補部位情報Ｉｐｃの色、形状、濃淡などを指定する情報などを含んでいる。
　（４）機能ブロック
　図３は、画像処理装置１の機能ブロック図である。図３に示すように、画像処理装置１のプロセッサ１１は、機能的には、撮影画像取得部３０と、検知モデル評価部３１と、病変検知部３２と、表示制御部３３とを有する。
　撮影画像取得部３０は、インターフェース１３を介して内視鏡スコープ３が撮影した撮影画像Ｉｃを所定間隔により取得する。そして、撮影画像取得部３０は、取得した撮影画像Ｉｃを、検知モデル評価部３１、病変検知部３２及び表示制御部３３に夫々供給する。
　検知モデル評価部３１は、撮影画像取得部３０から供給される撮影画像Ｉｃに基づき、検知モデル情報Ｄ２を参照して構成可能な各検知モデルの適性の評価を行い、評価結果「Ｒ１」を表示制御部３３に供給する。この場合、検知モデル評価部３１は、モデル評価情報Ｄ１を参照することで評価モデルを構成し、構成した評価モデルに撮影画像Ｉｃを入力することで、評価結果Ｒ１を生成する。ここで、評価結果Ｒ１は、例えば、入力された撮影画像Ｉｃに基づく病変検知に適性があると評価された検知モデル（「有適性検知モデル」とも呼ぶ。）を示す（指定する）情報と、各検知モデルが適切なモデルである確からしさを示す確信度とを含んでいる。他の例では、評価結果Ｒ１は、有適性検知モデルを示す情報のみを有してもよい。
　ここで、評価結果Ｒ１が示す有適性検知モデルは、１つであってもよく、複数であってもよい。例えば、検知モデル評価部３１は、確信度が最も高い検知モデルを、有適性検知モデルとみなす。他の例では、検知モデル評価部３１は、確信度が所定の閾値以上となる１又は複数の検知モデルを、有適性検知モデルとみなす。さらに別の例では、検知モデル評価部３１は、確信度が上位所定個数となる検知モデルを、有適性検知モデルとみなす。
　病変検知部３２は、撮影画像取得部３０から供給される撮影画像Ｉｃと、検知モデル評価部３１から供給される評価結果Ｒ１とに基づき、撮影画像Ｉｃにおいて撮像された病変部位の候補となる候補部位Ｐｃを検知し、検知結果「Ｒ２」を表示制御部３３に供給する。この場合、病変検知部３２は、検知モデル情報Ｄ２を参照することで、評価結果Ｒ１が示す有適性検知モデルを構成し、構成した有適性検知モデルに対して撮影画像Ｉｃを入力することで、検知結果Ｒ２を生成する。ここで、検知結果Ｒ２は、例えば、撮影画像Ｉｃ内での候補部位Ｐｃの領域を示す情報を含む。なお、有適性検知モデルが２以上存在する場合には、病変検知部３２は、有適性検知モデルの夫々が検知した候補部位Ｐｃを示す検知結果Ｒ２を生成する。
　表示制御部３３は、撮影画像Ｉｃと、評価結果Ｒ１と、検知結果Ｒ２とに基づき、表示装置２に表示させる表示情報Ｉｄを生成する。この場合、表示制御部３３は、撮影画像Ｉｃ上において候補部位Ｐｃを明示するための候補部位情報Ｉｐｃを生成し、生成した候補部位情報Ｉｐｃを撮影画像Ｉｃに重ねて表示するための表示情報Ｉｄを生成する。また、表示制御部３３は、表示態様情報Ｄ３を参照することで、候補部位情報Ｉｐｃの表示態様を決定する。この場合、表示制御部３３は、第１の例では、検知モデル毎の候補部位情報Ｉｐｃの表示態様を規定した表示態様情報Ｄ３を参照し、有適性検知モデルが検知した候補部位Ｐｃを明示する候補部位情報Ｉｐｃを、撮影画像Ｉｃに重ねて表示する。この場合、表示制御部３３は、候補部位情報Ｉｐｃを、表示態様情報Ｄ３において対象の有適性検知モデルと紐付けられた表示態様により、撮影画像Ｉｃに重ねて表示する。第２の例では、表示制御部３３は、確信度毎の候補部位情報Ｉｐｃの表示態様を規定した表示態様情報Ｄ３を参照し、有適性検知モデルが検知した候補部位Ｐｃを明示する候補部位情報Ｉｐｃを、撮影画像Ｉｃに重ねて表示する。この場合、表示制御部３３は、候補部位情報Ｉｐｃを、対象の有適性検知モデルに対して評価結果Ｒ１が示す確信度に応じた表示態様により、撮影画像Ｉｃに重ねて表示する。候補部位情報Ｉｐｃの表示の具体例については後述する。
　なお、図３において説明した撮影画像取得部３０、検知モデル評価部３１、病変検知部３２及び表示制御部３３の各構成要素は、例えば、プロセッサ１１がプログラムを実行することによって実現できる。より具体的には、各構成要素は、メモリ１２に格納されたプログラムを、プロセッサ１１が実行することによって実現され得る。また、必要なプログラムを任意の不揮発性記憶媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。なお、これらの各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、これらの各構成要素は、例えばＦＰＧＡ（field-programmable gate array）又はマイコン等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。このように、各構成要素は、プロセッサ以外のハードウェアを含む任意のコンピュータ（コントローラ）により実現されてもよい。以上のことは、後述する他の実施の形態においても同様である。
　（５）具体例
　次に、図３に示す機能ブロックに基づく処理の具体例について説明する。以後の具体例では、説明便宜上、検知モデル情報Ｄ２には、第１検知モデル、第２検知モデル及び第３検知モデルを構成するためのパラメータが含まれているものとする。
　図４（Ａ）は、撮影画像Ｉｃに対して第１検知モデルにより検知された候補部位Ｐｃである第１候補部位「Ｐｃ１」を撮影画像Ｉｃ上において明示した図である。また、図４（Ｂ）は、上述の撮影画像Ｉｃに対して第２検知モデルにより検知された候補部位Ｐｃである第２候補部位「Ｐｃ２」を撮影画像Ｉｃ上において明示した図である。図４（Ｃ）は、上述の撮影画像Ｉｃに対して第３検知モデルにより検知された候補部位Ｐｃである第３候補部位「Ｐｃ３」を撮影画像Ｉｃ上において明示した図である。図４（Ａ）～（Ｃ）では、説明便宜上、各候補部位Ｐｃ１～Ｐｃ３の位置が破線枠により明示されている。第１検知モデル～第３検知モデルは、夫々、異なる画像特性依存型検知モデル又は状態依存型検知モデルであり、撮影画像Ｉｃ内の異なる部位を夫々第１候補部位Ｐｃ１～第３候補部位Ｐｃ３として検出している。
　図５は、内視鏡検査において表示装置２が表示する表示画面の第１表示例を示す。第１表示例では、画像処理装置１は、検知モデル評価部３１による評価が最も高い検知モデルを有適性検知モデルと定め、その検知結果を有適性検知モデルに紐付いた表示態様により明示する。
　図５に示すように、画像処理装置１の表示制御部３３は、第１候補部位Ｐｃ１を明示する候補部位情報Ｉｐｃである第１候補部位情報「Ｉｐｃ１」を生成し、第１候補部位情報Ｉｐｃ１を撮影画像Ｉｃ上の第１候補部位Ｐｃ１に重ねて表示装置２に表示させている。また、表示制御部３３は、撮影画像Ｉｃに隣接する表示画面内の余白領域には、第１候補部位情報Ｉｐｃ１が病変部位の可能性が高い箇所である旨を明示している。
　この場合、画像処理装置１の検知モデル評価部３１は、モデル評価情報Ｄ１を参照して構成した評価モデルに基づき、撮影画像Ｉｃに対する第１～第３検知モデルの適性に関する評価を行う。そして、検知モデル評価部３１は、最も評価が高かった第１検知モデルを有適性検知モデルとする評価結果Ｒ１を生成する。そして、病変検知部３２は、検知モデル情報Ｄ２を参照して構成した第１検知モデルに基づき、第１候補部位Ｐｃ１を示す検知結果Ｒ２を生成する。そして、表示制御部３３は、第１候補部位Ｐｃ１を撮影画像Ｉｃ上で明示するための第１候補部位情報Ｉｐｃ１を生成する。
　ここで、第１表示例の表示制御部３３の処理について具体的に説明する。第１表示例では、表示制御部３３は、表示態様情報Ｄ３において第１検知モデルと紐付いた表示態様により、第１候補部位情報Ｉｐｃ１を生成する。例えば、第１検知モデルが境界の分かりにくい平坦な病変を検知するための状態依存型検知モデルであり、表示態様情報Ｄ３には、第１検知モデルの検知結果を輪郭なしの塗り潰し領域により表示すべき旨の情報が含まれている。この場合、表示制御部３３は、表示態様情報Ｄ３を参照し、第１検知モデルの検知結果を示す第１候補部位情報Ｉｐｃ１を、輪郭なしの塗り潰し領域により表示する。例えば、この場合、第１検知モデルの出力が信頼度マップであり、表示制御部３３は、第１検知モデルにより出力された信頼度が所定度以上となる画素領域を塗り潰す第１候補部位情報Ｉｐｃ１を生成する。なお、塗り潰し領域は、撮影画像Ｉｃの重なる領域が透けて見えるように所定の透過率を有してもよい。
　このように、第１表示例では、画像処理装置１は、最も適した検知モデルによる検知結果を、当該検知モデルに紐付けられた適切な表示態様により、好適に表示することができる。
　図６は、表示装置２が表示する表示画面の第２表示例を示す。第２表示例では、画像処理装置１は、確信度が上位３個となる検知モデルを有適性検知モデルとして定め、各有適性検知モデルを各有適性検知モデルに紐付いた表示態様により表示する。
　図６に示すように、表示制御部３３は、第１候補部位Ｐｃ１～第３候補部位Ｐｃ３を夫々明示する候補部位情報Ｉｐｃである第１候補部位情報Ｉｐｃ１～第３候補部位情報Ｉｐｃ３を生成し、第１候補部位情報Ｉｐｃ１～第３候補部位情報Ｉｐｃ３を撮影画像Ｉｃ上の第１候補部位Ｐｃ１～第３候補部位Ｐｃ３に重ねて表示装置２に表示させている。
　この場合、検知モデル評価部３１は、モデル評価情報Ｄ１を参照して構成した評価モデルに基づき、撮影画像Ｉｃに対する第１～第３検知モデルの適性に関する評価を行い、算出した確信度が上位３個となる第１検知モデル～第３検知モデルを有適性検知モデルとする評価結果Ｒ１を生成する。そして、病変検知部３２は、検知モデル情報Ｄ２を参照して構成した第１検知モデル～第３検知モデルに基づき撮影画像Ｉｃを処理することで、第１候補部位Ｐｃ１～第３候補部位Ｐｃ３を示す検知結果Ｒ２を生成する。そして、表示制御部３３は、第１候補部位Ｐｃ１～第３候補部位Ｐｃ３を撮影画像Ｉｃ上で明示するための第１候補部位情報Ｉｐｃ１～第３候補部位情報Ｉｐｃ３を生成する。
　また、第２表示例では、表示制御部３３は、表示態様情報Ｄ３を参照し、第１検知モデル～第３検知モデルと夫々紐付いた表示態様により、第１候補部位情報Ｉｐｃ１～第３候補部位情報Ｉｐｃ３を生成する。ここでは、第１検知モデル～第３検知モデルは、夫々病変Ａ～病変Ｃを検知するための状態依存型検知モデルであり、病変Ａ～病変Ｃの形状（平坦状、隆起状等）等に応じた適切な表示態様が表示態様情報Ｄ３において定められている。
　この場合、表示制御部３３は、表示態様情報Ｄ３を参照し、第１候補部位情報Ｉｐｃ１を輪郭なしの塗り潰し領域により表示し、第２候補部位情報Ｉｐｃ２を丸状の輪郭線により表示し、第３候補部位情報Ｉｐｃ３を矩形の輪郭線により表示している。例えば、第２検知モデルの出力が信頼度マップである場合には、表示制御部３３は、第２検知モデルにより出力された信頼度が所定度以上となる画素領域を囲む最小の円に沿った線を、第２候補部位情報Ｉｐｃ２として生成する。他の例では、第２検知モデルの出力が病変部位の中心位置を示す座標値である場合には、表示制御部３３は、第２検知モデルが出力する座標値を中心とする所定サイズの円に沿った線を、第２候補部位情報Ｉｐｃ２として生成する。また、表示制御部３３は、第２候補部位情報Ｉｐｃ２と同様の方法により、第３候補部位情報Ｉｐｃ３を生成することができる。
　また、表示制御部３３は、表示態様情報Ｄ３を参照し、撮影画像Ｉｃに隣接する表示画面内の余白領域に、第１候補部位情報Ｉｐｃ１～第３候補部位情報Ｉｐｃ３と対応付けて、第１候補部位Ｐｃ１～第３候補部位Ｐｃ３の病変の名称を明示している。この場合、表示態様情報Ｄ３には、各検知モデルが検知する病変部位の名称を示す情報が含まれている。なお、本例のように余白領域への病変部位の名称を示す情報等の表示は行ってもよいし、行わなくてもよい。
　このように、第２表示例では、画像処理装置１は、複数の検知モデルによる検知結果を表示する場合に、各検知モデルに紐付けられた適切な表示態様により、夫々の検知結果を好適に表示することができる。
　図７は、表示装置２が表示する表示画面の第３表示例を示す。第３表示例では、画像処理装置１は、確信度が閾値以上となる検知モデルを有適性検知モデルとして定め、各有適性検知モデルを各有適性検知モデルに紐付いた表示態様により表示する。
　第３表示例では、検知モデル評価部３１は、撮影画像Ｉｃに対する第１～第３検知モデルの適性に関する評価を行い、算出した確信度が閾値以上となる第１検知モデル及び第２検知モデルを有適性検知モデルとする評価結果Ｒ１を生成する。そして、病変検知部３２は、検知モデル情報Ｄ２を参照して構成した第１検知モデル及び第２検知モデルに基づき、第１候補部位Ｐｃ１及び第２候補部位Ｐｃ２を示す検知結果Ｒ２を生成する。そして、表示制御部３３は、第１候補部位Ｐｃ１及び第２候補部位Ｐｃ２を撮影画像Ｉｃ上で明示するための第１候補部位情報Ｉｐｃ１及び第２候補部位情報Ｉｐｃ２を生成する。
　ここで、第３表示例では、表示態様情報Ｄ３において、第１検知モデルに対応する表示態様として破線の輪郭線が指定され、第２検知モデルに対応する表示態様として実線の輪郭線が指定されている。よって、表示制御部３３は、表示態様情報Ｄ３を参照し、第１候補部位Ｐｃ１を破線枠により囲んだ第１候補部位情報Ｉｐｃ１を表示すると共に、第２候補部位Ｐｃ２を実線枠により囲んだ第２候補部位情報Ｉｐｃ２を表示する。
　このように、第３表示例では、画像処理装置１は、表示態様情報Ｄ３により各検知モデルと紐付けられた適切な線種により、各有適性検知モデルの検知結果を好適に表示することができる。同様に、画像処理装置１は、表示態様情報Ｄ３により各検知モデルと紐付けられた色により、各有適性検知モデルの検知結果を表示してもよい。
　図８は、表示装置２が表示する表示画面の第４表示例を示す。第４表示例では、画像処理装置１は、各検知モデルの確信度に応じた表示態様により各検知モデルの検知結果を表示する場合に、各検知結果を示す候補部位情報Ｉｐｃの濃淡を、各検知モデルの確信度に応じて決定する。
　第４表示例では、検知モデル評価部３１は、撮影画像Ｉｃに対する第１～第３検知モデルの確信度を算出し、病変検知部３２は、第１検知モデル～第３検知モデルを有適性検知モデルとみなし、各検知モデルにより第１候補部位Ｐｃ１～第３候補部位Ｐｃ３を特定する。そして、表示制御部３３は、第１候補部位Ｐｃ１～第３候補部位Ｐｃ３を撮影画像Ｉｃ上で明示するための塗り潰し領域である第１候補部位情報Ｉｐｃ１～第３候補部位情報Ｉｐｃ３を生成する。
　このとき、表示制御部３３は、確信度が高い有適性検知モデルにより検知された候補部位を示す候補部位情報Ｉｐｃほど、濃く表示する。具体的には、表示制御部３３は、確信度が最も高い「０．６」となる第１検知モデルの検知結果を示す第１候補部位情報Ｉｐｃ１を最も濃く表示し、確信度が最も低い「０．１」となる第３検知モデルの検知結果を示す第３候補部位情報Ｉｐｃ３を最も薄く表示する。また、表示制御部３３は、撮影画像Ｉｃに隣接する表示画面内の余白領域に、第１候補部位Ｐｃ１～第３候補部位Ｐｃ３を検知した検知モデルの確信度を、対応する第１候補部位情報Ｉｐｃ１～第３候補部位情報Ｉｐｃ３と対応付けて明示している。
　このように、第４表示例では、表示制御部３３は、確信度が高い検知モデルにより検知された候補部位Ｐｃほど、撮影画像Ｉｃ上において好適に目立たせることができる。
　図９は、表示装置２が表示する表示画面の第５表示例を示す。第５表示例では、画像処理装置１は、各検知モデルの確信度に応じた表示態様により各検知モデルの検知結果を表示する場合に、各検知結果を囲む輪郭線の表示態様を各検知モデルの確信度に応じて決定する。
　第５表示例では、検知モデル評価部３１は、撮影画像Ｉｃに対する第１～第３検知モデルの確信度を算出し、病変検知部３２は、第１検知モデル～第３検知モデルを有適性検知モデルとみなし、各検知モデルにより第１候補部位Ｐｃ１～第３候補部位Ｐｃ３を特定する。そして、表示制御部３３は、第１候補部位Ｐｃ１～第３候補部位Ｐｃ３を撮影画像Ｉｃ上で明示するための輪郭線である第１候補部位情報Ｉｐｃ１～第３候補部位情報Ｉｐｃ３を生成する。
　このとき、表示制御部３３は、確信度が高い有適性検知モデルに対応する候補部位情報Ｉｐｃほど、線幅を太く、かつ、目立つ線種により表示する。具体的には、表示制御部３３は、確信度が最も高い「０．６」となる第１検知モデルの検知結果を示す第１候補部位情報Ｉｐｃ１として、最も太い線幅かつ実線の輪郭線を表示する。一方、表示制御部３３は、確信度が最も低い「０．１」となる第３検知モデルの検知結果を示す第３候補部位情報Ｉｐｃ３として、最も細い線幅かつ一点鎖線の輪郭線を表示する。また、表示制御部３３は、撮影画像Ｉｃに隣接する表示画面内の余白領域に、検知モデルの確信度と候補部位情報Ｉｐｃの表示態様（ここでは輪郭線の線種）との対応関係を明示している。
　このように、第５表示例においても、表示制御部３３は、第４表示例と同様、確信度が高い検知モデルにより検知された候補部位Ｐｃほど、撮影画像Ｉｃ上において好適に目立たせることができる。
　（６）処理フロー
　図１０は、第１実施形態において内視鏡検査時に画像処理装置１が実行する表示処理の概要を示すフローチャートの一例である。
　まず、画像処理装置１は、撮影画像Ｉｃを取得する（ステップＳ１１）。この場合、画像処理装置１の撮影画像取得部３０は、インターフェース１３を介して内視鏡スコープ３から撮影画像Ｉｃを受信する。
　次に、画像処理装置１は、撮影画像Ｉｃに基づき、各検知モデルの評価を行い、有適性検知モデルを決定する（ステップＳ１２）。この場合、画像処理装置１の検知モデル評価部３１は、モデル評価情報Ｄ１を参照して構成した評価モデルに撮影画像Ｉｃを入力し、評価モデルの出力結果に基づき、有適性検知モデルを決定する。この場合、有適性検知モデルは、確信度が最も高い１つの検知モデルであってもよく、評価モデルが出力する確信度が閾値以上となる又は上位所定個数となる１又は複数の検知モデルであってもよい。
　次に、画像処理装置１は、有適性検知モデルによる病変検知処理を行う（ステップＳ１３）。この場合、画像処理装置１の病変検知部３２は、検知モデル情報Ｄ２を参照して有適性検知モデルを構成し、構成した有適性検知モデルに撮影画像Ｉｃを入力することで、撮影画像Ｉｃ内の候補部位Ｐｃに関する検知結果Ｒ２を生成する。
　そして、画像処理装置１は、ステップＳ１３において候補部位Ｐｃを検知したか否か判定する（ステップＳ１４）。そして、画像処理装置１は、ステップＳ１３において候補部位Ｐｃを検知しなかった場合（ステップＳ１４；Ｎｏ）、画像処理装置１の表示制御部３３は、撮影画像Ｉｃを表示装置２に表示させる（ステップＳ１６）。この場合、表示制御部３３は、病変部位の候補となる部位が撮影範囲内に存在しないことから、撮影画像Ｉｃをそのまま表示装置２に表示させる。
　一方、候補部位Ｐｃを検知した場合（ステップＳ１４；Ｙｅｓ）、画像処理装置１は、検知モデル評価部３１による評価結果Ｒ１に基づく表示態様により、候補部位Ｐｃを明示した撮影画像Ｉｃを表示装置２に表示させる（ステップＳ１５）。この場合、表示制御部３３は、表示態様情報Ｄ３を参照することで、候補部位Ｐｃの検知に用いた検知モデル又はその確信度に応じた表示態様となる候補部位情報Ｉｐｃを生成する。そして、表示制御部３３は、撮影画像Ｉｃに候補部位情報Ｉｐｃを重畳させて表示するための表示情報Ｉｄを生成し、生成した表示情報Ｉｄを、インターフェース１３を介して表示装置２に供給する。これにより、表示制御部３３は、使用した検知モデル又は使用した検知モデルの確信度に応じた表示態様により、撮影画像Ｉｃ上において好適に候補部位Ｐｃを明示することができる。
　ステップＳ１５又はステップＳ１６の後、画像処理装置１は、内視鏡検査が終了したか否か判定する（ステップＳ１７）。例えば、画像処理装置１は、入力部１４又は操作部３６への所定の入力等を検知した場合に、内視鏡検査が終了したと判定する。そして、画像処理装置１は、内視鏡検査が終了したと判定した場合（ステップＳ１７；Ｙｅｓ）、フローチャートの処理を終了する。一方、画像処理装置１は、内視鏡検査が終了していないと判定した場合（ステップＳ１７；Ｎｏ）、ステップＳ１１へ処理を戻す。そして、画像処理装置１は、内視鏡スコープ３が新たに生成する撮影画像Ｉｃに対してステップＳ１１～ステップＳ１７の処理を実行する。
　（７）変形例
　次に、上述した実施形態に好適な変形例について説明する。以下の変形例は、組み合わせて上述の実施形態に適用してもよい。
　（変形例１）
　病変検知部３２は、検知モデル評価部３１が生成する評価結果Ｒ１によらず、検知モデル情報Ｄ２により構成可能な全ての検知モデルを用いて病変部位の検知を行ってもよい。
　図１１は、変形例１に係る画像処理装置１のプロセッサ１１の機能ブロックの一例を示す。図１１に示すように、本変形例では、病変検知部３２は、検知モデル評価部３１が生成する評価結果Ｒ１によらず、検知モデル情報Ｄ２を参照して構成可能な全ての検知モデルに対して撮影画像Ｉｃを入力することで、検知結果Ｒ２を生成する。また、検知モデル評価部３１は、評価結果Ｒ１として、検知モデル情報Ｄ２により構成可能な全ての検知モデルの各々に対する確信度を示す評価結果Ｒ１を、表示制御部３３に供給する。そして、表示制御部３３は、検知結果Ｒ２により示される候補部位Ｐｃを、当該候補部位Ｐｃの検知に用いた検知モデルに対する確信度に応じた表示態様により明示するための候補部位情報Ｉｐｃを生成する。なお、確信度に応じた候補部位情報Ｉｐｃの表示態様については、例えば図８及び図９において例示されている。そして、表示制御部３３は、生成した候補部位情報Ｉｐｃを撮影画像Ｉｃに重畳表示するための表示情報Ｉｄを、表示装置２に供給する。
　このように、本変形例においても、画像処理装置１は、検知モデルの評価結果に応じ、候補部位Ｐｃを撮影画像Ｉｃ上で好適に明示することができる。
　（変形例２）
　画像処理装置１は、候補部位情報Ｉｐｃを重畳した撮影画像Ｉｃの表示後、表示した候補部位情報Ｉｐｃにより明示した候補部位Ｐｃが実際の病変部位に該当するか否かに関する入力を受け付け、受け付けた入力に基づき、評価モデルの学習を行ってもよい。
　この場合、例えば、画像処理装置１は、候補部位情報Ｉｐｃを重畳した撮影画像Ｉｃを表示装置２に表示させた場合に、候補部位情報Ｉｐｃにより明示した候補部位Ｐｃが実際の病変部位に該当するか否かに関する入力を入力部１４により受け付ける。この場合、例えば、入力部１４は、表示装置２に積層されるタッチパネルであり、画像処理装置１は、病変部位を正しく指し示した候補部位情報Ｉｐｃに対するタッチ操作を受け付けることで、正例（正解）となる候補部位Ｐｃを検知した検知モデルを特定する。なお、画像処理装置１は、病変部位を正しく指し示していない候補部位情報Ｉｐｃに対するタッチ操作を受け付けることで、負例（不正解）となる候補部位Ｐｃを検知した検知モデルを特定してもよい。
　そして、画像処理装置１は、入力部１４が生成する入力信号から特定した検知モデルの正誤判定結果を正解データとし、使用された撮影画像Ｉｃをサンプルデータとする機械学習により、評価モデルの学習を行う。この場合、画像処理装置１は、評価モデルの出力と正解との誤差（損失）が最小となるように、評価モデルのパラメータを更新する。損失を最小化するように上述のパラメータを決定するアルゴリズムは、勾配降下法や誤差逆伝播法などの機械学習において用いられる任意の学習アルゴリズムであってもよい。そして、画像処理装置１は、更新した評価モデルのパラメータを、モデル評価情報Ｄ１としてメモリ１２に記憶する。
　本変形例によれば、画像処理装置１は、モデル評価情報Ｄ１を好適に学習して更新することができる。
　（変形例３）
　画像処理装置１は、内視鏡検査時に生成された撮影画像Ｉｃから構成された映像を、検査後において処理してもよい。
　例えば、画像処理装置１は、検査後の任意のタイミングにおいて、入力部１４によるユーザ入力等に基づき、処理を行う対象となる映像が指定された場合に、当該映像を構成する各撮影画像Ｉｃを対象として、図１０のステップＳ１２及びステップＳ１３に示される評価処理及び病変検知処理を行う。そして、画像処理装置１は、病変部位の候補となる候補部位Ｐｃが検出された場合には、候補部位Ｐｃが検出された撮影画像Ｉｃに対し、ステップＳ１５に基づき生成した候補部位情報Ｉｐｃを重畳させて表示装置２に表示させる。
　（変形例４）
　モデル評価情報Ｄ１、検知モデル情報Ｄ２、及び表示態様情報Ｄ３は、画像処理装置１とは別の記憶装置に記憶されてもよい。
　図１２は、変形例４における内視鏡検査システム１００Ａの概略構成図である。なお、図１２では、簡潔化のため、表示装置２及び内視鏡スコープ３等を図示していない。図１２に示す内視鏡検査システム１００Ａは、モデル評価情報Ｄ１、検知モデル情報Ｄ２、表示態様情報Ｄ３を記憶するサーバ装置４を備える。また、内視鏡検査システム１００Ａは、サーバ装置４とネットワークを介してデータ通信が可能な複数の画像処理装置１（１Ａ、１Ｂ、…）を備える。
　この場合、各画像処理装置１は、ネットワークを介してモデル評価情報Ｄ１、検知モデル情報Ｄ２及び表示態様情報Ｄ３の参照を行う。この場合、各画像処理装置１のインターフェース１３は、通信を行うためのネットワークアダプタなどの通信インターフェースを含む。この構成では、各画像処理装置１は、上述の実施形態と同様、モデル評価情報Ｄ１、検知モデル情報Ｄ２、表示態様情報Ｄ３を参照し、候補部位Ｐｃを明示した撮影画像Ｉｃを好適に表示することができる。
　（変形例５）
　検知モデルにより検知する対象は、病変部位に限らず、検査者が注目する必要がある任意の注目箇所であってもよい。このような注目箇所は、病変部位の他、病変部位に限らず、炎症が生じている箇所、手術痕その他の切り傷が生じている箇所、ひだや突起が生じている箇所、内視鏡スコープ３の先端部３８が管腔内の壁面において接触しやすい（閊えやすい）箇所などであってもよい。
　＜第２実施形態＞
　図１３は、第２実施形態における画像処理装置１Ｘのブロック図である。画像処理装置１Ｘは、検知モデル評価手段３１Ｘと、表示制御手段３３Ｘとを備える。
　検知モデル評価手段３１Ｘは、内視鏡に設けられた撮影部により検査対象を撮影した撮影画像「Ｉｃ」に基づき、注目すべき注目部位を検知する検知モデルの適性に関する評価を行う。検知モデル評価手段３１Ｘは、第１実施形態における検知モデル評価部３１とすることができる。なお、検知モデル評価手段３１Ｘは、撮影部が生成した撮影画像Ｉｃを即時に取得してもよく、予め撮影部が生成して記憶装置に記憶された撮影画像Ｉｃを、所定のタイミングにおいて取得してもよい。
　表示制御手段３３Ｘは、評価が行われた検知モデルに含まれる１又は複数の検知モデルにより検知された注目部位の候補となる候補部位を示す候補部位情報を、評価の結果に基づき決定した表示態様により、表示装置２Ｘに表示させる撮影画像Ｉｃ上に表示する。表示制御手段３３Ｘは、第１実施形態における表示制御部３３とすることができる。「１又は複数の検知モデル」は、第１実施形態における「有適性検知モデル」とすることができる。なお、「１又は複数の検知モデル」は、「評価が行われた検知モデル」と同一であってもよく、「評価が行われた検知モデル」の一部の検知モデルであってもよい。前者の場合、「１又は複数の検知モデル」及び「評価が行われた検知モデル」は、同一の１つの検知モデルであってもよい。
　図１４は、第２実施形態における処理手順を示すフローチャートの一例である。まず、検知モデル評価手段３１Ｘは、内視鏡に設けられた撮影部により検査対象を撮影した撮影画像Ｉｃに基づき、注目すべき注目部位を検知する検知モデルの適性に関する評価を行う（ステップＳ２１）。表示制御手段３３Ｘは、評価が行われた検知モデルに含まれる１又は複数の検知モデルにより検知された注目部位の候補となる候補部位を示す候補部位情報を、評価の結果に基づき決定した表示態様により、表示装置２Ｘに表示させる撮影画像Ｉｃ上に表示する（ステップＳ２２）。
　第２実施形態によれば、画像処理装置１Ｘは、注目部位を検知する検知モデルの評価に応じた適切な表示態様により、注目部位の候補となる候補部位を示す候補部位情報を表示し、注目部位を的確に観察者に認識させることができる。
　その他、上記の各実施形態（変形例を含む、以下同じ）の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。
　［付記１］
　内視鏡に設けられた撮影部により検査対象を撮影した撮影画像に基づき、注目すべき注目部位を検知する検知モデルの適性に関する評価を行う検知モデル評価手段と、
　前記評価が行われた検知モデルに含まれる１又は複数の検知モデルにより検知された前記注目部位の候補となる候補部位を示す候補部位情報を、前記評価の結果に基づき決定した表示態様により、表示装置に表示させる前記撮影画像上に表示する表示制御手段と、
を有する画像処理装置。
　［付記２］
　前記検知モデル評価手段は、前記評価の結果として、前記評価が行われた検知モデルの各々の適性に関する確信度を出力し、
　前記表示制御手段は、前記１又は複数の検知モデルの各々に対応する前記確信度に基づき、前記候補部位の各々に対応する前記候補部位情報の前記表示態様を決定する、付記１に記載の画像処理装置。
　［付記３］
　前記検知モデル評価手段は、前記評価の結果として、前記１又は複数の検知モデルを指定し、
　前記表示制御手段は、前記１又は複数の検知モデルの各々に対応付けられた表示態様により、前記候補部位の各々に対応する前記候補部位情報を表示する、付記１に記載の画像処理装置。
　［付記４］
　前記表示制御手段は、前記評価が高い検知モデルにより検知された候補部位に対する前記候補部位情報ほど、前記撮影画像上において強調した表示態様により表示する、付記１～３のいずれか一項に記載の画像処理装置。
　［付記５］
　前記表示制御手段は、前記候補部位を囲む輪郭線又は前記候補部位に重ねる領域を、前記候補部位情報として表示する、付記１～４のいずれか一項に記載の画像処理装置。
　［付記６］
　前記表示制御手段は、前記評価の結果に基づき、前記輪郭線又は前記領域の色、形状、又は濃淡の少なくとも一方を変化させる、付記５に記載の画像処理装置。
　［付記７］
　前記１又は複数の検知モデルと、前記撮影画像とに基づき、前記候補部位を検知する病変検知手段をさらに有する、付記１～６のいずれか一項に記載の画像処理装置。
　［付記８］
　前記検知モデル評価手段は、検査対象の状態毎に用意された状態依存型検知モデルに対し、前記撮影画像に基づき前記評価を行い、
　前記表示制御手段は、前記評価の結果に基づき選択された前記状態依存型検知モデルにより検知された前記候補部位に対する前記候補部位情報を表示する、付記１～７のいずれか一項に記載の画像処理装置。
　［付記９］
　前記候補部位が実際の注目部位に該当するか否かに関する入力を受け付ける入力受付手段と、
　前記入力に基づき、前記検知モデル評価手段が前記評価の実行に用いる評価モデルの学習を行う学習手段と、
をさらに有する付記１～８のいずれか一項に記載の画像処理装置。
　［付記１０］
　前記１又は複数の検知モデルは、前記評価が上位所定個数、又は、前記評価が閾値以上となる検知モデルである、付記１～９のいずれか一項に記載の画像処理装置。
　［付記１１］
　コンピュータにより、
　内視鏡に設けられた撮影部により検査対象を撮影した撮影画像に基づき、注目すべき注目部位を検知する検知モデルの適性に関する評価を行い、
　前記評価が行われた検知モデルに含まれる１又は複数の検知モデルにより検知された前記注目部位の候補となる候補部位を示す候補部位情報を、前記評価の結果に基づき決定した表示態様により、表示装置に表示させる前記撮影画像上に表示する、
制御方法。
　［付記１２］
　内視鏡に設けられた撮影部により検査対象を撮影した撮影画像に基づき、注目すべき注目部位を検知する検知モデルの適性に関する評価を行う検知モデル評価手段と、
　前記評価が行われた検知モデルに含まれる１又は複数の検知モデルにより検知された前記注目部位の候補となる候補部位を示す候補部位情報を、前記評価の結果に基づき決定した表示態様により、表示装置に表示させる前記撮影画像上に表示する表示制御手段
としてコンピュータを機能させるプログラムを格納した記憶媒体。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。
　１、１Ｘ　画像処理装置
　２、２Ｘ　表示装置
　３　内視鏡スコープ
　４　サーバ装置
　１１　プロセッサ
　１２　メモリ
　１３　インターフェース
　１４　入力部
　１５　光源部
　１６　音出力部
　１００、１００Ａ　内視鏡検査システム

Claims (12)

  1. 　内視鏡に設けられた撮影部により検査対象を撮影した撮影画像に基づき、注目すべき注目部位を検知する検知モデルの適性に関する評価を行う検知モデル評価手段と、
    　前記評価が行われた検知モデルに含まれる１又は複数の検知モデルにより検知された前記注目部位の候補となる候補部位を示す候補部位情報を、前記評価の結果に基づき決定した表示態様により、表示装置に表示させる前記撮影画像上に表示する表示制御手段と、
    を有する画像処理装置。
  2. 　前記検知モデル評価手段は、前記評価の結果として、前記評価が行われた検知モデルの各々の適性に関する確信度を出力し、
    　前記表示制御手段は、前記１又は複数の検知モデルの各々に対応する前記確信度に基づき、前記候補部位の各々に対応する前記候補部位情報の前記表示態様を決定する、請求項１に記載の画像処理装置。
  3. 　前記検知モデル評価手段は、前記評価の結果として、前記１又は複数の検知モデルを指定し、
    　前記表示制御手段は、前記１又は複数の検知モデルの各々に対応付けられた表示態様により、前記候補部位の各々に対応する前記候補部位情報を表示する、請求項１に記載の画像処理装置。
  4. 　前記表示制御手段は、前記評価が高い検知モデルにより検知された候補部位に対する前記候補部位情報ほど、前記撮影画像上において強調した表示態様により表示する、請求項１～３のいずれか一項に記載の画像処理装置。
  5. 　前記表示制御手段は、前記候補部位を囲む輪郭線又は前記候補部位に重ねる領域を、前記候補部位情報として表示する、請求項１～４のいずれか一項に記載の画像処理装置。
  6. 　前記表示制御手段は、前記評価の結果に基づき、前記輪郭線又は前記領域の色、形状、又は濃淡の少なくとも一方を変化させる、請求項５に記載の画像処理装置。
  7. 　前記１又は複数の検知モデルと、前記撮影画像とに基づき、前記候補部位を検知する病変検知手段をさらに有する、請求項１～６のいずれか一項に記載の画像処理装置。
  8. 　前記検知モデル評価手段は、検査対象の状態毎に用意された状態依存型検知モデルに対し、前記撮影画像に基づき前記評価を行い、
    　前記表示制御手段は、前記評価の結果に基づき選択された前記状態依存型検知モデルにより検知された前記候補部位に対する前記候補部位情報を表示する、請求項１～７のいずれか一項に記載の画像処理装置。
  9. 　前記候補部位が実際の注目部位に該当するか否かに関する入力を受け付ける入力受付手段と、
    　前記入力に基づき、前記検知モデル評価手段が前記評価の実行に用いる評価モデルの学習を行う学習手段と、
    をさらに有する請求項１～８のいずれか一項に記載の画像処理装置。
  10. 　前記１又は複数の検知モデルは、前記評価が上位所定個数、又は、前記評価が閾値以上となる検知モデルである、請求項１～９のいずれか一項に記載の画像処理装置。
  11. 　コンピュータにより、
    　内視鏡に設けられた撮影部により検査対象を撮影した撮影画像に基づき、注目すべき注目部位を検知する検知モデルの適性に関する評価を行い、
    　前記評価が行われた検知モデルに含まれる１又は複数の検知モデルにより検知された前記注目部位の候補となる候補部位を示す候補部位情報を、前記評価の結果に基づき決定した表示態様により、表示装置に表示させる前記撮影画像上に表示する、
    制御方法。
  12. 　内視鏡に設けられた撮影部により検査対象を撮影した撮影画像に基づき、注目すべき注目部位を検知する検知モデルの適性に関する評価を行う検知モデル評価手段と、
    　前記評価が行われた検知モデルに含まれる１又は複数の検知モデルにより検知された前記注目部位の候補となる候補部位を示す候補部位情報を、前記評価の結果に基づき決定した表示態様により、表示装置に表示させる前記撮影画像上に表示する表示制御手段
    としてコンピュータを機能させるプログラムを格納した記憶媒体。
PCT/JP2020/020778 2020-05-26 2020-05-26 画像処理装置、制御方法及び記憶媒体 WO2021240656A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/926,909 US20230230364A1 (en) 2020-05-26 2020-05-26 Image processing device, control method and storage medium
PCT/JP2020/020778 WO2021240656A1 (ja) 2020-05-26 2020-05-26 画像処理装置、制御方法及び記憶媒体
JP2022527329A JPWO2021240656A5 (ja) 2020-05-26 画像処理装置、制御方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/020778 WO2021240656A1 (ja) 2020-05-26 2020-05-26 画像処理装置、制御方法及び記憶媒体

Publications (1)

Publication Number Publication Date
WO2021240656A1 true WO2021240656A1 (ja) 2021-12-02

Family

ID=78723042

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/020778 WO2021240656A1 (ja) 2020-05-26 2020-05-26 画像処理装置、制御方法及び記憶媒体

Country Status (2)

Country Link
US (1) US20230230364A1 (ja)
WO (1) WO2021240656A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024084578A1 (ja) * 2022-10-18 2024-04-25 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102536369B1 (ko) * 2021-02-26 2023-05-26 주식회사 인피니트헬스케어 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법
KR102531400B1 (ko) * 2021-03-19 2023-05-12 주식회사 인피니트헬스케어 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019087791A1 (ja) * 2017-10-31 2019-05-09 富士フイルム株式会社 診断支援装置、内視鏡装置、管理装置、診断支援方法、管理方法、診断支援プログラム、及び管理プログラム
WO2019123986A1 (ja) * 2017-12-22 2019-06-27 富士フイルム株式会社 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
WO2020003992A1 (ja) * 2018-06-28 2020-01-02 富士フイルム株式会社 学習装置及び学習方法、並びに、医療画像処理装置
WO2020036121A1 (ja) * 2018-08-17 2020-02-20 富士フイルム株式会社 内視鏡システム
JP2020051982A (ja) * 2018-09-28 2020-04-02 Ｊｆｅテクノリサーチ株式会社 画像検査装置及び検査モデル構築システム
JP2020073081A (ja) * 2017-10-30 2020-05-14 公益財団法人がん研究会 画像診断支援装置、学習済みモデル、画像診断支援方法および画像診断支援プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020073081A (ja) * 2017-10-30 2020-05-14 公益財団法人がん研究会 画像診断支援装置、学習済みモデル、画像診断支援方法および画像診断支援プログラム
WO2019087791A1 (ja) * 2017-10-31 2019-05-09 富士フイルム株式会社 診断支援装置、内視鏡装置、管理装置、診断支援方法、管理方法、診断支援プログラム、及び管理プログラム
WO2019123986A1 (ja) * 2017-12-22 2019-06-27 富士フイルム株式会社 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
WO2020003992A1 (ja) * 2018-06-28 2020-01-02 富士フイルム株式会社 学習装置及び学習方法、並びに、医療画像処理装置
WO2020036121A1 (ja) * 2018-08-17 2020-02-20 富士フイルム株式会社 内視鏡システム
JP2020051982A (ja) * 2018-09-28 2020-04-02 Ｊｆｅテクノリサーチ株式会社 画像検査装置及び検査モデル構築システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024084578A1 (ja) * 2022-10-18 2024-04-25 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体

Also Published As

Publication number Publication date
US20230230364A1 (en) 2023-07-20
JPWO2021240656A1 (ja) 2021-12-02

Similar Documents

Publication Publication Date Title
WO2021240656A1 (ja) 画像処理装置、制御方法及び記憶媒体
CN107464230B (zh) 图像处理方法及装置
EP1994878B1 (en) Medical image processing device and medical image processing method
JP6967602B2 (ja) 検査支援装置、内視鏡装置、内視鏡装置の作動方法、及び検査支援プログラム
WO2006087981A1 (ja) 医用画像処理装置、管腔画像処理装置、管腔画像処理方法及びそれらのためのプログラム
JP2010279539A (ja) 診断支援装置および方法並びにプログラム。
KR102222547B1 (ko) 인공지능 기반의 대장내시경 영상 분석 방법
JP5326064B2 (ja) 画像処理装置
KR20160118037A (ko) 의료 영상으로부터 병변의 위치를 자동으로 감지하는 장치 및 그 방법
JPWO2012153568A1 (ja) 医用画像処理装置
CN112465763A (zh) 一种图像处理方法、装置、设备、介质和内窥镜系统
CN104867127A (zh) 图像处理设备、图像处理方法和程序
WO2020183936A1 (ja) 検査装置、検査方法及び記憶媒体
JP6956853B2 (ja) 診断支援装置、診断支援プログラム、及び、診断支援方法
WO2021171465A1 (ja) 内視鏡システム及び内視鏡システムによる管腔走査方法
JP7189355B2 (ja) コンピュータプログラム、内視鏡用プロセッサ、及び情報処理方法
WO2017104627A1 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
JP2007097740A (ja) 眼底画像診断支援装置
CN111161852B (zh) 一种内窥镜图像处理方法、电子设备及内窥镜系统
JP2006280682A (ja) ノイズ検出機能を備えた画像診断支援方法
Ciaccio et al. Recommendations to quantify villous atrophy in video capsule endoscopy images of celiac disease patients
CN115209783A (zh) 处理装置、内窥镜系统以及摄像图像的处理方法
US20230100147A1 (en) Diagnosis support system, diagnosis support method, and storage medium
CN115035086A (zh) 一种基于深度学习的结核皮试智能筛查分析方法和装置
CN114581402A (zh) 胶囊内窥镜质检方法、装置及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20938043

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022527329

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20938043

Country of ref document: EP

Kind code of ref document: A1