WO2024018581A1 - 画像処理装置、画像処理方法及び記憶媒体 - Google Patents

画像処理装置、画像処理方法及び記憶媒体 Download PDF

Info

Publication number
WO2024018581A1
WO2024018581A1 PCT/JP2022/028321 JP2022028321W WO2024018581A1 WO 2024018581 A1 WO2024018581 A1 WO 2024018581A1 JP 2022028321 W JP2022028321 W JP 2022028321W WO 2024018581 A1 WO2024018581 A1 WO 2024018581A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
tumor
distance
image processing
processing device
Prior art date
Application number
PCT/JP2022/028321
Other languages
English (en)
French (fr)
Inventor
亮作 志野
憲一 上條
達 木村
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2022/028321 priority Critical patent/WO2024018581A1/ja
Publication of WO2024018581A1 publication Critical patent/WO2024018581A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof

Definitions

  • the present disclosure relates to the technical field of an image processing device, an image processing method, and a storage medium that process images acquired in endoscopy.
  • Patent Document 1 discloses a method for supporting diagnosis of diseases using endoscopic images of the digestive organs.
  • CAD Computer Aided Detection/Diagnosis
  • one of the objects of the present disclosure is to provide an image processing device, an image processing method, and a storage medium that can present information about tumors during endoscopy.
  • One aspect of the image processing device is an infiltration distance acquisition means for acquiring an infiltration distance of a tumor site of the subject in the endoscopic image based on an endoscopic image taken of the subject by a photographing unit provided in the endoscope; output control means for outputting an image or sound based on the infiltration distance to an output device;
  • This is an image processing device having:
  • One aspect of the image processing method is The computer is Obtaining the invasion distance of the tumor site of the subject in the endoscopic image based on an endoscopic image taken of the subject by an imaging unit provided in the endoscope; outputting an image or sound based on the infiltration distance to an output device; This is an image processing method.
  • One aspect of the storage medium is Obtaining the invasion distance of the tumor site of the subject in the endoscopic image based on an endoscopic image taken of the subject by an imaging unit provided in the endoscope; It is a storage medium that stores a program that causes a computer to execute a process of outputting an image or sound based on the infiltration distance to an output device.
  • information regarding tumors can be presented during endoscopy.
  • FIG. 3 is a functional block diagram of an image processing device regarding display processing based on the invasion distance of a tumor site.
  • A An overview of infiltration distance estimation processing based on the first example is shown.
  • B A diagram showing an outline of a method for estimating the infiltration distance along the cross-sectional designation line.
  • a first display example of a display screen displayed by a display device during an endoscopy is shown.
  • a second display example of a display screen displayed by a display device during an endoscopy is shown.
  • FIG. 1 is an example of a flowchart illustrating an overview of processing performed by the image processing device during an endoscopy in the first embodiment. It is a schematic block diagram of the endoscopy system in a modification.
  • FIG. 2 is a block diagram of an image processing device in a second embodiment. This is an example of a flowchart executed by the image processing apparatus in the second embodiment.
  • FIG. 1 shows a schematic configuration of an endoscopy system 100.
  • the endoscopy system 100 provides information to a part of a subject suspected of having a tumor (also referred to as a "tumor site") to an examiner such as a doctor who performs an examination or treatment using an endoscope. .), and mainly includes an image processing device 1, a display device 2, and an endoscope 3 connected to the image processing device 1.
  • the image processing device 1 acquires images (also referred to as "endoscope images Ia") photographed by the endoscope scope 3 in chronological order from the endoscope scope 3, and displays a screen based on the endoscopic images Ia. Display on device 2.
  • the endoscopic image Ia is an image captured at a predetermined frame period during at least one of the insertion process and the ejection process of the endoscope 3 into the subject.
  • the image processing apparatus 1 detects an endoscopic image Ia including a tumor site (also referred to as a "tumor-containing image”), the image processing apparatus 1 detects the tumor infiltration distance of the subject's site in the tumor-containing image.
  • images based on invasion distance include a map representing the invasion distance, a cross-sectional view at a cutting plane specified by the user, and a 3D model representing the 3D shape of the tumor using CG (Computer Graphics). Including.
  • the display device 2 is a display or the like that performs a predetermined display based on a display signal supplied from the image processing device 1.
  • the endoscope 3 mainly includes an operating section 36 for the examiner to perform predetermined inputs, a flexible shaft 37 that is inserted into the organ to be imaged of the subject, and an ultra-compact imaging device. It has a distal end portion 38 containing a photographing section such as an element, and a connecting section 39 for connecting to the image processing device 1.
  • the operation unit 36 captures the endoscopic image displayed on the display device 2 (i.e., captures the endoscopic image displayed on the display device 2). It includes a button (also called a "still image save button”) for instructing to save as a still image.
  • the configuration of the endoscopy system 100 shown in FIG. 1 is an example, and various changes may be made.
  • the image processing device 1 may be configured integrally with the display device 2.
  • the image processing device 1 may be composed of a plurality of devices.
  • the subject of endoscopy in the present disclosure is not limited to the large intestine, but may be any organ that can be subjected to endoscopy, such as the esophagus, stomach, and pancreas.
  • the target endoscopes in the present disclosure include a pharyngoscope, a bronchoscope, an upper gastrointestinal endoscope, a duodenoscope, a small intestine endoscope, a colonoscope, a capsule endoscope, a thoracoscope, Examples include laparoscope, cystoscope, cholangioscope, arthroscope, spinal endoscope, angioscope, and epidural space endoscope.
  • FIG. 2 shows the hardware configuration of the image processing device 1.
  • the image processing device 1 mainly includes a processor 11 , a memory 12 , an interface 13 , an input section 14 , a light source section 15 , and a sound output section 16 . Each of these elements is connected via a data bus 19.
  • the processor 11 executes a predetermined process by executing a program stored in the memory 12.
  • the processor 11 is a processor such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or a TPU (Tensor Processing Unit).
  • Processor 11 may be composed of multiple processors.
  • Processor 11 is an example of a computer.
  • the memory 12 includes various types of volatile memory used as working memory, such as RAM (Random Access Memory) and ROM (Read Only Memory), and non-volatile memory that stores information necessary for processing by the image processing device 1. be done.
  • the memory 12 may include an external storage device such as a hard disk connected to or built in the image processing device 1, or may include a removable storage medium such as a flash memory.
  • the memory 12 stores programs for the image processing device 1 to execute each process in this embodiment.
  • the memory 12 also includes tumor detection model information D1 regarding a tumor detection model that is a model for detecting an endoscopic image Ia that is a tumor-containing image from an input endoscopic image Ia, and tumor detection model information D1 regarding a tumor detection model that is a model for detecting an endoscopic image Ia that is a tumor-containing image from an input endoscopic image Ia.
  • Infiltration distance estimation model information D2 regarding an infiltration distance estimation model that is a model for estimating the infiltration distance of a site is stored. The tumor detection model information D1 and the invasion distance estimation model information D2 will be described later.
  • the interface 13 performs an interface operation between the image processing device 1 and an external device.
  • the interface 13 supplies display information “Ib” generated by the processor 11 to the display device 2.
  • the interface 13 supplies light etc. generated by the light source section 15 to the endoscope 3.
  • the interface 13 supplies the processor 11 with an electrical signal indicating the endoscopic image Ia supplied from the endoscope 3 .
  • the interface 13 may be a communication interface such as a network adapter for communicating with an external device by wire or wirelessly, and may be a hardware interface compliant with USB (Universal Serial Bus), SATA (Serial AT Attachment), etc. You can.
  • the input unit 14 generates input signals based on operations by the examiner.
  • the input unit 14 is, for example, a button, a touch panel stacked on the display device 2, a remote controller, a voice input device, or the like.
  • the light source section 15 generates light to be supplied to the distal end section 38 of the endoscope 3. Further, the light source section 15 may also incorporate a pump or the like for sending out water and air to be supplied to the endoscope 3.
  • the sound output section 16 outputs sound under the control of the processor 11.
  • the tumor detection model information D1 and the invasion distance estimation model information D2 stored in the memory 12 will be explained in detail.
  • the tumor detection model information D1 is information related to a tumor detection model that, when an endoscopic image Ia is input, outputs information regarding whether a tumor site is included in the input endoscopic image Ia.
  • the tumor detection model information D1 includes parameters necessary to configure a tumor detection model.
  • the tumor detection model is, for example, a classification model that, when an endoscopic image Ia is input, outputs a classification result regarding the presence or absence of a tumor site in the input endoscopic image Ia.
  • the tumor detection model may be any machine learning model (including a statistical model, the same applies hereinafter) such as a neural network or a support vector machine.
  • the tumor detection model information D1 includes various parameters such as the layer structure, the neuron structure of each layer, the number and size of filters in each layer, and the weight of each element of each filter. include.
  • the invasion distance estimation model information D2 is information related to an invasion distance estimation model that estimates the invasion distance of a tumor site in the image when an image of a part of the subject including a tumor site is input. Contains the parameters necessary to configure the distance estimation model.
  • the invasion distance estimation model is a model that has learned the relationship between the image input to the invasion distance estimation model and the invasion distance of the tumor site of the subject represented in the image.
  • the infiltration distance estimation model may be, for example, any machine learning model (including a statistical model, the same applies hereinafter) such as a neural network or a support vector machine.
  • the invasion distance estimation model information D2 includes various information such as the layer structure, the neuron structure of each layer, the number and size of filters in each layer, and the weight of each element of each filter. Contains parameters.
  • the image input to the invasion distance estimation model may be a partial image of the tumor-containing image that is regularly (for example, in a grid pattern) cut out from the tumor-containing image, or it may be the tumor-containing image itself.
  • the invasion distance estimation model outputs a numerical value indicating the estimation result of the invasion distance at the center position of the input partial image
  • the invasion distance estimation model outputs a numerical value indicating the estimation result of the invasion distance at the center position of the input partial image.
  • An image showing the estimation result of the infiltration distance in each pixel (or in units of blocks or subpixels of multiple pixels) is output.
  • the invasion distance estimation model is a model that further outputs estimation results regarding the depth of each layer constituting the wall layer of the subject represented in the image input to the invasion distance estimation model.
  • the invasion distance estimation model estimates the depth of each layer: mucosal layer, muscularis mucosae, submucosa, muscularis basement, subserosa, and serosa;
  • the invasion distance estimation model estimates the depth of each layer: mucosal layer, submucosa, muscularis basement, and adventitia.
  • the model for estimating the depth of each layer constituting the wall layer may be a separate model from the infiltration distance estimation model.
  • the tumor detection model and the invasion distance estimation model are learning models
  • the tumor detection model and the invasion distance estimation model are based on an input image that conforms to the input format of each model and when the input image is input to each model. It is learned in advance based on a pair with correct answer data indicating the correct answer to be output. Then, the parameters of each model obtained through learning are stored in the memory 12 as tumor detection model information D1 and invasion distance estimation model information D2, respectively.
  • the image processing device 1 detects an endoscopic image Ia that is a tumor-containing image
  • the image processing device 1 calculates the infiltration distance at each position of the subject represented in the tumor-containing image.
  • An image based on the estimated infiltration distance is displayed on the display device 2.
  • the image processing device 1 can present information regarding the infiltration distance of the tumor site to the examiner without requiring a detailed examination such as a biopsy. Therefore, the image processing device 1 can immediately present information necessary for determining the necessity of surgery to the examiner during an endoscopy.
  • FIGS. 3(A) to 3(D) are diagrams schematically showing the flow of display processing based on the invasion distance of the tumor site.
  • the image processing device 1 acquires time-series endoscopic images Ia from the endoscopic scope 3, as shown in FIG. 3(A). Then, as shown in FIG. 3B, the image processing device 1 automatically detects the tumor site using the tumor detection model or performs the user's operation on the endoscopic image Ia that corresponds to the tumor-containing image among the acquired endoscopic images Ia.
  • the tumor-containing image is recognized by designation using the still image save button of the section 36, and the recognized tumor-containing image is displayed on the display device 2.
  • the image processing device 1 displays the tumor-containing image on the display device 2, and as shown in FIG. It is accepted by the input unit 14 or the like.
  • the cross-section designation line Lc may be specified by, for example, input using a mouse or a touch panel.
  • the image processing device 1 displays on the display device 2 an image based on the invasion distance for each position of the tumor-containing image estimated using the invasion distance estimation model.
  • the image processing device 1 generates a map of the infiltration distance of the subject corresponding to the endoscopic image Ia (also referred to as an "infiltration distance map”), a cross-sectional view of the subject whose cut plane is the cross-section designation line Lc ( (also referred to as a "tumor cross-sectional view”), or a three-dimensional model (also referred to as a "tumor 3D model”) representing a three-dimensional shape of the tumor site estimated based on the estimated invasion distance.
  • 3(D) is a heat map in which the darker the color, the longer the invasion distance of the tumor site is.
  • the 3D tumor model may be, for example, a graphic display (for example, a wire frame display) used in CAD (Computer Aided Design).
  • cross-section designation line Lc may be designated after the infiltration distance map is displayed. A specific example of this will be described later.
  • FIG. 4 is a functional block diagram of the image processing device 1 regarding display processing based on the invasion distance of a tumor site.
  • the processor 11 of the image processing device 1 functionally includes an endoscopic image acquisition section 30, a tumor determination section 31, an invasion distance estimation section 32, and a display control section 33. Note that in FIG. 4, blocks where data is exchanged are connected by solid lines, but the combination of blocks where data is exchanged is not limited to this. The same applies to other functional block diagrams to be described later.
  • the endoscopic image acquisition unit 30 acquires endoscopic images Ia taken by the endoscope 3 via the interface 13 at predetermined intervals. Then, the endoscopic image acquisition unit 30 supplies the acquired endoscopic image Ia to the tumor determination unit 31 and the display control unit 33, respectively.
  • the tumor determination unit 31 determines whether the endoscopic image Ia supplied from the endoscopic image acquisition unit 30 is a tumor-containing image. In this case, the tumor determination unit 31 detects the endoscopic image Ia that is a tumor-containing image, for example, based on at least one of the user input (ie, external input) or the analysis result of the endoscopic image Ia. When the tumor determining unit 31 detects an endoscopic image Ia that is a tumor-containing image, the tumor determining unit 31 supplies the detected tumor-containing image to the invasion distance estimating unit 32.
  • the tumor determination unit 31 detects that the still image save button has been selected based on the signal supplied from the operation unit 36, the tumor determination unit 31 detects the internal image displayed on the display device 2 at the time of selection.
  • Mirror image Ia is detected as a tumor-containing image.
  • the tumor determination unit 31 may detect the latest endoscopic image Ia supplied from the endoscopic image acquisition unit 30 at the time when the still image save button is selected as a tumor-containing image.
  • the tumor determination unit 31 inputs the endoscopic image Ia supplied from the endoscopic image acquisition unit 30 into the tumor detection model configured with reference to the tumor detection model information D1, and inputs the endoscopic image Ia. Based on the information output by the tumor detection model in this case, it is determined whether the input endoscopic image Ia is a tumor-containing image. For example, the tumor detection model outputs a classification result regarding the presence or absence of a tumor site in the input endoscopic image Ia, and the tumor determination unit 31 determines whether the input endoscopic image Ia is a tumor-containing image based on the classification result. Determine whether it exists or not.
  • the invasion distance estimation unit 32 estimates the invasion distance of the tumor site of the subject indicated by the tumor-containing image supplied from the tumor determination unit 31, based on the invasion distance estimation model configured by referring to the invasion distance estimation model information D2. Then, the estimation result is supplied to the display control section 33.
  • the invasion distance estimation unit 32 generates partial images by dividing the tumor-containing image regularly (for example, in a grid pattern), and sequentially inputs each divided partial image into the invasion distance estimation model. As a result, the infiltration distance for each partial image sequentially output by the infiltration distance estimation model is outputted to the display control unit 33.
  • the invasion distance estimating unit 32 inputs the tumor-containing image into the invasion distance estimation model, and controls the display of an image indicating the invasion distance for each pixel of the tumor-containing image, which is output by the invasion distance estimation model. It outputs to section 33.
  • FIG. 5(A) shows an overview of the infiltration distance estimation process based on the first example described above.
  • the invasion distance estimating unit 32 generates a total of 42 partial images for one tumor-containing image by dividing the tumor-containing image into seven horizontally and six vertically in a grid pattern. By inputting the partial images to the tumor detection model, the invasion distance of the center position of each partial image is obtained. Thereby, the invasion distance estimating unit 32 acquires the distribution (map) of invasion distances on the tumor-containing image, which is necessary for generating an invasion distance map.
  • the invasion distance estimating unit 32 allows the partial images to overlap each other so that the distance between the center positions of adjacent partial images is shorter than the length of the partial images. Partial images may also be generated. This makes it possible to obtain a more detailed distribution of invasion distance on a tumor-containing image.
  • FIG. 5(B) is a diagram showing an outline of a method for estimating the infiltration distance along the cross-section designation line Lc.
  • the infiltration distance estimating unit 32 sets points C1 to C5 at equal intervals on the cross-section designation line Lc, and sets partial images Ip1 to Ip1 to C5, which are square areas centered on the points C1 to C5, respectively. IP5 is set.
  • the infiltration distance estimating unit 32 sequentially inputs the partial images Ip1 to Ip5 to the infiltration distance estimation model, and obtains the infiltration distances sequentially output by the infiltration distance estimation model as the infiltration distances at the points C1 to C5.
  • the infiltration distance estimating unit 32 or the display control unit 33 interpolates the infiltration distance output by the infiltration distance estimation model using an arbitrary interpolation process, and generates a function or the like representing the infiltration distance at an arbitrary point on the cross-section designation line Lc. Further calculations may be made. Thereby, the infiltration distance estimating unit 32 or the display control unit 33 accurately identifies the shape of the tumor site when the cross-section designation line Lc is used as the cutting plane, and displays a tumor cross-sectional view showing a smooth shape of the tumor site. becomes possible.
  • the infiltration distance estimating unit 32 or display control unit 33 when generating an infiltration distance map, the infiltration distance estimating unit 32 or display control unit 33 generates an infiltration distance map obtained by interpolating the infiltration distance output by the infiltration distance estimation model in the vertical and horizontal directions using arbitrary interpolation processing. may be generated.
  • the display control section 33 will be explained with reference to FIG. 4 again.
  • the display control unit 33 generates display information Ib based on the latest endoscopic image Ia supplied from the endoscopic image acquisition unit 30 and the infiltration distance estimation result supplied from the display control unit 33. Then, the display control unit 33 supplies the generated display information Ib to the display device 2, thereby causing the display device 2 to display an image based on the latest endoscopic image Ia and the infiltration distance. Further, when the tumor determination unit 31 detects a tumor-containing image, the display control unit 33 displays the latest tumor-containing image on the display device 2 in addition to or in place of the latest endoscopic image Ia. may be displayed.
  • the display control unit 33 specifies a cross-section designation line Lc (see FIG. 3(C)) on the tumor-containing image or the latest endoscopic image Ia. It is preferable to receive a user input, generate a tumor cross-sectional view whose cut plane is the cross-section designation line Lc specified by the user input, and display it on the display device 2. In this case, when displaying at least the invasion distance map and the tumor cross-sectional view, the display control unit 33 may accept the designation of the cross-section designation line Lc after displaying the invasion distance map.
  • the display control unit 33 may receive a user input specifying a cross-section designation line Lc on the invasion distance map, and generate a tumor cross-sectional view with the cross-section designation line Lc designated by the user input as the cutting plane.
  • the display control unit 33 controls the sound output unit 16 to output a warning sound or voice guidance to notify the user that a tumor site has been detected. Output control may also be performed. Further, the display control unit 33 may control the sound output of the sound output unit 16 according to the estimation result of the infiltration distance. For example, when the tumor determining unit 31 detects a tumor-containing image, the display control unit 33 may output a sound (including pitch and melody) corresponding to the infiltration distance at the center of the tumor-containing image.
  • the display control unit 33 refers to this information and Outputs a sound according to the infiltration distance in the area. In this way, the display control unit 33 may output a sound corresponding to the operation of the endoscope 3 by the examiner.
  • each component of the endoscopic image acquisition unit 30, tumor determination unit 31, invasion distance estimation unit 32, and display control unit 33 can be realized by, for example, the processor 11 executing a program. Further, each component may be realized by recording necessary programs in an arbitrary non-volatile storage medium and installing them as necessary. Note that at least a part of each of these components is not limited to being realized by software based on a program, but may be realized by a combination of hardware, firmware, and software. Furthermore, at least a portion of each of these components may be realized using a user-programmable integrated circuit, such as a field-programmable gate array (FPGA) or a microcontroller. In this case, this integrated circuit may be used to implement a program made up of the above-mentioned components.
  • FPGA field-programmable gate array
  • each component may be configured by an ASSP (Application Specific Standard Produce), an ASIC (Application Specific Integrated Circuit), or a quantum processor (Quantum Computer Control Chip). Good.
  • ASSP Application Specific Standard Produce
  • ASIC Application Specific Integrated Circuit
  • quantum processor Quantum Computer Control Chip
  • FIG. 6 shows a first display example of the display screen displayed by the display device 2 during an endoscopy.
  • the display control unit 33 of the image processing device 1 transmits the display information Ib generated based on the information supplied from the other processing units 30 to 32 in the processor 11 to the display device 2, as shown in FIG. A display screen is displayed on the display device 2.
  • the display control unit 33 of the image processing device 1 accepts the designation of the cross-section designation line Lc, and also determines the infiltration distance regarding the detected tumor-containing image. Images and the like based on the estimation results are displayed on the display screen. Specifically, the display control unit 33 displays an endoscopic image 70, an invasion distance map 71, and a tumor cross-sectional view 72 on the display screen.
  • the endoscopic image 70 represents a moving image based on the latest endoscopic image Ia acquired by the endoscopic image acquisition unit 30 or a still image of the latest tumor-containing image detected by the tumor determination unit 31.
  • the display control unit 33 displays both a video based on the latest endoscopic image Ia and a still image of the latest tumor-containing image detected by the tumor determination unit 31 on the display screen. It may be displayed above. Furthermore, the display control unit 33 displays a cross-section designation line Lc designated by user input on the endoscopic image 70.
  • the display control unit 33 estimates the invasion distance of the latest tumor-containing image based on the invasion distance estimation model, and displays an invasion distance map 71 showing the estimation result.
  • the display control unit 33 displays an infiltration distance map 71 that shows contour lines connecting positions where each infiltration distance is the same with lines for infiltration distances at predetermined intervals.
  • the display control unit 33 displays the tumor cross-sectional view 72 based on the invasion distance along the cross-section designation line Lc.
  • the mucosal layer (M), muscularis mucosa (MM), and submucosal layer (SM) that constitute the wall layer of the large intestine, which is the subject, are also clearly shown on the tumor cross-sectional view 72.
  • the display control unit 33 uses an invasion distance estimation model that is trained to estimate the depth of each wall layer of the large intestine in addition to the invasion distance when a partial image or a tumor-containing image is input.
  • a tumor cross-sectional diagram 72 is generated based on the estimated depth (width) of each wall layer of the large intestine.
  • the display control unit 33 interpolates the estimation results of the depth of each wall layer along the cross-section designation line Lc for each wall layer, and displays a tumor cross-sectional view based on the depth of each wall layer obtained by interpolation. 72 may be generated.
  • the display control unit 33 refers to this information and calculates the depth of each wall layer as described above.
  • a tumor cross-sectional view 72 is generated with the standard value of .
  • the bottom of the submucosal layer (SM) is drawn to coincide with the bottom edge of the diagram.
  • the display control unit 33 may display a 3D tumor model on the display screen in addition to or in place of the invasion distance map 71 and the tumor cross-sectional view 72.
  • the display control unit 33 geometrically identifies the three-dimensional shape of the tumor site based on the estimation result of the invasion distance in the tumor-containing image, and displays a 3D tumor model representing the identified three-dimensional shape on the display screen. to be displayed.
  • FIG. 7 shows a second display example of the display screen displayed by the display device 2 during an endoscopy.
  • the display control unit 33 of the image processing device 1 transmits the display information Ib generated based on the information supplied from the other processing units 30 to 32 in the processor 11 to the display device 2, as shown in FIG. A display screen is displayed on the display device 2.
  • the display control unit 33 of the image processing device 1 since the tumor determining unit 31 has detected a tumor-containing image, the display control unit 33 of the image processing device 1 generates an invasion distance map based on the estimation result of the invasion distance regarding the detected tumor-containing image. , the infiltration distance map is displayed superimposed on the endoscopic image 70.
  • the infiltration distance map superimposed on the endoscopic image 70 is the same as the infiltration distance map 71 in FIG. 6, and is displayed with a predetermined transmittance so that the endoscopic image 70 can be visually recognized. .
  • the display control unit 33 displays a text message 75 on the display screen that prompts the user to input the cross-section designation line Lc. Then, the display control unit 33 receives the designation of the cross-section designation line Lc based on the operation of the input unit 14 by the examiner. Then, when the display control unit 33 detects a signal from the input unit 14 that specifies the cross-section designation line Lc, the display control unit 33 specifies the cross-section designation line Lc, generates a tumor cross-sectional diagram based on the cross-section designation line Lc, and displays it on the display screen. A cross-sectional view of the tumor is displayed.
  • the display control unit 33 can suitably receive the designation of the cross-section designation line Lc for displaying the tumor cross-section diagram. Note that instead of the second display example, the display control unit 33 displays the infiltration distance map and the endoscopic image 70 side by side without overlapping, and draws the cross-section designation line Lc on the infiltration distance map or the endoscopic image 70. It may also accept specified input.
  • FIG. 8 is an example of a flowchart showing an overview of the processing executed by the image processing apparatus 1 during endoscopy in the first embodiment.
  • the image processing device 1 acquires an endoscopic image Ia (step S11).
  • the endoscopic image acquisition unit 30 of the image processing device 1 receives the endoscopic image Ia from the endoscope scope 3 via the interface 13.
  • the image processing device 1 determines whether the endoscopic image Ia acquired in step S11 corresponds to a tumor-containing image that includes a tumor site (step S12). In this case, the image processing device 1 performs the above-described determination based on information output by the tumor detection model when the endoscopic image Ia is input to the tumor detection model configured based on the tumor detection model information D1.
  • the image processing device 1 determines that the endoscopic image Ia acquired in step S11 is a tumor-containing image (step S12; Yes)
  • the image processing device 1 calculates the invasion distance (step S13).
  • the image processing device 1 acquires the invasion distance output by the invasion distance estimation model when the tumor-containing image or its partial image is input to the invasion distance estimation model configured based on the invasion distance estimation model information D2.
  • the image processing device 1 displays the endoscopic image Ia acquired in step S11 and the image based on the infiltration distance calculated in step S13 on the display device 2 (step S14).
  • the image based on the invasion distance is, for example, an invasion distance map, a tumor cross section, or a tumor 3D model.
  • the image processing device 1 accepts a user input specifying a cross-section designation line Lc on the endoscopic image Ia.
  • the image processing device 1 may display a moving image of the endoscopic image Ia and a still image of the latest tumor-containing image, respectively.
  • step S12 determines that the endoscopic image Ia obtained in step S11 is not a tumor-containing image (step S12; No)
  • the image processing device 1 displays the endoscopic image Ia obtained in step S11 on the display device 2. Display (step S15).
  • step S16 the image processing device 1 determines whether the endoscopy has ended. For example, when the image processing device 1 detects a predetermined input to the input unit 14 or the operation unit 36, it determines that the endoscopy has ended. Then, when the image processing device 1 determines that the endoscopic examination has ended (step S16; Yes), the image processing device 1 ends the processing of the flowchart. On the other hand, if the image processing device 1 determines that the endoscopy has not been completed (step S16; No), the process returns to step S11. Then, the image processing device 1 executes the processes of steps S11 to S15 on the endoscopic image Ia newly generated by the endoscope 3.
  • the image processing device 1 may generate an invasion distance map for a part of the tumor-containing image instead of generating the invasion distance map for the entire tumor-containing image.
  • the image processing device 1 generates and displays an infiltration distance map targeting a rectangular area including the cross-section designation line Lc specified by the examiner (for example, the smallest rectangular area including the cross-section designation line Lc).
  • the image processing device 1 specifies the cross-section designation line Lc based on the user input specifying the cross-section designation line Lc, and then displays the invasion distance map and the tumor cross-sectional view.
  • the image processing device 1 can display an infiltration distance map limited to a region of interest to the examiner.
  • the image processing device 1 may automatically set the cross-section designation line Lc instead of displaying the cross-section designation line Lc specified based on the user input.
  • the image processing device 1 generates an invasion distance map for the entire tumor-containing image, and sets a cross-section designation line Lc of a predetermined length that passes through at least the point with the longest invasion distance in the invasion distance map.
  • the image processing device 1 approximates a region where the infiltration distance is a predetermined distance or more with an ellipse, and sets a cross-section designation line Lc corresponding to the major axis of the approximated ellipse.
  • the image processing device 1 can display a tumor cross-sectional view or the like regarding a tumor site without input from an examiner.
  • the image processing device 1 may process an image made up of endoscopic images Ia generated during an endoscopy after the endoscopy.
  • the image processing device 1 when a video to be processed is specified based on a user input through the input unit 14 at an arbitrary timing after an examination, the image processing device 1 performs a time-series internal view of the video constituting the video.
  • the process shown in the flowchart of FIG. 8 is sequentially performed on the mirror image Ia. Then, if the image processing device 1 determines that the target video has ended in step S16, it ends the process of the flowchart, and if the target video has not ended, it returns to step S11 and returns to the next step in chronological order.
  • the processing shown in the flowchart is performed on the endoscopic image Ia of .
  • the tumor detection model information D1 and the invasion distance estimation model information D2 may be stored in a storage device different from the image processing device 1.
  • FIG. 9 is a schematic configuration diagram of an endoscopy system 100A in Modification 3. Note that, for the sake of simplicity, the display device 2, endoscope 3, etc. are not shown.
  • the endoscopy system 100A includes a server device 4 that stores tumor detection model information D1 and invasion distance estimation model information D2.
  • the endoscopy system 100A also includes a plurality of image processing devices 1 (1A, 1B, . . . ) capable of data communication with the server device 4 via a network.
  • each image processing device 1 refers to the tumor detection model information D1 and the invasion distance estimation model information D2 via the network.
  • the interface 13 of each image processing device 1 includes a communication interface such as a network adapter for communication.
  • each image processing device 1 can refer to the tumor detection model information D1 and the invasion distance estimation model information D2 and suitably execute processing related to lesion detection, as in the above-described embodiment.
  • FIG. 10 is a block diagram of an image processing device 1X in the second embodiment.
  • the image processing device 1X includes an infiltration distance acquisition means 32X and an output control means 33X.
  • the image processing device 1X may be composed of a plurality of devices.
  • the infiltration distance acquisition means 32X acquires the infiltration distance of the tumor site of the subject in the endoscopic image, based on an endoscopic image of the subject taken by an imaging unit provided in the endoscope.
  • the infiltration distance acquisition means 32X can be, for example, the infiltration distance estimation unit 32 in the first embodiment (including modified examples, the same applies hereinafter).
  • the infiltration distance acquisition means 32X receives information about the tumor of the subject from an external device (i.e., a device separate from the image processing device 1X) that executes processing equivalent to the infiltration distance estimating section 32 in the first embodiment.
  • the above-mentioned infiltration distance may be acquired by receiving the estimation result of the infiltration distance of the site.
  • the output control means 33X outputs an image or sound based on the infiltration distance to the output device.
  • the output control means 33X can be the display control section 33 in the first embodiment.
  • the output device can be at least one of the display device 2 and the sound output section 16 in the first embodiment. Further, the output device may be incorporated in the image processing device 1X.
  • FIG. 11 is an example of a flowchart showing the processing procedure in the second embodiment.
  • the infiltration distance acquisition means 32X acquires the infiltration distance of the tumor site of the subject in the endoscopic image based on the endoscopic image taken of the subject by the imaging unit provided in the endoscope (step S21).
  • the output control means 33X outputs an image or sound based on the infiltration distance to the output device (step S22).
  • the image processing device 1X can present information regarding the invasion distance of the tumor site of the subject included in the endoscopic image taken of the subject.
  • Non-transitory computer-readable media include various types of tangible storage media.
  • Examples of non-transitory computer-readable media include magnetic storage media (e.g., flexible disks, magnetic tapes, hard disk drives), magneto-optical storage media (e.g., magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, CD-R/W, semiconductor memory (e.g., mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory).
  • Transitory computer readable media may be supplied to the computer by a transitory computer readable medium.
  • Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves.
  • Transitory computer readable media include electrical wires and optical
  • the program can be supplied to the computer via a wired communication path such as a fiber or a wireless communication path.
  • an infiltration distance acquisition means for acquiring an infiltration distance of a tumor site of the subject in the endoscopic image based on an endoscopic image taken of the subject by a photographing unit provided in the endoscope; output control means for outputting an image or sound based on the infiltration distance to an output device;
  • An image processing device having: [Additional note 2] The image processing device according to supplementary note 1, wherein the output control means displays a map of the invasion distance in the endoscopic image including the tumor site on the output device as an image based on the invasion distance.
  • the map is a contour map of the infiltration distance or a heat map of the infiltration distance other than a contour map.
  • the infiltration distance acquisition means estimates the infiltration distance based on a model into which the endoscopic image or a partial image of the endoscopic image determined to include the tumor site is input,
  • the image processing device according to appendix 9, wherein the model is a model that has learned a relationship between an image input to the model and the infiltration distance of the subject represented in the image.
  • the computer is Obtaining the invasion distance of the tumor site of the subject in the endoscopic image based on an endoscopic image taken of the subject by an imaging unit provided in the endoscope; outputting an image or sound based on the infiltration distance to an output device; Image processing method.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

画像処理装置１Ｘは、浸潤距離取得手段３２Ｘと、出力制御手段３３Ｘと、を備える。浸潤距離取得手段３２Ｘは、内視鏡に設けられた撮影部により被検体を撮影した内視鏡画像に基づき、内視鏡画像における被検体の腫瘍部位の浸潤距離を取得する。出力制御手段３３Ｘは、浸潤距離に基づく画像又は音を出力装置に出力する。

Description

画像処理装置、画像処理方法及び記憶媒体
　本開示は、内視鏡検査において取得される画像の処理を行う画像処理装置、画像処理方法及び記憶媒体の技術分野に関する。
　従来から、臓器の管腔内を撮影した画像を表示する内視鏡検査システムが知られている。例えば、特許文献１には、消化器官の内視鏡画像による疾患の診断支援方法が開示されている。
特開２０２０－０７８５３９号公報
　内視鏡検査において撮影された画像から病変部位の検出や診断を支援するＣＡＤ（Ｃｏｍｐｕｔｅｒ　Ａｉｄｅｄ　Ｄｅｔｅｃｔｉｏｎ／Ｄｉａｇｎｏｓｉｓ）の技術が提案されている。一方、腫瘍が存在した場合にその腫瘍の浸潤度合いの分布は、生検などの詳細な検査を行うことで把握する必要があった。
　本開示は、上述した課題を鑑み、内視鏡検査において腫瘍に関する情報を提示することが可能な画像処理装置、画像処理方法及び記憶媒体を提供することを目的の一つとする。
　画像処理装置の一の態様は、
　内視鏡に設けられた撮影部により被検体を撮影した内視鏡画像に基づき、前記内視鏡画像における前記被検体の腫瘍部位の浸潤距離を取得する浸潤距離取得手段と、
　前記浸潤距離に基づく画像又は音を出力装置に出力する出力制御手段と、
を有する画像処理装置である。
　画像処理方法の一の態様は、
　コンピュータが、
　内視鏡に設けられた撮影部により被検体を撮影した内視鏡画像に基づき、前記内視鏡画像における前記被検体の腫瘍部位の浸潤距離を取得し、
　前記浸潤距離に基づく画像又は音を出力装置に出力する、
画像処理方法である。
　記憶媒体の一の態様は、
　内視鏡に設けられた撮影部により被検体を撮影した内視鏡画像に基づき、前記内視鏡画像における前記被検体の腫瘍部位の浸潤距離を取得し、
　前記浸潤距離に基づく画像又は音を出力装置に出力する処理をコンピュータに実行させるプログラムを格納した記憶媒体である。
　本開示の１つの効果の例として、内視鏡検査において腫瘍に関する情報を提示することができる。
内視鏡検査システムの概略構成を示す。 画像処理装置のハードウェア構成を示す。 （Ａ）～（Ｄ）腫瘍部位の浸潤距離に基づく表示処理の流れを概略的に表した図である。 腫瘍部位の浸潤距離に基づく表示処理に関する画像処理装置の機能ブロック図である。 （Ａ）第１の例に基づく浸潤距離の推定処理の概要を示す。（Ｂ）断面指定線に沿った浸潤距離の推定方法の概要を示す図である。 内視鏡検査において表示装置が表示する表示画面の第１表示例を示す。 内視鏡検査において表示装置が表示する表示画面の第２表示例を示す。 第１実施形態において内視鏡検査時に画像処理装置が実行する処理の概要を示すフローチャートの一例である。 変形例における内視鏡検査システムの概略構成図である。 第２実施形態における画像処理装置のブロック図である。 第２実施形態において画像処理装置が実行するフローチャートの一例である。
　以下、図面を参照しながら、画像処理装置、画像処理方法及び記憶媒体の実施形態について説明する。
　＜第１実施形態＞
　（１）システム構成
　図１は、内視鏡検査システム１００の概略構成を示す。図１に示すように、内視鏡検査システム１００は、内視鏡を利用した検査又は治療を行う医師等の検査者に対して腫瘍の疑いがある被検体の部位（「腫瘍部位」とも呼ぶ。）に関する情報を提示するシステムであって、主に、画像処理装置１と、表示装置２と、画像処理装置１に接続された内視鏡スコープ３と、を備える。
　画像処理装置１は、内視鏡スコープ３が時系列により撮影する画像（「内視鏡画像Ｉａ」とも呼ぶ。）を内視鏡スコープ３から取得し、内視鏡画像Ｉａに基づく画面を表示装置２に表示させる。内視鏡画像Ｉａは、被検者への内視鏡スコープ３の挿入工程又は排出工程の少なくとも一方において所定のフレーム周期により撮影された画像である。本実施形態では、画像処理装置１は、腫瘍部位を含む内視鏡画像Ｉａ（「腫瘍含有画像」とも呼ぶ。）を検知した場合に、腫瘍含有画像内の被検体の部位の腫瘍の浸潤距離（即ち腫瘍の深さ）を推定し、推定した浸潤距離に基づく画像を表示装置２に表示させる。後述するように、「浸潤距離に基づく画像」の例は、浸潤距離を表すマップ、ユーザが指定した切断面での断面図、腫瘍の３次元形状をＣＧ（Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）により表した３次元モデルなどを含む。
　表示装置２は、画像処理装置１から供給される表示信号に基づき所定の表示を行うディスプレイ等である。
　内視鏡スコープ３は、主に、検査者が所定の入力を行うための操作部３６と、被検者の撮影対象となる臓器内に挿入され、柔軟性を有するシャフト３７と、超小型撮像素子などの撮影部を内蔵した先端部３８と、画像処理装置１と接続するための接続部３９とを有する。本実施形態において、操作部３６は、腫瘍部位を含む内視鏡画像が表示装置２に表示されたと検査者が判定した場合に、表示装置２に表示された内視鏡画像のキャプチャ（即ち、静止画として保存）を指示するボタン（「静止画保存ボタン」とも呼ぶ。）などを含んでいる。
　図１に示される内視鏡検査システム１００の構成は一例であり、種々の変更が行われてもよい。例えば、画像処理装置１は、表示装置２と一体に構成されてもよい。他の例では、画像処理装置１は、複数の装置から構成されてもよい。
　なお、本開示における内視鏡検査の被検体は、大腸に限らず、食道、胃、膵臓などの内視鏡検査が可能な任意の臓器であってもよい。例えば、本開示において対象となる内視鏡は、咽頭内視鏡、気管支鏡、上部消化管内視鏡、十二指腸内視鏡、小腸内視鏡、大腸内視鏡、カプセル内視鏡、胸腔鏡、腹腔鏡、膀胱鏡、胆道鏡、関節鏡、脊椎内視鏡、血管内視鏡、硬膜外腔内視鏡などが挙げられる。
　（２）ハードウェア構成
　図２は、画像処理装置１のハードウェア構成を示す。画像処理装置１は、主に、プロセッサ１１と、メモリ１２と、インターフェース１３と、入力部１４と、光源部１５と、音出力部１６と、を含む。これらの各要素は、データバス１９を介して接続されている。
　プロセッサ１１は、メモリ１２に記憶されているプログラム等を実行することにより、所定の処理を実行する。プロセッサ１１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＴＰＵ（Ｔｅｎｓｏｒ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのプロセッサである。プロセッサ１１は、複数のプロセッサから構成されてもよい。プロセッサ１１は、コンピュータの一例である。
　メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの、作業メモリとして使用される各種の揮発性メモリ及び画像処理装置１の処理に必要な情報を記憶する不揮発性メモリにより構成される。なお、メモリ１２は、画像処理装置１に接続又は内蔵されたハードディスクなどの外部記憶装置を含んでもよく、着脱自在なフラッシュメモリなどの記憶媒体を含んでもよい。メモリ１２には、画像処理装置１が本実施形態における各処理を実行するためのプログラムが記憶される。
　また、メモリ１２は、入力される内視鏡画像Ｉａから腫瘍含有画像となる内視鏡画像Ｉａを検知するモデルである腫瘍検知モデルに関する腫瘍検知モデル情報Ｄ１と、入力される画像に含まれる腫瘍部位の浸潤距離を推定するモデルである浸潤距離推定モデルに関する浸潤距離推定モデル情報Ｄ２とを記憶している。腫瘍検知モデル情報Ｄ１と、浸潤距離推定モデル情報Ｄ２とについては後述する。
　インターフェース１３は、画像処理装置１と外部装置とのインターフェース動作を行う。例えば、インターフェース１３は、プロセッサ１１が生成した表示情報「Ｉｂ」を表示装置２に供給する。また、インターフェース１３は、光源部１５が生成する光等を内視鏡スコープ３に供給する。また、インターフェース１３は、内視鏡スコープ３から供給される内視鏡画像Ｉａを示す電気信号をプロセッサ１１に供給する。インターフェース１３は、外部装置と有線又は無線により通信を行うためのネットワークアダプタなどの通信インターフェースであってもよく、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＳＡＴＡ（Ｓｅｒｉａｌ　ＡＴ　Ａｔｔａｃｈｍｅｎｔ）などに準拠したハードウェアインターフェースであってもよい。
　入力部１４は、検査者による操作に基づく入力信号を生成する。入力部１４は、例えば、ボタン、表示装置２に積層されたタッチパネル、リモートコントローラ、音声入力装置等である。光源部１５は、内視鏡スコープ３の先端部３８に供給するための光を生成する。また、光源部１５は、内視鏡スコープ３に供給する水や空気を送り出すためのポンプ等も内蔵してもよい。音出力部１６は、プロセッサ１１の制御に基づき音を出力する。
　次に、メモリ１２が記憶する腫瘍検知モデル情報Ｄ１及び浸潤距離推定モデル情報Ｄ２について詳しく説明する。
　腫瘍検知モデル情報Ｄ１は、内視鏡画像Ｉａが入力された場合に、入力された内視鏡画像Ｉａに腫瘍部位が含まれているか否かに関する情報を出力する腫瘍検知モデルに関する情報である。腫瘍検知モデル情報Ｄ１は、腫瘍検知モデルを構成するために必要なパラメータを含んでいる。腫瘍検知モデルは、例えば、内視鏡画像Ｉａが入力された場合に、入力された内視鏡画像Ｉａ内での腫瘍部位の存否に関する分類結果を出力する分類モデルである。腫瘍検知モデルは、ニューラルネットワークやサポートベクターマシーンなどの任意の機械学習モデル（統計モデルを含む、以下同じ。）であってもよい。このようなニューラルネットワークの代表モデルとして、例えば、Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ、ＳｅｇＮｅｔ、Ｕ－Ｎｅｔ、Ｖ－Ｎｅｔ、Ｆｅａｔｕｒｅ Ｐｙｒａｍｉｄ Ｎｅｔｗｏｒｋ、Ｍａｓｋ Ｒ－ＣＮＮ、ＤｅｅｐＬａｂなどが存在する。腫瘍検知モデルがニューラルネットワークにより構成される場合、腫瘍検知モデル情報Ｄ１は、例えば、層構造、各層のニューロン構造、各層におけるフィルタ数及びフィルタサイズ、並びに各フィルタの各要素の重みなどの各種パラメータを含む。
　浸潤距離推定モデル情報Ｄ２は、腫瘍部位を含む被検体の部位を撮影した画像が入力された場合に、当該画像中での腫瘍部位の浸潤距離を推定する浸潤距離推定モデルに関する情報であり、浸潤距離推定モデルを構成するために必要なパラメータを含んでいる。浸潤距離推定モデルは、浸潤距離推定モデルに入力される画像と、当該画像に表された被検体の腫瘍部位の浸潤距離との関係を学習したモデルである。浸潤距離推定モデルは、例えば、ニューラルネットワークやサポートベクターマシーンなどの任意の機械学習モデル（統計モデルを含む、以下同じ。）であってもよい。例えば、浸潤距離推定モデルがニューラルネットワークにより構成される場合、浸潤距離推定モデル情報Ｄ２は、層構造、各層のニューロン構造、各層におけるフィルタ数及びフィルタサイズ、並びに各フィルタの各要素の重みなどの各種パラメータを含む。
　後述するように、浸潤距離推定モデルに入力される画像は、腫瘍含有画像から規則的に（例えば格子状に）切り取られた腫瘍含有画像の部分画像であってもよく、腫瘍含有画像そのものであってもよい。例えば、前者の場合、浸潤距離推定モデルは、入力された部分画像の中心位置での浸潤距離の推定結果を示す数値を出力し、後者の場合、浸潤距離推定モデルは、入力された腫瘍含有画像全体の各画素（又は複数画素のブロック単位若しくはサブピクセル単位であってもよい）での浸潤距離の推定結果を示す画像を出力する。
　また、浸潤距離推定モデルは、浸潤距離に加えて、浸潤距離推定モデルに入力された画像に表された被検体の壁層を構成する各層の深さに関する推定結果をさらに出力するモデルであってもよい。例えば、被検体が大腸の場合には、浸潤距離推定モデルは、粘膜層、粘膜筋板、粘膜下層、固有筋層、漿膜下層、漿膜の各層の深さを推定し、被検体が食道の場合には、浸潤距離推定モデルは、粘膜層、粘膜下層、固有筋層、外膜の各層の深さを推定する。なお、壁層を構成する各層の深さを推定するモデルは、浸潤距離推定モデルと別個のモデルであってもよい。
　また、腫瘍検知モデル及び浸潤距離推定モデルが学習モデルである場合、腫瘍検知モデル及び浸潤距離推定モデルは、各モデルの入力形式に即した入力画像と各モデルに当該入力画像が入力された場合に出力すべき正解を示す正解データとの組に基づき予め学習される。そして、学習により得られた各モデルのパラメータ等が腫瘍検知モデル情報Ｄ１及び浸潤距離推定モデル情報Ｄ２として夫々メモリ１２に記憶される。
　（３）浸潤距離に基づく表示処理
　腫瘍部位の浸潤距離に基づく表示処理について説明する。
　（３－１）概要
　概略的には、画像処理装置１は、腫瘍含有画像となる内視鏡画像Ｉａを検知した場合に、腫瘍含有画像に表された被検体の各位置での浸潤距離を推定し、推定した浸潤距離に基づく画像を表示装置２に表示させる。これにより、画像処理装置１は、生検等の詳細な検査を必要とすることなく、腫瘍部位の浸潤距離に関する情報を検査者に提示することができる。従って、画像処理装置１は、手術の要否判定等に必要となる情報を、内視鏡検査時に直ちに検査者に提示することができる。
　図３（Ａ）～図３（Ｄ）は、腫瘍部位の浸潤距離に基づく表示処理の流れを概略的に表した図である。
　まず、画像処理装置１は、図３（Ａ）に示すように、内視鏡スコープ３から時系列の内視鏡画像Ｉａを取得する。そして、画像処理装置１は、図３（Ｂ）に示すように、取得した内視鏡画像Ｉａのうち、腫瘍含有画像に該当するものを、腫瘍検知モデルによる腫瘍部位の自動検知又はユーザによる操作部３６の静止画保存ボタンによる指定により認識し、認識した腫瘍含有画像を表示装置２に表示する。
　次に、画像処理装置１は、表示装置２に腫瘍含有画像を表示し、図３（Ｃ）に示すように、腫瘍部位を含む箇所の切断面を指定する断面指定線「Ｌｃ」の入力を入力部１４等により受け付ける。なお、断面指定線Ｌｃの指定は、例えば、マウス入力であってもよく、タッチパネルによる入力であってもよい。
　そして、画像処理装置１は、図３（Ｄ）に示すように、浸潤距離推定モデルを用いて推定した腫瘍含有画像の位置ごとの浸潤距離に基づく画像を表示装置２に表示する。この場合、画像処理装置１は、内視鏡画像Ｉａに対応する被検体の浸潤距離のマップ（「浸潤距離マップ」とも呼ぶ。）、断面指定線Ｌｃを切断面とする被検体の断面図（「腫瘍断面図」とも呼ぶ。）、推定した浸潤距離に基づき推定される腫瘍部位の３次元形状を表す３次元モデル（「腫瘍３Ｄモデル」とも呼ぶ。）の少なくともいずれかの画像を表示する。図３（Ｄ）に示される浸潤距離マップは、色が濃いほど腫瘍部位の浸潤距離が長い位置であることを表したヒートマップである。腫瘍３Ｄモデルは、例えば、ＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）などで用いられるグラフィック表示（例えば、ワイヤーフレームによる表示）であってもよい。
　なお、断面指定線Ｌｃの指定は、浸潤距離マップの表示後に行われてもよい。この具体例については後述する。
　（３－２）機能ブロック
　図４は、腫瘍部位の浸潤距離に基づく表示処理に関する画像処理装置１の機能ブロック図である。画像処理装置１のプロセッサ１１は、機能的には、内視鏡画像取得部３０と、腫瘍判定部３１と、浸潤距離推定部３２と、表示制御部３３と、を有する。なお、図４では、データの授受が行われるブロック同士を実線により結んでいるが、データの授受が行われるブロックの組合せはこれに限定されない。後述する他の機能ブロックの図においても同様である。
　内視鏡画像取得部３０は、インターフェース１３を介して内視鏡スコープ３が撮影した内視鏡画像Ｉａを所定間隔により取得する。そして、内視鏡画像取得部３０は、取得した内視鏡画像Ｉａを、腫瘍判定部３１及び表示制御部３３に夫々供給する。
　腫瘍判定部３１は、内視鏡画像取得部３０から供給される内視鏡画像Ｉａが腫瘍含有画像であるか否かの判定を行う。この場合、腫瘍判定部３１は、例えば、ユーザ入力（即ち外部入力）又は内視鏡画像Ｉａの解析結果の少なくとも一方に基づき、腫瘍含有画像となる内視鏡画像Ｉａを検知する。そして、腫瘍判定部３１は、腫瘍含有画像となる内視鏡画像Ｉａを検知した場合、検知した腫瘍含有画像を浸潤距離推定部３２に供給する。
　ここで、ユーザ入力に基づく腫瘍含有画像の検知について説明する。この場合、腫瘍判定部３１は、操作部３６から供給される信号に基づき、静止画保存ボタンが選択されたことを検知した場合に、選択された時点で表示装置２に表示されている内視鏡画像Ｉａを腫瘍含有画像として検知する。この場合、腫瘍判定部３１は、静止画保存ボタンが選択された時点において内視鏡画像取得部３０から供給された最新の内視鏡画像Ｉａを、腫瘍含有画像として検知してもよい。
　次に、内視鏡画像Ｉａの解析結果に基づく腫瘍含有画像の検知について説明する。腫瘍判定部３１は、腫瘍検知モデル情報Ｄ１を参照して構成した腫瘍検知モデルに、内視鏡画像取得部３０から供給される内視鏡画像Ｉａを入力し、内視鏡画像Ｉａを入力した場合に腫瘍検知モデルが出力する情報に基づき、入力した内視鏡画像Ｉａが腫瘍含有画像であるか否かの判定を行う。例えば、腫瘍検知モデルは、入力した内視鏡画像Ｉａにおける腫瘍部位の存否に関する分類結果を出力し、腫瘍判定部３１は、当該分類結果に基づき、入力した内視鏡画像Ｉａが腫瘍含有画像であるか否かの判定を行う。
　浸潤距離推定部３２は、浸潤距離推定モデル情報Ｄ２を参照することで構成した浸潤距離推定モデルに基づき、腫瘍判定部３１から供給される腫瘍含有画像が示す被検体の腫瘍部位の浸潤距離を推定し、推定結果を表示制御部３３に供給する。この場合、第１の例では、浸潤距離推定部３２は、腫瘍含有画像を規則的（例えば格子状）に分割した部分画像を生成し、分割した各部分画像を浸潤距離推定モデルに順に入力することで浸潤距離推定モデルが順に出力する部分画像毎の浸潤距離を表示制御部３３に出力する。第２の例では、浸潤距離推定部３２は、腫瘍含有画像を浸潤距離推定モデルに入力することで浸潤距離推定モデルが出力する、腫瘍含有画像の画素ごとの浸潤距離を示す画像を、表示制御部３３に出力する。
　図５（Ａ）は、上述した第１の例に基づく浸潤距離の推定処理の概要を示す。図５（Ａ）の例では、浸潤距離推定部３２は、腫瘍含有画像を格子状に横７分割、縦６分割することで計４２個の部分画像を１つの腫瘍含有画像について生成し、各部分画像を腫瘍検知モデルに入力することで、各部分画像の中心位置の浸潤距離を取得する。これにより、浸潤距離推定部３２は、浸潤距離マップの生成に必要な腫瘍含有画像上での浸潤距離の分布（マップ）を取得する。なお、浸潤距離推定部３２は、腫瘍含有画像を格子状に分割する代わりに、部分画像同士の重なりを許容し、隣り合う部分画像の中心位置の距離が部分画像の長さよりも短くなるように部分画像を生成してもよい。これにより、腫瘍含有画像上での浸潤距離のより詳細な分布を得ることが可能となる。
　また、浸潤距離推定部３２は、浸潤距離マップを生成・表示しない設定の場合等には、指定された断面指定線Ｌｃに沿った位置に限定して浸潤距離を推定し、腫瘍断面図に必要な浸潤距離を取得してもよい。図５（Ｂ）は、断面指定線Ｌｃに沿った浸潤距離の推定方法の概要を示す図である。図５（Ｂ）の例では、浸潤距離推定部３２は、断面指定線Ｌｃ上に等間隔に点Ｃ１～Ｃ５を設定し、点Ｃ１～Ｃ５を夫々中心とする正方形領域である部分画像Ｉｐ１～Ｉｐ５を設定している。そして、浸潤距離推定部３２は、部分画像Ｉｐ１～Ｉｐ５を順に浸潤距離推定モデルに入力し、浸潤距離推定モデルが順に出力する浸潤距離を、点Ｃ１～Ｃ５での浸潤距離として取得する。
　なお、浸潤距離推定部３２又は表示制御部３３は、浸潤距離推定モデルが出力した浸潤距離を任意の補間処理によって補間し、断面指定線Ｌｃ上の任意の点での浸潤距離を表す関数等をさらに算出してもよい。これにより、浸潤距離推定部３２又は表示制御部３３は、断面指定線Ｌｃを切断面とする場合の腫瘍部位の形状を的確に特定し、滑らかな腫瘍部位の形状を表す腫瘍断面図を表示することが可能となる。また、浸潤距離推定部３２又は表示制御部３３は、浸潤距離マップの生成においても同様に、浸潤距離推定モデルが出力する浸潤距離を任意の補間処理により縦方向及び横方向に補間した浸潤距離マップを生成してもよい。
　再び図４を参照して表示制御部３３について説明する。
　表示制御部３３は、内視鏡画像取得部３０から供給される最新の内視鏡画像Ｉａと、表示制御部３３から供給される浸潤距離の推定結果とに基づき、表示情報Ｉｂを生成する。そして、表示制御部３３は、生成した表示情報Ｉｂを表示装置２に供給することで、最新の内視鏡画像Ｉａ及び浸潤距離に基づく画像を表示装置２に表示させる。また、表示制御部３３は、腫瘍判定部３１が腫瘍含有画像を検知した場合には、最新の内視鏡画像Ｉａに加えて、又は、これに代えて、最新の腫瘍含有画像を表示装置２に表示させてもよい。
　また、表示制御部３３は、腫瘍判定部３１が腫瘍含有画像を検知した場合に、腫瘍含有画像又は最新の内視鏡画像Ｉａ上において断面指定線Ｌｃ（図３（Ｃ）参照）を指定するユーザ入力を受け付け、ユーザ入力により指定された断面指定線Ｌｃを切断面とする腫瘍断面図を生成し、表示装置２に表示させるとよい。この場合、表示制御部３３は、浸潤距離マップと腫瘍断面図とを少なくとも表示する場合、浸潤距離マップを表示後、断面指定線Ｌｃの指定を受け付けるとよい。これにより、検査者は、浸潤距離マップにより腫瘍の位置を確認しながら断面指定線Ｌｃを指定する操作を行うことができるため、検査者による断面指定線Ｌｃの指定を好適に支援することができる。なお、表示制御部３３は、浸潤距離マップ上において断面指定線Ｌｃを指定するユーザ入力を受け付け、ユーザ入力により指定された断面指定線Ｌｃを切断面とする腫瘍断面図を生成してもよい。
　また、表示制御部３３は、腫瘍判定部３１が腫瘍含有画像を検知した場合、腫瘍部位が検知されたことをユーザに通知する警告音又は音声案内等を出力するように音出力部１６の音出力制御を行ってもよい。また、表示制御部３３は、浸潤距離の推定結果に応じた音出力部１６の音出力制御を行ってもよい。例えば、表示制御部３３は、腫瘍判定部３１が腫瘍含有画像を検知した場合に、腫瘍含有画像の中心部での浸潤距離に応じた音（音程やメロディを含む）を出力してもよい。この場合、例えば、腫瘍含有画像の中心部での浸潤距離と出力すべき音とを対応付けた情報が予め記憶されており、表示制御部３３は、この情報を参照し、腫瘍含有画像の中心部での浸潤距離に応じた音を出力する。このように、表示制御部３３は、検査者の内視鏡スコープ３の操作に応じた音を出力してもよい。
　なお、内視鏡画像取得部３０、腫瘍判定部３１、浸潤距離推定部３２、及び表示制御部３３の各構成要素は、例えば、プロセッサ１１がプログラムを実行することによって実現できる。また、必要なプログラムを任意の不揮発性記憶媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。なお、これらの各構成要素の少なくとも一部は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組合せ等により実現してもよい。また、これらの各構成要素の少なくとも一部は、例えばＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）又はマイクロコントローラ等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。また、各構成要素の少なくとも一部は、ＡＳＳＰ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｓｔａｎｄａｒｄ　Ｐｒｏｄｕｃｅ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）又は量子プロセッサ（量子コンピュータ制御チップ）により構成されてもよい。このように、各構成要素は、種々のハードウェアにより実現されてもよい。以上のことは、後述する他の実施の形態においても同様である。さらに、これらの各構成要素は、例えば、クラウドコンピューティング技術などを用いて、複数のコンピュータの協働によって実現されてもよい。
　（３－３）表示例
　次に、表示制御部３３が実行する表示装置２の表示制御について説明する。
　図６は、内視鏡検査において表示装置２が表示する表示画面の第１表示例を示す。画像処理装置１の表示制御部３３は、プロセッサ１１内の他の各処理部３０～３２から供給される情報に基づき生成した表示情報Ｉｂを表示装置２に送信することで、図６に示される表示画面を表示装置２に表示させている。
　第１表示例では、画像処理装置１の表示制御部３３は、腫瘍判定部３１が腫瘍含有画像を検知したことから、断面指定線Ｌｃの指定を受け付けると共に、検知した腫瘍含有画像に関する浸潤距離の推定結果に基づく画像等を表示画面上に表示している。具体的には、表示制御部３３は、内視鏡画像７０と、浸潤距離マップ７１と、腫瘍断面図７２とを、表示画面上に表示している。
　内視鏡画像７０は、内視鏡画像取得部３０が取得した最新の内視鏡画像Ｉａに基づく動画又は腫瘍判定部３１が検知した最新の腫瘍含有画像の静止画を表す。なお、表示制御部３３は、図６の表示例に代えて、最新の内視鏡画像Ｉａに基づく動画と、腫瘍判定部３１が検知した最新の腫瘍含有画像の静止画との両方を表示画面上に表示してもよい。また、表示制御部３３は、内視鏡画像７０上に、ユーザ入力により指定された断面指定線Ｌｃを表示している。
　また、表示制御部３３は、最新の腫瘍含有画像の浸潤距離を浸潤距離推定モデルに基づき推定し、推定結果を示す浸潤距離マップ７１を表示している。ここでは、一例として、表示制御部３３は、所定間隔ごとの浸潤距離について、各浸潤距離が同一となる位置を線で結んだ等高線を示す浸潤距離マップ７１を表示している。
　また、表示制御部３３は、断面指定線Ｌｃに沿った浸潤距離に基づき、腫瘍断面図７２を表示している。ここでは、腫瘍断面図７２上に、被検体である大腸の壁層を構成する粘膜層（Ｍ）、粘膜筋板（ＭＭ）、粘膜下層（ＳＭ）についても明示している。
　ここで、腫瘍断面図７２の生成方法の具体例について説明する。
　第１の例では、表示制御部３３は、浸潤距離に加えて、大腸の各壁層の深さを推定するように学習された浸潤距離推定モデルが部分画像又は腫瘍含有画像が入力された場合に出力する大腸の各壁層の深さ（幅）の推定結果に基づき、腫瘍断面図７２を生成する。この場合、表示制御部３３は、断面指定線Ｌｃに沿った各壁層の深さの推定結果を、壁層毎に補間し、補間により得られた各壁層の深さに基づき腫瘍断面図７２を生成してもよい。第２の例では、大腸の各壁層の深さの標準値を示す情報がメモリ１２に記憶されている場合に、表示制御部３３はこの情報を参照し、各壁層の深さを上述の標準値に設定した腫瘍断面図７２を生成する。なお、腫瘍断面図７２では、粘膜下層（ＳＭ）の底が図の下端に一致するように描かれている。
　なお、表示制御部３３は、浸潤距離マップ７１及び腫瘍断面図７２に加えて、又は、これらに代えて、腫瘍３Ｄモデルを表示画面上に表示してもよい。この場合、表示制御部３３は、腫瘍含有画像内の浸潤距離の推定結果に基づき、腫瘍部位の３次元形状を幾何学的に特定し、特定した３次元形状を表す腫瘍３Ｄモデルを表示画面上に表示する。
　図７は、内視鏡検査において表示装置２が表示する表示画面の第２表示例を示す。画像処理装置１の表示制御部３３は、プロセッサ１１内の他の各処理部３０～３２から供給される情報に基づき生成した表示情報Ｉｂを表示装置２に送信することで、図７に示される表示画面を表示装置２に表示させている。
　第２表示例では、画像処理装置１の表示制御部３３は、腫瘍判定部３１が腫瘍含有画像を検知したことから、検知した腫瘍含有画像に関する浸潤距離の推定結果に基づく浸潤距離マップを生成し、浸潤距離マップを内視鏡画像７０に重ねて表示している。ここで、内視鏡画像７０に重ねた浸潤距離マップは、図６の浸潤距離マップ７１と同一であり、内視鏡画像７０が視認できるように所定の透過率を有して表示されている。
　そして、表示制御部３３は、表示画面上において、断面指定線Ｌｃの入力を促すテキストメッセージ７５を表示している。そして、表示制御部３３は、検査者による入力部１４の操作に基づき、断面指定線Ｌｃの指定を受け付ける。そして、表示制御部３３は、断面指定線Ｌｃを指定する入力部１４の信号を検知した場合に、断面指定線Ｌｃを特定し、断面指定線Ｌｃに基づく腫瘍断面図を生成し、表示画面上に腫瘍断面図を表示する。
　このように、第２表示例によれば、表示制御部３３は、腫瘍断面図を表示するための断面指定線Ｌｃの指定を好適に受け付けることができる。なお、第２表示例に代えて、表示制御部３３は、浸潤距離マップと内視鏡画像７０とを重ねずに並べて表示し、浸潤距離マップ又は内視鏡画像７０上において断面指定線Ｌｃを指定する入力を受け付けてもよい。
　（３－４）処理フロー
　図８は、第１実施形態において内視鏡検査時に画像処理装置１が実行する処理の概要を示すフローチャートの一例である。
　まず、画像処理装置１は、内視鏡画像Ｉａを取得する（ステップＳ１１）。この場合、画像処理装置１の内視鏡画像取得部３０は、インターフェース１３を介して内視鏡スコープ３から内視鏡画像Ｉａを受信する。
　次に、画像処理装置１は、ステップＳ１１で取得された内視鏡画像Ｉａが腫瘍部位を含む腫瘍含有画像に該当するか否か判定する（ステップＳ１２）。この場合、画像処理装置１は、腫瘍検知モデル情報Ｄ１に基づき構成した腫瘍検知モデルに内視鏡画像Ｉａを入力した場合に腫瘍検知モデルが出力する情報に基づき、上述の判定を行う。
　そして、画像処理装置１は、ステップＳ１１で取得した内視鏡画像Ｉａが腫瘍含有画像であると判定した場合（ステップＳ１２；Ｙｅｓ）、浸潤距離を算出する（ステップＳ１３）。この場合、画像処理装置１は、浸潤距離推定モデル情報Ｄ２に基づき構成した浸潤距離推定モデルに腫瘍含有画像又はその部分画像を入力した場合に浸潤距離推定モデルが出力する浸潤距離を取得する。そして、画像処理装置１は、ステップＳ１１で取得した内視鏡画像Ｉａと、ステップＳ１３で算出した浸潤距離に基づく画像とを、表示装置２に表示する（ステップＳ１４）。この場合、浸潤距離に基づく画像は、例えば、浸潤距離マップ、腫瘍断面図、腫瘍３Ｄモデルである。また、画像処理装置１は、腫瘍断面図を表示する場合には、内視鏡画像Ｉａ上での断面指定線Ｌｃを指定するユーザ入力を受け付ける。なお、画像処理装置１は、内視鏡画像Ｉａの動画と、最新の腫瘍含有画像の静止画とを夫々表示してもよい。
　一方、画像処理装置１は、ステップＳ１１で取得した内視鏡画像Ｉａが腫瘍含有画像ではないと判定した場合（ステップＳ１２；Ｎｏ）、ステップＳ１１で取得した内視鏡画像Ｉａを表示装置２に表示する（ステップＳ１５）。
　そして、画像処理装置１は、ステップＳ１４又はステップＳ１５の後、内視鏡検査が終了したか否か判定する（ステップＳ１６）。例えば、画像処理装置１は、入力部１４又は操作部３６への所定の入力等を検知した場合に、内視鏡検査が終了したと判定する。そして、画像処理装置１は、内視鏡検査が終了したと判定した場合（ステップＳ１６；Ｙｅｓ）、フローチャートの処理を終了する。一方、画像処理装置１は、内視鏡検査が終了していないと判定した場合（ステップＳ１６；Ｎｏ）、ステップＳ１１へ処理を戻す。そして、画像処理装置１は、内視鏡スコープ３が新たに生成する内視鏡画像Ｉａに対してステップＳ１１～ステップＳ１５の処理を実行する。
　（４）変形例
　次に、上述した実施形態に好適な変形例について説明する。以下の変形例は、組み合わせて上述の実施形態に適用してもよい。
　（変形例１）
　浸潤距離マップを表示する場合、画像処理装置１は、腫瘍含有画像の全体に対する浸潤距離マップを生成する代わりに、腫瘍含有画像の一部に対する浸潤距離マップを生成してもよい。
　例えば、画像処理装置１は、検査者が指定した断面指定線Ｌｃを含む矩形領域（例えば断面指定線Ｌｃを含む最小の矩形領域）を対象とする浸潤距離マップを生成及び表示する。この場合、画像処理装置１は、断面指定線Ｌｃを指定するユーザ入力に基づき断面指定線Ｌｃを特定した後、浸潤距離マップ及び腫瘍断面図を表示する。この態様では、画像処理装置１は、検査者が関心のある領域に限定した浸潤距離マップを表示することができる。
　（変形例２）
　画像処理装置１は、ユーザ入力に基づき指定された断面指定線Ｌｃを表示する代わりに、断面指定線Ｌｃを自動設定してもよい。
　この場合、例えば、画像処理装置１は、腫瘍含有画像の全体に対する浸潤距離マップを生成し、当該浸潤距離マップにおいて最も浸潤距離が長い点を少なくとも通る所定長の断面指定線Ｌｃを設定する。他の例では、画像処理装置１は、浸潤距離が所定距離以上となる領域を楕円により近似し、近似した楕円の長径に相当する断面指定線Ｌｃを設定する。この態様によれば、画像処理装置１は、検査者の入力によらずに、腫瘍部位に関する腫瘍断面図などを表示することができる。
　（変形例３）
　画像処理装置１は、内視鏡検査時に生成された内視鏡画像Ｉａから構成された映像を、検査後において処理してもよい。
　例えば、画像処理装置１は、検査後の任意のタイミングにおいて、入力部１４によるユーザ入力等に基づき、処理を行う対象となる映像が指定された場合に、当該映像を構成する時系列の内視鏡画像Ｉａに対して逐次的に図８のフローチャートの処理を行う。そして、画像処理装置１は、ステップＳ１６において対象の映像が終了したと判定した場合に、フローチャートの処理を終了し、対象の映像が終了していない場合にはステップＳ１１に戻り、時系列において次の内視鏡画像Ｉａを対象としてフローチャートの処理を行う。
　（変形例４）
　腫瘍検知モデル情報Ｄ１及び浸潤距離推定モデル情報Ｄ２は、画像処理装置１とは別の記憶装置に記憶されてもよい。
　図９は、変形例３における内視鏡検査システム１００Ａの概略構成図である。なお、簡潔化のため、表示装置２及び内視鏡スコープ３等は図示されていない。内視鏡検査システム１００Ａは、腫瘍検知モデル情報Ｄ１及び浸潤距離推定モデル情報Ｄ２を記憶するサーバ装置４を備える。また、内視鏡検査システム１００Ａは、サーバ装置４とネットワークを介してデータ通信が可能な複数の画像処理装置１（１Ａ、１Ｂ、…）を備える。
　この場合、各画像処理装置１は、ネットワークを介して腫瘍検知モデル情報Ｄ１及び浸潤距離推定モデル情報Ｄ２の参照を行う。この場合、各画像処理装置１のインターフェース１３は、通信を行うためのネットワークアダプタなどの通信インターフェースを含む。この構成では、各画像処理装置１は、上述の実施形態と同様、腫瘍検知モデル情報Ｄ１及び浸潤距離推定モデル情報Ｄ２を参照し、病変検知に関する処理を好適に実行することができる。
　＜第２実施形態＞
　図１０は、第２実施形態における画像処理装置１Ｘのブロック図である。画像処理装置１Ｘは、浸潤距離取得手段３２Ｘと、出力制御手段３３Ｘと、を備える。画像処理装置１Ｘは、複数の装置から構成されてもよい。
　浸潤距離取得手段３２Ｘは、内視鏡に設けられた撮影部により被検体を撮影した内視鏡画像に基づき、内視鏡画像における被検体の腫瘍部位の浸潤距離を取得する。浸潤距離取得手段３２Ｘは、例えば、第１実施形態（変形例を含む、以下同じ。）における浸潤距離推定部３２とすることができる。他の例では、浸潤距離取得手段３２Ｘは、第１実施形態における浸潤距離推定部３２に相当する処理を実行する外部装置（即ち、画像処理装置１Ｘとは別体の装置）から被検体の腫瘍部位の浸潤距離の推定結果を受信することで、上述の浸潤距離を取得してもよい。
　出力制御手段３３Ｘは、浸潤距離に基づく画像又は音を出力装置に出力する。出力制御手段３３Ｘは、第１実施形態における表示制御部３３とすることができる。なお、出力装置は、第１実施形態における表示装置２又は音出力部１６の少なくとも一方とすることができる。また、出力装置は、画像処理装置１Ｘに組み込まれていてもよい。
　図１１は、第２実施形態における処理手順を示すフローチャートの一例である。浸潤距離取得手段３２Ｘは、内視鏡に設けられた撮影部により被検体を撮影した内視鏡画像に基づき、内視鏡画像における被検体の腫瘍部位の浸潤距離を取得する（ステップＳ２１）。出力制御手段３３Ｘは、浸潤距離に基づく画像又は音を出力装置に出力する（ステップＳ２２）。
　第２実施形態によれば、画像処理装置１Ｘは、被検体を撮影した内視鏡画像に含まれる被検体の腫瘍部位の浸潤距離に関する情報を提示することができる。
　なお、上述した各実施形態において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（Ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ　ｃｏｍｐｕｔｅｒ　ｒｅａｄａｂｌｅ　ｍｅｄｉｕｍ）を用いて格納され、コンピュータであるプロセッサ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体（Ｔａｎｇｉｂｌｅ　ｓｔｏｒａｇｅ　ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記憶媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（Ｔｒａｎｓｉｔｏｒｙ　ｃｏｍｐｕｔｅｒ　ｒｅａｄａｂｌｅ　ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　その他、上記の各実施形態（変形例を含む、以下同じ）の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。
　［付記１］
　内視鏡に設けられた撮影部により被検体を撮影した内視鏡画像に基づき、前記内視鏡画像における前記被検体の腫瘍部位の浸潤距離を取得する浸潤距離取得手段と、
　前記浸潤距離に基づく画像又は音を出力装置に出力する出力制御手段と、
を有する画像処理装置。
　［付記２］
　前記出力制御手段は、前記浸潤距離に基づく画像として、前記腫瘍部位を含む前記内視鏡画像における前記浸潤距離のマップを前記出力装置に表示する、付記１に記載の画像処理装置。
　［付記３］
　前記マップは、前記浸潤距離の等高線図又は等高線図以外の前記浸潤距離のヒートマップである、付記２に記載の画像処理装置。
　［付記４］
　前記出力制御手段は、前記浸潤距離に基づく画像として、前記腫瘍部位における前記被検体の断面図を前記出力装置に表示する、付記１に記載の画像処理装置。
　［付記５］
　前記断面図には、前記腫瘍部位と、前記被検体の壁層とが含まれる、付記４に記載の画像処理装置。
　［付記６］
　前記出力制御手段は、前記出力装置に表示した前記内視鏡画像上において指定された線を切断面とする前記断面図を前記出力装置に表示する、付記４または５に記載の画像処理装置。
　［付記７］
　前記出力制御手段は、前記腫瘍部位を含む前記内視鏡画像における前記浸潤距離のマップを前記出力装置に表示後、前記線を指定する外部入力を受け付ける、付記６に記載の画像処理装置。
　［付記８］
　前記出力制御手段は、前記浸潤距離に基づく画像として、前記腫瘍部位の３次元モデルを前記出力装置に表示する、付記１に記載の画像処理装置。
　［付記９］
　前記撮影部が撮影した内視鏡画像から、前記腫瘍部位を含む内視鏡画像を判定する腫瘍判定手段をさらに有し、
　前記浸潤距離取得手段は、前記腫瘍部位を含むと判定された前記内視鏡画像に基づき、浸潤距離を推定する、付記１に記載の画像処理装置。
　［付記１０］
　前記浸潤距離取得手段は、前記腫瘍部位を含むと判定された前記内視鏡画像又は当該内視鏡画像の部分画像が入力されるモデルに基づき、前記浸潤距離を推定し、
　前記モデルは、前記モデルに入力される画像と、当該画像に表された前記被検体の前記浸潤距離との関係を学習したモデルである、付記９に記載の画像処理装置。
　［付記１１］
　コンピュータが、
　内視鏡に設けられた撮影部により被検体を撮影した内視鏡画像に基づき、前記内視鏡画像における前記被検体の腫瘍部位の浸潤距離を取得し、
　前記浸潤距離に基づく画像又は音を出力装置に出力する、
画像処理方法。
　［付記１２］
　内視鏡に設けられた撮影部により被検体を撮影した内視鏡画像に基づき、前記内視鏡画像における前記被検体の腫瘍部位の浸潤距離を取得し、
　前記浸潤距離に基づく画像又は音を出力装置に出力する処理をコンピュータに実行させるプログラムを格納した記憶媒体。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。
　１、１Ａ、１Ｂ、１Ｘ　画像処理装置
　２　表示装置
　３　内視鏡スコープ
　１１　プロセッサ
　１２　メモリ
　１３　インターフェース
　１４　入力部
　１５　光源部
　１６　音出力部
　１００、１００Ａ　内視鏡検査システム

Claims (12)

  1. 　内視鏡に設けられた撮影部により被検体を撮影した内視鏡画像に基づき、前記内視鏡画像における前記被検体の腫瘍部位の浸潤距離を取得する浸潤距離取得手段と、
    　前記浸潤距離に基づく画像又は音を出力装置に出力する出力制御手段と、
    を有する画像処理装置。
  2. 　前記出力制御手段は、前記浸潤距離に基づく画像として、前記腫瘍部位を含む前記内視鏡画像における前記浸潤距離のマップを前記出力装置に表示する、請求項１に記載の画像処理装置。
  3. 　前記マップは、前記浸潤距離の等高線図又は等高線図以外の前記浸潤距離のヒートマップである、請求項２に記載の画像処理装置。
  4. 　前記出力制御手段は、前記浸潤距離に基づく画像として、前記腫瘍部位における前記被検体の断面図を前記出力装置に表示する、請求項１に記載の画像処理装置。
  5. 　前記断面図には、前記腫瘍部位と、前記被検体の壁層とが含まれる、請求項４に記載の画像処理装置。
  6. 　前記出力制御手段は、前記出力装置に表示した前記内視鏡画像上において指定された線を切断面とする前記断面図を前記出力装置に表示する、請求項４または５に記載の画像処理装置。
  7. 　前記出力制御手段は、前記腫瘍部位を含む前記内視鏡画像における前記浸潤距離のマップを前記出力装置に表示後、前記線を指定する外部入力を受け付ける、請求項６に記載の画像処理装置。
  8. 　前記出力制御手段は、前記浸潤距離に基づく画像として、前記腫瘍部位の３次元モデルを前記出力装置に表示する、請求項１に記載の画像処理装置。
  9. 　前記撮影部が撮影した内視鏡画像から、前記腫瘍部位を含む内視鏡画像を判定する腫瘍判定手段をさらに有し、
    　前記浸潤距離取得手段は、前記腫瘍部位を含むと判定された前記内視鏡画像に基づき、浸潤距離を推定する、請求項１に記載の画像処理装置。
  10. 　前記浸潤距離取得手段は、前記腫瘍部位を含むと判定された前記内視鏡画像又は当該内視鏡画像の部分画像が入力されるモデルに基づき、前記浸潤距離を推定し、
    　前記モデルは、前記モデルに入力される画像と、当該画像に表された前記被検体の前記浸潤距離との関係を学習したモデルである、請求項９に記載の画像処理装置。
  11. 　コンピュータが、
    　内視鏡に設けられた撮影部により被検体を撮影した内視鏡画像に基づき、前記内視鏡画像における前記被検体の腫瘍部位の浸潤距離を取得し、
    　前記浸潤距離に基づく画像又は音を出力装置に出力する、
    画像処理方法。
  12. 　内視鏡に設けられた撮影部により被検体を撮影した内視鏡画像に基づき、前記内視鏡画像における前記被検体の腫瘍部位の浸潤距離を取得し、
    　前記浸潤距離に基づく画像又は音を出力装置に出力する処理をコンピュータに実行させるプログラムを格納した記憶媒体。
PCT/JP2022/028321 2022-07-21 2022-07-21 画像処理装置、画像処理方法及び記憶媒体 WO2024018581A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/028321 WO2024018581A1 (ja) 2022-07-21 2022-07-21 画像処理装置、画像処理方法及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/028321 WO2024018581A1 (ja) 2022-07-21 2022-07-21 画像処理装置、画像処理方法及び記憶媒体

Publications (1)

Publication Number Publication Date
WO2024018581A1 true WO2024018581A1 (ja) 2024-01-25

Family

ID=89617535

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/028321 WO2024018581A1 (ja) 2022-07-21 2022-07-21 画像処理装置、画像処理方法及び記憶媒体

Country Status (1)

Country Link
WO (1) WO2024018581A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015087167A (ja) * 2013-10-29 2015-05-07 キヤノン株式会社 画像処理方法、画像処理システム
JP2017113390A (ja) * 2015-12-25 2017-06-29 キヤノンマーケティングジャパン株式会社 医用画像処理装置、その制御方法、及びプログラム
WO2020105699A1 (ja) * 2018-11-21 2020-05-28 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
WO2020166247A1 (ja) * 2019-02-14 2020-08-20 日本電気株式会社 病変領域分割装置、医用画像診断システム、病変領域分割方法及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2021054477A2 (ja) * 2019-09-20 2021-03-25 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015087167A (ja) * 2013-10-29 2015-05-07 キヤノン株式会社 画像処理方法、画像処理システム
JP2017113390A (ja) * 2015-12-25 2017-06-29 キヤノンマーケティングジャパン株式会社 医用画像処理装置、その制御方法、及びプログラム
WO2020105699A1 (ja) * 2018-11-21 2020-05-28 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
WO2020166247A1 (ja) * 2019-02-14 2020-08-20 日本電気株式会社 病変領域分割装置、医用画像診断システム、病変領域分割方法及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2021054477A2 (ja) * 2019-09-20 2021-03-25 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体

Similar Documents

Publication Publication Date Title
JP7346285B2 (ja) 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム
EP3463032B1 (en) Image-based fusion of endoscopic image and ultrasound images
JP6967602B2 (ja) 検査支援装置、内視鏡装置、内視鏡装置の作動方法、及び検査支援プログラム
JP2010279539A (ja) 診断支援装置および方法並びにプログラム。
US20220254017A1 (en) Systems and methods for video-based positioning and navigation in gastroenterological procedures
US9723971B2 (en) Image processing apparatus, method, and program
US11423318B2 (en) System and methods for aggregating features in video frames to improve accuracy of AI detection algorithms
JP7125479B2 (ja) 医療画像処理装置、医療画像処理装置の作動方法及び内視鏡システム
JP7326308B2 (ja) 医療画像処理装置及び医療画像処理装置の作動方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
JP7385731B2 (ja) 内視鏡システム、画像処理装置の作動方法及び内視鏡
JP7441934B2 (ja) 処理装置、内視鏡システム及び処理装置の作動方法
WO2024018581A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
WO2022180786A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
WO2023126999A1 (ja) 画像処理装置、画像処理方法、及び、記憶媒体
WO2023042273A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
WO2022224446A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
WO2023234071A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
WO2023148812A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
WO2022208615A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
WO2023187886A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
JP6745748B2 (ja) 内視鏡位置特定装置、その作動方法およびプログラム
WO2024013848A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
WO2023181353A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
US20230419517A1 (en) Shape measurement system for endoscope and shape measurement method for endoscope
WO2024024022A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22951967

Country of ref document: EP

Kind code of ref document: A1