WO2024028925A1 - 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体 - Google Patents

内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体 Download PDF

Info

Publication number
WO2024028925A1
WO2024028925A1 PCT/JP2022/029427 JP2022029427W WO2024028925A1 WO 2024028925 A1 WO2024028925 A1 WO 2024028925A1 JP 2022029427 W JP2022029427 W JP 2022029427W WO 2024028925 A1 WO2024028925 A1 WO 2024028925A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
unobserved
endoscopic
image
region
Prior art date
Application number
PCT/JP2022/029427
Other languages
English (en)
French (fr)
Inventor
弘泰 齊賀
達 木村
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2022/029427 priority Critical patent/WO2024028925A1/ja
Priority to PCT/JP2023/028003 priority patent/WO2024029504A1/ja
Priority to US18/398,509 priority patent/US20240138651A1/en
Priority to US18/398,516 priority patent/US20240138652A1/en
Publication of WO2024028925A1 publication Critical patent/WO2024028925A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof

Definitions

  • the present disclosure relates to technology that can be used when presenting information to support endoscopy.
  • Patent Document 1 discloses that information indicating analyzable parts and non-analyzable parts of the large intestine is collected based on an image obtained by imaging the inside of the large intestine. An aspect of displaying in relation to a structure is disclosed.
  • Patent Document 1 does not disclose a specific method for presenting information that allows confirmation of the observation status of multiple parts of the large intestine after an endoscopy has been completed.
  • Patent Document 1 for example, after an endoscopy has been completed, when it is necessary to specify which part of the colon has been observed, the A problem has arisen in that an excessive burden may be placed on workers who create reports related to endoscopy.
  • One objective of the present disclosure is to provide an endoscopy support device that can reduce the burden placed on a worker who creates a report related to an endoscopy.
  • an endoscopy support device includes: Three-dimensional model generation means for generating a three-dimensional model of the hollow organ in which the endoscopic camera is arranged, based on an endoscopic image obtained by imaging the inside of the hollow organ with an endoscopic camera. and, unobserved area detection means for detecting an area that is estimated not to have been observed by the endoscopic camera as an unobserved area based on the three-dimensional model; Display image generation means for generating a display image including information indicating the degree of observation achievement for each of the plurality of parts of the hollow organ based on the detection result of the unobserved area; Equipped with
  • an endoscopy support method includes: Generating a three-dimensional model of the hollow organ in which the endoscopic camera is arranged, based on an endoscopic image obtained by imaging the inside of the hollow organ with an endoscopic camera, Based on the three-dimensional model, detecting an area that is estimated not to have been observed by the endoscopic camera as an unobserved area; Based on the detection results of the unobserved region, a display image is generated that includes information indicating the degree of observation achievement for each of the plurality of parts of the hollow organ.
  • the recording medium includes: Generating a three-dimensional model of the hollow organ in which the endoscopic camera is arranged, based on an endoscopic image obtained by imaging the inside of the hollow organ with an endoscopic camera, Based on the three-dimensional model, detecting an area that is estimated not to have been observed by the endoscopic camera as an unobserved area; A program is recorded that causes a computer to execute a process of generating a display image including information indicating the degree of observation achievement for each of the plurality of parts of the hollow organ based on the detection result of the unobserved area.
  • FIG. 1 is a diagram showing a schematic configuration of an endoscopy system according to a first embodiment.
  • FIG. 1 is a block diagram showing a hardware configuration of an endoscopy support device according to a first embodiment.
  • FIG. 1 is a block diagram showing a functional configuration of an endoscopy support device according to a first embodiment.
  • FIG. 3 is a diagram for explaining a specific example of an observation image.
  • FIG. 3 is a diagram for explaining a specific example of an inspection result image.
  • 1 is a flowchart illustrating an example of processing performed in the endoscopy support device according to the first embodiment.
  • FIG. 2 is a block diagram showing the functional configuration of an endoscopy support device according to a second embodiment.
  • 7 is a flowchart illustrating an example of processing performed in the endoscopy support device according to the second embodiment.
  • FIG. 1 is a diagram showing a schematic configuration of an endoscopy system according to a first embodiment.
  • the endoscopy system 100 includes an endoscopy support device 1, a display device 2, and an endoscope 3 connected to the endoscopy support device 1.
  • the endoscopy support device 1 sends a video (hereinafter also referred to as "endoscope image Ic") including time-series images obtained by imaging a subject during an endoscopy to an endoscope scope 3.
  • a display image is displayed on the display device 2 for confirmation by an operator such as a doctor performing an endoscopy.
  • the endoscopy support device 1 acquires an image of the inside of the large intestine obtained during the endoscopy from the endoscope 3 as the endoscope image Ic.
  • the endoscopy support device 1 detects the surface of the large intestine, which is a luminal organ, and the distal end of the endoscope 3 based on images extracted from the endoscopic image Ic (hereinafter also referred to as "endoscope images”). 38 (hereinafter also referred to as "depth") and a change in the relative posture of the endoscopic camera.
  • the endoscopy support device 1 performs 3D reconstruction based on the depth and changes in the relative posture of the endoscopic camera, thereby performing 3D reconstruction according to the structure of the large intestine (intestinal tract). Generate the model.
  • the endoscopic examination support device 1 detects a difficult-to-observe region, which is a region estimated to be difficult to observe in an endoscopy, based on the endoscopic image. Furthermore, the endoscopic examination support device 1 detects a lesion candidate region, which is a region estimated to be a lesion candidate, based on the endoscopic image. Furthermore, the endoscopy support apparatus 1 detects, as a missing area, an area in which the three-dimensional model is missing due to unimplemented or insufficient three-dimensional restoration. Furthermore, the endoscopy support device 1 detects at least one of a difficult-to-observe region and a missing region in the three-dimensional model as an unobserved region.
  • the endoscopy support device 1 indicates, based on the endoscopic image, which part of the plurality of parts of the large intestine the subject imaged by the endoscopic camera in the large intestine corresponds to. Obtain subject information.
  • the endoscopy support device 1 also detects unobserved areas in the currently performed colonoscopy based on the detection results of unobserved areas, subject information, etc.
  • a mapping process is performed to associate a three-dimensional model of the entire large intestine (hereinafter also referred to as a "large intestine model") created in advance based on the structure.
  • the endoscopy support device 1 also uses the colon model that has been subjected to the mapping process described above to generate a display image that includes a summary of the test results in the endoscopy, and displays the generated display image on a display device. Output to 2.
  • areas that are difficult to observe include, for example, areas that are difficult to see due to insufficient brightness, areas that are difficult to see due to strong blur, and areas that are difficult to see due to the presence of residue, and areas that are difficult to see due to the presence of residue. Impossible areas.
  • the missing region may include, for example, a region hidden by a shielding object in the large intestine such as a fold, and a region where imaging by an endoscopic camera has not been continuously performed for a predetermined period of time or longer. The above-mentioned predetermined time may be set to, for example, one second.
  • the plurality of parts of the large intestine mentioned above may include, for example, the rectum, sigmoid colon, descending colon, transverse colon, ascending colon, and cecum.
  • processing related to detection of a difficult-to-observe area may not be performed.
  • the missing area in the three-dimensional model may be detected as an unobserved area.
  • the display device 2 includes, for example, a liquid crystal monitor. Further, the display device 2 displays display images and the like output from the endoscopy support device 1.
  • the endoscopic scope 3 mainly includes an operating section 36 through which the operator inputs air supply, water supply, angle adjustment, photographing instructions, etc., and a flexible
  • the distal end portion 38 has a built-in endoscopic camera such as a micro-imaging device, and a connecting portion 39 for connecting to the endoscopic examination support device 1.
  • FIG. 2 is a block diagram showing the hardware configuration of the endoscopy support device according to the first embodiment.
  • the endoscopy support device 1 mainly includes a processor 11, a memory 12, an interface 13, an input section 14, a light source section 15, a sound output section 16, and a database (hereinafter referred to as "DB"). ) 17. Each of these elements is connected via a data bus 19.
  • DB database
  • the processor 11 executes a predetermined process by executing a program stored in the memory 12.
  • the processor 11 is a processor such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or a TPU (Tensor Processing Unit). Note that the processor 11 may include a plurality of processors.
  • Processor 11 is an example of a computer. Further, the processor 11 performs processing related to generation of a display image including a summary of the test results in the endoscopy based on the endoscopic image included in the endoscopic image Ic.
  • the memory 12 includes various types of volatile memory used as working memory, such as RAM (Random Access Memory) and ROM (Read Only Memory), and non-volatile memory that stores information necessary for processing of the endoscopy support device 1. Consists of memory. Note that the memory 12 may include an external storage device such as a hard disk connected to or built in the endoscopy support device 1, or may include a removable storage medium such as a flash memory or a disk medium. The memory 12 stores programs for the endoscopy support apparatus 1 to execute each process in this embodiment.
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the memory 12 temporarily stores a series of endoscopic images Ic taken by the endoscope 3 during an endoscopy, under the control of the processor 11.
  • the interface 13 performs an interface operation between the endoscopy support device 1 and external devices. For example, the interface 13 supplies the display image generated by the processor 11 to the display device 2. Further, the interface 13 supplies illumination light generated by the light source section 15 to the endoscope 3. Further, the interface 13 supplies the processor 11 with an electrical signal indicating the endoscopic image Ic supplied from the endoscopic scope 3. Further, the interface 13 supplies the processor 11 with an endoscopic image extracted from the endoscopic image Ic.
  • the interface 13 may be a communication interface such as a network adapter for communicating with an external device by wire or wirelessly, and may be a hardware interface compliant with USB (Universal Serial Bus), SATA (Serial AT Attachment), etc. You can.
  • the input unit 14 generates an input signal based on the operator's operation.
  • the input unit 14 is, for example, a button, a touch panel, a remote controller, a voice input device, or the like.
  • the light source section 15 generates light to be supplied to the distal end section 38 of the endoscope 3. Further, the light source section 15 may also incorporate a pump or the like for sending out water and air to be supplied to the endoscope 3.
  • the sound output section 16 outputs sound under the control of the processor 11.
  • the DB 17 stores endoscopic images obtained from past endoscopic examinations of the subject.
  • the DB 17 may include an external storage device such as a hard disk connected to or built in the endoscopy support device 1, or may include a removable storage medium such as a flash memory. Note that instead of providing the DB 17 within the endoscopy system 100, the DB 17 may be provided in an external server or the like, and related information may be acquired from the server through communication.
  • the endoscopic examination support device 1 may include a sensor capable of measuring rotation and translation of the endoscopic camera, such as a magnetic sensor.
  • FIG. 3 is a block diagram showing the functional configuration of the endoscopy support device according to the first embodiment.
  • the endoscopy support device 1 functionally includes a depth estimation section 21, a camera posture estimation section 22, a three-dimensional reconstruction section 23, a difficult-to-observe region detection section 24, an unobserved region detection section 25, It has a subject information acquisition section 26, a lesion candidate detection section 27, a mapping processing section 28, and a display image generation section 29.
  • the depth estimation unit 21 performs a process of estimating depth from an endoscopic image using a trained image recognition model or the like. That is, the depth estimating unit 21 has a function as a distance estimating means, and based on an endoscopic image obtained by imaging the inside of the hollow organ with an endoscopic camera, the depth estimating unit 21 distinguishes between the surface of the hollow organ and the The distance between the endoscopic camera and the endoscopic camera placed inside the hollow organ can be estimated. Further, the depth estimating unit 21 outputs the depth estimated by the above-described processing to the three-dimensional restoring unit 23.
  • the camera posture estimating unit 22 uses two temporally consecutive endoscopic images and moves the internal position from the shooting point of the first endoscopic image to the shooting point of the second endoscopic image.
  • a process of estimating the rotation and translation of the endoscopic camera that is, a change in relative posture of the endoscopic camera; hereinafter also simply referred to as "camera posture change" is performed.
  • the camera posture estimating unit 22 performs a process of estimating a change in camera posture using, for example, a trained image recognition model. That is, the camera posture estimating section 22 has a function as a posture change estimating means, and based on an endoscopic image obtained by imaging the inside of a hollow organ with an endoscopic camera, Relative posture changes can be estimated. Further, the camera posture estimating section 22 outputs the camera posture change estimated by the above-described processing to the three-dimensional restoring section 23.
  • the camera attitude estimating unit 22 may estimate a change in camera attitude using measurement data obtained from a magnetic sensor or the like.
  • the image recognition model used in the depth estimation section 21 and camera posture estimation section 22 is a machine learning model trained in advance to estimate depth and camera posture changes from endoscopic images.
  • these will also be referred to as a “depth estimation model” and a “camera pose estimation model.”
  • the depth estimation model and camera pose estimation model can be generated by so-called supervised learning.
  • teacher data in which depth is assigned to an endoscopic image as a correct label is used.
  • the endoscopic images and depth used for learning are collected in advance from an endoscopic camera, a ToF (Time of Flight) sensor, etc. provided on the endoscope. That is, a pair of an RGB image obtained by an endoscopic camera and a depth obtained by a ToF sensor is created as training data, and learning is performed using the created training data.
  • ToF Time of Flight
  • teacher data in which a change in camera posture is added to an endoscopic image as a correct label is used.
  • a change in the posture of the camera can be obtained by using a sensor capable of detecting rotation and translation, such as a magnetic sensor. That is, a pair of an RGB image obtained by an endoscopic camera and a change in the posture of the camera obtained by a sensor is created as teacher data, and learning is performed using the teacher data.
  • the training data used for learning the depth estimation model and the camera pose estimation model may be created from a simulated image of an endoscope using computer graphics (CG). This allows a large amount of training data to be created at high speed.
  • a depth estimation model and a camera attitude estimation model are generated by a machine learning device learning the relationship between an endoscopic image, depth, and camera attitude change using teacher data.
  • the depth estimation model and camera pose estimation model may be generated by self-supervised learning.
  • self-supervised learning training data is created using motion parallax.
  • a pair of images of an endoscopic image I i and an endoscopic image I j , a Depth CNN (Convolutional Neural Network) that estimates depth from the endoscopic image I i , and a A Pose CNN that estimates a relative posture from an endoscopic image I i and the endoscopic image I j is prepared. Then, based on the estimated depth and relative orientation, an endoscopic image I j is reconstructed from the endoscopic image I i (this is also referred to as an "endoscopic image I i ⁇ j "). Then, the model is trained using the difference between the reconstructed endoscopic image I i ⁇ j and the actual endoscopic image I j as a loss.
  • the three-dimensional restoration unit 23 performs three-dimensional restoration processing based on the depth obtained from the depth estimation unit 21 and the change in relative posture of the endoscopic camera obtained from the camera posture estimation unit 22.
  • a three-dimensional model is generated according to the structure of the large intestine (intestinal tract) at the time of endoscopy.
  • the three-dimensional reconstruction unit 23 then outputs the three-dimensional model, the relative change in posture of the endoscopic camera, and the position of the endoscopic camera to the unobserved area detection unit 25.
  • the three-dimensional model generation means of this embodiment includes a depth estimation section 21, a camera posture estimation section 22, and a three-dimensional reconstruction section 23.
  • the difficult-to-observe area detection unit 24 corresponds to at least one of an area in an endoscopic image where the brightness is below a predetermined value, an area where the amount of blur is above a predetermined value, and an area where a residue exists. Detect an area as a difficult-to-observe area. That is, the difficult-to-observe region detection unit 24 detects, as a difficult-to-observe region, a region inside the hollow organ that is estimated to be difficult to observe with an endoscopic camera, based on the endoscopic image. The difficult-to-observe area detection unit 24 outputs the detection result of the difficult-to-observe area to the unobserved area detection unit 25.
  • the difficult-to-observe area detection unit 24 detects the detection result of the difficult-to-observe area if it is difficult to observe with an endoscopic camera, such as insufficient brightness, occurrence of strong blur, presence of residue, etc.
  • Information indicating the estimated factors may be associated.
  • the detection result of a difficult-to-observe region may be associated with information indicating a factor that makes it difficult to observe.
  • the unobserved area detection unit 25 detects a missing area in the three-dimensional model as a missing area based on the relative posture change of the endoscopic camera, the position of the endoscopic camera, and the three-dimensional model. Detect. Specifically, the unobserved area detection unit 25 detects, for example, areas in the three-dimensional model that are hidden by obstructing objects such as folds, and areas that have not been imaged by an endoscopic camera for a predetermined period of time or more. A region corresponding to at least one of them is detected as a missing region.
  • the unobserved area detection unit 25 detects, as a missing area, an area in which 3D restoration has not been performed continuously for 1 second or more in the 3D model acquired from the 3D restoration unit 23 in the last 5 seconds, for example. do. Further, the unobserved area detection unit 25 performs processing for identifying an area corresponding to the detection result of the difficult-to-observe area obtained from the difficult-to-observe area detection unit 24 in the three-dimensional model generated by the three-dimensional restoration unit 23. I do. Further, the unobserved area detection unit 25 detects difficult-to-observe areas and missing areas in the three-dimensional model as unobserved areas.
  • the unobserved area detection unit 25 detects an area that is estimated not to have been observed by the endoscopic camera as an unobserved area. Detected as Further, the unobserved area detection unit 25 can obtain the latest detection result according to the observation history of the large intestine (intestinal tract) by the endoscopic camera as the detection result of the unobserved area in the three-dimensional model. Then, the unobserved area detection unit 25 outputs the relative posture change of the endoscopic camera, the position of the endoscopic camera, the three-dimensional model, and the detection result of the unobserved area to the mapping processing unit 28. do.
  • the unobserved area detection unit 25 detects the detection results of the unobserved area by the endoscope camera, such as the presence of an obstruction, the absence of an image, insufficient brightness, the occurrence of strong blur, and the presence of residue. It is also possible to associate information indicating the factors that led to the assumption that no observation was made. In other words, the detection result of the unobserved area may be associated with information indicating the cause of the unobserved area.
  • the subject information acquisition unit 26 acquires subject information indicating which part of the large intestine the subject imaged by the endoscopic camera corresponds to, based on the endoscopic image. Further, the subject information acquisition unit 26 uses, for example, an image recognition model or the like that is trained to output information related to a region inside the large intestine in response to an input of an endoscopic image obtained by imaging the inside of the large intestine. The subject information is acquired through the process. Then, the subject information acquisition unit 26 outputs the subject information to the mapping processing unit 28.
  • the lesion candidate detection unit 27 uses a trained image recognition model or the like to detect a lesion candidate region that is a region estimated to be a lesion candidate in an endoscopic image. Specifically, the lesion candidate detection unit 27 detects, for example, a region including a polyp as a lesion candidate region. That is, the lesion candidate detection unit 27 detects a lesion candidate region, which is a region estimated to be a lesion candidate, based on an endoscopic image obtained by imaging the inside of a hollow organ with an endoscopic camera. The lesion candidate detection unit 27 then outputs the detection result of the lesion candidate area to the mapping processing unit 28 and the display image generation unit 29.
  • a trained image recognition model or the like to detect a lesion candidate region that is a region estimated to be a lesion candidate in an endoscopic image. Specifically, the lesion candidate detection unit 27 detects, for example, a region including a polyp as a lesion candidate region. That is, the lesion candidate detection unit 27 detects a lesion candidate region,
  • the mapping processing unit 28 calculates the relative posture change of the endoscopic camera, the position of the endoscopic camera, the 3D model obtained from the 3D reconstruction unit 23, the detection result of the unobserved area, and the subject. Based on the information and the detection result of the lesion candidate region, mapping processing is performed to associate the unobserved region and the lesion candidate region in the currently performed endoscopy with the colon model. According to such mapping processing, a region within the large intestine identified based on the relative posture change of the endoscopic camera, the position of the endoscopic camera, and the subject information is excluded from the unobserved region. be able to.
  • mapping processing unit 28 outputs the large intestine model subjected to the above-described mapping process to the display image generation unit 29.
  • the display image generation unit 29 generates a display image based on, for example, an endoscopic image and a detection result of a lesion candidate region during a period when an endoscopy is being performed, and displays the generated display image. is output to the display device 2. Further, the display image generation unit 29 acquires a large intestine model from the mapping processing unit 28 while an endoscopy is being performed, and updates the acquired large intestine model to the latest state. In addition, the display image generation unit 29 acquires the detection results of the lesion candidate areas from the lesion candidate detection unit 27 during the period when the endoscopy is being performed, and accumulates the acquired detection results of the lesion candidate areas. do.
  • the display image generation unit 29 detects that a predetermined instruction has been given after the endoscopy, the display image generation unit 29 generates the detection result of the lesion candidate area accumulated during the period of the endoscopy. , and the latest colon model acquired during the period of the endoscopy, generates a display image including a summary of the test results in the endoscopy, and outputs the generated display image to the display device 2. do.
  • the display image generated during the period when the endoscopy is being performed will also be referred to as the "observation image.”
  • a display image that is generated after an endoscopy and includes a summary of the test results of the endoscopy will also be referred to as an “examination result image.”
  • the observation image only needs to include an endoscopic image. Furthermore, the observed image may include information indicating the latest detection results of the lesion candidate region.
  • the test result image only needs to include information indicating the degree of observation achievement for each part in multiple parts of the large intestine.
  • the observation achievement level for one site in the large intestine can be calculated as, for example, a value obtained by subtracting the observation incompleteness level from "1".
  • the degree of unachieved observation is calculated by dividing the area of the unobserved region mapped to one part in the colon model by a predetermined surface area calculated based on the standard surface area of the one part in question. It can be calculated.
  • the observation achievement level for one part of the large intestine may be obtained as a value in the range from 0 to 1, or may be obtained as a value in the range from 0% to 100%. It may be. That is, the display image generation unit 29 generates a display image including information indicating the degree of observation achievement for each of a plurality of parts of the hollow organ, based on the detection results of the unobserved region associated with the large intestine model.
  • test result image may include information indicating the positions of unobserved regions in multiple parts of the large intestine.
  • the test result image may include information that allows identification of the unobserved factor associated with the detection result of the unobserved area.
  • the first unobserved factor associated with the detection result of the first unobserved area is represented in a first color
  • the second unobserved area is The second unobserved factor associated with the detection result may be represented in the second color.
  • the test result image includes information indicating the total number of lesion candidate areas detected based on the endoscopic image, information indicating the position of the lesion candidate area detected based on the endoscopic image, and information indicating the position of the lesion candidate area detected based on the endoscopic image. At least one of the information indicating the state of the lesion candidate region detected based on the endoscopic image may be included.
  • test result image may include a large intestine model, or may include a large intestine image that is an image created in advance based on the general structure of the large intestine. Note that hereinafter, unless otherwise specified, an image created such that a cross section of the entire large intestine cut along the vertical direction of the human body can be seen from the front direction of the human body will be referred to as a large intestine image.
  • information that allows identification of unobserved regions and observed regions may be added to the large intestine model or large intestine image included in the test result image. That is, the display image generation unit 29 may generate a display image that includes information that allows identification of unobserved areas and observed areas.
  • an image of an observed region in the vicinity of the one unobserved region is displayed. It may also be played back.
  • an unobserved area existing on the ventral side (the ventral inner wall of the large intestine) and an unobserved area on the back side (the back side of the large intestine) with respect to the large intestine model or large intestine image included in the test result image.
  • Information that can identify the unobserved area existing on the inner wall of the object may be added.
  • an unobserved region on the ventral side and an unobserved region on the back side may be represented in different colors.
  • FIG. 4 is a diagram for explaining a specific example of an observation image.
  • FIG. 5 is a diagram for explaining a specific example of an inspection result image.
  • the observation image DK in FIG. 4 is an image displayed on the display device 2 during an endoscopy. Furthermore, the observation image DK includes an endoscopic image 41 and a lesion candidate image 42.
  • the endoscopic image 41 is an image included in the endoscopic image Ic obtained during an endoscopic examination. Furthermore, the endoscopic image 41 includes a subject within the field of view at the current position of the endoscopic camera, and is updated according to the movement of the endoscopic camera.
  • the lesion candidate image 42 has a smaller size than the endoscopic image 41 and is placed on the right side of the endoscopic image 41. Furthermore, the lesion candidate image 42 is an image generated by superimposing the lesion position information 42A on another endoscopic image acquired before the timing at which the endoscopic image 41 was acquired.
  • Lesion position information 42A is displayed as information indicating the latest detection results of the lesion candidate area. Further, according to the display example of FIG. 4, the lesion position information 42A is displayed as a circular marker surrounding the lesion candidate area.
  • the test result image DR in FIG. 5 is an image that is displayed on the display device 2 when a predetermined instruction, such as displaying test results, is given after the endoscopy has been completed. Furthermore, the examination result image DR includes an observation achievement level display area 51, a lesion detection number display area 52, and an observation result information display area 53. Furthermore, the examination result image DR includes a lesion candidate image 54 corresponding to information indicating the state of a lesion candidate region detected during an endoscopy.
  • the observation achievement level display area 51 displays values indicating the observation achievement level for each site in a plurality of parts of the large intestine. According to the display example of the observation achievement level display area 51 in FIG. 5, it can be confirmed that there is no unobserved area in the rectum and cecum where the observation achievement level is 100%. Furthermore, according to the display example of the observation achievement level display area 51 in FIG. 5, there are unobserved areas in the sigmoid colon, descending colon, transverse colon, and ascending colon where the observation achievement level is less than 100%. You can confirm that Further, according to the display example of the observation achievement level display area 51 in FIG. 5, it can be confirmed that the endoscopic camera has reached the cecum, which is the innermost part of the large intestine, during an endoscopy.
  • the lesion detection number display area 52 Information indicating the total number of lesion candidate areas detected during endoscopic examination is displayed in the lesion detection number display area 52. According to the display example of the number of detected lesions display area 52 in FIG. 5, it can be confirmed that one area including a polyp corresponding to a lesion candidate area was detected during the endoscopy.
  • a large intestine image 53A created as a schematic diagram showing a plurality of parts of the large intestine separated by broken lines is displayed. Furthermore, the large intestine image 53A includes observed region information 53B, which is information indicating observed regions in multiple parts of the large intestine. Furthermore, the large intestine image 53A includes unobserved region information 53C, 53D, and 53E, which is information indicating the positions of unobserved regions in multiple parts of the large intestine.
  • the dotted line portion in the schematic diagram of the large intestine included in the large intestine image 53A is displayed as observed region information 53B.
  • the thick line portion in the schematic diagram of the large intestine included in the large intestine image 53A is displayed as unobserved region information 53C. Therefore, according to the display example of FIG. 5, unobserved areas and observed areas can be distinguished. Further, according to the display example of the observed region information 53B and the unobserved region information 53C in FIG. 5, it is possible to confirm which part of the plurality of parts of the large intestine has an unobserved region.
  • the observed region information 53B and the unobserved region information 53C may be displayed in different display modes in the large intestine image 53A. Specifically, for example, in the colon image 53A, the observed region information 53B and the unobserved region information 53C may be displayed in different colors.
  • the unobserved region information 53D is information indicating the position of the ventral unobserved region in the large intestine. Furthermore, the unobserved region information 53D is displayed in a different display manner from the observed region information 53B, the unobserved region information 53C, and the unobserved region information 53E in the colon image 53A. Specifically, the unobserved area information 53D is displayed in a pattern or color different from the observed area information 53B, the unobserved area information 53C, and the unobserved area information 53E. According to the display example of the unobserved region information 53D in FIG. 5, it can be confirmed that an unobserved region exists in the ventral portion of the ascending colon. According to the present embodiment, the unobserved area information 53D has different patterns or colors depending on the unobserved factors (obstruction, not imaged, lack of brightness, occurrence of strong blur, presence of residue, etc.). It may be displayed as follows.
  • the unobserved region information 53E is information indicating the position of the unobserved region on the back side of the large intestine. Furthermore, the unobserved region information 53E is displayed in a different display manner from the observed region information 53B, the unobserved region information 53C, and the unobserved region information 53D in the colon image 53A. Specifically, the unobserved area information 53E is displayed with a different pattern or color from the observed area information 53B, the unobserved area information 53C, and the unobserved area information 53D. According to the display example of the unobserved region information 53E in FIG. 5, it can be confirmed that an unobserved region exists on the back side of the sigmoid colon. According to the present embodiment, the unobserved area information 53E has different patterns or colors depending on the unobserved factors (obstruction, not imaged, lack of brightness, occurrence of strong blur, presence of residue, etc.). It may be displayed as follows.
  • the lesion candidate image 54 is a thumbnail image of a lesion candidate area detected during endoscopic examination. Furthermore, the lesion candidate image 54 is displayed in a state where it is associated with the position where the lesion candidate region is detected in the observed region information 53B. According to the display example of FIG. 5, the same number of lesion candidate images 54 as the total number (one) of lesion candidate regions displayed in the lesion detection number display area 52 are displayed. Note that, according to the present embodiment, when the lesion candidate image 54 is clicked, an enlarged image of the lesion candidate area or an image photographed around the lesion candidate area may be displayed.
  • FIG. 6 is a flowchart illustrating an example of processing performed in the endoscopy support apparatus according to the first embodiment.
  • the endoscopy support device 1 estimates the depth from the endoscopic image obtained during the endoscopy (step S11).
  • the endoscopy support device 1 estimates a change in camera posture from two temporally consecutive endoscopic images obtained during the endoscopy (step S12).
  • the endoscopy support device 1 performs three-dimensional restoration processing based on the depth obtained in step S11 and the camera posture change obtained in step S12, thereby improving the image quality during the endoscopy.
  • a three-dimensional model is generated according to the structure of the large intestine (intestinal tract) (step S13).
  • the endoscopic examination support device 1 detects a difficult-to-observe region based on the endoscopic image obtained during the endoscopic examination (step S14).
  • the endoscopy support device 1 detects a missing region in the three-dimensional model generated in step S13 (step S15).
  • the endoscopy support device 1 extracts an area corresponding to the difficult-to-observe area detected in step S14 and an area corresponding to the missing area detected in step S15 in the three-dimensional model generated in step S13. is detected as an unobserved area (step S16).
  • the endoscopy support device 1 acquires subject information based on the endoscopic image obtained during the endoscopy (step S17).
  • the endoscopy support device 1 detects a lesion candidate region based on the endoscopic image obtained during the endoscopy (step S18). Furthermore, the endoscopy support device 1 accumulates the detection results of the lesion candidate region obtained in step S18 during the period when the endoscopy is being performed.
  • the endoscopy support device 1 detects the unobserved region detection result obtained in step S16, the subject information obtained in step S17, and the lesion candidate region detection result obtained in step S18. Based on this, mapping processing is performed to associate the unobserved region and the lesion candidate region with the colon model (step S19). Furthermore, the endoscopy support device 1 obtains the latest colon model by updating the processing result of the mapping process in step S19 during the period when the endoscopy is being performed.
  • the endoscopy support device 1 detects the detection results of the lesion candidate area accumulated by performing the process of step S18 during the period of the endoscopy and the endoscopy. Based on the latest colon model obtained by performing the mapping process of step S19 during the examination period, an examination result image corresponding to the endoscopy is generated (step S20). The test result image generated in step S20 is then displayed on the display device 2.
  • step S12 may be executed before step S11, or the process of step S11 may be executed simultaneously with the process of step S12.
  • the present embodiment after the endoscopy is completed, it is possible to display an examination result image including information indicating the degree of observation achievement of each part in a plurality of parts of the large intestine. . Therefore, according to the present embodiment, it is possible to reduce the burden imposed on the worker who creates the report related to the endoscopy.
  • FIG. 7 is a block diagram showing the functional configuration of an endoscopy support device according to the second embodiment.
  • the endoscopy support device 70 has the same hardware configuration as the endoscopy support device 1.
  • the endoscopy support device 70 also includes a three-dimensional model generation means 71, an unobserved area detection means 72, and a display image generation means 73.
  • FIG. 8 is a flowchart illustrating an example of processing performed in the endoscopy support device according to the second embodiment.
  • the three-dimensional model generation means 71 generates a three-dimensional model of the hollow organ in which the endoscopic camera is placed, based on an endoscopic image obtained by imaging the inside of the hollow organ with an endoscopic camera. is generated (step S71).
  • the unobserved area detection means 72 detects an area that is estimated not to have been observed by the endoscopic camera as an unobserved area (step S72).
  • the display image generating means 73 generates a display image including information indicating the degree of observation achievement for each site in a plurality of sites of the hollow organ, based on the detection results of the unobserved region (step S73).
  • Three-dimensional model generation means for generating a three-dimensional model of the hollow organ in which the endoscopic camera is arranged, based on an endoscopic image obtained by imaging the inside of the hollow organ with an endoscopic camera. and, unobserved area detection means for detecting an area that is estimated not to have been observed by the endoscopic camera as an unobserved area based on the three-dimensional model;
  • Display image generation means for generating a display image including information indicating the degree of observation achievement of each of the plurality of parts of the hollow organ based on the detection result of the unobserved area;
  • An endoscopy support device equipped with:
  • the display image generation means generates the display image including information that allows identification of the unobserved area in the plurality of parts and an observed area that is an area that does not correspond to the unobserved area in the plurality of parts.
  • the endoscopy support device according to supplementary note 1.
  • the display image generating means generates the display image including at least one of information indicating the total number of the lesion candidate areas, information indicating the position of the lesion candidate areas, and information indicating the state of the lesion candidate areas.
  • the unobserved area detecting means detects a difficult-to-observe area, which is an area inside the hollow organ that is estimated to be difficult to observe with the endoscopic camera, and an area where there is a gap in the three-dimensional model.
  • the endoscopy support device according to supplementary note 1, which detects at least one of a certain missing region as the unobserved region.
  • the difficult-to-observe area is an area in the endoscopic image that corresponds to at least one of an area where brightness is below a predetermined value, an area where an amount of blur is above a predetermined value, and an area where residue exists.
  • the endoscopic examination support device according to appendix 6, wherein the unobserved area detection means detects an area corresponding to the difficult-to-observe area in the three-dimensional model as the unobserved area.
  • the missing area is at least one of an area in the three-dimensional model hidden by a shielding object in the hollow organ, and an area where imaging by the endoscopic camera has not been continuously performed for a predetermined period of time or more.
  • Endoscopy support device Display device 3 Endoscope scope 11 Processor 12 Memory 13 Interface 21 Depth estimation unit 22 Camera posture estimation unit 23 Three-dimensional restoration unit 24 Difficult to observe area detection unit 25 Unobserved area detection unit 26 Subject information Acquisition unit 27 Lesion candidate detection unit 28 Mapping processing unit 29 Display image generation unit 100 Endoscopy system

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Endoscopes (AREA)

Abstract

内視鏡検査支援装置において、３次元モデル生成手段は、管腔臓器の内部を内視鏡カメラにより撮像して得られた内視鏡画像に基づき、内視鏡カメラが配置されている管腔臓器の３次元モデルを生成する。未観察領域検知手段は、３次元モデルに基づき、内視鏡カメラによる観察が行われていないと推定される領域を未観察領域として検知する。表示画像生成手段は、未観察領域の検知結果に基づき、管腔臓器の複数の部位における部位毎の観察達成度を示す情報を含む表示画像を生成する。

Description

内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
　本開示は、内視鏡検査を支援するための情報を提示する際に利用可能な技術に係る。
　内視鏡検査を支援するための情報を提示する技術が従来知られている。
　具体的には、例えば、特許文献１には、大腸の内部を撮像することにより得られた画像に基づき、当該大腸における分析可能な部分と分析不可能な部分とを示す情報を、当該大腸の構造に関連付けた状態で表示する観点が開示されている。
国際公開ＷＯ２０２１／１７１４６４号
　しかし、特許文献１によれば、内視鏡検査が終了した後において、大腸の複数の部位に対する観察状況を確認可能な情報を提示するための具体的な手法については開示されていない。
　そのため、特許文献１に開示された技術によれば、例えば、内視鏡検査が終了した後において、大腸内のどの部位まで観察したかを特定するための作業を行わなければならない場合に、当該内視鏡検査に係るレポートを作成する作業者に対して過度な負担を課してしまうおそれがある、という課題が生じている。
　本開示の１つの目的は、内視鏡検査に係るレポートを作成する作業者に対して課せられる負担を軽減可能な内視鏡検査支援装置を提供することにある。
　本開示の一つの観点では、内視鏡検査支援装置は、
　管腔臓器の内部を内視鏡カメラにより撮像して得られた内視鏡画像に基づき、前記内視鏡カメラが配置されている前記管腔臓器の３次元モデルを生成する３次元モデル生成手段と、
　前記３次元モデルに基づき、前記内視鏡カメラによる観察が行われていないと推定される領域を未観察領域として検知する未観察領域検知手段と、
　前記未観察領域の検知結果に基づき、前記管腔臓器の複数の部位における部位毎の観察達成度を示す情報を含む表示画像を生成する表示画像生成手段と、
　を備える。
　本開示の他の観点では、内視鏡検査支援方法は、
　管腔臓器の内部を内視鏡カメラにより撮像して得られた内視鏡画像に基づき、前記内視鏡カメラが配置されている前記管腔臓器の３次元モデルを生成し、
　前記３次元モデルに基づき、前記内視鏡カメラによる観察が行われていないと推定される領域を未観察領域として検知し、
　前記未観察領域の検知結果に基づき、前記管腔臓器の複数の部位における部位毎の観察達成度を示す情報を含む表示画像を生成する。
　本開示のさらに他の観点では、記録媒体は、
　管腔臓器の内部を内視鏡カメラにより撮像して得られた内視鏡画像に基づき、前記内視鏡カメラが配置されている前記管腔臓器の３次元モデルを生成し、
　前記３次元モデルに基づき、前記内視鏡カメラによる観察が行われていないと推定される領域を未観察領域として検知し、
　前記未観察領域の検知結果に基づき、前記管腔臓器の複数の部位における部位毎の観察達成度を示す情報を含む表示画像を生成する処理をコンピュータに実行させるプログラムを記録する。
　本開示によれば、内視鏡検査に係るレポートを作成する作業者に対して課せられる負担を軽減することができる。
第１実施形態に係る内視鏡検査システムの概略構成を示す図。 第１実施形態に係る内視鏡検査支援装置のハードウェア構成を示すブロック図。 第１実施形態に係る内視鏡検査支援装置の機能構成を示すブロック図。 観察画像の具体例を説明するための図。 検査結果画像の具体例を説明するための図。 第１実施形態に係る内視鏡検査支援装置において行われる処理の一例を示すフローチャート。 第２実施形態に係る内視鏡検査支援装置の機能構成を示すブロック図。 第２実施形態に係る内視鏡検査支援装置において行われる処理の一例を示すフローチャート。
　以下、図面を参照して、本開示の好適な実施形態について説明する。
　＜第１実施形態＞
　［システム構成］
　図１は、第１実施形態に係る内視鏡検査システムの概略構成を示す図である。内視鏡検査システム１００は、図１に示すように、内視鏡検査支援装置１と、表示装置２と、内視鏡検査支援装置１に接続された内視鏡スコープ３と、を備える。
　内視鏡検査支援装置１は、内視鏡検査中に被写体を撮像することにより得られた時系列な画像を含む映像（以下、「内視鏡映像Ｉｃ」とも称する）を内視鏡スコープ３から取得し、内視鏡検査を行う医師等の術者が確認するための表示画像を表示装置２に表示させる。具体的には、内視鏡検査支援装置１は、内視鏡検査中に得られた大腸の内部の映像を、内視鏡映像Ｉｃとして内視鏡スコープ３から取得する。内視鏡検査支援装置１は、内視鏡映像Ｉｃから抽出した画像（以下、「内視鏡画像」とも称する）に基づき、管腔臓器である大腸の表面と内視鏡スコープ３の先端部３８に設けられた内視鏡カメラとの間の距離（以下、「深度」とも称する）、及び、当該内視鏡カメラの相対的な姿勢の変化を推定する。そして、内視鏡検査支援装置１は、深度と、内視鏡カメラの相対的な姿勢の変化と、に基づいて３次元復元を行うことにより、大腸（の腸管）の構造に応じた３次元モデルを生成する。また、内視鏡検査支援装置１は、内視鏡画像に基づき、内視鏡検査において観察が困難であると推定される領域である観察困難領域を検知する。また、内視鏡検査支援装置１は、内視鏡画像に基づき、病変候補と推定される領域である病変候補領域を検知する。また、内視鏡検査支援装置１は、３次元復元が未実施または不十分であることに起因し、３次元モデルにおける欠落が生じている領域を欠落領域として検知する。また、内視鏡検査支援装置１は、３次元モデルにおける観察困難領域及び欠落領域の少なくとも一方を未観察領域として検知する。また、内視鏡検査支援装置１は、内視鏡画像に基づき、大腸内の内視鏡カメラにより撮像された被写体が当該大腸の複数の部位のうちのどの部位の被写体に該当するかを示す被写体情報を取得する。また、内視鏡検査支援装置１は、未観察領域の検知結果及び被写体情報等に基づき、現在行われている大腸の内視鏡検査における未観察の部位を、一般的な大腸（腸管）の構造に基づいて予め作成された大腸全域の３次元モデル（以下、「大腸モデル」とも称する）に対して関連付けるマッピング処理を行う。また、内視鏡検査支援装置１は、前述のマッピング処理が施された大腸モデル等を用い、内視鏡検査における検査結果の概要を含む表示画像を生成し、当該生成した表示画像を表示装置２へ出力する。
　なお、観察困難領域には、例えば、明るさ不足に起因して視認困難な領域と、ボケの強さに起因して視認困難な領域と、残渣の存在に起因して粘膜表面の状態を視認不可能な領域と、が含まれ得る。また、欠落領域には、例えば、ひだ等の大腸内の遮蔽物により隠れた領域、及び、内視鏡カメラによる撮像が所定時間以上続けて行われていない領域が含まれ得る。前述の所定時間は、例えば、１秒間に設定されていればよい。また、前述の大腸の複数の部位には、例えば、直腸、Ｓ状結腸、下行結腸、横行結腸、上行結腸、及び、盲腸が含まれていればよい。
　本実施形態によれば、観察困難領域の検知に係る処理が行われずともよい。このような場合においては、３次元モデルにおける欠落領域が未観察領域として検知されるようにすればよい。
　表示装置２は、例えば、液晶モニタ等を有している。また、表示装置２は、内視鏡検査支援装置１から出力される表示画像等を表示する。
　内視鏡スコープ３は、主に、術者が送気、送水、アングル調整、撮影指示などの入力を行うための操作部３６と、被検者の検査対象となる臓器内に挿入され、柔軟性を有するシャフト３７と、超小型撮像素子などの内視鏡カメラを内蔵した先端部３８と、内視鏡検査支援装置１と接続するための接続部３９と、を有する。
　［ハードウェア構成］
　図２は、第１実施形態に係る内視鏡検査支援装置のハードウェア構成を示すブロック図である。内視鏡検査支援装置１は、主に、プロセッサ１１と、メモリ１２と、インターフェース１３と、入力部１４と、光源部１５と、音出力部１６と、データベース（以下、「ＤＢ」と記す。）１７と、を含む。これらの各要素は、データバス１９を介して接続されている。
　プロセッサ１１は、メモリ１２に記憶されているプログラム等を実行することにより、所定の処理を実行する。プロセッサ１１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＴＰＵ（Ｔｅｎｓｏｒ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのプロセッサである。なお、プロセッサ１１は、複数のプロセッサから構成されてもよい。プロセッサ１１は、コンピュータの一例である。また、プロセッサ１１は、内視鏡映像Ｉｃに含まれる内視鏡画像に基づき、内視鏡検査における検査結果の概要を含む表示画像の生成に係る処理を行う。
　メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの、作業メモリとして使用される各種の揮発性メモリ及び内視鏡検査支援装置１の処理に必要な情報を記憶する不揮発性メモリにより構成される。なお、メモリ１２は、内視鏡検査支援装置１に接続又は内蔵されたハードディスクなどの外部記憶装置を含んでもよく、着脱自在なフラッシュメモリやディスク媒体などの記憶媒体を含んでもよい。メモリ１２には、内視鏡検査支援装置１が本実施形態における各処理を実行するためのプログラムが記憶される。
　また、メモリ１２は、プロセッサ１１の制御に基づき、内視鏡検査において内視鏡スコープ３が撮影した一連の内視鏡映像Ｉｃを一時的に記憶する。
　インターフェース１３は、内視鏡検査支援装置１と外部装置とのインターフェース動作を行う。例えば、インターフェース１３は、プロセッサ１１が生成した表示画像を表示装置２に供給する。また、インターフェース１３は、光源部１５が生成する照明光を内視鏡スコープ３に供給する。また、インターフェース１３は、内視鏡スコープ３から供給される内視鏡映像Ｉｃを示す電気信号をプロセッサ１１に供給する。また、インターフェース１３は、内視鏡映像Ｉｃから抽出した内視鏡画像をプロセッサ１１に供給する。インターフェース１３は、外部装置と有線又は無線により通信を行うためのネットワークアダプタなどの通信インターフェースであってもよく、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＳＡＴＡ（Ｓｅｒｉａｌ　ＡＴ　Ａｔｔａｃｈｍｅｎｔ）などに準拠したハードウェアインターフェースであってもよい。
　入力部１４は、術者の操作に基づく入力信号を生成する。入力部１４は、例えば、ボタン、タッチパネル、リモートコントローラ、音声入力装置等である。光源部１５は、内視鏡スコープ３の先端部３８に供給するための光を生成する。また、光源部１５は、内視鏡スコープ３に供給する水や空気を送り出すためのポンプ等も内蔵してもよい。音出力部１６は、プロセッサ１１の制御に基づき音を出力する。
　ＤＢ１７は、被検者の過去の内視鏡検査により取得された内視鏡映像などを記憶している。ＤＢ１７は、内視鏡検査支援装置１に接続又は内蔵されたハードディスクなどの外部記憶装置を含んでもよく、着脱自在なフラッシュメモリなどの記憶媒体を含んでもよい。なお、ＤＢ１７を内視鏡検査システム１００内に備える代わりに、外部のサーバなどにＤＢ１７を設け、通信により当該サーバから関連情報を取得するようにしてもよい。
　なお、内視鏡検査支援装置１は、磁気式センサなど、内視鏡カメラの回転および並進を計測可能なセンサを備えていてもよい。
　［機能構成］
　図３は、第１実施形態に係る内視鏡検査支援装置の機能構成を示すブロック図である。内視鏡検査支援装置１は、機能的には、深度推定部２１と、カメラ姿勢推定部２２と、３次元復元部２３と、観察困難領域検知部２４と、未観察領域検知部２５と、被写体情報取得部２６と、病変候補検知部２７と、マッピング処理部２８と、表示画像生成部２９と、を有している。
　深度推定部２１は、学習済の画像認識モデル等を用い、内視鏡画像から深度を推定する処理を行う。すなわち、深度推定部２１は、距離推定手段としての機能を有し、管腔臓器の内部を内視鏡カメラにより撮像して得られた内視鏡画像に基づき、当該管腔臓器の表面と当該管腔臓器の内部に配置されている内視鏡カメラとの間の距離を推定することができる。また、深度推定部２１は、前述の処理により推定した深度を３次元復元部２３へ出力する。
　カメラ姿勢推定部２２は、例えば、時間的に連続する２枚の内視鏡画像を用い、１枚目の内視鏡画像の撮影地点から２枚目の内視鏡画像の撮影地点への内視鏡カメラの回転及び並進（即ち、内視鏡カメラの相対的な姿勢の変化。以下、単に「カメラ姿勢変化」とも称する）を推定する処理を行う。また、カメラ姿勢推定部２２は、例えば、学習済の画像認識モデル等を用い、カメラ姿勢変化を推定する処理を行う。すなわち、カメラ姿勢推定部２２は、姿勢変化推定手段としての機能を有し、管腔臓器の内部を内視鏡カメラにより撮像して得られた内視鏡画像に基づき、当該内視鏡カメラの相対的な姿勢の変化を推定することができる。また、カメラ姿勢推定部２２は、前述の処理により推定したカメラ姿勢変化を３次元復元部２３へ出力する。なお、カメラ姿勢推定部２２は、磁気式センサ等から得られた計測データを用い、カメラ姿勢変化を推定するようにしてもよい。
　ここで、深度推定部２１及びカメラ姿勢推定部２２において用いられる画像認識モデルは、内視鏡画像から深度及びカメラ姿勢変化を推定するように予め学習された機械学習モデルである。以降においては、これらを、「深度推定モデル」及び「カメラ姿勢推定モデル」とも称する。深度推定モデル及びカメラ姿勢推定モデルは、いわゆる教師あり学習によって生成することができる。
　深度推定モデルの学習には、例えば、内視鏡画像に正解ラベルとして深度を付与した教師データなどが用いられる。学習に用いられる内視鏡画像及び深度は、内視鏡に設けられた内視鏡カメラ及びＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）センサ等から事前に収集される。即ち、内視鏡カメラにより得られたＲＧＢ画像と、ＴｏＦセンサにより得られた深度と、のペアを教師データとして作成し、当該作成した教師データを用いて学習を行う。
　また、カメラ姿勢推定モデルの学習には、例えば、内視鏡画像に正解ラベルとしてカメラの姿勢変化を付与した教師データなどが用いられる。この場合、カメラの姿勢変化は、磁気式センサ等のような、回転及び並進を検出可能なセンサを用いることにより取得することができる。即ち、内視鏡カメラにより得られたＲＧＢ画像と、センサにより得られたカメラの姿勢変化と、のペアを教師データとして作成し、当該教師データを用いて学習を行う。
　深度推定モデル及びカメラ姿勢推定モデルの学習に用いる教師データは、ＣＧ（ｃｏｍｐｕｔｅｒ　ｇｒａｐｈｉｃｓ）を利用した内視鏡のシミュレーション映像から作成してもよい。これにより、大量の教師データを高速に作成することができる。機械学習装置が教師データを用いて、内視鏡画像と、深度及びカメラ姿勢変化との関係を学習することで、深度推定モデル及びカメラ姿勢推定モデルが生成される。
　また、深度推定モデル及びカメラ姿勢推定モデルは、自己教師あり学習により生成されてもよい。例えば、自己教師あり学習では、運動視差を利用して教師データを作成する。具体的に、自己教師あり学習では、内視鏡画像Ｉｉ及び内視鏡画像Ｉｊのペア画像と、当該内視鏡画像Ｉｉから深度を推定するＤｅｐｔｈ　ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）と、当該内視鏡画像Ｉｉ及び当該内視鏡画像Ｉｊから相対姿勢を推定するＰｏｓｅ　ＣＮＮと、を用意する。そして、それぞれが推定した深度及び相対姿勢を基に、内視鏡画像Ｉｉから内視鏡画像Ｉｊが再構成される（これを「内視鏡画像Ｉｉ→ｊ」とも称する）。そして、再構成された内視鏡画像Ｉｉ→ｊと、実際の内視鏡画像Ｉｊと、の差分を損失としてモデルの学習を行う。
　３次元復元部２３は、深度推定部２１から得られた深度と、カメラ姿勢推定部２２から得られた内視鏡カメラの相対的な姿勢の変化と、に基づいて３次元復元処理を行うことにより、内視鏡検査時の大腸（の腸管）の構造に応じた３次元モデルを生成する。そして、３次元復元部２３は、３次元モデルと、内視鏡カメラの相対的な姿勢変化と、内視鏡カメラの位置と、を未観察領域検知部２５へ出力する。
　すなわち、本実施形態の３次元モデル生成手段には、深度推定部２１、カメラ姿勢推定部２２及び３次元復元部２３が含まれている。
　観察困難領域検知部２４は、例えば、内視鏡画像における、明るさが所定値以下の領域、ボケ量が所定値以上の領域、及び、残渣が存在する領域のうちの少なくとも１つに該当する領域を観察困難領域として検知する。すなわち、観察困難領域検知部２４は、内視鏡画像に基づき、管腔臓器の内部における内視鏡カメラによる観察が困難であると推定される領域を観察困難領域として検知する。そして、観察困難領域検知部２４は、観察困難領域の検知結果を未観察領域検知部２５へ出力する。なお、観察困難領域検知部２４は、観察困難領域の検知結果に対し、例えば、明るさ不足、強いボケの発生、及び、残渣有り等のような、内視鏡カメラによる観察が困難であると推定した要因を示す情報を関連付けてもよい。換言すると、観察困難領域の検知結果には、観察困難な要因を示す情報が関連付けられていてもよい。
　未観察領域検知部２５は、内視鏡カメラの相対的な姿勢変化と、内視鏡カメラの位置と、３次元モデルと、基づき、当該３次元モデルにおける欠落が生じている領域を欠落領域として検知する。具体的には、未観察領域検知部２５は、例えば、３次元モデルにおける、ひだ等の遮蔽物により隠れた領域、及び、内視鏡カメラによる撮像が所定時間以上続けて行われていない領域のうちの少なくとも１つに該当する領域を欠落領域として検知する。また、未観察領域検知部２５は、例えば、直近の５秒間に３次元復元部２３から取得した３次元モデルにおける、１秒間以上連続して３次元復元が行われなかった領域を欠落領域として検知する。また、未観察領域検知部２５は、３次元復元部２３により生成された３次元モデルにおける、観察困難領域検知部２４から得られた観察困難領域の検知結果に対応する領域を特定するための処理を行う。また、未観察領域検知部２５は、３次元モデルにおける観察困難領域及び欠落領域を未観察領域として検知する。すなわち、未観察領域検知部２５は、内視鏡カメラが配置されている管腔臓器の３次元モデルに基づき、当該内視鏡カメラによる観察が行われていないと推定される領域を未観察領域として検知する。また、未観察領域検知部２５は、３次元モデルにおける未観察領域の検知結果として、内視鏡カメラによる大腸（腸管）の観察履歴に応じた最新の検知結果を得ることができる。そして、未観察領域検知部２５は、内視鏡カメラの相対的な姿勢変化と、内視鏡カメラの位置と、３次元モデルと、未観察領域の検知結果と、をマッピング処理部２８へ出力する。なお、未観察領域検知部２５は、未観察領域の検知結果に対し、例えば、遮蔽物有り、未撮像、明るさ不足、強いボケの発生、及び、残渣有り等のような、内視鏡カメラによる観察が行われていないと推定した要因を示す情報を関連付けてもよい。換言すると、未観察領域の検知結果には、未観察の要因を示す情報が関連付けられていてもよい。
　被写体情報取得部２６は、内視鏡画像に基づき、内視鏡カメラにより撮像された被写体が大腸の複数の部位のうちのどの部位の被写体に該当するかを示す被写体情報を取得する。また、被写体情報取得部２６は、例えば、大腸内を撮像して得られた内視鏡画像の入力に応じて大腸内の部位に係る情報を出力するように学習された画像認識モデル等を用いた処理により、被写体情報を取得する。そして、被写体情報取得部２６は、被写体情報をマッピング処理部２８へ出力する。
　病変候補検知部２７は、学習済の画像認識モデル等を用い、内視鏡画像における病変候補と推定される領域である病変候補領域を検知する。具体的には、病変候補検知部２７は、例えば、ポリープを含む領域を病変候補領域として検知する。すなわち、病変候補検知部２７は、管腔臓器の内部を内視鏡カメラにより撮像して得られた内視鏡画像に基づき、病変候補と推定される領域である病変候補領域を検知する。そして、病変候補検知部２７は、病変候補領域の検知結果をマッピング処理部２８及び表示画像生成部２９へ出力する。
　マッピング処理部２８は、内視鏡カメラの相対的な姿勢変化と、内視鏡カメラの位置と、３次元復元部２３から得られた３次元モデルと、未観察領域の検知結果と、被検体情報と、病変候補領域の検知結果と、に基づき、現在行われている内視鏡検査における当該未観察領域及び当該病変候補領域を大腸モデルに対して関連付けるマッピング処理を行う。このようなマッピング処理によれば、内視鏡カメラの相対的な姿勢変化と、内視鏡カメラの位置と、被検体情報と、に基づいて特定した大腸内の部位を未観察領域から除外することができる。なお、以降においては、前述のマッピング処理により未観察領域から除外された領域のような、大腸の複数の部位における未観察領域に該当しない領域を観察済領域と称する。また、マッピング処理部２８は、前述のマッピング処理を施した大腸モデルを表示画像生成部２９へ出力する。
　表示画像生成部２９は、内視鏡検査が行われている期間中において、例えば、内視鏡画像と、病変候補領域の検知結果と、に基づいて表示画像を生成し、当該生成した表示画像を表示装置２へ出力する。また、表示画像生成部２９は、内視鏡検査が行われている期間中において、マッピング処理部２８から大腸モデルを取得するとともに、当該取得した大腸モデルを最新の状態に更新する。また、表示画像生成部２９は、内視鏡検査が行われている期間中において、病変候補検知部２７から病変候補領域の検知結果を取得するとともに、当該取得した病変候補領域の検知結果を蓄積する。また、表示画像生成部２９は、内視鏡検査が終了した後において所定の指示が行われたことを検知した際に、当該内視鏡検査の期間中に蓄積した病変候補領域の検知結果と、当該内視鏡検査の期間中に取得した最新の大腸モデルと、に基づき、当該内視鏡検査における検査結果の概要を含む表示画像を生成し、当該生成した表示画像を表示装置２へ出力する。
　なお、以降においては、内視鏡検査が行われている期間中に生成される表示画像を「観察画像」とも称する。また、以降においては、内視鏡検査の終了後に生成される、当該内視鏡検査の検査結果の概要を含む表示画像を「検査結果画像」とも称する。
　観察画像には、内視鏡画像が含まれていればよい。また、観察画像には、病変候補領域の最新の検知結果を示す情報が含まれていてもよい。
　検査結果画像には、大腸の複数の部位における部位毎の観察達成度を示す情報が含まれていればよい。なお、大腸内の一の部位における観察達成度は、例えば、「１」から観察未達成度を減じた値として算出することができる。また、観察未達成度は、大腸モデルにおける当該一の部位にマッピングされた未観察領域の面積を、当該一の部位の標準的な表面積に基づいて算出された所定の表面積で除した除算値として算出することができる。また、大腸内の一の部位における観察達成度は、０から１までの範囲に属する値として得られるものであってもよく、または、０％から１００％までの範囲に属する値として得られるものであってもよい。すなわち、表示画像生成部２９は、大腸モデルに関連付けられている未観察領域の検知結果に基づき、管腔臓器の複数の部位における部位毎の観察達成度を示す情報を含む表示画像を生成する。
　また、検査結果画像には、大腸の複数の部位における未観察領域の位置を示す情報が含まれていてもよい。
　また、検査結果画像には、未観察領域の検知結果に対して関連付けられている未観察の要因を識別可能な情報が含まれていてもよい。具体的には、検査結果画像において、例えば、第１の未観察領域の検知結果に対して関連付けられている第１の未観察の要因を第１の色で表すとともに、第２の未観察領域の検知結果に対して関連付けられている第２の未観察の要因を第２の色で表すようにしてもよい。
　また、検査結果画像には、内視鏡画像に基づいて検知された病変候補領域の総数を示す情報、当該内視鏡画像に基づいて検知された病変候補領域の位置を示す情報、及び、当該内視鏡画像に基づいて検知された病変候補領域の状態を示す情報のうちの少なくとも１つが含まれていてもよい。
　また、検査結果画像には、大腸モデルが含まれていてもよく、または、一般的な大腸の構造に基づいて予め作成された画像である大腸画像が含まれていてもよい。なお、以降においては、特に言及のない限り、人体の上下方向に沿って切断された大腸全域の断面を当該人体の正面方向から見えるように作成された画像を大腸画像と称するものとする。
　本実施形態によれば、検査結果画像に含まれる大腸モデルまたは大腸画像に対し、未観察領域と、観察済領域と、を識別可能な情報が付加されるようにしてもよい。すなわち、表示画像生成部２９は、未観察領域と、観察済領域と、を識別可能な情報を含む表示画像を生成するものであってもよい。
　また、本実施形態によれば、例えば、検査結果画像に含まれる大腸モデルまたは大腸画像における一の未観察領域が指定された際に、当該一の未観察領域の近辺における観察済領域の映像が再生されるようにしてもよい。
　また、本実施形態によれば、例えば、検査結果画像に含まれる大腸モデルまたは大腸画像に対し、腹側（大腸の腹側の内壁）に存在する未観察領域と、背中側（大腸の背中側の内壁）に存在する未観察領域と、を識別可能な情報が付加されるようにしてもよい。また、このような場合において、例えば、腹側に存在する未観察領域と、背中側に存在する未観察領域と、が異なる色で表されるようにしてもよい。
　［表示例］
　続いて、表示装置２に表示される観察画像及び検査結果画像の具体例について説明する。図４は、観察画像の具体例を説明するための図である。図５は、検査結果画像の具体例を説明するための図である。
　図４の観察画像ＤＫは、内視鏡検査中に表示装置２に表示される画像である。また、観察画像ＤＫには、内視鏡画像４１と、病変候補画像４２と、が含まれている。
　内視鏡画像４１は、内視鏡検査中に得られた内視鏡映像Ｉｃに含まれる画像である。また、内視鏡画像４１は、内視鏡カメラの現在位置における視野範囲内の被写体を含み、当該内視鏡カメラの移動に応じて更新される。
　病変候補画像４２は、内視鏡画像４１よりも小さいサイズを有し、内視鏡画像４１の右側に配置されている。また、病変候補画像４２は、内視鏡画像４１が取得されたタイミングよりも前に取得された他の内視鏡画像に対して病変位置情報４２Ａを重畳することにより生成された画像である。
　病変位置情報４２Ａは、病変候補領域の最新の検知結果を示す情報として表示されている。また、図４の表示例によれば、病変位置情報４２Ａは、病変候補領域の周囲を囲む円形状のマーカとして表示されている。
　図５の検査結果画像ＤＲは、内視鏡検査が終了した後において、例えば、検査結果表示等のような所定の指示が行われた際に表示装置２に表示される画像である。また、検査結果画像ＤＲには、観察達成度表示エリア５１と、病変検知数表示エリア５２と、観察結果情報表示エリア５３と、が含まれている。また、検査結果画像ＤＲには、内視鏡検査時に検知された病変候補領域の状態を示す情報に相当する病変候補画像５４が含まれている。
　観察達成度表示エリア５１には、大腸の複数の部位における部位毎の観察達成度を示す値が表示されている。図５の観察達成度表示エリア５１の表示例によれば、観察達成度が１００％である直腸及び盲腸において、未観察領域が存在しないことを確認することができる。また、図５の観察達成度表示エリア５１の表示例によれば、観察達成度が１００％未満であるＳ状結腸、下行結腸、横行結腸、及び、上行結腸において、未観察領域が存在していることを確認することができる。また、図５の観察達成度表示エリア５１の表示例によれば、内視鏡検査において、大腸の最奥部である盲腸に内視鏡カメラが到達したことを確認することができる。
　病変検知数表示エリア５２には、内視鏡検査時に検知された病変候補領域の総数を示す情報が表示されている。図５の病変検知数表示エリア５２の表示例によれば、内視鏡検査時において、病変候補領域に相当するポリープを含む領域が１つ検知されたことを確認することができる。
　観察結果情報表示エリア５３には、大腸の複数の部位を破線で区切ることにより示した模式図として作成された大腸画像５３Ａが表示されている。また、大腸画像５３Ａには、大腸の複数の部位における観察済領域を示す情報である観察済領域情報５３Ｂが含まれている。また、大腸画像５３Ａには、大腸の複数の部位における未観察領域の位置を示す情報である未観察領域情報５３Ｃ、５３Ｄ及び５３Ｅが含まれている。
　図５の表示例によれば、大腸画像５３Ａに含まれる大腸の模式図における点線部分が観察済領域情報５３Ｂとして表示されている。また、図５の表示例によれば、大腸画像５３Ａに含まれる大腸の模式図における太線部分が未観察領域情報５３Ｃとして表示されている。そのため、図５の表示例によれば、未観察領域と、観察済領域と、を識別することができる。また、図５の観察済領域情報５３Ｂ及び未観察領域情報５３Ｃの表示例によれば、大腸の複数の部位のうちの未観察領域が存在する部位を確認することができる。なお、本実施形態によれば、大腸画像５３Ａにおいて、観察済領域情報５３Ｂと、未観察領域情報５３Ｃと、が異なる表示態様で表示されるようにすればよい。具体的には、例えば、大腸画像５３Ａにおいて、観察済領域情報５３Ｂと、未観察領域情報５３Ｃと、が異なる色で表示されるようにしてもよい。
　未観察領域情報５３Ｄは、大腸における腹側の未観察領域の位置を示す情報である。また、未観察領域情報５３Ｄは、大腸画像５３Ａにおいて、観察済領域情報５３Ｂ、未観察領域情報５３Ｃ及び未観察領域情報５３Ｅとは異なる表示態様で表示されている。具体的には、未観察領域情報５３Ｄは、観察済領域情報５３Ｂ、未観察領域情報５３Ｃ及び未観察領域情報５３Ｅとは異なる模様または色により表示されている。図５の未観察領域情報５３Ｄの表示例によれば、上行結腸の腹側の部分に未観察領域が存在することを確認することができる。なお、本実施形態によれば、未観察領域情報５３Ｄが、未観察の要因（遮蔽物有り、未撮像、明るさ不足、強いボケの発生、及び、残渣有り等）に応じて異なる模様または色により表示されるようにしてもよい。　
　未観察領域情報５３Ｅは、大腸における背中側の未観察領域の位置を示す情報である。また、未観察領域情報５３Ｅは、大腸画像５３Ａにおいて、観察済領域情報５３Ｂ、未観察領域情報５３Ｃ及び未観察領域情報５３Ｄとは異なる表示態様で表示されている。具体的には、未観察領域情報５３Ｅは、観察済領域情報５３Ｂ、未観察領域情報５３Ｃ及び未観察領域情報５３Ｄとは異なる模様又は色により表示されている。図５の未観察領域情報５３Ｅの表示例によれば、Ｓ状結腸の背中側の部分に未観察領域が存在することを確認することができる。なお、本実施形態によれば、未観察領域情報５３Ｅが、未観察の要因（遮蔽物有り、未撮像、明るさ不足、強いボケの発生、及び、残渣有り等）に応じて異なる模様または色により表示されるようにしてもよい。
　病変候補画像５４は、内視鏡検査時に検知された病変候補領域のサムネイル画像である。また、病変候補画像５４は、観察済領域情報５３Ｂのうちの病変候補領域が検出された位置に関連付けられた状態で表示されている。図５の表示例によれば、病変検知数表示エリア５２に表示されている病変候補領域の総数（１個）と同じ数の病変候補画像５４が表示されている。なお、本実施形態によれば、病変候補画像５４がクリックされた場合に、病変候補領域の拡大画像、または、病変候補領域の周辺において撮影された映像が表示されるようにしてもよい。
　［処理フロー］
　続いて、第１実施形態に係る内視鏡検査支援装置において行われる処理の流れについて説明する。図６は、第１実施形態に係る内視鏡検査支援装置において行われる処理の一例を示すフローチャートである。
　まず、内視鏡検査支援装置１は、内視鏡検査中に得られた内視鏡画像から深度を推定する（ステップＳ１１）。
　次に、内視鏡検査支援装置１は、内視鏡検査中に得られた時間的に連続する２枚の内視鏡画像からカメラ姿勢変化を推定する（ステップＳ１２）。
　続いて、内視鏡検査支援装置１は、ステップＳ１１により得られた深度と、ステップＳ１２により得られたカメラ姿勢変化と、に基づいて３次元復元処理を行うことにより、内視鏡検査時の大腸（の腸管）の構造に応じた３次元モデルを生成する（ステップＳ１３）。
　続いて、内視鏡検査支援装置１は、内視鏡検査中に得られた内視鏡画像に基づいて観察困難領域を検知する（ステップＳ１４）。
　続いて、内視鏡検査支援装置１は、ステップＳ１３により生成された３次元モデルにおける欠落領域を検知する（ステップＳ１５）。
　続いて、内視鏡検査支援装置１は、ステップＳ１３により生成された３次元モデルにおける、ステップＳ１４により検知された観察困難領域に対応する領域と、ステップＳ１５により検知された欠落領域に相当する領域と、を未観察領域として検知する（ステップＳ１６）。
　続いて、内視鏡検査支援装置１は、内視鏡検査中に得られた内視鏡画像に基づいて被写体情報を取得する（ステップＳ１７）。
　続いて、内視鏡検査支援装置１は、内視鏡検査中に得られた内視鏡画像に基づいて病変候補領域を検知する（ステップＳ１８）。また、内視鏡検査支援装置１は、内視鏡検査が行われている期間中において、ステップＳ１８により得られた病変候補領域の検知結果を蓄積する。
　続いて、内視鏡検査支援装置１は、ステップＳ１６により得られた未観察領域の検知結果と、ステップＳ１７により得られた被写体情報と、ステップＳ１８により得られた病変候補領域の検知結果と、に基づき、当該未観察領域及び当該病変候補領域を大腸モデルに対して関連付けるマッピング処理を行う（ステップＳ１９）。また、内視鏡検査支援装置１は、内視鏡検査が行われている期間中において、ステップＳ１９のマッピング処理の処理結果を更新することにより、最新の大腸モデルを取得する。
　内視鏡検査支援装置１は、内視鏡検査が終了した後において、当該内視鏡検査の期間中にステップＳ１８の処理を行うことにより蓄積した病変候補領域の検知結果と、当該内視鏡検査の期間中にステップＳ１９のマッピング処理を行うことにより取得した最新の大腸モデルと、に基づき、当該内視鏡検査に対応する検査結果画像を生成する（ステップＳ２０）。そして、ステップＳ２０により生成された検査結果画像は、表示装置２に表示される。
　なお、本実施形態においては、ステップＳ１２の処理がステップＳ１１よりも前に実行されてもよく、または、ステップＳ１１の処理がステップＳ１２の処理と同時に実行されてもよい。
　以上に述べたように、本実施形態によれば、内視鏡検査が終了した後において、大腸の複数の部位における部位毎の観察達成度を示す情報を含む検査結果画像を表示することができる。そのため、本実施形態によれば、内視鏡検査に係るレポートを作成する作業者に対して課せられる負担を軽減することができる。
　また、本実施形態によれば、前述の観察達成度に基づき、術者が内視鏡検査を行った時点における当該術者の熟練度を把握することができる。そのため、本実施形態によれば、大腸の内視鏡検査を行う術者の熟練度の向上に寄与することができる。
　＜第２実施形態＞
　図７は、第２実施形態に係る内視鏡検査支援装置の機能構成を示すブロック図である。
　本実施形態に係る内視鏡検査支援装置７０は、内視鏡検査支援装置１と同様のハードウェア構成を有している。また、内視鏡検査支援装置７０は、３次元モデル生成手段７１と、未観察領域検知手段７２と、表示画像生成手段７３と、を備える。
　図８は、第２実施形態に係る内視鏡検査支援装置において行われる処理の一例を示すフローチャートである。
　３次元モデル生成手段７１は、管腔臓器の内部を内視鏡カメラにより撮像して得られた内視鏡画像に基づき、当該内視鏡カメラが配置されている当該管腔臓器の３次元モデルを生成する（ステップＳ７１）。
　未観察領域検知手段７２は、３次元モデルに基づき、内視鏡カメラによる観察が行われていないと推定される領域を未観察領域として検知する（ステップＳ７２）。
　表示画像生成手段７３は、未観察領域の検知結果に基づき、管腔臓器の複数の部位における部位毎の観察達成度を示す情報を含む表示画像を生成する（ステップＳ７３）。
　本実施形態によれば、内視鏡検査に係るレポートを作成する作業者に対して課せられる負担を軽減することができる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　管腔臓器の内部を内視鏡カメラにより撮像して得られた内視鏡画像に基づき、前記内視鏡カメラが配置されている前記管腔臓器の３次元モデルを生成する３次元モデル生成手段と、
　前記３次元モデルに基づき、前記内視鏡カメラによる観察が行われていないと推定される領域を未観察領域として検知する未観察領域検知手段と、
　前記未観察領域の検知結果に基づき、前記管腔臓器の複数の部位における部位毎の観察達成度を示す情報を含む表示画像を生成する表示画像生成手段と、
　を備える内視鏡検査支援装置。
　（付記２）
　前記表示画像生成手段は、前記複数の部位における前記未観察領域の位置を示す情報を含む前記表示画像を生成する付記１に記載の内視鏡検査支援装置。
　（付記３）
　前記表示画像生成手段は、前記複数の部位における前記未観察領域と、前記複数の部位における前記未観察領域に該当しない領域である観察済領域と、を識別可能な情報を含む前記表示画像を生成する付記１に記載の内視鏡検査支援装置。
　（付記４）
　前記表示画像生成手段は、前記未観察領域の検知結果に対して関連付けられている未観察の要因を識別可能な情報を含む前記表示画像を生成する付記１に記載の内視鏡検査支援装置。
　（付記５）
　前記内視鏡画像に基づき、病変候補と推定される領域である病変候補領域を検知する病変候補検知手段をさらに有し、
　前記表示画像生成手段は、前記病変候補領域の総数を示す情報、前記病変候補領域の位置を示す情報、及び、前記病変候補領域の状態を示す情報のうちの少なくとも１つを含む前記表示画像を生成する付記１に記載の内視鏡検査支援装置。
　（付記６）
　前記未観察領域検知手段は、前記管腔臓器の内部における前記内視鏡カメラによる観察が困難であると推定される領域である観察困難領域と、前記３次元モデルにおける欠落が生じている領域である欠落領域と、のうちの少なくとも一方を前記未観察領域として検知する付記１に記載の内視鏡検査支援装置。
　（付記７）
　前記観察困難領域は、前記内視鏡画像における、明るさが所定値以下の領域、ボケ量が所定値以上の領域、及び、残渣が存在する領域のうちの少なくとも１つに該当する領域であり、
　前記未観察領域検知手段は、前記３次元モデルにおける、前記観察困難領域に対応する領域を前記未観察領域として検知する付記６に記載の内視鏡検査支援装置。
　（付記８）
　前記欠落領域は、前記３次元モデルにおける、前記管腔臓器内の遮蔽物により隠れた領域、及び、前記内視鏡カメラによる撮像が所定時間以上続けて行われていない領域のうちの少なくとも１つに該当する領域である付記６に記載の内視鏡検査支援装置。
　（付記９）
　管腔臓器の内部を内視鏡カメラにより撮像して得られた内視鏡画像に基づき、前記内視鏡カメラが配置されている前記管腔臓器の３次元モデルを生成し、
　前記３次元モデルに基づき、前記内視鏡カメラによる観察が行われていないと推定される領域を未観察領域として検知し、
　前記未観察領域の検知結果に基づき、前記管腔臓器の複数の部位における部位毎の観察達成度を示す情報を含む表示画像を生成する内視鏡検査支援方法。
　（付記１０）
　管腔臓器の内部を内視鏡カメラにより撮像して得られた内視鏡画像に基づき、前記内視鏡カメラが配置されている前記管腔臓器の３次元モデルを生成し、
　前記３次元モデルに基づき、前記内視鏡カメラによる観察が行われていないと推定される領域を未観察領域として検知し、
　前記未観察領域の検知結果に基づき、前記管腔臓器の複数の部位における部位毎の観察達成度を示す情報を含む表示画像を生成する処理をコンピュータに実行させるプログラムを記録した記録媒体。
　以上、実施形態及び実施例を参照して本開示を説明したが、本開示は上記実施形態及び実施例に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。
　１　内視鏡検査支援装置
　２　表示装置
　３　内視鏡スコープ
　１１　プロセッサ
　１２　メモリ
　１３　インターフェース
　２１　深度推定部
　２２　カメラ姿勢推定部
　２３　３次元復元部
　２４　観察困難領域検知部
　２５　未観察領域検知部
　２６　被写体情報取得部
　２７　病変候補検知部
　２８　マッピング処理部
　２９　表示画像生成部
　１００　内視鏡検査システム

Claims (10)

  1. 　管腔臓器の内部を内視鏡カメラにより撮像して得られた内視鏡画像に基づき、前記内視鏡カメラが配置されている前記管腔臓器の３次元モデルを生成する３次元モデル生成手段と、
    　前記３次元モデルに基づき、前記内視鏡カメラによる観察が行われていないと推定される領域を未観察領域として検知する未観察領域検知手段と、
    　前記未観察領域の検知結果に基づき、前記管腔臓器の複数の部位における部位毎の観察達成度を示す情報を含む表示画像を生成する表示画像生成手段と、
    　を備える内視鏡検査支援装置。
  2. 　前記表示画像生成手段は、前記複数の部位における前記未観察領域の位置を示す情報を含む前記表示画像を生成する請求項１に記載の内視鏡検査支援装置。
  3. 　前記表示画像生成手段は、前記複数の部位における前記未観察領域と、前記複数の部位における前記未観察領域に該当しない領域である観察済領域と、を識別可能な情報を含む前記表示画像を生成する請求項１に記載の内視鏡検査支援装置。
  4. 　前記表示画像生成手段は、前記未観察領域の検知結果に対して関連付けられている未観察の要因を識別可能な情報を含む前記表示画像を生成する請求項１に記載の内視鏡検査支援装置。
  5. 　前記内視鏡画像に基づき、病変候補と推定される領域である病変候補領域を検知する病変候補検知手段をさらに有し、
    　前記表示画像生成手段は、前記病変候補領域の総数を示す情報、前記病変候補領域の位置を示す情報、及び、前記病変候補領域の状態を示す情報のうちの少なくとも１つを含む前記表示画像を生成する請求項１に記載の内視鏡検査支援装置。
  6. 　前記未観察領域検知手段は、前記管腔臓器の内部における前記内視鏡カメラによる観察が困難であると推定される領域である観察困難領域と、前記３次元モデルにおける欠落が生じている領域である欠落領域と、のうちの少なくとも一方を前記未観察領域として検知する請求項１に記載の内視鏡検査支援装置。
  7. 　前記観察困難領域は、前記内視鏡画像における、明るさが所定値以下の領域、ボケ量が所定値以上の領域、及び、残渣が存在する領域のうちの少なくとも１つに該当する領域であり、
    　前記未観察領域検知手段は、前記３次元モデルにおける、前記観察困難領域に対応する領域を前記未観察領域として検知する請求項６に記載の内視鏡検査支援装置。
  8. 　前記欠落領域は、前記３次元モデルにおける、前記管腔臓器内の遮蔽物により隠れた領域、及び、前記内視鏡カメラによる撮像が所定時間以上続けて行われていない領域のうちの少なくとも１つに該当する領域である請求項６に記載の内視鏡検査支援装置。
  9. 　管腔臓器の内部を内視鏡カメラにより撮像して得られた内視鏡画像に基づき、前記内視鏡カメラが配置されている前記管腔臓器の３次元モデルを生成し、
    　前記３次元モデルに基づき、前記内視鏡カメラによる観察が行われていないと推定される領域を未観察領域として検知し、
    　前記未観察領域の検知結果に基づき、前記管腔臓器の複数の部位における部位毎の観察達成度を示す情報を含む表示画像を生成する内視鏡検査支援方法。
  10. 　管腔臓器の内部を内視鏡カメラにより撮像して得られた内視鏡画像に基づき、前記内視鏡カメラが配置されている前記管腔臓器の３次元モデルを生成し、
    　前記３次元モデルに基づき、前記内視鏡カメラによる観察が行われていないと推定される領域を未観察領域として検知し、
    　前記未観察領域の検知結果に基づき、前記管腔臓器の複数の部位における部位毎の観察達成度を示す情報を含む表示画像を生成する処理をコンピュータに実行させるプログラムを記録した記録媒体。
PCT/JP2022/029427 2022-08-01 2022-08-01 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体 WO2024028925A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2022/029427 WO2024028925A1 (ja) 2022-08-01 2022-08-01 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
PCT/JP2023/028003 WO2024029504A1 (ja) 2022-08-01 2023-07-31 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
US18/398,509 US20240138651A1 (en) 2022-08-01 2023-12-28 Endoscopic examination support apparatus, endoscopic examination support method, and recording medium
US18/398,516 US20240138652A1 (en) 2022-08-01 2023-12-28 Endoscopic examination support apparatus, endoscopic examination support method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/029427 WO2024028925A1 (ja) 2022-08-01 2022-08-01 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

Publications (1)

Publication Number Publication Date
WO2024028925A1 true WO2024028925A1 (ja) 2024-02-08

Family

ID=89848644

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2022/029427 WO2024028925A1 (ja) 2022-08-01 2022-08-01 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
PCT/JP2023/028003 WO2024029504A1 (ja) 2022-08-01 2023-07-31 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/028003 WO2024029504A1 (ja) 2022-08-01 2023-07-31 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

Country Status (2)

Country Link
US (2) US20240138651A1 (ja)
WO (2) WO2024028925A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017203814A1 (ja) * 2016-05-25 2017-11-30 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法
WO2019220848A1 (ja) * 2018-05-17 2019-11-21 富士フイルム株式会社 内視鏡装置、内視鏡操作方法、及びプログラム
WO2021176664A1 (ja) * 2020-03-05 2021-09-10 オリンパス株式会社 検査支援システム、検査支援方法、及び、プログラム
WO2021234907A1 (ja) * 2020-05-21 2021-11-25 日本電気株式会社 画像処理装置、制御方法及び記憶媒体

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4248832A4 (en) * 2020-11-17 2024-05-08 Fujifilm Corp PROCESSOR DEVICE, OPERATING METHOD FOR PROCESSOR DEVICE, PROGRAM FOR PROCESSOR DEVICE AND ENDOSCOPE SYSTEM

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017203814A1 (ja) * 2016-05-25 2017-11-30 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法
WO2019220848A1 (ja) * 2018-05-17 2019-11-21 富士フイルム株式会社 内視鏡装置、内視鏡操作方法、及びプログラム
WO2021176664A1 (ja) * 2020-03-05 2021-09-10 オリンパス株式会社 検査支援システム、検査支援方法、及び、プログラム
WO2021234907A1 (ja) * 2020-05-21 2021-11-25 日本電気株式会社 画像処理装置、制御方法及び記憶媒体

Also Published As

Publication number Publication date
US20240138651A1 (en) 2024-05-02
US20240138652A1 (en) 2024-05-02
WO2024029504A1 (ja) 2024-02-08

Similar Documents

Publication Publication Date Title
US20110032347A1 (en) Endoscopy system with motion sensors
JP6254053B2 (ja) 内視鏡画像診断支援装置、システムおよびプログラム、並びに内視鏡画像診断支援装置の作動方法
JP2012509715A (ja) 大腸内視鏡検査追跡および評価システム
JP2010279539A (ja) 診断支援装置および方法並びにプログラム。
JP7423740B2 (ja) 内視鏡システム、管腔構造算出装置、管腔構造算出装置の作動方法及び管腔構造情報作成プログラム
JPWO2014168128A1 (ja) 内視鏡システム及び内視鏡システムの作動方法
WO2021176664A1 (ja) 検査支援システム、検査支援方法、及び、プログラム
JP7323647B2 (ja) 内視鏡検査支援装置、内視鏡検査支援装置の作動方法及びプログラム
US20220409030A1 (en) Processing device, endoscope system, and method for processing captured image
JP7385731B2 (ja) 内視鏡システム、画像処理装置の作動方法及び内視鏡
JP7189355B2 (ja) コンピュータプログラム、内視鏡用プロセッサ、及び情報処理方法
CN116075902A (zh) 用于识别医疗程序期间未检查区域的设备、系统和方法
WO2024028925A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
WO2024028924A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
KR20200132174A (ko) 증강현실 대장 내시경 시스템 및 이를 이용한 모니터링 방법
WO2024028934A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
JP6745748B2 (ja) 内視鏡位置特定装置、その作動方法およびプログラム
WO2023089716A1 (ja) 情報表示装置、情報表示方法、及び、記録媒体
US20240057847A1 (en) Endoscope system, lumen structure calculation system, and method for creating lumen structure information
WO2024024022A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
US20230172428A1 (en) Endoscope image processing device
US20240021103A1 (en) Endoscopic training system
JP7391113B2 (ja) 学習用医療画像データ作成装置、学習用医療画像データ作成方法及びプログラム
EP4191565A1 (en) Endoscope image processing device
WO2023195103A1 (ja) 検査支援システムおよび検査支援方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22953916

Country of ref document: EP

Kind code of ref document: A1