WO2023119373A1 - 画像処理装置、画像処理方法、プログラム、およびプログラムを記録している不揮発性記憶媒体 - Google Patents
画像処理装置、画像処理方法、プログラム、およびプログラムを記録している不揮発性記憶媒体 Download PDFInfo
- Publication number
- WO2023119373A1 WO2023119373A1 PCT/JP2021/047082 JP2021047082W WO2023119373A1 WO 2023119373 A1 WO2023119373 A1 WO 2023119373A1 JP 2021047082 W JP2021047082 W JP 2021047082W WO 2023119373 A1 WO2023119373 A1 WO 2023119373A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- organ model
- amount
- organ
- image processing
- endoscopic image
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 90
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000012937 correction Methods 0.000 claims abstract description 105
- 210000000056 organ Anatomy 0.000 claims description 368
- 230000008859 change Effects 0.000 claims description 62
- 238000003780 insertion Methods 0.000 claims description 44
- 230000037431 insertion Effects 0.000 claims description 44
- 230000008602 contraction Effects 0.000 claims description 39
- 238000003384 imaging method Methods 0.000 claims description 36
- 230000033001 locomotion Effects 0.000 claims description 33
- 238000001514 detection method Methods 0.000 claims description 30
- 230000009467 reduction Effects 0.000 claims description 15
- 210000001035 gastrointestinal tract Anatomy 0.000 claims description 3
- 210000001835 viscera Anatomy 0.000 abstract 3
- 238000000034 method Methods 0.000 description 50
- 230000008569 process Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 19
- 210000003384 transverse colon Anatomy 0.000 description 15
- 239000013256 coordination polymer Substances 0.000 description 14
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 13
- 210000004185 liver Anatomy 0.000 description 11
- 210000004534 cecum Anatomy 0.000 description 8
- 230000002440 hepatic effect Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 239000007788 liquid Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 210000000436 anus Anatomy 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 230000005389 magnetism Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000003393 splenic effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000001815 ascending colon Anatomy 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000000968 intestinal effect Effects 0.000 description 1
- 210000002429 large intestine Anatomy 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000002504 physiological saline solution Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
Definitions
- the present invention relates to an image processing device, an image processing method, a program, and a nonvolatile storage medium storing the program for acquiring endoscopic image information and generating an organ model.
- US Pat. No. 1,068,2108 describes a technique for creating a three-dimensional organ model based on a two-dimensional endoscopic image using DSO (Direct Sparse Odometry) and a neural network.
- DSO Direct Sparse Odometry
- a three-dimensional organ model is used, for example, to grasp the position of an endoscope. It is also used to grasp unobserved regions by showing unvisualized portions (that is, unobserved portions) in the organ model.
- organs change shape over time.
- shape of the organ and the position of the organ in the body may change due to the operation of inserting and withdrawing the endoscope.
- An organ model created in the past using the technology of US Patent Publication No. 10682108 may not match the current organ if the shape or position of the organ changes. Specifically, a plurality of organ models are generated for the same region, or the display of an unobserved region is different from the current state. Then, the guide display to the unobserved area may not indicate the correct direction and position.
- the present invention has been made in view of the above circumstances, and provides an image processing apparatus, an image processing method, a program, and a nonvolatile storage medium storing the program, which can generate an organ model that matches the current organ. It is an object.
- An image processing apparatus includes a processor having hardware, the processor acquires endoscopic image information from an endoscope to generate an organ model, and then generates an organ model from the endoscopic image information. It is configured to continue acquisition, correct the shape of the generated organ model based on the latest endoscopic image information, and output information of the corrected organ model.
- An image processing method comprises: a processor having hardware acquires endoscopic image information from an endoscope and generates an organ model, then continues acquiring the endoscopic image information, The shape of the generated organ model is corrected based on the latest endoscopic image information, and information on the corrected organ model is output.
- a program causes a computer to acquire endoscopic image information from an endoscope to generate an organ model, and then continue to acquire the endoscopic image information, and the latest endoscope
- the shape of the generated organ model is corrected based on image information, and information on the corrected organ model is output.
- a nonvolatile storage medium recording a program causes a computer to acquire endoscopic image information from an endoscope to generate an organ model, and then acquire the endoscopic image information. , corrects the shape of the generated organ model based on the latest endoscopic image information, and outputs information on the corrected organ model.
- FIG. 2 is a diagram mainly showing the structural and functional configuration of the image processing apparatus in the first embodiment;
- FIG. FIG. 2 is a block diagram showing an example of the configuration of the image processing apparatus according to the first embodiment when viewed in units of structure;
- 4 is a flow chart showing processing of the image processing apparatus of the first embodiment;
- FIG. 4 is a diagram for explaining generation of an organ model by an organ model generation unit in the first embodiment;
- FIG. 4 is a diagram showing an example of an overall image of an organ model and an organ model generated, corrected, and displayed in the first embodiment;
- FIG. 4 is a diagram for explaining an example of detecting changes in an organ model based on feature points in the first embodiment
- 9 is a flow chart showing processing of the image processing apparatus according to the second embodiment of the present invention. It is a chart which shows a mode that the variation
- FIG. 11 is a diagram showing an example of correcting the shape of an organ model based on the amount of change in the second embodiment;
- FIG. 9 is a flow chart showing the process of estimating the amount of change in the organ model in step S12 of FIG. 8 in the second embodiment.
- FIG. FIG. 11 is a chart showing how changes in an organ model include expansion, rotation, and movement in the second embodiment;
- FIG. 12 is a flow chart showing processing for detecting an enlargement/reduction amount in step S21 of FIG. 11 in the second embodiment.
- FIG. FIG. 11 is a chart for explaining processing for detecting an enlargement/reduction amount in the second embodiment
- FIG. FIG. 12 is a flow chart showing a rotation amount detection process in step S22 of FIG. 11 in the second embodiment.
- FIG. FIG. 11 is a chart for explaining a rotation amount detection process in the second embodiment
- FIG. FIG. 12 is a flow chart showing processing for detecting an amount of expansion/contraction in step S23 of FIG. 11 in the second embodiment.
- FIG. FIG. 10 is a chart for explaining processing for detecting an amount of expansion/contraction in the second embodiment;
- FIG. FIG. 10 is a chart for explaining processing for detecting an amount of expansion/contraction in the second embodiment;
- FIG. FIG. 10 is a chart for explaining processing for detecting an amount of expansion/contraction in the second embodiment;
- FIG. FIG. 10 is a chart for
- FIG. 12 is a flow chart showing movement amount detection processing in step S24 of FIG. 11 in the second embodiment.
- FIG. FIG. 9 is a chart for explaining an example of a method of correcting the shape of an organ model in step S3A of FIG. 8 in the second embodiment;
- FIG. 10 is a flow chart showing processing of the image processing apparatus according to the third embodiment of the present invention;
- FIG. 22 is a flow chart showing processing for estimating the amount of change in folds in step S12B of FIG. 21 in the third embodiment.
- FIG. FIG. 11 is a chart for explaining the process of detecting the presence or absence of passing through a fold in the third embodiment;
- FIG. FIG. 11 is a chart for explaining how folds in an endoscopic image are associated with folds in an organ model in the third embodiment;
- FIG. 11 is a chart for explaining how the amount of change in the same fold is detected in the third embodiment;
- FIG. FIG. 23 is a flow chart showing the process of detecting the amount of change of the same fold in step S73 of FIG. 22 in the third embodiment;
- FIG. FIG. 27 is a flow chart showing another example of processing for detecting the diameter expansion/contraction amount in step S81 of FIG. 26 in the third embodiment.
- FIG. FIG. 11 is a chart for explaining another example of processing for detecting a diameter expansion/reduction amount in the third embodiment;
- FIG. FIG. 11 is a graph for explaining an example of a method for correcting the amount of expansion/contraction of the diameter of an organ model in the third embodiment;
- FIG. 14 is a diagram for explaining an example of correcting the amount of expansion/contraction of the diameter of the organ model within the correction range in the third embodiment;
- FIG. 14 is a graph for explaining an example of a method for correcting the amount of rotation of an organ model in the third embodiment;
- FIG. 27 is a chart for explaining the process of detecting the expansion/contraction amount in step S83 of FIG. 26 in the third embodiment;
- FIG. 11 is a graph for explaining an example of a method for correcting the amount of expansion/contraction of an organ model in the third embodiment;
- FIG. FIG. 13 is a diagram for explaining an example of correcting the expansion/contraction amount of an organ model in the third embodiment;
- FIG. 27 is a flow chart for explaining the process of detecting the amount of movement in step S84 of FIG. 26 in the third embodiment
- FIG. FIG. 13 is a diagram showing an example of detecting the same folds of an existing organ model and a new organ model in order to determine movement of the organ in the third embodiment
- FIG. 12 is a diagram for explaining a method of correcting the shape of an organ model according to the movement of the organ in the third embodiment
- FIG. 11 is a graph for explaining a method of correcting the shape of an organ model according to movement of the organ in the third embodiment
- FIG. FIG. 13 is a chart showing a display example of an organ model and an unobserved region in the third embodiment
- FIG. 1 to 7 show the first embodiment of the present invention
- FIG. 1 is a perspective view showing the configuration of an endoscope system 1 in the first embodiment.
- the endoscope system 1 includes, for example, an endoscope 2, a light source device 3, an image processing device 4, a tip position detection device 5, a suction pump 6, a water supply tank 7, and a monitor 8. Of these, except for the endoscope 2, as shown in FIG. 1, the cart 9 is mounted or fixed.
- the endoscope system 1 is placed, for example, in an examination room where examination and treatment of subjects are performed.
- the light source device 3 and the image processing device 4 may be separate units, or may be an integrated light source type image processing device.
- the tip position detection device 5 can apply a technique of grasping the position of the tip of the endoscope by generating a magnetic field, for example.
- a known insertion shape detection device UPD
- UPD insertion shape detection device
- the endoscope 2 includes an insertion section 2a, an operation section 2b, and a universal cable 2c.
- the insertion portion 2a is a portion to be inserted into the subject, and includes a distal end portion 2a1, a bending portion 2a2, and a flexible tube portion 2a3 in order from the distal end side to the proximal end side.
- An imaging unit including an imaging optical system and an imaging element 2d (see FIG. 2), a magnetic coil 2e (see FIG. 2), a tip portion of a light guide, a tip side opening of a treatment instrument channel, and the like are arranged at the tip portion 2a1. ing.
- the operation part 2b is arranged on the proximal end side of the insertion part 2a, and is a part where various operations are performed by hand.
- the universal cable 2c is, for example, a connection cable that extends from the operation section 2b and connects the endoscope 2 to the light source device 3, the image processing device 4, the suction pump 6, and the water supply tank 7.
- a light guide, a signal cable, a treatment instrument channel that also serves as a suction channel, and an air/water channel are inserted into the insertion portion 2a, the operation portion 2b, and the universal cable 2c of the endoscope 2.
- a connector provided at the extending end of the universal cable 2c is connected to the light source device 3.
- a cable extending from the connector is connected to the image processing device 4 . Therefore, the endoscope 2 is connected to the light source device 3 and the image processing device 4 .
- the light source device 3 includes a light emitting device such as an LED (Light Emitting Diode) light source, a laser light source, or a xenon light source as a light source. By connecting the connector to the light source device 3, it becomes possible to transmit illumination light to the light guide.
- a light emitting device such as an LED (Light Emitting Diode) light source, a laser light source, or a xenon light source as a light source.
- the illumination light that has entered the proximal end surface of the light guide from the light source device 3 is transmitted through the light guide and irradiated toward the subject from the distal end surface of the light guide arranged at the distal end portion 2a1 of the insertion portion 2a.
- the suction channel and the air/water supply channel are connected to the suction pump 6 and the water supply tank 7 via the light source device 3, for example. Therefore, by connecting the connector to the light source device 3, suction of the suction channel by the suction pump 6, water supply from the water tank 7 via the air/water supply channel, and air supply via the air/water supply channel are performed. It becomes possible.
- the suction pump 6 is used to suck liquid from the subject.
- the water supply tank 7 is a tank that stores liquid such as physiological saline. By sending pressurized gas from the air/water pump in the light source device 3 to the water tank 7, the liquid in the water tank 7 is sent to the air/water channel.
- the tip position detection device 5 uses a magnetic sensor (position detection sensor) to detect magnetism generated from one or more magnetic coils 2e (see FIG. 2) provided in the insertion section 2a, thereby detecting the shape of the insertion section 2a. to detect The distal end position detection device 5 detects the position and orientation of the distal end portion 2a1 of the insertion portion 2a.
- a magnetic sensor position detection sensor
- the image processing device 4 transmits a drive signal for driving the imaging element 2d (see FIG. 2) via the signal cable.
- An imaging signal output from the imaging element 2d is transmitted to the image processing device 4 via a signal cable.
- the image processing device 4 performs image processing on the imaging signal acquired by the imaging device 2d, generates and outputs a displayable image signal. Further, position information of the distal end portion 2a1 of the insertion portion 2a obtained from the distal end position detection device 5 is input to the image processing device 4.
- FIG. Note that the image processing device 4 may control not only the endoscope 2 but also the entire endoscope system 1 including the light source device 3, the tip position detection device 5, the suction pump 6, the monitor 8, and the like.
- the monitor 8 displays images including endoscopic images based on image signals output from the image processing device 4 .
- FIG. 2 is a diagram mainly showing the structural and functional configuration of the image processing apparatus in the first embodiment. 2, illustration of the light source device 3, the suction pump 6, the water tank 7, etc. is omitted.
- the endoscope 2 is configured as an electronic endoscope, and includes an imaging element 2d and a magnetic coil 2e at the distal end portion 2a1 of the insertion portion 2a.
- the imaging device 2d captures an optical image of the subject formed by the imaging optical system and generates an imaging signal.
- the imaging element 2d performs imaging, for example, on a frame-by-frame basis, and generates imaging signals related to images of a plurality of frames in time series.
- the generated imaging signals are sequentially output to the image processing device 4 via a signal cable connected to the imaging element 2d.
- the position and orientation of the distal end portion 2a1 of the insertion portion 2a detected by the distal end position detection device 5 based on the magnetism generated by the magnetic coil 2e are output to the image processing device 4.
- the image processing device 4 includes an input unit 11, an organ model generation unit 12, an organ model shape correction unit 13, a memory 14, an unobserved region determination/correction unit 15, an output unit 16, a recording unit 17, It has
- the input unit 11 inputs an imaging signal from the imaging element 2d and information on the position and orientation of the distal end portion 2a1 of the insertion portion 2a from the distal end position detection device 5.
- the organ model generation unit 12 acquires endoscopic image information (hereinafter referred to as an endoscopic image as appropriate) related to the imaging signal from the input unit 11 . Then, the organ model generator 12 detects the position and orientation of the distal end portion 2a1 of the insertion portion 2a from the endoscopic image. The organ model generation unit 12 also acquires information on the position and orientation of the distal end portion 2a1 of the insertion portion 2a from the distal end position detection device 5 via the input unit 11 as necessary. Furthermore, the organ model generator 12 generates a three-dimensional organ model based on the position and orientation of the distal end portion 2a1 and the endoscopic image.
- endoscopic image hereinafter referred to as appropriate
- the organ model shape correction unit 13 corrects the shape of the previously generated organ model (existing organ model) based on the latest endoscopic image.
- the memory 14 stores the corrected organ model.
- the unobserved area determination/correction unit 15 determines an unobserved area in the corrected organ model, and corrects the position and shape of the unobserved area according to the corrected organ model.
- the position and shape of the unobserved area are stored in memory 14 as needed.
- the output unit 16 outputs information on the corrected organ model. Furthermore, the output unit 16 also outputs information on the unobserved area as necessary.
- the recording unit 17 nonvolatilely stores endoscope image information image-processed by the image processing device 4 and output from the output unit 16 .
- the recording unit 17 may be a recording device provided outside the image processing device 4 .
- information on the organ model output from the output unit 16 is displayed on the monitor 8 as an organ model image together with, for example, an endoscopic image.
- FIG. 3 is a block diagram showing an example of the configuration when the image processing device 4 of the first embodiment is viewed in structural units. be.
- the image processing device 4 includes a processor 4a having hardware and a memory 4b.
- the processor 4a is, for example, an ASIC (Application Specific Integrated Circuit) including a CPU (Central Processing Unit), etc., an FPGA (Field Programmable Gate Array), or a GPU (Graphics Processing Unit), etc. Prepare.
- ASIC Application Specific Integrated Circuit
- CPU Central Processing Unit
- FPGA Field Programmable Gate Array
- GPU Graphics Processing Unit
- the memory 4b includes the memory 14 in FIG. 2, for example, a volatile storage medium such as RAM (Random Access Memory) and ROM (Read Only Memory) (or EEPROM (Electrically Erasable Programmable Read-Only Memory)). and a non-volatile storage medium.
- the RAM temporarily stores various types of information such as images to be processed, processing parameters at the time of execution, and user setting values input from the outside.
- the ROM nonvolatilely stores various types of information such as a processing program (computer program), specified values of processing parameters, and user setting values that should be stored even after the power of the endoscope system 1 is turned off.
- FIG. 1 Various functions of the image processing device 4 as shown in FIG. 1 are achieved by the processor 4a shown in FIG. 3 reading and executing the processing program stored in the memory 4b. However, all or part of the various functions of the image processing device 4 may be configured to be performed by a dedicated electronic circuit.
- the processing program (or at least part of the processing program) can be a flexible disk, a CD-ROM (Compact Disc Read only memory), a DVD ( Digital Versatile Disc), portable storage media such as Blu-ray Discs, storage media such as hard disk drives or SSDs (Solid State Drives), cloud storage media, etc.
- the processing program is read from an external storage medium, stored in the memory 4b, and the processor 4a executes the processing program.
- FIG. 4 is a flowchart showing processing of the image processing device 4 of the first embodiment.
- the image processing device 4 When the power of the endoscope system 1 is turned on and the endoscope 2 starts imaging and starts outputting imaging signals, the image processing device 4 performs the processing shown in FIG. information) is input for, for example, one frame.
- the image processing device 4 acquires one or more latest endoscopic images through the input unit 11 (step S1).
- the organ model generation unit 12 generates an organ model of an imaging target based on one or more acquired endoscopic images (step S2). In order to generate a three-dimensional organ model, it is preferable to use a plurality of endoscopic images taken at different positions. It is also possible to generate a three-dimensional organ model from
- the organ model shape correction unit 13 corrects the shape of the previously generated organ model (existing organ model) based on the latest endoscopic image (step S3).
- the organ model shape correction unit 13 corrects is not performed, and the organ model acquired from the organ model generation unit 12 is stored in the memory 14 .
- the organ model shape correction unit 13 receives the latest internal image from the organ model generation unit 12. A new organ model generated based on the endoscopic image is obtained, and the latest endoscopic image is also obtained if necessary. Furthermore, the organ model shape correction unit 13 acquires existing organ models from the memory 14 . Then, the organ model shape correction unit 13 determines whether the existing organ model needs to be corrected based on at least one of the latest endoscopic image and the new organ model. When determining that correction is necessary, the organ model shape correction unit 13 corrects the existing organ model based on the new organ model. The organ model shape correction unit 13 stores the corrected organ model in the memory 14 .
- the output unit 16 outputs information on the organ model corrected by the organ model shape correction unit 13 to the monitor 8 (step S4). Thereby, the organ model image is displayed on the monitor 8 .
- the processing shown in FIG. 4 is executed each time the latest endoscopic image is acquired. Therefore, the user can confirm on the monitor 8 an organ model that is generated based on the latest endoscopic image information and matches the current organ.
- FIG. 5 is a diagram for explaining generation of an organ model by the organ model generation unit 12 in the first embodiment.
- the organ model generation unit 12 generates a 3D organ model by, for example, visual SLAM (Visual Simultaneous Localization And Mapping).
- the organ model generation unit 12 may estimate the position and orientation of the distal end portion 2a1 of the insertion portion 2a by visual SLAM processing, or may use information input from the distal end position detection device 5.
- the organ model generation unit 12 first performs initialization when generating a three-dimensional organ model. Assume that the internal parameters of the endoscope 2 are known by calibration at the time of initialization. As initialization, the organ model generator 12 estimates the self-position and three-dimensional position of the endoscope 2 by, for example, SfM (Structure from Motion).
- SfM Structure from Motion
- SLAM assumes a real-time property and receives, for example, time-continuous moving images as input, whereas SfM assumes a plurality of images that do not assume a real-time property.
- FIG. 5 shows how the position of the distal end portion 2a1 of the insertion portion 2a changes as time passes from t(n) to t(n+1) to t(n+2).
- the organ model generation unit 12 searches for corresponding points in the endoscopic images of multiple frames.
- an endoscope image IMG(n) captured at time t(n) and an endoscope image captured at time t(n+1) after time t(n) Corresponding points are searched for between the image IMG(n+1) and the endoscopic image IMG(n+2) captured at time t(n+2) after time t(n+1).
- an image point IP1 corresponding to the point P1 in the organ OBJ of the subject is searched in the endoscopic image IMG(n) and the endoscopic image IMG(n+1), and searched from the endoscopic image IMG(n+2). is not searched in the endoscopic image IMG(n), and the image point IP2 corresponding to the point P2 in the organ OBJ of the subject is not searched in the endoscopic image IMG(n+1) and the endoscopic image IMG(n+2).
- the organ model generator 12 estimates the position and orientation of the endoscope 2 (tracking).
- the problem of estimating the position and orientation of the endoscope 2 (more generally, the camera) is called the so-called PnP problem. This is a problem of estimating the position and orientation of the camera (the endoscope 2 in this embodiment).
- the organ model generation unit 12 estimates the posture of the endoscope 2 based on a plurality of points whose three-dimensional positions are known and the positions of the plurality of points on the image.
- the organ model generation unit 12 registers (maps) points on the 3D map.
- the three-dimensional position of the point can be determined by finding correspondence between common points appearing in a plurality of endoscopic images obtained by the endoscope 2 whose orientation is known (triangulation).
- the organ model generation unit 12 repeats the above-described tracking and mapping, thereby knowing the three-dimensional position of an arbitrary point on the endoscopic image, and generating an organ model.
- FIG. 6 is a diagram showing an example of an overall image of an organ model and an organ model that is generated, corrected, and displayed in the first embodiment.
- FIG. 6 shows the overall image of the organ model OM.
- an intestinal tract specifically a colon organ model is shown, but the organ model is not limited to this.
- IC indicates the cecum, AN the anus, FCD the liver flexure (right colic flexure), FCS the splenic flexure (left colic flexure), and TC the transverse colon.
- Column B in FIG. 6 shows the state of the organ model OM generated when the insertion portion 2a of the endoscope 2 is moved from the cecum IC side to the splenic flexure FCS side via the hepatic flexure FCD.
- the triangles in columns B to D of FIG. 6 indicate the viewing angles when the subject is observed from the distal end portion 2a1 of the insertion portion 2a.
- an organ model OM near the cecum IC is generated.
- the right column of B in FIG. 6 shows a modification of the middle column of B in FIG. It is assumed that there is no unobserved region in the portion indicated by the dotted line in the right column of B of the organ model OM in the center column of B in FIG. At this time, the existing organ model portion indicated by the dotted line may or may not be held in the memory 14 and may or may not be displayed on the monitor 8 .
- the portion indicated by the broken line indicates the organ model OM1 before correction
- the portion indicated by the solid line indicates the organ model OM2 after correction.
- the monitor 8 displays the corrected organ model OM2.
- FIG. 7 is a diagram for explaining an example of detecting changes in an organ model based on feature points in the first embodiment.
- a feature point is one of specific targets included in endoscope image information.
- FIG. 7 shows the state of the endoscopic image IMG(n) captured at time t(n).
- Column A2 in FIG. 7 shows the endoscopic image IMG(n+1) captured at time t(n+1).
- the plurality of feature points SP(n) in the endoscopic image IMG(n) and the plurality of feature points SP(n+1) in the endoscopic image IMG(n+1) are the same corresponding feature points (same feature points). point).
- Column B1 in FIG. 7 shows the organ OBJ(n) of the subject and the imaging area IA(n) of the endoscope 2 at time t(n).
- Column B2 in FIG. 7 shows the organ OBJ(n+1) of the subject and the imaging area IA(n+1) of the endoscope 2 at time t(n+1). Comparing columns B1 and B2, the lumen diameter of the subject's organ OBJ(n+1) at time t(n+1) is larger than the lumen diameter of the subject's organ OBJ(n) at time t(n). are doing.
- FIG. 7 shows the organ model OM(n) at time t(n) and the organ model area OMA(n) corresponding to the imaging area IA(n).
- Column C2 in FIG. 7 shows the organ model OM(n+1) at time t(n+1) and the organ model area OMA(n+1) corresponding to the imaging area IA(n+1) in comparison with the organ model OM(n). ing.
- Column D in FIG. 7 shows a plurality of feature points SP(n) in the organ model area OMA(n) and organ models corresponding to the plurality of feature points SP(n) in the cross section CS shown in column C2 in FIG.
- a plurality of feature points SP(n+1) in an area OMA(n+1) are detected using feature amounts, brightness values, brightness gradient values, and the like.
- the luminal diameter has expanded, so the feature point SP(n+1) is a point that has moved so as to expand the feature point SP(n) in the radial direction.
- the shape of the generated organ model is corrected, it is possible to generate an organ model that matches the current shape of the organ. Also, since the point OMP(n) on the existing organ model OM(n) is deleted, a plurality of organ models will not be generated for the same region, and the organ model will be appropriate.
- FIGS. 8 to 20 show the second embodiment of the present invention
- FIG. 8 is a flowchart showing processing of the image processing device 4 of the second embodiment.
- parts that are the same as those in the first embodiment are denoted by the same reference numerals, and descriptions thereof are omitted as appropriate, and different points are mainly described.
- the image processing device 4 When the process shown in FIG. 8 is started, the image processing device 4 performs the process of step S1 to acquire one or more latest endoscopic images, and the organ model generation unit 12 generates the insertion unit from the acquired endoscopic images.
- the position and orientation of the tip 2a1 of 2a are estimated (step S11).
- the organ model generation unit 12 generates an organ model to be imaged (step S2A).
- the organ model shape correction unit 13 identifies a changed part of the current imaging target organ model (new organ model) generated in step S2A with respect to the previously generated organ model (existing organ model), The amount of change in the changed site is estimated (step S12).
- the amount of change is estimated, for example, based on the amount of change of corresponding points (such as feature points) in each cross section of the existing organ model and the new organ model. For example, when the processing shown in FIG. 4 is executed each time one frame of endoscopic image information is input, the amount of change is also calculated for each frame.
- the organ model shape correction unit 13 corrects the shape of the existing organ model based on the estimated change amount of the organ model (step S3A).
- step S4 After that, the process of step S4 is performed, and the information of the corrected organ model is output to the monitor 8 or the like.
- FIG. 9 is a chart showing how the amount of change in the organ model at different times is estimated in the second embodiment.
- the left column of A in FIG. 9 shows the target organ model area OMA(n) for detecting the amount of change in the organ model OM(n) at time t(n).
- the right column of A in FIG. 9 shows the target organ model area OMA(n+1) for detecting the amount of change in the organ model OM(n+1) at time t(n+1).
- the diameter is expanded, for example, by an appropriate real number multiple.
- FIG. 10 is a diagram showing an example of correcting the shape of the organ model based on the amount of change in the second embodiment.
- the organ model OM(n) at the past time t(n) is corrected to the organ model OM(n+1) at the current time t(n+1).
- the unobserved area determination/correction unit 15 determines the unobserved area UOA(n+1) in the corrected organ model OM(n+1). For example, the unobserved area determination/correction unit 15 determines whether the unobserved area UOA(n) has become an observed area. It is determined whether or not the area has moved to the area UOA(n+1), and whether or not a new unobserved area UOA(n+1) has occurred is also determined.
- the unobserved area determination/correction unit 15 then superimposes the generated unobserved area UOA(n+1) on the corrected organ model OM(n+1) and outputs it to the output unit 16 .
- an organ model image in which the position and shape are corrected or a new unobserved area UOA(n+1) is superimposed on the new organ model OM(n+1) is displayed on the monitor 8 together with, for example, an endoscopic image. be done.
- the unobserved area determination/correction unit 15 may hold the unobserved area UOA(n+1) in the memory 14 .
- FIG. 11 is a flowchart showing the process of estimating the amount of change in the organ model in step S12 of FIG. 8 in the second embodiment.
- the estimation of the amount of change in the organ model by the organ model shape correction unit 13 is performed, for example, by detecting the expansion/contraction amount of the lumen diameter of the new organ model with respect to the existing organ model (step S21), and calculating the central axis of the lumen ( The amount of rotation about the lumen axis) is detected (step S22), the amount of expansion and contraction of the lumen along the lumen axis is detected (step S23), and the amount of movement of the lumen within the subject is detected (step S24). ).
- the order of detection is not limited to the illustrated one.
- FIG. 12 is a chart showing how changes in the organ model include expansion, rotation, and movement in the second embodiment.
- the change from the plurality of feature points SP(n) to the plurality of feature points SP(n+1) in the organ model OM includes, for example, expansion EXP of the lumen diameter, rotation ROT of the lumen about the lumen axis, and a movement MOV of the lumen within the subject.
- FIG. 13 is a flow chart showing the process of detecting the amount of enlargement/reduction in step S21 of FIG. 11 in the second embodiment.
- 14A and 14B are charts for explaining the processing for detecting the amount of enlargement/reduction in the second embodiment.
- the organ model shape correction unit 13 starts the process of detecting the amount of enlargement/reduction shown in FIG. Feature points SP(n+1) corresponding to the feature points SP(n) are detected in the new organ model OM(n+1) generated by the organ model generating unit 12 based on this (step S31).
- the organ model shape correction unit 13 calculates specific two points on the cross section CS(n) perpendicular to the lumen axis of the existing organ model OM(n). A distance D1 between two feature points SP(n) is detected (step S32).
- the organ model shape correction unit 13 detects the distance D1 on the cross section CS(n+1) perpendicular to the lumen axis of the new organ model OM(n+1), as shown in columns A2 and B2 of FIG. A distance D2 between two feature points SP(n+1) corresponding to the feature point SP(n) obtained is detected (step S33).
- the organ model shape correction unit 13 sets the ratio of the distance D2 to the distance D1 (D2/D1) as the expansion/contraction amount of the luminal diameter (step S34), and returns to the process of FIG.
- the ratio (D2/D1) is greater than 1, the lumen diameter is expanded, and when the ratio (D2/D1) is less than 1, the lumen diameter is reduced.
- FIG. 15 is a flowchart showing the rotation amount detection process in step S22 of FIG. 11 in the second embodiment.
- FIG. 16 is a chart for explaining the rotation amount detection process in the second embodiment.
- the organ model shape correction unit 13 performs image estimation by, for example, SLAM processing based on endoscope images acquired from the input unit 11 via the organ model generation unit 12 and acquired from the input unit 11.
- the first rotation amount ⁇ 1 of the distal end portion 2a1 of the insertion portion 2a is detected (step S41). For example, when the rotation amount of a plurality of endoscopic image information with different imaging times detected based on a specific object (feature point, etc.) is ⁇ 1, the organ model shape correction unit 13 determines the rotation amount of the distal end portion 2a1. is detected as ⁇ 1.
- the organ model shape correction unit 13 calculates the distal end portion 2a1 of the insertion portion 2a between the two times when the first rotation amount ⁇ 1 is detected. is detected as shown in column B of FIG. 16 (step S42).
- the organ model shape correction unit 13 detects the difference ( ⁇ 1 ⁇ 2) between the first rotation amount ⁇ 1 and the second rotation amount ⁇ 2 as the rotation amount of the organ (step S43), and returns to the processing of FIG. do.
- FIG. 17 is a flow chart showing the expansion/contraction amount detection process in step S23 of FIG. 11 in the second embodiment.
- FIG. 18 is a chart for explaining the expansion/contraction amount detection process in the second embodiment.
- the organ model shape correction unit 13 corrects two cross sections CS1(n) and CS2(n) perpendicular to the lumen axis including feature points, as shown in column A of FIG. is selected, and the distance L1 between the two cross sections CS1(n) and CS2(n) is detected (step S51).
- the organ model shape correction unit 13 corresponds to the two cross sections CS1(n) and CS2(n) from which the distance L1 is detected, as shown in column B of FIG. Two cross-sections CS1(n+1), CS2(n+1) perpendicular to the lumen axis including the feature points that .
- the organ model shape correcting unit 13 sets the ratio of the distance L2 to the distance L1 (L2/L1) as the expansion/contraction amount of the luminal diameter (step S53), and returns to the process of FIG.
- the ratio (L2/L1) is greater than 1, the lumen length is extended, and when the ratio (L2/L1) is less than 1, the lumen length is shortened.
- FIG. 19 is a flow chart showing the movement amount detection process in step S24 of FIG. 11 in the second embodiment.
- the organ model shape correction unit 13 corrects the existing organ model OM(n) based on the expansion/contraction amount detected in step S21, the rotation amount detected in step S22, and the expansion/contraction amount detected in step S23 (step S61).
- the organ model shape correction unit 13 detects the same feature points of the organ model before and after correction (step S62).
- the number of feature points to be detected may be one, but is preferably plural. Therefore, an example of detecting a plurality of feature points will be described below.
- the organ model shape correction unit 13 calculates the average distance of a plurality of identical feature points in the organ model before and after correction (step S63). Note that if the number of feature points to be detected is one in step S62, the processing in step S63 may be omitted, and the distance between the same feature points in the organ model before and after correction may be regarded as the average distance. .
- the organ model shape correction unit 13 determines whether the calculated average distance is equal to or greater than a predetermined threshold (step S64).
- step S63 the average distance calculated in step S63 is detected as the movement amount (step S65).
- step S64 if it is determined in step S64 that the distance is less than the threshold, it is detected that the movement amount is 0 (step S66). That is, in order to prevent erroneous detection, it is determined that the organ does not move when the average distance is less than the threshold.
- step S65 or step S66 After the processing of step S65 or step S66 is performed, return to the processing of FIG.
- FIG. 20 is a chart for explaining an example of a method of correcting the shape of the organ model in step S3A of FIG. 8 in the second embodiment.
- the shape of the organ model is corrected based on the amount of change in the organ model detected in step S12.
- the correction range at this time is defined as a fixed distance range (part of the organ model including the changed part) along the luminal axis, with the target area (changed part) for detecting the amount of change as a base point. can do.
- the fixing distance forward from the change site and the fixation distance behind the change site along the lumen axis may be the same distance or different distances.
- the correction range may be a range (a part of the organ model including the changed part) with at least one of the landmark and the position of the distal end portion 2a1 of the insertion section 2a as an end point.
- Landmarks when the organ is the large intestine include cecum IC and anus AN, which are the ends of the organ, liver flexure FCD, and splenic flexure FCS, which are the boundary between the fixed part and the movable part. These landmarks differ depending on the organ and can be detected by site recognition by AI.
- the organ model shape correction unit 13 can set the range of the organ model that is not to be corrected based on the type of organ. Then, the organ model shape correction unit 13 refers to the specific target type information corresponding to the type of organ, and calculates the amount of change.
- the organ model shape correction unit 13 may set the entire organ model as the correction range.
- the correction amount within the correction range is controlled according to the distance along the lumen axis, for example, with the correction amount in the area for which the amount of change is detected as 1, and the correction amount at the end point of the correction range as 0.
- FIG. 20 shows an example in which the correction range CTA is set with the position of the distal end portion 2a1 of the insertion portion 2a in the central portion of the transverse colon TC and the liver curvature FCD as endpoints.
- the correction amount of the area DA (specific example, the fold) that is the target of detecting the change amount is 1, and the correction amount of the end points is 0, and the lumen axis is It shows an example of controlling the correction amount according to the distance along. That is, the organ model shape correction unit 13 decreases the amount of correction of the shape of the organ model as the distance from the area DA (specific target) for which the amount of change is detected increases.
- the unobserved area UOA can be presented at the correct position. Become.
- the amount of change in the organ model can be detected by an appropriate method according to each of scaling, rotation, expansion and contraction, and movement.
- FIGS. 21 to 39 show the third embodiment of the present invention
- FIG. 21 is a flowchart showing processing of the image processing device 4 of the third embodiment.
- parts that are the same as those in the first and second embodiments are denoted by the same reference numerals, and descriptions thereof are omitted as appropriate, and different points are mainly described.
- step S1 When the process shown in FIG. 21 is started, the process of step S1 is performed to obtain one or more latest endoscopic images, and the process of step S11 is performed to obtain the distal end portion 2a1 of the insertion portion 2a from the endoscopic image. Estimate position and pose.
- step S2A is performed to generate an organ model to be imaged. At this time, if there is no unobserved region as shown in column B of FIG. It is the same as in the first and second embodiments in that it does not matter whether or not it is used.
- the organ model shape correction unit 13 estimates the amount of change in the intestinal fold (specific target) in the organ model (step S12B). If the position, shape, or the like of an organ changes, it may not be possible to establish correspondence between feature points between an existing organ model and a new organ model. On the other hand, the number of folds in a hollow organ does not change even if the position or shape of the organ changes, and the order of the folds does not change. Therefore, in this embodiment, folds are used to reliably estimate the amount of change in the organ model.
- the organ model shape correction unit 13 corrects the shape of the existing organ model based on the estimated amount of change in folds in the organ model (step S3B).
- step S4 After that, the process of step S4 is performed, and the information of the corrected organ model is output to the monitor 8 or the like.
- FIG. 22 is a flowchart showing the process of estimating the amount of change in folds in step S12B of FIG. 21 in the third embodiment.
- FIG. 23 is a chart for explaining the process of detecting the presence or absence of passing through a fold in the third embodiment.
- the organ model shape correction unit 13 generates an endoscopic image IMG(n) at the past time t(n) as shown in column A1 in FIG. 23 and the latest time t(n) as shown in column B1 or C1 in FIG. An endoscopic image IMG(n+1) at t(n+1) is acquired.
- the endoscopic image IMG(n) was used to generate an existing 3D organ model, and the endoscopic image IMG(n+1) was used to generate a new 3D organ model. It is an image.
- the organ model shape correction unit 13 searches for common feature points SP other than folds as tracking points in the endoscopic image IMG(n) and the endoscopic image IMG(n+1) captured at different times.
- the organ model shape correction unit 13 determines whether or not the distal end portion 2a1 of the insertion portion 2a has passed the fold CP1 located on the distal side in the vicinity of the feature point SP in the endoscopic image IMG(n). judge. Since column A in FIG. 23 relates to time t(n), as shown in column A2, the fold passage is not determined.
- the organ model shape correcting unit 13 determines that the fold CP1 has been passed, as shown in column B2 of FIG. 23 .
- the organ model shape correction unit 13 determines that the fold CP1 is not passed, as shown in column C2 of FIG.
- the organ model shape correction unit 13 determines whether or not there is a fold passage (step S71).
- the organ model shape correction unit 13 detects the same folds of the existing organ model and the new organ model based on the presence or absence of passing through the folds (step S72).
- FIG. 24 is a chart for explaining how folds in an endoscopic image are associated with folds in an organ model in the third embodiment.
- column A1 indicates the fold CP1 in the endoscopic image IMG(n)
- column A2 indicates the folds CP1 and CP2 in the endoscopic image IMG(n+1).
- column B1 indicates that the distal end portion 2a1 of the insertion portion 2a is at a position where only the fold CP1 is observed in the organ model OM(n).
- Column B2 indicates that the distal end portion 2a1 of the insertion portion 2a is at the position where the folds CP1 and CP2 are observed in the organ model OM(n+1).
- the organ model shape correction unit 13 After detecting the same fold in step S72, the organ model shape correction unit 13 detects the amount of change in the same fold (step S73).
- FIG. 25 is a chart for explaining how the amount of change in the same fold is detected in the third embodiment.
- FIG. 25 shows how three folds CP1(n), CP2(n), and CP3(n) are detected in the organ model OM(n) at time t(n).
- Column A2 in FIG. 25 shows three folds CP1 ( n+1), CP2(n+1), and CP3(n+1) are detected.
- the organ model shape correction unit 13 detects the amount of change by comparing the fold CP3(n) shown in column B1 of FIG. 25 with the fold CP3(n+1) shown in column B2 of FIG.
- FIG. 26 is a flow chart showing the process of detecting the amount of change of the same fold in step S73 of FIG. 22 in the third embodiment.
- Detection of the amount of change in the same fold by the organ model shape correction unit 13 is performed by, for example, detecting the amount of expansion or contraction of the diameter of the same fold in the new organ model with respect to the fold in the existing organ model (step S81), rotating The amount is detected (step S82), the expansion/contraction amount between two identical folds is detected (step S83), and the movement amount of the fold in the subject is detected (step S84).
- step S81 detecting the amount of expansion or contraction of the diameter of the same fold in the new organ model with respect to the fold in the existing organ model
- rotating The amount is detected (step S82)
- the expansion/contraction amount between two identical folds is detected
- the movement amount of the fold in the subject is detected (step S84).
- step S81 of FIG. 26 is, for example, in the description with reference to FIGS. Instead, the distance ratio D2/D1 of corresponding feature points on the same fold may be detected. Alternatively, the description with reference to FIGS. 13 and 14 may be applied as it is.
- FIG. 27 is a flow chart showing another example of processing for detecting the amount of expansion/reduction of the diameter in step S81 of FIG. 26 in the third embodiment.
- FIG. 28 is a chart for explaining another processing example for detecting the diameter expansion/reduction amount in the third embodiment.
- cross-sections CS(n) and CS(n+1) perpendicular to the lumen axis are generated so that the existing organ model and the new organ model include the same feature points on the corresponding folds. respectively.
- a line segment AB having the same length Dx is set on each of the cross sections CS(n) and CS(n+1) (step S91).
- at least one end point (for example, end point A) of the line segment AB may be the same feature point on the corresponding fold.
- the diameter ratio d(n+1)/d(n) is detected as the expansion/contraction amount of the lumen diameter in the fold (step S93), and the process returns to FIG.
- FIG. 29 is a graph for explaining an example of a method of correcting the amount of expansion/contraction of the diameter of the organ model in the third embodiment.
- FIG. 30 is a diagram for explaining an example of correcting the expansion/contraction amount of the diameter of the organ model within the correction range in the third embodiment.
- the amount of expansion/reduction may be corrected within the correction range including the fold for which the amount of expansion/reduction is detected.
- the correction range may be a fixed distance range before and after the fold, between two landmarks including the fold, or between the landmark including the fold and the position of the distal end portion 2a1 of the insertion portion 2a. is.
- the entire organ model may be set as the correction range.
- the diameter is changed by the ratio d(n+1)/d(n) at the fold position where the amount of expansion and contraction of the diameter is detected, and the correction range
- the graph shows a graph in which the rate of change in diameter is set such that the change in diameter ratio is 1 at both end points.
- the diameter change rate is ⁇ 1+([ ⁇ d(n+1)/d(n) ⁇ -1]/ 2) ⁇ . Note that the graph shown in FIG. 29 is an example, and the rate of change in diameter may be configured as a curve.
- step S41 detection of the first rotation amount ⁇ 1 based on the endoscopic image may be performed by focusing on folds in the endoscopic image.
- FIG. 31 is a graph for explaining an example of a method for correcting the amount of rotation of an organ model in the third embodiment.
- correction can be performed using part or the entire organ model as a correction range, as with the diameter.
- the lumen axis of the organ model in the correction range is estimated.
- the rotation amount is changed by ( ⁇ 1- ⁇ 2) at the position of the fold where the rotation amount is detected, Change the amount of rotation so that the amount is zero.
- the graph shown in FIG. 31 is an example, and the change in the amount of rotation may be configured as a curved line.
- FIG. 32 is a chart for explaining the process of detecting the expansion/contraction amount in step S83 of FIG. 26 in the third embodiment.
- column A1 indicates the endoscopic image IMG(n) captured at time t(n)
- column A2 indicates the endoscopic image IMG(n+1) captured at time t(n+1).
- the organ model shape correction unit 13 uses AI, for example, to detect two identical folds in the endoscopic image IMG(n) and the endoscopic image IMG(n+1).
- AI for example, to detect two identical folds in the endoscopic image IMG(n) and the endoscopic image IMG(n+1).
- the first fold CP1(n) and the second fold CP2(n) are detected in the endoscopic image IMG(n)
- the endoscopic image IMG(n+1) is the first fold CP2(n).
- One fold CP1(n+1) and a second fold CP2(n+1) have been detected.
- the amount of expansion/contraction is detected based on the depth value difference of each fold using SLAM, for example.
- SLAM depth value difference of each fold
- the distance L1 between folds in the existing organ model OM(n) as shown in column B1 of FIG. 32 becomes the distance L2 shown in column B2 of FIG. 32 in the new organ model OM(n+1). , to correct the shape of the organ model.
- the expansion and contraction amount can be corrected within an appropriate correction range including the folds for which the expansion and contraction amount is detected, in the same manner as described above.
- the correction range may be between a landmark in the opposite direction to the fold that the distal end portion 2a1 of the insertion portion 2a passed last and the fold that is closest to the distal end portion 2a1 and has not yet passed.
- FIG. 33 is a graph for explaining an example of a method for correcting the expansion/contraction amount of an organ model in the third embodiment.
- FIG. 34 is a diagram for explaining an example of correcting the expansion/contraction amount of an organ model in the third embodiment.
- the organ model shape correction unit 13 first determines which part of the organ model OM(n) is to be corrected based on the moving direction of the distal end portion 2a1 of the insertion portion 2a. For example, in FIG. 34, it is assumed that the distal end portion 2a1 of the insertion portion 2a moves from the splenic flexure FCS toward the liver flexure FCD. In this case, the organ model shape correction unit 13 sets the hepatic curve FCD side (cecum IC side) in the transverse colon TC of the organ model OM(n) as a correction range as indicated by hatching.
- the organ model shape correction unit 13 calculates the length x Calculate
- the organ model shape correcting unit 13 sets the hepatic flexure FCD, which is a landmark, as a fixed position, and the amount of expansion and contraction from the fixed position to the fold CP2(n+1) at time t(n+1), for example, the shortened length y is calculated based on the change in the distance between folds from L1 to L2. It can be seen that the length along the lumen axis from the landmark to the fold CP2(n+1) is now (xy).
- the expansion/contraction ratio of the organ model is (x - y)/x.
- the organ model shape correction unit 13 corrects the organ model OM(n ) is corrected.
- the graph shown in FIG. 33 is an example, and the change in the expansion/contraction rate may be configured as a curve.
- an organ model OM(n+1) as shown in FIG. 34 is calculated.
- FIG. 35 is a flowchart for explaining the process of detecting the amount of movement in step S84 of FIG. 26 in the third embodiment.
- the position of the distal end portion 2a1 of the insertion portion 2a is estimated when the same folds of the existing organ model and the new organ model are photographed and detected (step S101).
- the estimation of the position of the distal end portion 2a1 may be performed based on the endoscopic image as described above, or may be performed based on the information input from the distal end position detection device 5.
- step S102 it is determined whether the difference between the position of the tip portion 2a1 when the folds are photographed in the existing organ model and the position of the tip portion 2a1 when the folds are photographed in the new organ model is a predetermined distance or more. Determine (step S102).
- step S103 if the distance is greater than or equal to the predetermined distance, it is determined that the organ has moved, and that distance is detected as the amount of movement (step S103).
- step S104 if the distance is less than the predetermined distance in step S102, it is determined that the organ has not moved, and the amount of movement is detected as 0 (step S104).
- the reason why it is determined that the organ has moved only when the distance is greater than or equal to a predetermined distance is to prevent an erroneous determination due to a calculation error.
- FIG. 36 is a diagram showing an example of detecting the same folds of an existing organ model and a new organ model in order to determine organ movement in the third embodiment.
- the dotted line indicates the position of the organ OBJ(n) of the subject before movement (during the first imaging at time t(n)), and the solid line indicates the position after movement (second imaging at time t(n+1)). time) of the subject's organ OBJ(n+1). Based on the order of the fold from the splenic flexure FCS, which is a landmark, the same fold is detected in the first imaging and the second imaging.
- the first fold CP1(n) is located at the position of the first fold CP1(n+1), the second fold CP2 ( n) has moved to the position of the second fold CP2(n+1), and the third fold CP3(n) has moved to the position of the third fold CP3(n+1).
- the distal end portion 2a1 of the insertion portion 2a passes through the first fold CP1 and the second fold CP2 and is at a position facing the third fold CP3. is the fold CP3.
- Unobserved areas UOA(n) and UOA(n+1) exist near the far side of the third folds CP3(n) and CP3(n+1) when viewed from the distal end portion 2a1 of the insertion portion 2a.
- the unobserved area determination/correction unit 15 calculates correct positions at times t(n) and t(n+1) and displays them on the monitor 8 or the like.
- FIG. 37 is a chart for explaining a method of correcting the shape of the organ model according to the movement of the organ in the third embodiment.
- the organ model shape correction unit 13 corrects the positions of the folds CP(n) and CP(n+1) based on the position of the distal end portion 2a1 of the insertion portion 2a estimated in step S101. calculate.
- the organ model shape correction unit 13 determines the center of the folds CP(n) and CP(n+1) whose movement is detected and the center of the folds CP(n) and CP(n+1).
- a straight line connecting the center positions of the landmarks before and after is generated. Specifically, for example, straight lines SL1(n) and SL1(n+1) connecting the center position of the liver curve FCD and the centers of the folds CP(n) and CP(n+1), respectively, and the center position of the splenic curve FCS and the fold CP( n) and CP(n+1), straight lines SL2(n) and SL2(n+1) are generated.
- the organ model shape correction unit 13 calculates the distance from a predetermined point on the straight line SL1(n) to a predetermined point on the straight line SL1(n+1) for each point. is calculated as the amount of movement of As a method of setting each point, for example, the intersection of a plane perpendicular to a straight line connecting the center position of the hepatic curve FCD and the center position of the splenic curve FCS and the straight lines SL1(n) and SL1(n+1) is set as each point. There is a way.
- FIG. 38 is a graph for explaining a method of correcting the shape of the organ model according to the movement of the organ in the third embodiment.
- the correction range is between the liver flexure FCD and the splenic flexure FCS.
- the amount of movement is monotonically increased as the position increases, and the amount of movement is monotonically decreased as the linear position is moved from the fold CP to the splenic flexure FCS.
- the graph shown in FIG. 38 is an example, and the change in the amount of movement may be configured as a curved line.
- the organ model shape correction unit 13 corrects the distance between the hepatic flexure FCD and the splenic flexure FCS of the organ model OM(n) according to the calculated distance. Then, an organ model OM(n+1) is calculated.
- FIG. 39 is a chart showing a display example of an organ model and unobserved regions in the third embodiment.
- the corrected organ model OM(n+1) is displayed on the monitor 8 .
- FIG. 39 shows the corrected organ model OM(n+1) displayed on the monitor 8 .
- the organ model OM(n+1) displays a range from the distal end portion 2a1 of the insertion portion 2a to the cecum IC via the liver flexure FCD.
- an area where the organ model OM(n+1) is not generated may be displayed as an unobserved area UOA(n+1).
- the position of the distal end portion 2a1 of the insertion portion 2a and the visual field direction are displayed on the organ model OM(n+1) by, for example, triangular marks. When a triangular mark is used, one vertex of the triangular mark indicates the position of tip portion 2a1, and two sides sandwiching the vertex indicate the viewing direction and viewing range. However, other marks may of course be used.
- Column B in FIG. 39 shows an example of displaying only the organ model OM(n+1) after the position of the unobserved area UOA(n+1) in the movement direction of the distal end portion 2a1 of the insertion portion 2a.
- the distal end portion 2a1 is moving from the cecum IC to the liver flexure FCD and further moving from the liver flexure FCD to the splenic flexure FCS.
- the organ model OM(n+1) before the position of the unobserved area UOA(n+1) may not be displayed as indicated by the dotted line.
- Column C in FIG. 39 is an example in which the endoscope image IMG(n+1) is displayed on the monitor 8 and the direction from the distal end portion 2a1 to the unobserved area is displayed by the arrow AR(n+1). At this time, the length (or thickness, color, etc.) of the arrow AR(n+1) may be used to further display the distance from the tip portion 2a1 to the unobserved area.
- the fold CP may not be clearly imaged.
- the fold CP is used for correcting the organ model OM in this embodiment. Therefore, when it is necessary to clearly image the fold CP, the movement speed of the tip portion 2a1 may be displayed on the monitor 8, and when the movement speed is equal to or greater than a threshold value, an alert may be issued by display or voice. good.
- substantially the same effects as those of the above-described first and second embodiments can be obtained, and even if changes occur in the organ, the order of folds and the number of folds will not be affected.
- Identical folds can be detected by determining whether or not the folds pass through. By detecting the presence or absence of change in the same fold and the amount of change, the change in shape of the organ can be accurately estimated.
- the unobserved region can be presented correctly, and lesions can be prevented from being overlooked.
- the shape of the organ model may be corrected based on information obtained from the endoscope 2 or peripheral equipment of the endoscope 2.
- information obtained from the endoscope 2 or a peripheral device of the endoscope 2 may be combined with endoscope image information to correct the shape of the organ model.
- the organ when air is supplied from the endoscope 2 into an organ, the organ expands and changes its shape. Therefore, the expansion amount of the organ may be estimated based on the amount of air supplied into the organ, and the shape of the organ model may be corrected.
- the present invention is mainly described as an image processing apparatus for an endoscope system.
- it may be a program for causing a computer to perform processing similar to that of an image processing apparatus, a computer-readable non-temporary recording medium (non-volatile storage medium) recording the program, etc. I don't mind.
- the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the gist of the present invention at the implementation stage.
- various aspects of the invention can be formed by appropriate combinations of the plurality of constituent elements disclosed in the above embodiments. For example, some components may be omitted from all components shown in the embodiments. Furthermore, components across different embodiments may be combined as appropriate. As described above, it goes without saying that various modifications and applications are possible without departing from the gist of the invention.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Endoscopes (AREA)
Abstract
画像処理装置(4)は、ハードウェアを有するプロセッサ(4a)を備える。プロセッサ(4a)は、内視鏡から内視鏡画像情報を取得して臓器モデルを生成した後、内視鏡画像情報の取得を続行し、最新の内視鏡画像情報に基づいて生成済みの臓器モデルの形状を補正し、補正された臓器モデルの情報を出力するように構成される。
Description
本発明は、内視鏡画像情報を取得して臓器モデルを生成する画像処理装置、画像処理方法、プログラム、およびプログラムを記録している不揮発性記憶媒体に関する。
内視鏡検査においては、検査対象の臓器の全ての領域を観察して、病変の見逃しを防ぐことが求められる。
例えば、米国特許公報10682108号には、2次元の内視鏡画像に基づき、DSO(Direct Sparse Odometry)およびニューラルネットワーク(Neural Network)を用いて、3次元の臓器モデルを作成する技術が記載されている。3次元の臓器モデルは、例えば、内視鏡の位置を把握することに利用される。また、臓器モデルにおいて、視覚化されなかった部分(つまり、未観察部分)を示すことで、未観察の領域を把握することにも利用される。
ところで、臓器によっては経時的に形状が変化するものがある。また、内視鏡を抜き差しする動作によって、臓器の形状、および体内における臓器の位置が変化することがある。
米国特許公報10682108号の技術により過去に作成された臓器モデルは、臓器の形状や位置が変化すると、現状の臓器と整合しなくなることがある。具体的に、同じ領域に対して複数の臓器モデルが生成される、または未観察領域の表示に現状とのずれが生る、などである。すると、未観察領域へのガイド表示が、正しい方向や位置を示さなくなることがある。
本発明は上記事情に鑑みてなされたものであり、現状の臓器に整合する臓器モデルを生成できる画像処理装置、画像処理方法、プログラム、およびプログラムを記録している不揮発性記憶媒体を提供することを目的としている。
本発明の一態様による画像処理装置は、ハードウェアを有するプロセッサを備え、前記プロセッサは、内視鏡から内視鏡画像情報を取得して臓器モデルを生成した後、前記内視鏡画像情報の取得を続行し、最新の内視鏡画像情報に基づいて生成済みの前記臓器モデルの形状を補正し、補正された前記臓器モデルの情報を出力するように構成されている。
本発明の一態様による画像処理方法は、ハードウェアを有するプロセッサが、内視鏡から内視鏡画像情報を取得して臓器モデルを生成した後、前記内視鏡画像情報の取得を続行し、最新の内視鏡画像情報に基づいて生成済みの前記臓器モデルの形状を補正し、補正された前記臓器モデルの情報を出力する。
本発明の一態様によるプログラムは、コンピュータに、内視鏡から内視鏡画像情報を取得させて臓器モデルを生成させた後、前記内視鏡画像情報の取得を続行させ、最新の内視鏡画像情報に基づいて生成済みの前記臓器モデルの形状を補正させ、補正された前記臓器モデルの情報を出力させる。
本発明の一態様によるプログラムを記録している不揮発性記憶媒体は、コンピュータに、内視鏡から内視鏡画像情報を取得させて臓器モデルを生成させた後、前記内視鏡画像情報の取得を続行させ、最新の内視鏡画像情報に基づいて生成済みの前記臓器モデルの形状を補正させ、補正された前記臓器モデルの情報を出力させるプログラムを記録している。
以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態により本発明が限定されるものではない。
なお、図面の記載において、同一または対応する要素には、適宜、同一の符号を付している。また、図面は模式的なものであり、1つの図面内における、各要素の長さの関係、各要素の長さの比率、各要素の数量などは、説明を簡潔にするために現実と異なる場合があることに留意する必要がある。さらに、複数の図面の相互間においても、互いの長さの関係や比率が異なる部分が含まれている場合がある。
[第1の実施形態]
[第1の実施形態]
図1から図7は本発明の第1の実施形態を示したものであり、図1は、第1の実施形態における内視鏡システム1の構成を示す斜視図である。
内視鏡システム1は、例えば、内視鏡2と、光源装置3と、画像処理装置4と、先端位置検出装置5と、吸引ポンプ6と、送水タンク7と、モニタ8とを備える。これらのうち内視鏡2以外は、図1に示すように、カート9に載せられているか、または固定されている。内視鏡システム1は、例えば、被検体の検査や処置を行う検査室に配置される。光源装置3と、画像処理装置4とは別体であってもよいし、一体化した光源一体型画像処理装置であってもよい。先端位置検出装置5は、例えば磁場を発生させることで内視鏡先端の位置を把握する技術を適用できる。また先端位置把握装置5として公知の挿入形状検出装置(UPD)を適用することもできる。
内視鏡2は、挿入部2aと、操作部2bと、ユニバーサルケーブル2cとを備える。
挿入部2aは、被検体内に挿入される部位であり、先端側から基端側に向かって順に、先端部2a1、湾曲部2a2、可撓管部2a3を備えている。先端部2a1には、撮像光学系および撮像素子2d(図2参照)を含む撮像ユニット、磁気コイル2e(図2参照)、ライトガイドの先端部、および処置具チャンネルの先端側開口などが配置されている。
操作部2bは、挿入部2aの基端側に配置され、手で各種の操作を行う部位である。
ユニバーサルケーブル2cは、例えば操作部2bから延出され、内視鏡2を光源装置3、画像処理装置4、吸引ポンプ6、および送水タンク7へ接続するための接続ケーブルである。
内視鏡2の、挿入部2a、操作部2b、およびユニバーサルケーブル2cの内部には、ライトガイド、信号ケーブル、吸引チャンネルを兼ねる処置具チャンネル、および送気送水チャンネルが挿通されている。
ユニバーサルケーブル2cの延出端に設けられたコネクタは、光源装置3に接続される。コネクタから延出するケーブルは、画像処理装置4に接続される。従って、内視鏡2は、光源装置3および画像処理装置4に接続される。
光源装置3は、光源として、LED(Light Emitting Diode)光源、レーザ光源、またはキセノン光源などの発光デバイスを備える。コネクタを光源装置3に接続することで、ライトガイドへの照明光の伝送が可能となる。
光源装置3からライトガイドの基端面に入射した照明光は、ライトガイドを伝送され、挿入部2aの先端部2a1に配置されたライトガイドの先端面から被検体へ向けて照射される。
また、吸引チャンネルおよび送気送水チャンネルは、例えば光源装置3を経由して、吸引ポンプ6および送水タンク7へそれぞれ接続されている。従って、コネクタを光源装置3に接続することで、吸引ポンプ6による吸引チャンネルの吸引と、送気送水チャンネルを経由した送水タンク7からの送水と、送気送水チャンネルを経由した送気と、が可能となる。
吸引ポンプ6は、被検体から液体などを吸引するために用いられる。
送水タンク7は、生理食塩水などの液体を貯留するタンクである。光源装置3内の送気送水用のポンプから送水タンク7へ加圧した気体を送ることで、送水タンク7内の液体が送気送水チャンネルへ送水される。
先端位置検出装置5は、挿入部2aに設けられている1つ以上の磁気コイル2e(図2参照)から発生する磁気を磁気センサ(位置検出センサ)により検出することで、挿入部2aの形状を検出する。先端位置検出装置5により、挿入部2aの先端部2a1の位置および姿勢が検出される。
画像処理装置4は、撮像素子2d(図2参照)を駆動するための駆動信号を、信号ケーブルを経由して送信する。撮像素子2dから出力される撮像信号は、信号ケーブルを経由して、画像処理装置4へ送信される。
画像処理装置4は、撮像素子2dにより取得された撮像信号に画像処理を行い、表示可能な画像信号を生成して出力する。また、画像処理装置4には、先端位置検出装置5から取得される挿入部2aの先端部2a1の位置情報が入力される。なお、画像処理装置4は、内視鏡2だけでなく、光源装置3、先端位置検出装置5、吸引ポンプ6、モニタ8などを含む内視鏡システム1全体を制御してもよい。
モニタ8は、画像処理装置4から出力された画像信号により、内視鏡画像を含む画像を表示する。
図2は、第1の実施形態における、主に画像処理装置の構造的および機能的な構成を示す図である。なお、図2において、光源装置3、吸引ポンプ6、送水タンク7等の図示は省略している。
内視鏡2は電子内視鏡として構成され、挿入部2aの先端部2a1に、撮像素子2dと、磁気コイル2eとを備える。
撮像素子2dは、撮像光学系により結像された被検体の光学像を撮像して、撮像信号を生成する。撮像素子2dは、例えばフレーム単位で撮像を行い、複数フレームの画像に係る撮像信号を時系列的に生成する。生成された撮像信号は、撮像素子2dに接続された信号ケーブルを経由して、画像処理装置4へ順次出力される。
磁気コイル2eが発生した磁気に基づき、先端位置検出装置5により検出された挿入部2aの先端部2a1の位置および姿勢は、画像処理装置4へ出力される。
画像処理装置4は、入力部11と、臓器モデル生成部12と、臓器モデル形状補正部13と、メモリ14と、未観察領域判定・補正部15と、出力部16と、記録部17と、を備えている。
入力部11は、撮像素子2dからの撮像信号と、先端位置検出装置5からの挿入部2aの先端部2a1の位置および姿勢の情報と、を入力する。
臓器モデル生成部12は、入力部11から撮像信号に係る内視鏡画像情報(以下、適宜に内視鏡画像という)を取得する。そして、臓器モデル生成部12は、内視鏡画像から挿入部2aの先端部2a1の位置および姿勢を検出する。また、臓器モデル生成部12は、入力部11を経由して、先端位置検出装置5から挿入部2aの先端部2a1の位置および姿勢の情報を必要に応じて取得する。さらに、臓器モデル生成部12は、先端部2a1の位置および姿勢と、内視鏡画像とに基づいて、3次元の臓器モデルを生成する。
臓器モデル形状補正部13は、最新の内視鏡画像に基づいて、過去に生成済みの臓器モデル(既存の臓器モデル)の形状を補正する。
メモリ14は、補正された臓器モデルを記憶する。
未観察領域判定・補正部15は、補正された臓器モデルにおける未観察領域を判定し、補正された臓器モデルに応じて未観察領域の位置および形状を補正する。未観察領域の位置および形状は、必要に応じてメモリ14に記憶される。
出力部16は、補正された臓器モデルの情報を出力する。さらに出力部16は、必要に応じて、未観察領域の情報も出力する。
記録部17は、画像処理装置4により画像処理され、出力部16から出力された内視鏡画像情報を不揮発に記憶する。なお、記録部17は、画像処理装置4の外部に設けられた記録装置でも構わない。
また、出力部16から出力された臓器モデルの情報(必要に応じて、さらに未観察領域の情報)は、臓器モデル画像として、例えば内視鏡画像と共にモニタ8に表示される。
図2では画像処理装置4の各ハードウェアの機能的な構成を示したが、図3は、第1の実施形態の画像処理装置4を構造単位でみた場合の構成の一例を示すブロック図である。
図3に示すように、画像処理装置4は、ハードウェアを有するプロセッサ4aと、メモリ4bとを備える。プロセッサ4aは、例えば、CPU(Central Processing Unit:中央処理装置)等を含むASIC(Application Specific Integrated Circuit:特定用途向け集積回路)、FPGA(Field Programmable Gate Array)、または、GPU(Graphics Processing Unit)等を備える。
メモリ4bは、図2のメモリ14を含み、例えば、RAM(Random Access Memory)などの揮発性の記憶媒体と、ROM(Read Only Memory)(またはEEPROM(Electrically Erasable Programmable Read-Only Memory))などの不揮発性の記憶媒体とを備える。RAMは、処理対象の画像、実行時の処理パラメータ、外部から入力されたユーザ設定値などの各種情報を一時的に記憶する。ROMは、処理プログラム(コンピュータプログラム)、処理パラメータの規定値、内視鏡システム1の電源をオフにしても記憶しておくべきユーザ設定値などの各種情報を不揮発に記憶する。
図3に示すプロセッサ4aが、メモリ4bに記憶された処理プログラムを読み込んで実行することにより、図1に示したような画像処理装置4の各種機能が果たされる。ただし、画像処理装置4の各種機能の全部または一部を、専用の電子回路により果たすように構成しても構わない。
また、ここでは、メモリ4bに処理プログラムが記憶されている例を説明したが、処理プログラム(または処理プログラムの少なくとも一部)は、フレキシブルディスク、CD-ROM(Compact Disc Read only memory)、DVD(Digital Versatile Disc)、もしくはブルーレイディスク(Blu-ray Disc)等の可搬記憶媒体、ハードディスクドライブもしくはSSD(Solid State Drive)等の記憶媒体、クラウド上の記憶媒体などに記憶されていても構わない。この場合、外部の記憶媒体から処理プログラムを読み込みメモリ4bに記憶させ、プロセッサ4aが処理プログラムを実行するようにすればよい。
図4は、第1の実施形態の画像処理装置4の処理を示すフローチャートである。
内視鏡システム1の電源がオンになり、内視鏡2が撮像を開始して撮像信号を出力し始めると、画像処理装置4は、図4に示す処理を、撮像信号(内視鏡画像情報)が例えば1フレーム分入力される毎に実行する。
画像処理装置4は、入力部11により、最新の1枚以上の内視鏡画像を取得する(ステップS1)。
臓器モデル生成部12は、取得した1枚以上の内視鏡画像に基づき、撮像対象の臓器モデルを生成する(ステップS2)。3次元の臓器モデルを生成するには、異なる位置で撮像された複数枚の内視鏡画像を用いることが好ましいが、AI(Artificial Intelligence:人工知能)を用いれば、1枚の内視鏡画像から3次元の臓器モデルを生成することも可能である。
臓器モデル形状補正部13は、最新の内視鏡画像に基づいて、過去に生成済みの臓器モデル(既存の臓器モデル)の形状を補正する(ステップS3)。
ここで、ステップS2において取得した内視鏡画像が、内視鏡2が撮像を開始した1枚目の画像である場合、生成済みの臓器モデルはないために、臓器モデル形状補正部13は補正を行わず、臓器モデル生成部12から取得した臓器モデルをメモリ14に記憶させる。
また、ステップS2において取得した内視鏡画像が、内視鏡2が撮像を開始した2枚目以降の画像である場合、臓器モデル形状補正部13は、臓器モデル生成部12から、最新の内視鏡画像に基づいて生成された新規の臓器モデルを取得し、必要に応じて最新の内視鏡画像も取得する。さらに、臓器モデル形状補正部13は、メモリ14から既存の臓器モデルを取得する。そして、臓器モデル形状補正部13は、最新の内視鏡画像と、新規の臓器モデルと、の少なくとも一方に基づき、既存の臓器モデルに対する補正が必要であるか否かを判定する。補正が必要であると判定した場合、臓器モデル形状補正部13は、新規の臓器モデルに基づき、既存の臓器モデルを補正する。臓器モデル形状補正部13は、補正した臓器モデルをメモリ14に記憶させる。
出力部16は、臓器モデル形状補正部13により補正された臓器モデルの情報をモニタ8へ出力する(ステップS4)。これにより、モニタ8には、臓器モデル画像が表示される。
上述したように、図4に示す処理は、最新の内視鏡画像が取得される毎に実行される。従って、ユーザは、最新の内視鏡画像情報に基づいて生成された、現状の臓器に整合する臓器モデルをモニタ8上で確認できる。
図5は、第1の実施形態において、臓器モデル生成部12による臓器モデルの生成を説明するための図である。
臓器モデル生成部12は、例えば、ビジュアルSLAM(Visual Simultaneous Localization And Mapping)により3D臓器モデルを生成する。臓器モデル生成部12は、挿入部2aの先端部2a1の位置および姿勢を、ビジュアルSLAMの処理により推定してもよいし、先端位置検出装置5から入力された情報を用いても構わない。
臓器モデル生成部12は、3次元の臓器モデルを生成する際に、まず初期化を行う。初期化に際して、キャリブレーションにより内視鏡2の内部パラメータが既知であるとする。臓器モデル生成部12は、初期化として、例えばSfM(Structure from Motion)により、内視鏡2の自己位置と3次元位置を推定する。ここで、SLAMは、実時間性を前提として例えば時間的に連続する動画像などを入力とするのに対し、SfMは、実時間性を前提としない複数の画像を入力とする。
初期化を行った後に、内視鏡2が移動したものとする。図5には、時刻がt(n)、t(n+1)、t(n+2)と推移するのに応じて、挿入部2aの先端部2a1の位置が変化している様子を示している。
このとき、臓器モデル生成部12は、複数フレームの内視鏡画像において対応する点を探索する。
具体的に、図5の例では、時刻t(n)で撮像された内視鏡画像IMG(n)と、時刻t(n)よりも後の時刻t(n+1)で撮像された内視鏡画像IMG(n+1)と、時刻t(n+1)よりも後の時刻t(n+2)で撮像された内視鏡画像IMG(n+2)とにおいて、対応する点を探索する。
例えば、被検体の臓器OBJにおける点P1に対応する画像点IP1が内視鏡画像IMG(n)および内視鏡画像IMG(n+1)で探索されて、内視鏡画像IMG(n+2)からは探索されず、被検体の臓器OBJにおける点P2に対応する画像点IP2が内視鏡画像IMG(n)では探索されず、内視鏡画像IMG(n+1)および内視鏡画像IMG(n+2)で探索されている。
次に、臓器モデル生成部12は、内視鏡2の位置および姿勢を推定する(トラッキング)。内視鏡2(より一般にはカメラ)の位置および姿勢を推定する問題は、いわゆるPnP問題と言われ、ワールド座標系におけるn点の3次元座標と、n点が観測された画像座標とから、カメラ(本実施形態では内視鏡2)の位置および姿勢を推定する問題である。
まず、臓器モデル生成部12は、3次元位置が既知な複数の点と、複数の点の画像上の位置とに基づき、内視鏡2の姿勢を推定する。
続いて、臓器モデル生成部12は、3Dマップ上に点を登録(マッピング)する。つまり、姿勢が既知となった内視鏡2により得られた複数の内視鏡画像に写っている共通の点の対応が取れることで、その点の3次元位置が分かる(三角測量)。
その後、臓器モデル生成部12は、上述したトラッキングとマッピングとを繰り返して行うことで、内視鏡画像上の任意の点の3次元位置を知ることができ、臓器モデルが生成される。
図6は、第1の実施形態において、臓器モデルの全体像と、生成、補正、表示される臓器モデルの例を示す図表である。
図6のA欄は、臓器モデルOMの全体像を示している。ここでは臓器モデルOMの一例として、腸管、具体的には結腸の臓器モデルを示しているが、これには限定されない。図6のA欄において、ICは盲腸、ANは肛門、FCDは肝彎曲(右結腸曲)、FCSは脾彎曲(左結腸曲)、TCは横行結腸を示す。
図6のB欄は、盲腸IC側から肝彎曲FCDを経て脾彎曲FCS側へ向け内視鏡2の挿入部2aを移動するときに生成される臓器モデルOMの様子を示している。なお、図6のB~Dの各欄における三角は、挿入部2aの先端部2a1から被検体を観察するときの視野角の様子を示している。
図6のB左欄では、盲腸IC近傍の臓器モデルOMが生成されている。
図6のB中央欄では、挿入部2aが肝彎曲FCDを通過して横行結腸TC側へ移動しつつあるため、盲腸ICから肝彎曲FCD、および横行結腸TCの一部の臓器モデルOMが生成されている。
図6のB右欄は、図6のB中央欄の変形例を示している。図6のB中央欄の臓器モデルOMの内、B右欄において点線で示されている部分には未観察領域がないものとする。このとき、点線で示す既存の臓器モデル部分は、メモリ14に保持してもしなくても良いし、モニタ8に表示してもしなくても構わない。
図6のC欄は、破線で示す部分が補正前の臓器モデルOM1を示し、実線で示す部分が補正後の臓器モデルOM2を示している。補正後の臓器モデルOM2が生成されると、補正前の臓器モデルOM1は削除される。
図6のD欄に示すように、モニタ8には、補正後の臓器モデルOM2が表示される。
図7は、第1の実施形態において、特徴点に基づき臓器モデルの変化を検出する例を説明するための図である。特徴点は、内視鏡画像情報に含まれる特定対象の1つである。
図7のA1欄は、時刻t(n)において撮像された内視鏡画像IMG(n)の様子を示している。また、図7のA2欄は時刻t(n+1)において撮像された内視鏡画像IMG(n+1)の様子を示している。内視鏡画像IMG(n)中の複数の特徴点SP(n)と、内視鏡画像IMG(n+1)中の複数の特徴点SP(n+1)とは、対応する同一の特徴点(同じ特徴量をもつ点)である。
図7のB1欄は、時刻t(n)における被検体の臓器OBJ(n)と、内視鏡2の撮像領域IA(n)を示している。図7のB2欄は、時刻t(n+1)における被検体の臓器OBJ(n+1)と、内視鏡2の撮像領域IA(n+1)を示している。B1欄とB2欄を比較すると、時刻t(n+1)における被検体の臓器OBJ(n+1)の管腔径は、時刻t(n)における被検体の臓器OBJ(n)の管腔径よりも拡大している。
図7のC1欄は、時刻t(n)における臓器モデルOM(n)と、撮像領域IA(n)に対応する臓器モデル領域OMA(n)を示している。図7のC2欄は、時刻t(n+1)における臓器モデルOM(n+1)と、撮像領域IA(n+1)に対応する臓器モデル領域OMA(n+1)を、臓器モデルOM(n)に対比して示している。
図7のD欄は、図7のC2欄に示す断面CSにおいて、臓器モデル領域OMA(n)中の複数の特徴点SP(n)と、複数の特徴点SP(n)に対応する臓器モデル領域OMA(n+1)中の複数の特徴点SP(n+1)とを、特徴量、輝度値、輝度勾配値などを用いて検出する様子を示す。時刻t(n+1)では管腔径が拡大しているため、特徴点SP(n+1)は、特徴点SP(n)が径方向に広がるように移動した点となっている。
図7のE欄は、時刻t(n)と時刻t(n+1)において対応する点の内、既存の臓器モデルOM(n)上の点OMP(n)を削除して、最新の内視鏡画像から取得した点OMP(n+1)により新たな臓器モデルOM(n+1)を生成する様子を示している。
このような第1の実施形態によれば、生成済みの臓器モデルの形状を補正するようにしたため、現状の臓器の形状に整合する臓器モデルを生成できる。また、既存の臓器モデルOM(n)上の点OMP(n)を削除するため、同じ領域に対して複数の臓器モデルが生成されることがなく、適切な臓器モデルとなる。
[第2の実施形態]
[第2の実施形態]
図8から図20は本発明の第2の実施形態を示したものであり、図8は第2の実施形態の画像処理装置4の処理を示すフローチャートである。第2の実施形態において、第1の実施形態と同様である部分については同一の符号を付して説明を適宜省略し、異なる点を主に説明する。
図8に示す処理を開始すると、画像処理装置4がステップS1の処理を行って最新の1枚以上の内視鏡画像を取得し、取得した内視鏡画像から臓器モデル生成部12が挿入部2aの先端部2a1の位置および姿勢を推定する(ステップS11)。
次に、推定した挿入部2aの先端部2a1の位置および姿勢に基づき、臓器モデル生成部12が撮像対象の臓器モデルを生成する(ステップS2A)。
そして、臓器モデル形状補正部13が、過去に生成済みの臓器モデル(既存の臓器モデル)に対する、ステップS2Aで生成した現在の撮像対象の臓器モデル(新規の臓器モデル)の変化部位を特定し、変化部位の変化量を推定する(ステップS12)。変化量の推定は、例えば、既存の臓器モデルと新規の臓器モデルの各断面において対応する点(特徴点など)の変化量に基づき行う。例えば、内視鏡画像情報が1フレーム分入力される毎に図4に示す処理が実行される場合、変化量の算出も1フレーム毎に行われる。
続いて、臓器モデル形状補正部13が、推定した臓器モデルの変化量に基づき、既存の臓器モデルの形状を補正する(ステップS3A)。
その後、ステップS4の処理を行って、補正された臓器モデルの情報をモニタ8等へ出力する。
図9は、第2の実施形態において、異なる時刻の臓器モデルの変化量を推定する様子を示す図表である。
なお、想定する臓器モデルの全体像は、図6のA欄に示したものである。また、未観察領域がない場合に、図6のB欄において点線で示す臓器モデル部分を、メモリ14に保持してもしなくても良いし、モニタ8に表示してもしなくても構わないことは、第1の実施形態と同様である。
図9のA左欄は、時刻t(n)の臓器モデルOM(n)中における、変化量を検出する対象の臓器モデル領域OMA(n)を示している。図9のA右欄は、時刻t(n+1)の臓器モデルOM(n+1)中における、変化量を検出する対象の臓器モデル領域OMA(n+1)を示している。
図9のB右欄に示す時刻t(n+1)の臓器モデル領域OMA(n+1)は、図9のB左欄に示す時刻t(n)の臓器モデル領域OMA(n)に比べて、管腔径が例えば適宜の実数倍だけ拡張している。
図10は、第2の実施形態において、変化量に基づいて臓器モデルの形状を補正する例を示す図である。
過去の時刻t(n)における臓器モデルOM(n)は、現在の時刻t(n+1)における臓器モデルOM(n+1)に補正される。
このとき未観察領域判定・補正部15は、補正後の臓器モデルOM(n+1)における未観察領域UOA(n+1)を判定する。例えば未観察領域判定・補正部15は、未観察領域UOA(n)が観察済みの領域になったかを判定し、観察済みの領域になっていない場合に未観察領域UOA(n)が未観察領域UOA(n+1)に移動したかを判定し、また新たな未観察領域UOA(n+1)が発生したか等も判定する。
そして未観察領域判定・補正部15は、生成した未観察領域UOA(n+1)を、補正後の臓器モデルOM(n+1)に重畳して出力部16へ出力する。これにより、新規の臓器モデルOM(n+1)に、位置や形状が補正された、または新たな未観察領域UOA(n+1)が重畳された臓器モデル画像が、例えば内視鏡画像と共にモニタ8に表示される。また、未観察領域判定・補正部15は、未観察領域UOA(n+1)をメモリ14に保持してもよい。
図11は、第2の実施形態において、図8のステップS12の臓器モデルの変化量を推定する処理を示すフローチャートである。
臓器モデル形状補正部13による臓器モデルの変化量の推定は、例えば、既存の臓器モデルに対する新規の臓器モデルの、管腔の径の拡縮量を検出し(ステップS21)、管腔の中心軸(管腔軸)周りの回転量を検出し(ステップS22)、管腔軸に沿った管腔の伸縮量を検出し(ステップS23)、被検体内における管腔の移動量を検出する(ステップS24)ことにより行われる。なお、図11には検出順序の一例を示したが、図示の検出順序に限定されるものではない。
図12は、第2の実施形態において、臓器モデルの変化に、拡張、回転、移動が含まれる様子を示す図表である。
図12のA欄に示す、異なる時刻t(n),t(n+1)における臓器モデルOM(n),OM(n+1)において、臓器モデル領域OMAの管腔軸に垂直な断面CSをとったときの様子を、図12のB欄に示している。
臓器モデルOMにおける複数の特徴点SP(n)から複数の特徴点SP(n+1)への変化には、例えば、管腔の径の拡張EXPと、管腔軸周りの管腔の回転ROTと、被検体内における管腔の移動MOVと、が含まれている。
図13は、第2の実施形態において、図11のステップS21における拡縮量検出の処理を示すフローチャートである。図14は、第2の実施形態において、拡縮量検出の処理を説明するための図表である。
臓器モデル形状補正部13は、図13に示す拡縮量検出の処理を開始すると、メモリ14から読み出した既存の臓器モデルOM(n)の特徴点SP(n)と、最新の内視鏡画像に基づいて臓器モデル生成部12により生成された新規の臓器モデルOM(n+1)において、特徴点SP(n)に対応する特徴点SP(n+1)とを検出する(ステップS31)。
次に、臓器モデル形状補正部13は、図14のA1欄およびB1欄に示すように、既存の臓器モデルOM(n)の管腔軸に垂直な断面CS(n)上における、特定の2つの特徴点SP(n)の間の距離D1を検出する(ステップS32)。
さらに、臓器モデル形状補正部13は、図14のA2欄およびB2欄に示すように、新規の臓器モデルOM(n+1)の管腔軸に垂直な断面CS(n+1)上における、距離D1を検出した特徴点SP(n)に対応する2つの特徴点SP(n+1)の間の距離D2を検出する(ステップS33)。
そして、臓器モデル形状補正部13は、距離D1に対する距離D2の比(D2/D1)を管腔径の拡縮量とし(ステップS34)、図11の処理にリターンする。なお、比(D2/D1)が1より大きいときは管腔径の拡張となり、比(D2/D1)が1より小さいときは管腔径の縮小となる。
図15は、第2の実施形態において、図11のステップS22における回転量検出の処理を示すフローチャートである。図16は、第2の実施形態において、回転量検出の処理を説明するための図表である。
臓器モデル形状補正部13は、臓器モデル生成部12を経由して入力部11から取得した撮像時刻の異なる内視鏡画像に基づき、例えばSLAMの処理により画像推定を行い、図16のA欄に示すように挿入部2aの先端部2a1の第1の回転量θ1を検出する(ステップS41)。例えば、特定対象(特徴点など)に基づき検出される撮像時刻の異なる複数の内視鏡画像情報の回転量が-θ1であるときに、臓器モデル形状補正部13は、先端部2a1の回転量をθ1として検出する。
次に、臓器モデル形状補正部13は、臓器モデル生成部12から取得した先端位置検出装置5の出力に基づき、第1の回転量θ1を検出した2つの時刻間における挿入部2aの先端部2a1の第2の回転量θ2を、図16のB欄に示すように検出する(ステップS42)。
さらに、臓器モデル形状補正部13は、第1の回転量θ1と第2の回転量θ2との差分(θ1-θ2)を臓器の回転量として検出し(ステップS43)、図11の処理にリターンする。
図17は、第2の実施形態において、図11のステップS23における伸縮量検出の処理を示すフローチャートである。図18は、第2の実施形態において、伸縮量検出の処理を説明するための図表である。
臓器モデル形状補正部13は、既存の臓器モデルOM(n)において、図18のA欄に示すように、特徴点を含む管腔軸に垂直な2つの断面CS1(n),CS2(n)を選定し、2つの断面CS1(n),CS2(n)間の距離L1を検出する(ステップS51)。
次に、臓器モデル形状補正部13は、新規の臓器モデルOM(n+1)において、図18のB欄に示すように、距離L1を検出した2つの断面CS1(n),CS2(n)に対応する特徴点を含む管腔軸に垂直な2つの断面CS1(n+1),CS2(n+1)を探索し、2つの断面CS1(n+1),CS2(n+1)間の距離L2を検出する(ステップS52)。
そして、臓器モデル形状補正部13は、距離L1に対する距離L2の比(L2/L1)を管腔径の伸縮量とし(ステップS53)、図11の処理にリターンする。なお、比(L2/L1)が1より大きいときは管腔長の伸張となり、比(L2/L1)が1より小さいときは管腔長の短縮となる。
図19は、第2の実施形態において、図11のステップS24における移動量検出の処理を示すフローチャートである。
臓器モデル形状補正部13は、既存の臓器モデルOM(n)を、ステップS21で検出された拡縮量、ステップS22で検出された回転量、およびステップS23で検出された伸縮量に基づき補正する(ステップS61)。
次に、臓器モデル形状補正部13は、補正前後の臓器モデルの同一特徴点を検出する(ステップS62)。ここで、検出する特徴点の数は1つであっても構わないが、好ましくは複数である。そこで、以下では複数の特徴点を検出する例を説明する。
続いて、臓器モデル形状補正部13は、補正前後の臓器モデルにおける複数の同一特徴点の平均距離を算出する(ステップS63)。なお、ステップS62において、検出する特徴点の数を1つとする場合は、ステップS63の処理を省略しても構わず、補正前後の臓器モデルに同一特徴点の距離を平均距離と見なせばよい。
そして、臓器モデル形状補正部13は、算出した平均距離が、予め定めた閾値以上であるかを判定する(ステップS64)。
ここで、閾値以上であると判定した場合には、ステップS63で算出した平均距離を移動量として検出する(ステップS65)。
また、ステップS64において、閾値未満であると判定した場合には、移動量が0であると検出する(ステップS66)。すなわち、誤検出を防ぐため、平均距離が閾値未満の場合、臓器の移動はないと判定している。
ステップS65またはステップS66の処理を行ったら、図11の処理にリターンする。
図20は、第2の実施形態において、図8のステップS3Aにおける臓器モデルの形状の補正方法の例を説明するための図表である。
臓器モデルの形状の補正は、ステップS12で検出された臓器モデルの変化量に基づき行う。
このときの補正範囲は、変化量を検出する対象となった領域(変化部位)を基点として、例えば、管腔軸に沿った前後の固定距離範囲(変化部位を含む臓器モデルの一部)とすることができる。ここで、管腔軸に沿った、変化部位から前方の固定距離と、変化部位から後方の固定距離とは、同一の距離としても良いし、異なる距離としても構わない。
また、補正範囲を、ランドマークと、挿入部2aの先端部2a1の位置と、の少なくとも一方を端点とした範囲(変化部位を含む臓器モデルの一部)としても構わない。ここで、臓器を大腸とした場合のランドマークとして、臓器の端である盲腸ICや肛門AN、固定部と可動部の境界である肝彎曲FCD、脾彎曲FCSなどが挙げられる。これらのランドマークは、臓器に応じて異なり、AIによる部位認識で検出可能である。こうして、臓器モデル形状補正部13は、臓器の種類に基づいて、臓器モデルの内の補正対象外の範囲を設定できる。そして、臓器モデル形状補正部13は、臓器の種類に応じた特定対象の種類情報を参照して、変化量の算出を行う。
もしくは、臓器モデル形状補正部13は、臓器モデルの全体を補正範囲としてもよい。
補正範囲内における補正量は、例えば、変化量を検出する対象となった領域における補正量を1、補正範囲の端点における補正量を0として、管腔軸に沿った距離に応じて制御する。
図20のA欄は、横行結腸TCの中央部分にある挿入部2aの先端部2a1の位置と、肝彎曲FCDと、を両端点として、補正範囲CTAを設定した例を示す。
図20のB欄は、補正範囲CTAにおいて、変化量を検出する対象となった領域DA(具体例は、襞)の補正量を1とし、両端点の補正量を0として、管腔軸に沿った距離に応じて補正量を制御する例を示している。すなわち、臓器モデル形状補正部13は、臓器モデルの形状の補正量を、変化量を検出する対象となった領域DA(特定対象)からの距離が遠いほど、小さくしている。
このような第2の実施形態によれば、上述した第1の実施形態とほぼ同様の効果を奏するとともに、図10に示したように、未観察領域UOAを正しい位置で提示することが可能となる。
また、臓器モデルの変化量を、拡縮、回転、伸縮、移動のそれぞれに応じた適切な方法で検出できる。
さらに、管腔軸に沿った距離に応じて補正量を制御することで、補正後の臓器モデルを、妥当な形状にできる。
[第3の実施形態]
[第3の実施形態]
図21から図39は本発明の第3の実施形態を示したものであり、図21は第3の実施形態の画像処理装置4の処理を示すフローチャートである。第3の実施形態において、第1,2の実施形態と同様である部分については同一の符号を付して説明を適宜省略し、異なる点を主に説明する。
図21に示す処理を開始すると、ステップS1の処理を行って最新の1枚以上の内視鏡画像を取得し、ステップS11の処理を行って内視鏡画像から挿入部2aの先端部2a1の位置および姿勢を推定する。
次に、ステップS2Aの処理を行って撮像対象の臓器モデルを生成する。このとき、図6のB欄に示したように、未観察領域がない場合に、点線で示す既存の臓器モデル部分を、メモリ14に保持してもしなくても良いし、モニタ8に表示してもしなくても構わない点は、第1、第2の実施形態と同様である。
続いて、臓器モデル形状補正部13が、臓器モデルにおける腸管の襞(特定対象)の変化量を推定する(ステップS12B)。臓器の位置や形状などが変化すると、既存の臓器モデルと新規の臓器モデルとで特徴点の対応が取れない場合がある。これに対して、管腔臓器における襞は、臓器の位置や形状などが変化しても、襞数が変化せず、襞の順序関係も変化しない。そこで本実施形態では、襞を用いて、臓器モデルの変化量を確実に推定するようにしている。
さらに、臓器モデル形状補正部13が、推定した臓器モデルにおける襞の変化量に基づき、既存の臓器モデルの形状を補正する(ステップS3B)。
その後、ステップS4の処理を行って、補正された臓器モデルの情報をモニタ8等へ出力する。
図22は、第3の実施形態において、図21のステップS12Bにおける襞の変化量の推定処理を示すフローチャートである。図23は、第3の実施形態において、襞通過の有無を検出する処理を説明するための図表である。
臓器モデル形状補正部13は、図23のA1欄に示すような過去の時刻t(n)の内視鏡画像IMG(n)と、図23のB1欄またはC1欄に示すような最新の時刻t(n+1)の内視鏡画像IMG(n+1)とを取得する。内視鏡画像IMG(n)は既存の3次元の臓器モデルを生成するために用いられた画像、内視鏡画像IMG(n+1)は新規の3次元の臓器モデルを生成するために用いられた画像である。
臓器モデル形状補正部13は、撮像時刻が異なる内視鏡画像IMG(n)と内視鏡画像IMG(n+1)とにおいて、襞以外の、共通する特徴点SPをトラッキング点として探索する。
次に、臓器モデル形状補正部13は、内視鏡画像IMG(n)において特徴点SPの近傍の遠位側に位置する襞CP1を、挿入部2aの先端部2a1が通過したか否かを判定する。図23のA欄は時刻t(n)に係るため、A2欄に示すように襞通過は判定されない。
内視鏡画像IMG(n+1)が図23のB1欄のようになったとする。すると、特徴点SPより近位側にある襞CP2は、特徴点SPより遠位側に位置する襞CP1とは異なる襞であることが分かる。このため臓器モデル形状補正部13は、図23のB2欄のように、襞CP1を通過したと判定する。
一方、内視鏡画像IMG(n+1)が図23のC1欄のようになったとする。この場合、特徴点SPの近傍の遠位側に位置する襞CP1は、A1欄に示した襞CP1と同一であることが分かる。このため臓器モデル形状補正部13は、図23のC2欄のように、襞CP1を通過していないと判定する。
このようにして、臓器モデル形状補正部13は、襞通過の有無を判定する(ステップS71)。
次に、臓器モデル形状補正部13は、襞通過の有無に基づき、既存の臓器モデルおよび新規の臓器モデルの同一襞を検出する(ステップS72)。
図24は、第3の実施形態において、内視鏡画像中の襞と、臓器モデル中の襞とを対応付ける様子を説明するための図表である。
上述したように、臓器の形状が変化しても、襞数は変化せず、襞の順序関係も変化しないため、襞の数をカウントすることで、内視鏡画像中の襞と、臓器モデル中の襞とを対応付ける。
図24において、A1欄は内視鏡画像IMG(n)における襞CP1を示し、A2欄は内視鏡画像IMG(n+1)における襞CP1,CP2を示す。
図24において、B1欄は、臓器モデルOM(n)における、襞CP1のみが観察される位置に、挿入部2aの先端部2a1があることを示している。B2欄は、臓器モデルOM(n+1)における、襞CP1,CP2が観察される位置に、挿入部2aの先端部2a1があることを示している。
ステップS72において同一襞を検出したら、続いて、臓器モデル形状補正部13は、同一襞の変化量を検出する(ステップS73)。
図25は、第3の実施形態において、同一襞の変化量を検出する様子を説明するための図表である。
図25のA1欄は、時刻t(n)の臓器モデルOM(n)において、3つの襞CP1(n),CP2(n),CP3(n)が検出されている様子を示す。
図25のA2欄は、時刻t(n+1)の臓器モデルOM(n+1)において、A1欄の3つの襞CP1(n),CP2(n),CP3(n)に各対応する3つの襞CP1(n+1),CP2(n+1),CP3(n+1)が検出されている様子を示す。
図25のB1欄は、3つの襞CP1(n),CP2(n),CP3(n)の内、挿入部2aの先端部2a1に最も近い襞CP3(n)を変化量を検出するために選択した様子を示す。
図25のB2欄は、襞CP3(n)に対応する襞CP3(n+1)を変化量を検出するために選択した様子を示す。
臓器モデル形状補正部13は、図25のB1欄に示す襞CP3(n)と、図25のB2欄に示す襞CP3(n+1)とを比較することで、変化量を検出する。
図26は、第3の実施形態において、図22のステップS73における同一襞の変化量の検出処理を示すフローチャートである。
臓器モデル形状補正部13による同一襞の変化量の検出は、例えば、既存の臓器モデル中の襞に対する、新規の臓器モデル中の同一襞の、径の拡縮量を検出し(ステップS81)、回転量を検出し(ステップS82)、2つの同一襞間の伸縮量を検出し(ステップS83)、被検体内における襞の移動量を検出する(ステップS84)ことにより行われる。なお、図26には検出順序の一例を示したが、図示の検出順序に限定されるものではない。
図26のステップS81における径の拡縮量を検出する処理は、例えば、図13および図14を参照した説明において、管腔軸に垂直な断面上における特徴点の距離の比D2/D1を算出するのに代えて、同一襞上の対応する特徴点の距離の比D2/D1を検出して行えばよい。または、図13および図14を参照した説明をそのまま適用しても構わない。
また、図27は、第3の実施形態において、図26のステップS81における径の拡縮量を検出する他の処理例を示すフローチャートである。図28は、第3の実施形態において、径の拡縮量を検出する他の処理例を説明するための図表である。
図27に示す処理を開始すると、既存の臓器モデルと新規の臓器モデルに、対応する襞上の同一の特徴点を含むように、管腔軸に垂直な断面CS(n),CS(n+1)をそれぞれ設定する。さらに、図28に示すように、断面CS(n),CS(n+1)のそれぞれに同一長さDxの線分ABを設定する(ステップS91)。このとき、線分ABの少なくとも一方の端点(例えば端点A)は、対応する襞上の同一の特徴点としてもよい。
次に、線分ABの垂直2等分線が断面CS(n),CS(n+1)に交差する2点間の距離を、直径d(n),d(n+1)としてそれぞれ検出する(ステップS92)。
そして、直径の比d(n+1)/d(n)を襞における管腔径の拡縮量として検出して(ステップS93)、図26の処理にリターンする。
図29は、第3の実施形態において、臓器モデルの径の拡縮量の補正方法の例を説明するためのグラフである。図30は、第3の実施形態において、臓器モデルの径の拡縮量を補正範囲において補正する例を説明するための図である。
図20に関連して上述したように、径に関しても、拡縮量の補正を、拡縮量を検出した襞を含む補正範囲内において行ってもよい。補正範囲は、襞の前後の固定距離範囲、襞を含む2つのランドマークの間、襞を含むランドマークと挿入部2aの先端部2a1の位置との間の何れでも構わないのは上述と同様である。また、臓器モデルの全体を補正範囲としてもよいことも上述と同様である。
図29は、管腔軸CA(図30参照)に沿った補正範囲において、径の拡縮量を検出した襞の位置において直径を比d(n+1)/d(n)だけ変化させ、補正範囲の両端点において直径の比の変化を1にするように、直径の変化率を設定したグラフを示している。これにより、例えば径の拡縮量を検出した襞の位置と補正範囲の端点との中点では、直径の変化率が、{1+([{d(n+1)/d(n)}-1]/2)}となる。なお、図29に示したグラフは一例であり、直径の変化率が曲線で構成されるようにしても構わない。
図29に示した拡縮量に応じて、臓器モデルを、管腔軸を中心とした径方向に放射状に補正することにより、図30に示すように、ハッチングを付した補正範囲が、臓器モデルOM(n)から臓器モデルOM(n+1)へ補正される。なお、補正対象外の範囲については、臓器モデルOM(n)と臓器モデルOM(n+1)に変化はない。
図26のステップS82における回転量を検出する処理は、例えば、図15および図16を参照した説明を適用することができる。このとき、ステップS41において、内視鏡画像に基づく第1の回転量θ1の検出を、内視鏡画像中の襞に着目して行うとよい。
図31は、第3の実施形態において、臓器モデルの回転量の補正方法の例を説明するためのグラフである。
管腔臓器の管腔軸周りの回転に関しても、径と同様に、臓器モデルの一部または全体を補正範囲として補正を行える。
回転量を補正する際には、まず、補正範囲における臓器モデルの管腔軸を推定する。
次に、管腔軸に沿った補正範囲において、図31のグラフに示すように、回転量を検出した襞の位置において回転量を(θ1-θ2)だけ変化させ、補正範囲の両端点において回転量を0にするように、回転量を変化させる。なお、図31に示したグラフは一例であり、回転量の変化が曲線で構成されるようにしても構わない。
図32は、第3の実施形態において、図26のステップS83における伸縮量を検出する処理を説明するための図表である。
図32において、A1欄は時刻t(n)で撮像された内視鏡画像IMG(n)を示し、A2欄は時刻t(n+1)で撮像された内視鏡画像IMG(n+1)を示す。
臓器モデル形状補正部13は、内視鏡画像IMG(n)および内視鏡画像IMG(n+1)において、例えばAIを用いて2つの同一襞を検出する。図32のA欄に示す例では、内視鏡画像IMG(n)に第1の襞CP1(n)および第2の襞CP2(n)が検出され、内視鏡画像IMG(n+1)に第1の襞CP1(n+1)および第2の襞CP2(n+1)が検出されている。
過去の時刻t(n)と、現在の時刻t(n+1)とで襞間の距離が変化していた場合、伸縮量を、例えばSLAMを用いて各襞の深度値差に基づき検出する。ここで、時刻t(n)における襞間の距離L1が、時刻t(n+1)では距離L2に変化したことが検出されたとする。
すると、図32のB1欄に示すような既存の臓器モデルOM(n)における襞間の距離L1が、新規の臓器モデルOM(n+1)においては図32のB2欄に示す距離L2となるように、臓器モデルの形状を補正する。
また、管腔臓器の管腔軸方向の伸縮に関しても、上述と同様に、伸縮量の補正を、伸縮量を検出した襞を含む適宜の補正範囲内において行える。一例として、挿入部2aの先端部2a1が最後に通過した襞とは逆方向にあるランドマークと、先端部2a1に最も近くまだ通過していない襞と、の間を補正範囲としてもよい。
図33は、第3の実施形態において、臓器モデルの伸縮量の補正方法の例を説明するためのグラフである。図34は、第3の実施形態において、臓器モデルの伸縮量を補正する例を説明するための図である。
臓器モデル形状補正部13は、まず、挿入部2aの先端部2a1の移動方向に基づき、臓器モデルOM(n)のどの部分を補正するかを決定する。例えば、図34において、挿入部2aの先端部2a1が脾彎曲FCSから肝彎曲FCDの方向へ移動しているものとする。この場合、臓器モデル形状補正部13は、臓器モデルOM(n)の横行結腸TCにおける肝彎曲FCD側(盲腸IC側)を、ハッチングで示すように補正範囲とする。
次に、臓器モデル形状補正部13は、既存の臓器モデルOM(n)におけるランドマークである肝彎曲FCDから、変化量を検出した襞CP2(n)までの管腔軸に沿った長さxを算出する。
続いて、臓器モデル形状補正部13は、ランドマークである肝彎曲FCDを固定位置とし、時刻t(n+1)における固定位置から襞CP2(n+1)までの伸縮量、ここでは例えば短縮した長さyを、襞間の距離がL1からL2に変化したことに基づき算出する。これにより、ランドマークから襞CP2(n+1)までの管腔軸に沿った長さが(x-y)になったことが分かる。
この場合、臓器モデルの伸縮率は(x-y)/xになる。臓器モデル形状補正部13は、図33に示すように、ランドマークを固定位置として、管腔軸上の各点の伸縮率が(x-y)/xになるように、臓器モデルOM(n)の形状を補正する。具体例を挙げれば、x=10,y=2の場合、伸縮率は(10-2)/10=0.8となる。従って、固定位置を原点とする管腔軸上の位置5は、補正後に5×0.8=4となる。なお、図33に示したグラフは一例であり、伸縮率の変化が曲線で構成されるようにしても構わない。
このような補正を行うことで、図34に示すような臓器モデルOM(n+1)が算出される。
図35は、第3の実施形態において、図26のステップS84における移動量を検出する処理を説明するためのフローチャートである。
図35に示す処理を開始すると、既存の臓器モデルと新規の臓器モデルの同一襞を撮影して検出したときの、挿入部2aの先端部2a1の位置を推定する(ステップS101)。先端部2a1の位置の推定は、上述したように、内視鏡画像に基づいて行ってもよいし、先端位置検出装置5から入力された情報に基づいて行っても構わない。
次に、既存の臓器モデルにおいて襞を撮影したときの先端部2a1の位置と、新規の臓器モデルにおいて襞を撮影したときの先端部2a1の位置との相違が、所定の距離以上であるかを判定する(ステップS102)。
ここで、所定の距離以上である場合は、臓器が移動したと判定して、その距離を移動量として検出する(ステップS103)。
また、ステップS102において所定の距離未満である場合は、臓器が移動していないと判定して、移動量が0であると検出する(ステップS104)。ここで、所定の距離以上である場合のみに臓器が移動したと判定しているのは、計算誤差による誤判定を防止するためである。ステップS103またはステップS104の処理を行ったら、図26の処理にリターンする。
図36は、第3の実施形態において、臓器の移動を判定するために既存の臓器モデルと新規の臓器モデルの同一襞を検出する例を示す図である。
図36において、点線は移動前(時刻t(n)における1度目の撮像時)の被検体の臓器OBJ(n)の位置を示し、実線は移動後(時刻t(n+1)における2度目の撮像時)の被検体の臓器OBJ(n+1)の位置を示している。ランドマークである脾彎曲FCSから何番目の襞であるかに基づき、1度目の撮像時と2度目の撮像時における同一襞を検出する。
時刻t(n)から時刻t(n+1)へ移行すると、脾彎曲FCSから数えて順に、第1の襞CP1(n)は第1の襞CP1(n+1)の位置に、第2の襞CP2(n)は第2の襞CP2(n+1)の位置に、第3の襞CP3(n)は第3の襞CP3(n+1)の位置に、それぞれ移動している。挿入部2aの先端部2a1は、第1の襞CP1および第2の襞CP2を通過して第3の襞CP3に対向する位置にあり、内視鏡画像において近くに観察されるのは第3の襞CP3である。
挿入部2aの先端部2a1から見て、第3の襞CP3(n),CP3(n+1)の遠方側の近傍には未観察領域UOA(n),UOA(n+1)が存在している。未観察領域UOAは、未観察領域判定・補正部15が時刻t(n),t(n+1)のそれぞれにおける正しい位置を算出して、モニタ8等に表示する。
図37は、第3の実施形態において、臓器の移動に応じた臓器モデルの形状の補正方法を説明するための図表である。
臓器モデル形状補正部13は、臓器モデルOMの形状を補正する際に、ステップS101で推定した挿入部2aの先端部2a1の位置に基づいて、襞CP(n),CP(n+1)の位置を算出する。
次に、臓器モデル形状補正部13は、図37のA欄に示すように、移動を検出した襞CP(n),CP(n+1)の中心と、襞CP(n),CP(n+1)の前後のランドマークの中心位置とを結んだ直線を生成する。具体的に、例えば肝彎曲FCDの中心位置と襞CP(n),CP(n+1)の中心をそれぞれ結んだ直線SL1(n),SL1(n+1)と、脾彎曲FCSの中心位置と襞CP(n),CP(n+1)の中心をそれぞれ結んだ直線SL2(n),SL2(n+1)と、を生成する。
続いて、臓器モデル形状補正部13は、図37のB欄に示すように、例えば直線SL1(n)上の所定の点から直線SL1(n+1)上の所定の点までの距離を、各点の移動量として算出する。各点の設定方法として、例えば肝彎曲FCDの中心位置と脾彎曲FCSの中心位置を結んだ直線に垂直な面と、直線SL1(n)およびSL1(n+1)と、の交点を各点とする方法がある。
図38は、第3の実施形態において、臓器の移動に応じた臓器モデルの形状の補正方法を説明するためのグラフである。図38に示すように、肝彎曲FCDと脾彎曲FCSとの間が補正範囲であり、変化を検出した襞CPにおける移動量をXとすると、直線上の位置を肝彎曲FCDから襞CPへ移動するにつれて移動量を単調に増加させ、直線上の位置を襞CPから脾彎曲FCSへ移動するにつれて移動量を単調に減少させる。なお、図38に示したグラフは一例であり、移動量の変化が曲線で構成されるようにしても構わない。
そして、臓器モデル形状補正部13は、図37のC欄に示すように、臓器モデルOM(n)の肝彎曲FCDと脾彎曲FCSの間を、算出した距離に応じて補正することで、補正された臓器モデルOM(n+1)を算出する。
図39は、第3の実施形態において、臓器モデルと未観察領域の表示例を示す図表である。
臓器モデルOM(n)の形状を補正して臓器モデルOM(n+1)を算出したら、モニタ8に、補正後の臓器モデルOM(n+1)を表示する。
図39のA欄は、モニタ8に表示された補正後の臓器モデルOM(n+1)を示す。臓器モデルOM(n+1)は、挿入部2aの先端部2a1から肝彎曲FCDを経て盲腸ICまでの範囲が表示されている。このとき、臓器モデルOM(n+1)が生成されていない領域を、未観察領域UOA(n+1)として表示してもよい。さらに、臓器モデルOM(n+1)には、挿入部2aの先端部2a1の位置や視野方向が例えば三角マークにより表示される。三角マークを用いる場合、三角マークの1つの頂点が先端部2a1の位置を示し、前記頂点を挟む2辺により視野方向および視野範囲が示される。ただし、他のマークなどを用いても勿論構わない。
図39のB欄は、挿入部2aの先端部2a1の移動方向における、未観察領域UOA(n+1)の位置以降の臓器モデルOM(n+1)のみを表示する例を示す。例えば、先端部2a1が、盲腸ICから肝彎曲FCDへ移動し、さらに肝彎曲FCDから脾彎曲FCSへ向けて移動中であるとする。このとき、未観察領域UOA(n+1)の位置以前の臓器モデルOM(n+1)は、点線で示すように表示しなくても構わない。
図39のC欄は、モニタ8に内視鏡画像IMG(n+1)を表示し、矢印AR(n+1)により、先端部2a1から未観察領域への方向を表示する例である。このとき、矢印AR(n+1)の長短(または、太さ、色など)により、先端部2a1から未観察領域までの距離をさらに表示するようにしても構わない。
また、挿入部2aの先端部2a1の移動速度が所定の閾値よりも大きいと、襞CPが明瞭に撮像されない場合がある。襞CPは本実施形態では臓器モデルOMの補正に用いられる。そこで、襞CPを明瞭に撮像する必要がある場合は、先端部2a1の移動速度をモニタ8に表示し、移動速度が閾値以上である場合に、表示や音声などでアラートを出すようにしてもよい。
このような第3の実施形態によれば、上述した第1,2の実施形態とほぼ同様の効果を奏するとともに、臓器に変化が生じても襞の順序関係や襞数に影響がないことを利用して、襞の通過の有無を判定することにより、同一の襞を検出できる。同一の襞の変化の有無、および変化量を検出することで、臓器の形状変化を適確に推定できる。また、補正後の臓器モデルまたは最新の内視鏡画像と共に補正後の未観察領域の方向や位置を表示することで、未観察領域が正しく提示され、病変の見落としなどを防止できる。
なお、上述した各実施形態において、内視鏡2または内視鏡2の周辺機器から得られる情報に基づいて、臓器モデルの形状を補正してもよい。もしくは、内視鏡2または内視鏡2の周辺機器から得られる情報と、内視鏡画像情報とを組み合わせて、臓器モデルの形状を補正しても構わない。
例えば、内視鏡2から臓器内へ送気を行うと、臓器が膨張して形状が変化する。そこで、臓器内への送気量に基づいて、臓器の膨脹量を推定し、臓器モデルの形状を補正してもよい。
また、上述では本発明が内視鏡システムの画像処理装置である場合を主として説明したが、これに限定されるものではなく、本発明は、画像処理装置と同様の作用を行う画像処理方法であってもよいし、コンピュータに画像処理装置と同様の処理を行わせるためのプログラム、前記プログラムを記録しているコンピュータにより読み取り可能な一時的でない記録媒体(不揮発性記憶媒体)、等であっても構わない。
さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
Claims (17)
- ハードウェアを有するプロセッサを備え、
前記プロセッサは、
内視鏡から内視鏡画像情報を取得して臓器モデルを生成した後、
前記内視鏡画像情報の取得を続行し、
最新の内視鏡画像情報に基づいて生成済みの前記臓器モデルの形状を補正し、
補正された前記臓器モデルの情報を出力するように構成されている画像処理装置。 - 前記プロセッサは、前記最新の内視鏡画像情報に基づいて新規の臓器モデルを生成し、前記新規の臓器モデルに基づき、生成済みの前記臓器モデルの形状を補正することを特徴とする請求項1に記載の画像処理装置。
- 前記プロセッサは、前記臓器モデルの全体を補正することを特徴とする請求項1に記載の画像処理装置。
- 前記プロセッサは、
前記最新の内視鏡画像情報に基づいて、生成済みの前記臓器モデルに対する変化部位を特定し、
前記変化部位を含む前記臓器モデルの一部を補正することを特徴とする請求項1に記載の画像処理装置。 - 前記プロセッサは、臓器の種類に基づいて、前記臓器モデルの内の補正対象外の範囲を設定することを特徴とする請求項1に記載の画像処理装置。
- 前記プロセッサは、
撮像時刻の異なる複数の内視鏡画像情報に含まれる特定対象から、前記特定対象の変化量を算出し、
前記変化量に基づいて前記臓器モデルの形状を補正することを特徴とする請求項1に記載の画像処理装置。 - 前記プロセッサは、前記変化量として、拡縮量と、回転量と、伸縮量と、移動量との内の少なくとも1つを算出することを特徴とする請求項6に記載の画像処理装置。
- 前記プロセッサは、複数の特定対象の距離の変化量に基づき、前記拡縮量と、前記伸縮量との少なくとも一方を算出することを特徴とする請求項7に記載の画像処理装置。
- 前記プロセッサは、
前記特定対象に基づき前記複数の内視鏡画像情報の第1の回転量を算出し、
外部の位置検出センサから前記内視鏡の挿入部の先端部の第2の回転量を取得し、
前記第1の回転量と前記第2の回転量とに基づいて、前記回転量を算出することを特徴とする請求項7に記載の画像処理装置。 - 前記プロセッサは、
前記拡縮量、前記回転量、および前記伸縮量を算出し、
生成済みの前記臓器モデルの形状を、前記拡縮量、前記回転量、および前記伸縮量に基づき補正した後に、補正前後の前記臓器モデルの特定対象の距離が閾値以上である場合に、前記特定対象の距離を前記移動量として算出することを特徴とする請求項7に記載の画像処理装置。 - 前記プロセッサは、
前記内視鏡から前記内視鏡画像情報をフレーム毎に取得し、
前記変化量の算出を、前記フレーム毎に行うことを特徴とする請求項6に記載の画像処理装置。 - 前記プロセッサは、前記変化量の算出を、前記特定対象の種類情報を参照して行うことを特徴とする請求項6に記載の画像処理装置。
- 前記プロセッサは、前記臓器モデルの形状の補正量を、前記特定対象からの距離が遠いほど小さくすることを特徴とする請求項6に記載の画像処理装置。
- 前記臓器モデルを生成する対象の臓器は腸管であり、
前記特定対象は、前記腸管の襞であることを特徴とする請求項6に記載の画像処理装置。 - ハードウェアを有するプロセッサが、
内視鏡から内視鏡画像情報を取得して臓器モデルを生成した後、
前記内視鏡画像情報の取得を続行し、
最新の内視鏡画像情報に基づいて生成済みの前記臓器モデルの形状を補正し、
補正された前記臓器モデルの情報を出力することを特徴とする画像処理方法。 - コンピュータに、
内視鏡から内視鏡画像情報を取得させて臓器モデルを生成させた後、
前記内視鏡画像情報の取得を続行させ、
最新の内視鏡画像情報に基づいて生成済みの前記臓器モデルの形状を補正させ、
補正された前記臓器モデルの情報を出力させることを特徴とするプログラム。 - コンピュータに、
内視鏡から内視鏡画像情報を取得させて臓器モデルを生成させた後、
前記内視鏡画像情報の取得を続行させ、
最新の内視鏡画像情報に基づいて生成済みの前記臓器モデルの形状を補正させ、
補正された前記臓器モデルの情報を出力させるプログラムを記録している不揮発性記憶媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023568781A JPWO2023119373A5 (ja) | 2021-12-20 | 画像処理装置、画像処理方法、およびプログラム | |
CN202180104882.4A CN118369029A (zh) | 2021-12-20 | 2021-12-20 | 图像处理装置、图像处理方法、程序以及记录有程序的非易失性存储介质 |
PCT/JP2021/047082 WO2023119373A1 (ja) | 2021-12-20 | 2021-12-20 | 画像処理装置、画像処理方法、プログラム、およびプログラムを記録している不揮発性記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2021/047082 WO2023119373A1 (ja) | 2021-12-20 | 2021-12-20 | 画像処理装置、画像処理方法、プログラム、およびプログラムを記録している不揮発性記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023119373A1 true WO2023119373A1 (ja) | 2023-06-29 |
Family
ID=86901574
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/047082 WO2023119373A1 (ja) | 2021-12-20 | 2021-12-20 | 画像処理装置、画像処理方法、プログラム、およびプログラムを記録している不揮発性記憶媒体 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN118369029A (ja) |
WO (1) | WO2023119373A1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06304127A (ja) * | 1993-04-27 | 1994-11-01 | Olympus Optical Co Ltd | 内視鏡挿入補助装置 |
JP2002345725A (ja) * | 2001-05-22 | 2002-12-03 | Olympus Optical Co Ltd | 内視鏡システム |
WO2015029970A1 (ja) * | 2013-08-28 | 2015-03-05 | オリンパスメディカルシステムズ株式会社 | カプセル型内視鏡システム |
WO2017057330A1 (ja) * | 2015-09-28 | 2017-04-06 | オリンパス株式会社 | 内視鏡システム及び画像処理方法 |
WO2017056775A1 (ja) * | 2015-09-28 | 2017-04-06 | 富士フイルム株式会社 | プロジェクションマッピング装置 |
WO2021166103A1 (ja) * | 2020-02-19 | 2021-08-26 | オリンパス株式会社 | 内視鏡システム、管腔構造算出装置及び管腔構造情報の作成方法 |
-
2021
- 2021-12-20 CN CN202180104882.4A patent/CN118369029A/zh active Pending
- 2021-12-20 WO PCT/JP2021/047082 patent/WO2023119373A1/ja active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06304127A (ja) * | 1993-04-27 | 1994-11-01 | Olympus Optical Co Ltd | 内視鏡挿入補助装置 |
JP2002345725A (ja) * | 2001-05-22 | 2002-12-03 | Olympus Optical Co Ltd | 内視鏡システム |
WO2015029970A1 (ja) * | 2013-08-28 | 2015-03-05 | オリンパスメディカルシステムズ株式会社 | カプセル型内視鏡システム |
WO2017057330A1 (ja) * | 2015-09-28 | 2017-04-06 | オリンパス株式会社 | 内視鏡システム及び画像処理方法 |
WO2017056775A1 (ja) * | 2015-09-28 | 2017-04-06 | 富士フイルム株式会社 | プロジェクションマッピング装置 |
WO2021166103A1 (ja) * | 2020-02-19 | 2021-08-26 | オリンパス株式会社 | 内視鏡システム、管腔構造算出装置及び管腔構造情報の作成方法 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2023119373A1 (ja) | 2023-06-29 |
CN118369029A (zh) | 2024-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11864850B2 (en) | Path-based navigation of tubular networks | |
KR102567087B1 (ko) | 생리학적 잡음을 검출하는 내강 네트워크의 내비게이션을 위한 로봇 시스템 및 방법 | |
US10321803B2 (en) | System and method for image-based alignment of an endoscope | |
US10796432B2 (en) | Navigation of tubular networks | |
JP7154832B2 (ja) | 形状推定をともなう軌道情報による位置合わせの改良 | |
US7945310B2 (en) | Surgical instrument path computation and display for endoluminal surgery | |
US7824328B2 (en) | Method and apparatus for tracking a surgical instrument during surgery | |
US8248414B2 (en) | Multi-dimensional navigation of endoscopic video | |
JP7505081B2 (ja) | 狭い通路における侵襲的手順の内視鏡画像 | |
US20080071142A1 (en) | Visual navigation system for endoscopic surgery | |
US20080071141A1 (en) | Method and apparatus for measuring attributes of an anatomical feature during a medical procedure | |
JP2013509902A (ja) | 距離センサを使用した衝突の回避と探知 | |
JP7423740B2 (ja) | 内視鏡システム、管腔構造算出装置、管腔構造算出装置の作動方法及び管腔構造情報作成プログラム | |
JP2012165838A (ja) | 内視鏡挿入支援装置 | |
CN116829091A (zh) | 外科手术辅助系统和表示方法 | |
WO2023119373A1 (ja) | 画像処理装置、画像処理方法、プログラム、およびプログラムを記録している不揮発性記憶媒体 | |
US9345394B2 (en) | Medical apparatus | |
WO2024028934A1 (ja) | 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体 | |
US20230210627A1 (en) | Three-dimensional instrument pose estimation | |
WO2022202400A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN118203418A (zh) | 介入器械的定位方法、装置、可读存储介质及电子设备 | |
WO2023126753A1 (en) | Two-dimensional image registration | |
JP2022523445A (ja) | 動的な介入的3次元モデル変形 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21968810 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2023568781 Country of ref document: JP |