WO2023119373A1 - 画像処理装置、画像処理方法、プログラム、およびプログラムを記録している不揮発性記憶媒体 - Google Patents

画像処理装置、画像処理方法、プログラム、およびプログラムを記録している不揮発性記憶媒体 Download PDF

Info

Publication number
WO2023119373A1
WO2023119373A1 PCT/JP2021/047082 JP2021047082W WO2023119373A1 WO 2023119373 A1 WO2023119373 A1 WO 2023119373A1 JP 2021047082 W JP2021047082 W JP 2021047082W WO 2023119373 A1 WO2023119373 A1 WO 2023119373A1
Authority
WO
WIPO (PCT)
Prior art keywords
organ model
amount
organ
image processing
endoscopic image
Prior art date
Application number
PCT/JP2021/047082
Other languages
English (en)
French (fr)
Inventor
敬士 田中
健人 速水
誠 北村
Original Assignee
オリンパスメディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスメディカルシステムズ株式会社 filed Critical オリンパスメディカルシステムズ株式会社
Priority to PCT/JP2021/047082 priority Critical patent/WO2023119373A1/ja
Priority to JP2023568781A priority patent/JPWO2023119373A5/ja
Publication of WO2023119373A1 publication Critical patent/WO2023119373A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor

Definitions

  • the present invention relates to an image processing device, an image processing method, a program, and a nonvolatile storage medium storing the program for acquiring endoscopic image information and generating an organ model.
  • US Pat. No. 1,068,2108 describes a technique for creating a three-dimensional organ model based on a two-dimensional endoscopic image using DSO (Direct Sparse Odometry) and a neural network.
  • DSO Direct Sparse Odometry
  • a three-dimensional organ model is used, for example, to grasp the position of an endoscope. It is also used to grasp unobserved regions by showing unvisualized portions (that is, unobserved portions) in the organ model.
  • organs change shape over time.
  • shape of the organ and the position of the organ in the body may change due to the operation of inserting and withdrawing the endoscope.
  • An organ model created in the past using the technology of US Patent Publication No. 10682108 may not match the current organ if the shape or position of the organ changes. Specifically, a plurality of organ models are generated for the same region, or the display of an unobserved region is different from the current state. Then, the guide display to the unobserved area may not indicate the correct direction and position.
  • the present invention has been made in view of the above circumstances, and provides an image processing apparatus, an image processing method, a program, and a nonvolatile storage medium storing the program, which can generate an organ model that matches the current organ. It is an object.
  • An image processing apparatus includes a processor having hardware, the processor acquires endoscopic image information from an endoscope to generate an organ model, and then generates an organ model from the endoscopic image information. It is configured to continue acquisition, correct the shape of the generated organ model based on the latest endoscopic image information, and output information of the corrected organ model.
  • An image processing method comprises: a processor having hardware acquires endoscopic image information from an endoscope and generates an organ model, then continues acquiring the endoscopic image information, The shape of the generated organ model is corrected based on the latest endoscopic image information, and information on the corrected organ model is output.
  • a program causes a computer to acquire endoscopic image information from an endoscope to generate an organ model, and then continue to acquire the endoscopic image information, and the latest endoscope
  • the shape of the generated organ model is corrected based on image information, and information on the corrected organ model is output.
  • a nonvolatile storage medium recording a program causes a computer to acquire endoscopic image information from an endoscope to generate an organ model, and then acquire the endoscopic image information. , corrects the shape of the generated organ model based on the latest endoscopic image information, and outputs information on the corrected organ model.
  • FIG. 2 is a diagram mainly showing the structural and functional configuration of the image processing apparatus in the first embodiment;
  • FIG. FIG. 2 is a block diagram showing an example of the configuration of the image processing apparatus according to the first embodiment when viewed in units of structure;
  • 4 is a flow chart showing processing of the image processing apparatus of the first embodiment;
  • FIG. 4 is a diagram for explaining generation of an organ model by an organ model generation unit in the first embodiment;
  • FIG. 4 is a diagram showing an example of an overall image of an organ model and an organ model generated, corrected, and displayed in the first embodiment;
  • FIG. 4 is a diagram for explaining an example of detecting changes in an organ model based on feature points in the first embodiment
  • 9 is a flow chart showing processing of the image processing apparatus according to the second embodiment of the present invention. It is a chart which shows a mode that the variation
  • FIG. 11 is a diagram showing an example of correcting the shape of an organ model based on the amount of change in the second embodiment;
  • FIG. 9 is a flow chart showing the process of estimating the amount of change in the organ model in step S12 of FIG. 8 in the second embodiment.
  • FIG. FIG. 11 is a chart showing how changes in an organ model include expansion, rotation, and movement in the second embodiment;
  • FIG. 12 is a flow chart showing processing for detecting an enlargement/reduction amount in step S21 of FIG. 11 in the second embodiment.
  • FIG. FIG. 11 is a chart for explaining processing for detecting an enlargement/reduction amount in the second embodiment
  • FIG. FIG. 12 is a flow chart showing a rotation amount detection process in step S22 of FIG. 11 in the second embodiment.
  • FIG. FIG. 11 is a chart for explaining a rotation amount detection process in the second embodiment
  • FIG. FIG. 12 is a flow chart showing processing for detecting an amount of expansion/contraction in step S23 of FIG. 11 in the second embodiment.
  • FIG. FIG. 10 is a chart for explaining processing for detecting an amount of expansion/contraction in the second embodiment;
  • FIG. FIG. 10 is a chart for explaining processing for detecting an amount of expansion/contraction in the second embodiment;
  • FIG. FIG. 10 is a chart for explaining processing for detecting an amount of expansion/contraction in the second embodiment;
  • FIG. FIG. 10 is a chart for
  • FIG. 12 is a flow chart showing movement amount detection processing in step S24 of FIG. 11 in the second embodiment.
  • FIG. FIG. 9 is a chart for explaining an example of a method of correcting the shape of an organ model in step S3A of FIG. 8 in the second embodiment;
  • FIG. 10 is a flow chart showing processing of the image processing apparatus according to the third embodiment of the present invention;
  • FIG. 22 is a flow chart showing processing for estimating the amount of change in folds in step S12B of FIG. 21 in the third embodiment.
  • FIG. FIG. 11 is a chart for explaining the process of detecting the presence or absence of passing through a fold in the third embodiment;
  • FIG. FIG. 11 is a chart for explaining how folds in an endoscopic image are associated with folds in an organ model in the third embodiment;
  • FIG. 11 is a chart for explaining how the amount of change in the same fold is detected in the third embodiment;
  • FIG. FIG. 23 is a flow chart showing the process of detecting the amount of change of the same fold in step S73 of FIG. 22 in the third embodiment;
  • FIG. FIG. 27 is a flow chart showing another example of processing for detecting the diameter expansion/contraction amount in step S81 of FIG. 26 in the third embodiment.
  • FIG. FIG. 11 is a chart for explaining another example of processing for detecting a diameter expansion/reduction amount in the third embodiment;
  • FIG. FIG. 11 is a graph for explaining an example of a method for correcting the amount of expansion/contraction of the diameter of an organ model in the third embodiment;
  • FIG. 14 is a diagram for explaining an example of correcting the amount of expansion/contraction of the diameter of the organ model within the correction range in the third embodiment;
  • FIG. 14 is a graph for explaining an example of a method for correcting the amount of rotation of an organ model in the third embodiment;
  • FIG. 27 is a chart for explaining the process of detecting the expansion/contraction amount in step S83 of FIG. 26 in the third embodiment;
  • FIG. 11 is a graph for explaining an example of a method for correcting the amount of expansion/contraction of an organ model in the third embodiment;
  • FIG. FIG. 13 is a diagram for explaining an example of correcting the expansion/contraction amount of an organ model in the third embodiment;
  • FIG. 27 is a flow chart for explaining the process of detecting the amount of movement in step S84 of FIG. 26 in the third embodiment
  • FIG. FIG. 13 is a diagram showing an example of detecting the same folds of an existing organ model and a new organ model in order to determine movement of the organ in the third embodiment
  • FIG. 12 is a diagram for explaining a method of correcting the shape of an organ model according to the movement of the organ in the third embodiment
  • FIG. 11 is a graph for explaining a method of correcting the shape of an organ model according to movement of the organ in the third embodiment
  • FIG. FIG. 13 is a chart showing a display example of an organ model and an unobserved region in the third embodiment
  • FIG. 1 to 7 show the first embodiment of the present invention
  • FIG. 1 is a perspective view showing the configuration of an endoscope system 1 in the first embodiment.
  • the endoscope system 1 includes, for example, an endoscope 2, a light source device 3, an image processing device 4, a tip position detection device 5, a suction pump 6, a water supply tank 7, and a monitor 8. Of these, except for the endoscope 2, as shown in FIG. 1, the cart 9 is mounted or fixed.
  • the endoscope system 1 is placed, for example, in an examination room where examination and treatment of subjects are performed.
  • the light source device 3 and the image processing device 4 may be separate units, or may be an integrated light source type image processing device.
  • the tip position detection device 5 can apply a technique of grasping the position of the tip of the endoscope by generating a magnetic field, for example.
  • a known insertion shape detection device UPD
  • UPD insertion shape detection device
  • the endoscope 2 includes an insertion section 2a, an operation section 2b, and a universal cable 2c.
  • the insertion portion 2a is a portion to be inserted into the subject, and includes a distal end portion 2a1, a bending portion 2a2, and a flexible tube portion 2a3 in order from the distal end side to the proximal end side.
  • An imaging unit including an imaging optical system and an imaging element 2d (see FIG. 2), a magnetic coil 2e (see FIG. 2), a tip portion of a light guide, a tip side opening of a treatment instrument channel, and the like are arranged at the tip portion 2a1. ing.
  • the operation part 2b is arranged on the proximal end side of the insertion part 2a, and is a part where various operations are performed by hand.
  • the universal cable 2c is, for example, a connection cable that extends from the operation section 2b and connects the endoscope 2 to the light source device 3, the image processing device 4, the suction pump 6, and the water supply tank 7.
  • a light guide, a signal cable, a treatment instrument channel that also serves as a suction channel, and an air/water channel are inserted into the insertion portion 2a, the operation portion 2b, and the universal cable 2c of the endoscope 2.
  • a connector provided at the extending end of the universal cable 2c is connected to the light source device 3.
  • a cable extending from the connector is connected to the image processing device 4 . Therefore, the endoscope 2 is connected to the light source device 3 and the image processing device 4 .
  • the light source device 3 includes a light emitting device such as an LED (Light Emitting Diode) light source, a laser light source, or a xenon light source as a light source. By connecting the connector to the light source device 3, it becomes possible to transmit illumination light to the light guide.
  • a light emitting device such as an LED (Light Emitting Diode) light source, a laser light source, or a xenon light source as a light source.
  • the illumination light that has entered the proximal end surface of the light guide from the light source device 3 is transmitted through the light guide and irradiated toward the subject from the distal end surface of the light guide arranged at the distal end portion 2a1 of the insertion portion 2a.
  • the suction channel and the air/water supply channel are connected to the suction pump 6 and the water supply tank 7 via the light source device 3, for example. Therefore, by connecting the connector to the light source device 3, suction of the suction channel by the suction pump 6, water supply from the water tank 7 via the air/water supply channel, and air supply via the air/water supply channel are performed. It becomes possible.
  • the suction pump 6 is used to suck liquid from the subject.
  • the water supply tank 7 is a tank that stores liquid such as physiological saline. By sending pressurized gas from the air/water pump in the light source device 3 to the water tank 7, the liquid in the water tank 7 is sent to the air/water channel.
  • the tip position detection device 5 uses a magnetic sensor (position detection sensor) to detect magnetism generated from one or more magnetic coils 2e (see FIG. 2) provided in the insertion section 2a, thereby detecting the shape of the insertion section 2a. to detect The distal end position detection device 5 detects the position and orientation of the distal end portion 2a1 of the insertion portion 2a.
  • a magnetic sensor position detection sensor
  • the image processing device 4 transmits a drive signal for driving the imaging element 2d (see FIG. 2) via the signal cable.
  • An imaging signal output from the imaging element 2d is transmitted to the image processing device 4 via a signal cable.
  • the image processing device 4 performs image processing on the imaging signal acquired by the imaging device 2d, generates and outputs a displayable image signal. Further, position information of the distal end portion 2a1 of the insertion portion 2a obtained from the distal end position detection device 5 is input to the image processing device 4.
  • FIG. Note that the image processing device 4 may control not only the endoscope 2 but also the entire endoscope system 1 including the light source device 3, the tip position detection device 5, the suction pump 6, the monitor 8, and the like.
  • the monitor 8 displays images including endoscopic images based on image signals output from the image processing device 4 .
  • FIG. 2 is a diagram mainly showing the structural and functional configuration of the image processing apparatus in the first embodiment. 2, illustration of the light source device 3, the suction pump 6, the water tank 7, etc. is omitted.
  • the endoscope 2 is configured as an electronic endoscope, and includes an imaging element 2d and a magnetic coil 2e at the distal end portion 2a1 of the insertion portion 2a.
  • the imaging device 2d captures an optical image of the subject formed by the imaging optical system and generates an imaging signal.
  • the imaging element 2d performs imaging, for example, on a frame-by-frame basis, and generates imaging signals related to images of a plurality of frames in time series.
  • the generated imaging signals are sequentially output to the image processing device 4 via a signal cable connected to the imaging element 2d.
  • the position and orientation of the distal end portion 2a1 of the insertion portion 2a detected by the distal end position detection device 5 based on the magnetism generated by the magnetic coil 2e are output to the image processing device 4.
  • the image processing device 4 includes an input unit 11, an organ model generation unit 12, an organ model shape correction unit 13, a memory 14, an unobserved region determination/correction unit 15, an output unit 16, a recording unit 17, It has
  • the input unit 11 inputs an imaging signal from the imaging element 2d and information on the position and orientation of the distal end portion 2a1 of the insertion portion 2a from the distal end position detection device 5.
  • the organ model generation unit 12 acquires endoscopic image information (hereinafter referred to as an endoscopic image as appropriate) related to the imaging signal from the input unit 11 . Then, the organ model generator 12 detects the position and orientation of the distal end portion 2a1 of the insertion portion 2a from the endoscopic image. The organ model generation unit 12 also acquires information on the position and orientation of the distal end portion 2a1 of the insertion portion 2a from the distal end position detection device 5 via the input unit 11 as necessary. Furthermore, the organ model generator 12 generates a three-dimensional organ model based on the position and orientation of the distal end portion 2a1 and the endoscopic image.
  • endoscopic image hereinafter referred to as appropriate
  • the organ model shape correction unit 13 corrects the shape of the previously generated organ model (existing organ model) based on the latest endoscopic image.
  • the memory 14 stores the corrected organ model.
  • the unobserved area determination/correction unit 15 determines an unobserved area in the corrected organ model, and corrects the position and shape of the unobserved area according to the corrected organ model.
  • the position and shape of the unobserved area are stored in memory 14 as needed.
  • the output unit 16 outputs information on the corrected organ model. Furthermore, the output unit 16 also outputs information on the unobserved area as necessary.
  • the recording unit 17 nonvolatilely stores endoscope image information image-processed by the image processing device 4 and output from the output unit 16 .
  • the recording unit 17 may be a recording device provided outside the image processing device 4 .
  • information on the organ model output from the output unit 16 is displayed on the monitor 8 as an organ model image together with, for example, an endoscopic image.
  • FIG. 3 is a block diagram showing an example of the configuration when the image processing device 4 of the first embodiment is viewed in structural units. be.
  • the image processing device 4 includes a processor 4a having hardware and a memory 4b.
  • the processor 4a is, for example, an ASIC (Application Specific Integrated Circuit) including a CPU (Central Processing Unit), etc., an FPGA (Field Programmable Gate Array), or a GPU (Graphics Processing Unit), etc. Prepare.
  • ASIC Application Specific Integrated Circuit
  • CPU Central Processing Unit
  • FPGA Field Programmable Gate Array
  • GPU Graphics Processing Unit
  • the memory 4b includes the memory 14 in FIG. 2, for example, a volatile storage medium such as RAM (Random Access Memory) and ROM (Read Only Memory) (or EEPROM (Electrically Erasable Programmable Read-Only Memory)). and a non-volatile storage medium.
  • the RAM temporarily stores various types of information such as images to be processed, processing parameters at the time of execution, and user setting values input from the outside.
  • the ROM nonvolatilely stores various types of information such as a processing program (computer program), specified values of processing parameters, and user setting values that should be stored even after the power of the endoscope system 1 is turned off.
  • FIG. 1 Various functions of the image processing device 4 as shown in FIG. 1 are achieved by the processor 4a shown in FIG. 3 reading and executing the processing program stored in the memory 4b. However, all or part of the various functions of the image processing device 4 may be configured to be performed by a dedicated electronic circuit.
  • the processing program (or at least part of the processing program) can be a flexible disk, a CD-ROM (Compact Disc Read only memory), a DVD ( Digital Versatile Disc), portable storage media such as Blu-ray Discs, storage media such as hard disk drives or SSDs (Solid State Drives), cloud storage media, etc.
  • the processing program is read from an external storage medium, stored in the memory 4b, and the processor 4a executes the processing program.
  • FIG. 4 is a flowchart showing processing of the image processing device 4 of the first embodiment.
  • the image processing device 4 When the power of the endoscope system 1 is turned on and the endoscope 2 starts imaging and starts outputting imaging signals, the image processing device 4 performs the processing shown in FIG. information) is input for, for example, one frame.
  • the image processing device 4 acquires one or more latest endoscopic images through the input unit 11 (step S1).
  • the organ model generation unit 12 generates an organ model of an imaging target based on one or more acquired endoscopic images (step S2). In order to generate a three-dimensional organ model, it is preferable to use a plurality of endoscopic images taken at different positions. It is also possible to generate a three-dimensional organ model from
  • the organ model shape correction unit 13 corrects the shape of the previously generated organ model (existing organ model) based on the latest endoscopic image (step S3).
  • the organ model shape correction unit 13 corrects is not performed, and the organ model acquired from the organ model generation unit 12 is stored in the memory 14 .
  • the organ model shape correction unit 13 receives the latest internal image from the organ model generation unit 12. A new organ model generated based on the endoscopic image is obtained, and the latest endoscopic image is also obtained if necessary. Furthermore, the organ model shape correction unit 13 acquires existing organ models from the memory 14 . Then, the organ model shape correction unit 13 determines whether the existing organ model needs to be corrected based on at least one of the latest endoscopic image and the new organ model. When determining that correction is necessary, the organ model shape correction unit 13 corrects the existing organ model based on the new organ model. The organ model shape correction unit 13 stores the corrected organ model in the memory 14 .
  • the output unit 16 outputs information on the organ model corrected by the organ model shape correction unit 13 to the monitor 8 (step S4). Thereby, the organ model image is displayed on the monitor 8 .
  • the processing shown in FIG. 4 is executed each time the latest endoscopic image is acquired. Therefore, the user can confirm on the monitor 8 an organ model that is generated based on the latest endoscopic image information and matches the current organ.
  • FIG. 5 is a diagram for explaining generation of an organ model by the organ model generation unit 12 in the first embodiment.
  • the organ model generation unit 12 generates a 3D organ model by, for example, visual SLAM (Visual Simultaneous Localization And Mapping).
  • the organ model generation unit 12 may estimate the position and orientation of the distal end portion 2a1 of the insertion portion 2a by visual SLAM processing, or may use information input from the distal end position detection device 5.
  • the organ model generation unit 12 first performs initialization when generating a three-dimensional organ model. Assume that the internal parameters of the endoscope 2 are known by calibration at the time of initialization. As initialization, the organ model generator 12 estimates the self-position and three-dimensional position of the endoscope 2 by, for example, SfM (Structure from Motion).
  • SfM Structure from Motion
  • SLAM assumes a real-time property and receives, for example, time-continuous moving images as input, whereas SfM assumes a plurality of images that do not assume a real-time property.
  • FIG. 5 shows how the position of the distal end portion 2a1 of the insertion portion 2a changes as time passes from t(n) to t(n+1) to t(n+2).
  • the organ model generation unit 12 searches for corresponding points in the endoscopic images of multiple frames.
  • an endoscope image IMG(n) captured at time t(n) and an endoscope image captured at time t(n+1) after time t(n) Corresponding points are searched for between the image IMG(n+1) and the endoscopic image IMG(n+2) captured at time t(n+2) after time t(n+1).
  • an image point IP1 corresponding to the point P1 in the organ OBJ of the subject is searched in the endoscopic image IMG(n) and the endoscopic image IMG(n+1), and searched from the endoscopic image IMG(n+2). is not searched in the endoscopic image IMG(n), and the image point IP2 corresponding to the point P2 in the organ OBJ of the subject is not searched in the endoscopic image IMG(n+1) and the endoscopic image IMG(n+2).
  • the organ model generator 12 estimates the position and orientation of the endoscope 2 (tracking).
  • the problem of estimating the position and orientation of the endoscope 2 (more generally, the camera) is called the so-called PnP problem. This is a problem of estimating the position and orientation of the camera (the endoscope 2 in this embodiment).
  • the organ model generation unit 12 estimates the posture of the endoscope 2 based on a plurality of points whose three-dimensional positions are known and the positions of the plurality of points on the image.
  • the organ model generation unit 12 registers (maps) points on the 3D map.
  • the three-dimensional position of the point can be determined by finding correspondence between common points appearing in a plurality of endoscopic images obtained by the endoscope 2 whose orientation is known (triangulation).
  • the organ model generation unit 12 repeats the above-described tracking and mapping, thereby knowing the three-dimensional position of an arbitrary point on the endoscopic image, and generating an organ model.
  • FIG. 6 is a diagram showing an example of an overall image of an organ model and an organ model that is generated, corrected, and displayed in the first embodiment.
  • FIG. 6 shows the overall image of the organ model OM.
  • an intestinal tract specifically a colon organ model is shown, but the organ model is not limited to this.
  • IC indicates the cecum, AN the anus, FCD the liver flexure (right colic flexure), FCS the splenic flexure (left colic flexure), and TC the transverse colon.
  • Column B in FIG. 6 shows the state of the organ model OM generated when the insertion portion 2a of the endoscope 2 is moved from the cecum IC side to the splenic flexure FCS side via the hepatic flexure FCD.
  • the triangles in columns B to D of FIG. 6 indicate the viewing angles when the subject is observed from the distal end portion 2a1 of the insertion portion 2a.
  • an organ model OM near the cecum IC is generated.
  • the right column of B in FIG. 6 shows a modification of the middle column of B in FIG. It is assumed that there is no unobserved region in the portion indicated by the dotted line in the right column of B of the organ model OM in the center column of B in FIG. At this time, the existing organ model portion indicated by the dotted line may or may not be held in the memory 14 and may or may not be displayed on the monitor 8 .
  • the portion indicated by the broken line indicates the organ model OM1 before correction
  • the portion indicated by the solid line indicates the organ model OM2 after correction.
  • the monitor 8 displays the corrected organ model OM2.
  • FIG. 7 is a diagram for explaining an example of detecting changes in an organ model based on feature points in the first embodiment.
  • a feature point is one of specific targets included in endoscope image information.
  • FIG. 7 shows the state of the endoscopic image IMG(n) captured at time t(n).
  • Column A2 in FIG. 7 shows the endoscopic image IMG(n+1) captured at time t(n+1).
  • the plurality of feature points SP(n) in the endoscopic image IMG(n) and the plurality of feature points SP(n+1) in the endoscopic image IMG(n+1) are the same corresponding feature points (same feature points). point).
  • Column B1 in FIG. 7 shows the organ OBJ(n) of the subject and the imaging area IA(n) of the endoscope 2 at time t(n).
  • Column B2 in FIG. 7 shows the organ OBJ(n+1) of the subject and the imaging area IA(n+1) of the endoscope 2 at time t(n+1). Comparing columns B1 and B2, the lumen diameter of the subject's organ OBJ(n+1) at time t(n+1) is larger than the lumen diameter of the subject's organ OBJ(n) at time t(n). are doing.
  • FIG. 7 shows the organ model OM(n) at time t(n) and the organ model area OMA(n) corresponding to the imaging area IA(n).
  • Column C2 in FIG. 7 shows the organ model OM(n+1) at time t(n+1) and the organ model area OMA(n+1) corresponding to the imaging area IA(n+1) in comparison with the organ model OM(n). ing.
  • Column D in FIG. 7 shows a plurality of feature points SP(n) in the organ model area OMA(n) and organ models corresponding to the plurality of feature points SP(n) in the cross section CS shown in column C2 in FIG.
  • a plurality of feature points SP(n+1) in an area OMA(n+1) are detected using feature amounts, brightness values, brightness gradient values, and the like.
  • the luminal diameter has expanded, so the feature point SP(n+1) is a point that has moved so as to expand the feature point SP(n) in the radial direction.
  • the shape of the generated organ model is corrected, it is possible to generate an organ model that matches the current shape of the organ. Also, since the point OMP(n) on the existing organ model OM(n) is deleted, a plurality of organ models will not be generated for the same region, and the organ model will be appropriate.
  • FIGS. 8 to 20 show the second embodiment of the present invention
  • FIG. 8 is a flowchart showing processing of the image processing device 4 of the second embodiment.
  • parts that are the same as those in the first embodiment are denoted by the same reference numerals, and descriptions thereof are omitted as appropriate, and different points are mainly described.
  • the image processing device 4 When the process shown in FIG. 8 is started, the image processing device 4 performs the process of step S1 to acquire one or more latest endoscopic images, and the organ model generation unit 12 generates the insertion unit from the acquired endoscopic images.
  • the position and orientation of the tip 2a1 of 2a are estimated (step S11).
  • the organ model generation unit 12 generates an organ model to be imaged (step S2A).
  • the organ model shape correction unit 13 identifies a changed part of the current imaging target organ model (new organ model) generated in step S2A with respect to the previously generated organ model (existing organ model), The amount of change in the changed site is estimated (step S12).
  • the amount of change is estimated, for example, based on the amount of change of corresponding points (such as feature points) in each cross section of the existing organ model and the new organ model. For example, when the processing shown in FIG. 4 is executed each time one frame of endoscopic image information is input, the amount of change is also calculated for each frame.
  • the organ model shape correction unit 13 corrects the shape of the existing organ model based on the estimated change amount of the organ model (step S3A).
  • step S4 After that, the process of step S4 is performed, and the information of the corrected organ model is output to the monitor 8 or the like.
  • FIG. 9 is a chart showing how the amount of change in the organ model at different times is estimated in the second embodiment.
  • the left column of A in FIG. 9 shows the target organ model area OMA(n) for detecting the amount of change in the organ model OM(n) at time t(n).
  • the right column of A in FIG. 9 shows the target organ model area OMA(n+1) for detecting the amount of change in the organ model OM(n+1) at time t(n+1).
  • the diameter is expanded, for example, by an appropriate real number multiple.
  • FIG. 10 is a diagram showing an example of correcting the shape of the organ model based on the amount of change in the second embodiment.
  • the organ model OM(n) at the past time t(n) is corrected to the organ model OM(n+1) at the current time t(n+1).
  • the unobserved area determination/correction unit 15 determines the unobserved area UOA(n+1) in the corrected organ model OM(n+1). For example, the unobserved area determination/correction unit 15 determines whether the unobserved area UOA(n) has become an observed area. It is determined whether or not the area has moved to the area UOA(n+1), and whether or not a new unobserved area UOA(n+1) has occurred is also determined.
  • the unobserved area determination/correction unit 15 then superimposes the generated unobserved area UOA(n+1) on the corrected organ model OM(n+1) and outputs it to the output unit 16 .
  • an organ model image in which the position and shape are corrected or a new unobserved area UOA(n+1) is superimposed on the new organ model OM(n+1) is displayed on the monitor 8 together with, for example, an endoscopic image. be done.
  • the unobserved area determination/correction unit 15 may hold the unobserved area UOA(n+1) in the memory 14 .
  • FIG. 11 is a flowchart showing the process of estimating the amount of change in the organ model in step S12 of FIG. 8 in the second embodiment.
  • the estimation of the amount of change in the organ model by the organ model shape correction unit 13 is performed, for example, by detecting the expansion/contraction amount of the lumen diameter of the new organ model with respect to the existing organ model (step S21), and calculating the central axis of the lumen ( The amount of rotation about the lumen axis) is detected (step S22), the amount of expansion and contraction of the lumen along the lumen axis is detected (step S23), and the amount of movement of the lumen within the subject is detected (step S24). ).
  • the order of detection is not limited to the illustrated one.
  • FIG. 12 is a chart showing how changes in the organ model include expansion, rotation, and movement in the second embodiment.
  • the change from the plurality of feature points SP(n) to the plurality of feature points SP(n+1) in the organ model OM includes, for example, expansion EXP of the lumen diameter, rotation ROT of the lumen about the lumen axis, and a movement MOV of the lumen within the subject.
  • FIG. 13 is a flow chart showing the process of detecting the amount of enlargement/reduction in step S21 of FIG. 11 in the second embodiment.
  • 14A and 14B are charts for explaining the processing for detecting the amount of enlargement/reduction in the second embodiment.
  • the organ model shape correction unit 13 starts the process of detecting the amount of enlargement/reduction shown in FIG. Feature points SP(n+1) corresponding to the feature points SP(n) are detected in the new organ model OM(n+1) generated by the organ model generating unit 12 based on this (step S31).
  • the organ model shape correction unit 13 calculates specific two points on the cross section CS(n) perpendicular to the lumen axis of the existing organ model OM(n). A distance D1 between two feature points SP(n) is detected (step S32).
  • the organ model shape correction unit 13 detects the distance D1 on the cross section CS(n+1) perpendicular to the lumen axis of the new organ model OM(n+1), as shown in columns A2 and B2 of FIG. A distance D2 between two feature points SP(n+1) corresponding to the feature point SP(n) obtained is detected (step S33).
  • the organ model shape correction unit 13 sets the ratio of the distance D2 to the distance D1 (D2/D1) as the expansion/contraction amount of the luminal diameter (step S34), and returns to the process of FIG.
  • the ratio (D2/D1) is greater than 1, the lumen diameter is expanded, and when the ratio (D2/D1) is less than 1, the lumen diameter is reduced.
  • FIG. 15 is a flowchart showing the rotation amount detection process in step S22 of FIG. 11 in the second embodiment.
  • FIG. 16 is a chart for explaining the rotation amount detection process in the second embodiment.
  • the organ model shape correction unit 13 performs image estimation by, for example, SLAM processing based on endoscope images acquired from the input unit 11 via the organ model generation unit 12 and acquired from the input unit 11.
  • the first rotation amount ⁇ 1 of the distal end portion 2a1 of the insertion portion 2a is detected (step S41). For example, when the rotation amount of a plurality of endoscopic image information with different imaging times detected based on a specific object (feature point, etc.) is ⁇ 1, the organ model shape correction unit 13 determines the rotation amount of the distal end portion 2a1. is detected as ⁇ 1.
  • the organ model shape correction unit 13 calculates the distal end portion 2a1 of the insertion portion 2a between the two times when the first rotation amount ⁇ 1 is detected. is detected as shown in column B of FIG. 16 (step S42).
  • the organ model shape correction unit 13 detects the difference ( ⁇ 1 ⁇ 2) between the first rotation amount ⁇ 1 and the second rotation amount ⁇ 2 as the rotation amount of the organ (step S43), and returns to the processing of FIG. do.
  • FIG. 17 is a flow chart showing the expansion/contraction amount detection process in step S23 of FIG. 11 in the second embodiment.
  • FIG. 18 is a chart for explaining the expansion/contraction amount detection process in the second embodiment.
  • the organ model shape correction unit 13 corrects two cross sections CS1(n) and CS2(n) perpendicular to the lumen axis including feature points, as shown in column A of FIG. is selected, and the distance L1 between the two cross sections CS1(n) and CS2(n) is detected (step S51).
  • the organ model shape correction unit 13 corresponds to the two cross sections CS1(n) and CS2(n) from which the distance L1 is detected, as shown in column B of FIG. Two cross-sections CS1(n+1), CS2(n+1) perpendicular to the lumen axis including the feature points that .
  • the organ model shape correcting unit 13 sets the ratio of the distance L2 to the distance L1 (L2/L1) as the expansion/contraction amount of the luminal diameter (step S53), and returns to the process of FIG.
  • the ratio (L2/L1) is greater than 1, the lumen length is extended, and when the ratio (L2/L1) is less than 1, the lumen length is shortened.
  • FIG. 19 is a flow chart showing the movement amount detection process in step S24 of FIG. 11 in the second embodiment.
  • the organ model shape correction unit 13 corrects the existing organ model OM(n) based on the expansion/contraction amount detected in step S21, the rotation amount detected in step S22, and the expansion/contraction amount detected in step S23 (step S61).
  • the organ model shape correction unit 13 detects the same feature points of the organ model before and after correction (step S62).
  • the number of feature points to be detected may be one, but is preferably plural. Therefore, an example of detecting a plurality of feature points will be described below.
  • the organ model shape correction unit 13 calculates the average distance of a plurality of identical feature points in the organ model before and after correction (step S63). Note that if the number of feature points to be detected is one in step S62, the processing in step S63 may be omitted, and the distance between the same feature points in the organ model before and after correction may be regarded as the average distance. .
  • the organ model shape correction unit 13 determines whether the calculated average distance is equal to or greater than a predetermined threshold (step S64).
  • step S63 the average distance calculated in step S63 is detected as the movement amount (step S65).
  • step S64 if it is determined in step S64 that the distance is less than the threshold, it is detected that the movement amount is 0 (step S66). That is, in order to prevent erroneous detection, it is determined that the organ does not move when the average distance is less than the threshold.
  • step S65 or step S66 After the processing of step S65 or step S66 is performed, return to the processing of FIG.
  • FIG. 20 is a chart for explaining an example of a method of correcting the shape of the organ model in step S3A of FIG. 8 in the second embodiment.
  • the shape of the organ model is corrected based on the amount of change in the organ model detected in step S12.
  • the correction range at this time is defined as a fixed distance range (part of the organ model including the changed part) along the luminal axis, with the target area (changed part) for detecting the amount of change as a base point. can do.
  • the fixing distance forward from the change site and the fixation distance behind the change site along the lumen axis may be the same distance or different distances.
  • the correction range may be a range (a part of the organ model including the changed part) with at least one of the landmark and the position of the distal end portion 2a1 of the insertion section 2a as an end point.
  • Landmarks when the organ is the large intestine include cecum IC and anus AN, which are the ends of the organ, liver flexure FCD, and splenic flexure FCS, which are the boundary between the fixed part and the movable part. These landmarks differ depending on the organ and can be detected by site recognition by AI.
  • the organ model shape correction unit 13 can set the range of the organ model that is not to be corrected based on the type of organ. Then, the organ model shape correction unit 13 refers to the specific target type information corresponding to the type of organ, and calculates the amount of change.
  • the organ model shape correction unit 13 may set the entire organ model as the correction range.
  • the correction amount within the correction range is controlled according to the distance along the lumen axis, for example, with the correction amount in the area for which the amount of change is detected as 1, and the correction amount at the end point of the correction range as 0.
  • FIG. 20 shows an example in which the correction range CTA is set with the position of the distal end portion 2a1 of the insertion portion 2a in the central portion of the transverse colon TC and the liver curvature FCD as endpoints.
  • the correction amount of the area DA (specific example, the fold) that is the target of detecting the change amount is 1, and the correction amount of the end points is 0, and the lumen axis is It shows an example of controlling the correction amount according to the distance along. That is, the organ model shape correction unit 13 decreases the amount of correction of the shape of the organ model as the distance from the area DA (specific target) for which the amount of change is detected increases.
  • the unobserved area UOA can be presented at the correct position. Become.
  • the amount of change in the organ model can be detected by an appropriate method according to each of scaling, rotation, expansion and contraction, and movement.
  • FIGS. 21 to 39 show the third embodiment of the present invention
  • FIG. 21 is a flowchart showing processing of the image processing device 4 of the third embodiment.
  • parts that are the same as those in the first and second embodiments are denoted by the same reference numerals, and descriptions thereof are omitted as appropriate, and different points are mainly described.
  • step S1 When the process shown in FIG. 21 is started, the process of step S1 is performed to obtain one or more latest endoscopic images, and the process of step S11 is performed to obtain the distal end portion 2a1 of the insertion portion 2a from the endoscopic image. Estimate position and pose.
  • step S2A is performed to generate an organ model to be imaged. At this time, if there is no unobserved region as shown in column B of FIG. It is the same as in the first and second embodiments in that it does not matter whether or not it is used.
  • the organ model shape correction unit 13 estimates the amount of change in the intestinal fold (specific target) in the organ model (step S12B). If the position, shape, or the like of an organ changes, it may not be possible to establish correspondence between feature points between an existing organ model and a new organ model. On the other hand, the number of folds in a hollow organ does not change even if the position or shape of the organ changes, and the order of the folds does not change. Therefore, in this embodiment, folds are used to reliably estimate the amount of change in the organ model.
  • the organ model shape correction unit 13 corrects the shape of the existing organ model based on the estimated amount of change in folds in the organ model (step S3B).
  • step S4 After that, the process of step S4 is performed, and the information of the corrected organ model is output to the monitor 8 or the like.
  • FIG. 22 is a flowchart showing the process of estimating the amount of change in folds in step S12B of FIG. 21 in the third embodiment.
  • FIG. 23 is a chart for explaining the process of detecting the presence or absence of passing through a fold in the third embodiment.
  • the organ model shape correction unit 13 generates an endoscopic image IMG(n) at the past time t(n) as shown in column A1 in FIG. 23 and the latest time t(n) as shown in column B1 or C1 in FIG. An endoscopic image IMG(n+1) at t(n+1) is acquired.
  • the endoscopic image IMG(n) was used to generate an existing 3D organ model, and the endoscopic image IMG(n+1) was used to generate a new 3D organ model. It is an image.
  • the organ model shape correction unit 13 searches for common feature points SP other than folds as tracking points in the endoscopic image IMG(n) and the endoscopic image IMG(n+1) captured at different times.
  • the organ model shape correction unit 13 determines whether or not the distal end portion 2a1 of the insertion portion 2a has passed the fold CP1 located on the distal side in the vicinity of the feature point SP in the endoscopic image IMG(n). judge. Since column A in FIG. 23 relates to time t(n), as shown in column A2, the fold passage is not determined.
  • the organ model shape correcting unit 13 determines that the fold CP1 has been passed, as shown in column B2 of FIG. 23 .
  • the organ model shape correction unit 13 determines that the fold CP1 is not passed, as shown in column C2 of FIG.
  • the organ model shape correction unit 13 determines whether or not there is a fold passage (step S71).
  • the organ model shape correction unit 13 detects the same folds of the existing organ model and the new organ model based on the presence or absence of passing through the folds (step S72).
  • FIG. 24 is a chart for explaining how folds in an endoscopic image are associated with folds in an organ model in the third embodiment.
  • column A1 indicates the fold CP1 in the endoscopic image IMG(n)
  • column A2 indicates the folds CP1 and CP2 in the endoscopic image IMG(n+1).
  • column B1 indicates that the distal end portion 2a1 of the insertion portion 2a is at a position where only the fold CP1 is observed in the organ model OM(n).
  • Column B2 indicates that the distal end portion 2a1 of the insertion portion 2a is at the position where the folds CP1 and CP2 are observed in the organ model OM(n+1).
  • the organ model shape correction unit 13 After detecting the same fold in step S72, the organ model shape correction unit 13 detects the amount of change in the same fold (step S73).
  • FIG. 25 is a chart for explaining how the amount of change in the same fold is detected in the third embodiment.
  • FIG. 25 shows how three folds CP1(n), CP2(n), and CP3(n) are detected in the organ model OM(n) at time t(n).
  • Column A2 in FIG. 25 shows three folds CP1 ( n+1), CP2(n+1), and CP3(n+1) are detected.
  • the organ model shape correction unit 13 detects the amount of change by comparing the fold CP3(n) shown in column B1 of FIG. 25 with the fold CP3(n+1) shown in column B2 of FIG.
  • FIG. 26 is a flow chart showing the process of detecting the amount of change of the same fold in step S73 of FIG. 22 in the third embodiment.
  • Detection of the amount of change in the same fold by the organ model shape correction unit 13 is performed by, for example, detecting the amount of expansion or contraction of the diameter of the same fold in the new organ model with respect to the fold in the existing organ model (step S81), rotating The amount is detected (step S82), the expansion/contraction amount between two identical folds is detected (step S83), and the movement amount of the fold in the subject is detected (step S84).
  • step S81 detecting the amount of expansion or contraction of the diameter of the same fold in the new organ model with respect to the fold in the existing organ model
  • rotating The amount is detected (step S82)
  • the expansion/contraction amount between two identical folds is detected
  • the movement amount of the fold in the subject is detected (step S84).
  • step S81 of FIG. 26 is, for example, in the description with reference to FIGS. Instead, the distance ratio D2/D1 of corresponding feature points on the same fold may be detected. Alternatively, the description with reference to FIGS. 13 and 14 may be applied as it is.
  • FIG. 27 is a flow chart showing another example of processing for detecting the amount of expansion/reduction of the diameter in step S81 of FIG. 26 in the third embodiment.
  • FIG. 28 is a chart for explaining another processing example for detecting the diameter expansion/reduction amount in the third embodiment.
  • cross-sections CS(n) and CS(n+1) perpendicular to the lumen axis are generated so that the existing organ model and the new organ model include the same feature points on the corresponding folds. respectively.
  • a line segment AB having the same length Dx is set on each of the cross sections CS(n) and CS(n+1) (step S91).
  • at least one end point (for example, end point A) of the line segment AB may be the same feature point on the corresponding fold.
  • the diameter ratio d(n+1)/d(n) is detected as the expansion/contraction amount of the lumen diameter in the fold (step S93), and the process returns to FIG.
  • FIG. 29 is a graph for explaining an example of a method of correcting the amount of expansion/contraction of the diameter of the organ model in the third embodiment.
  • FIG. 30 is a diagram for explaining an example of correcting the expansion/contraction amount of the diameter of the organ model within the correction range in the third embodiment.
  • the amount of expansion/reduction may be corrected within the correction range including the fold for which the amount of expansion/reduction is detected.
  • the correction range may be a fixed distance range before and after the fold, between two landmarks including the fold, or between the landmark including the fold and the position of the distal end portion 2a1 of the insertion portion 2a. is.
  • the entire organ model may be set as the correction range.
  • the diameter is changed by the ratio d(n+1)/d(n) at the fold position where the amount of expansion and contraction of the diameter is detected, and the correction range
  • the graph shows a graph in which the rate of change in diameter is set such that the change in diameter ratio is 1 at both end points.
  • the diameter change rate is ⁇ 1+([ ⁇ d(n+1)/d(n) ⁇ -1]/ 2) ⁇ . Note that the graph shown in FIG. 29 is an example, and the rate of change in diameter may be configured as a curve.
  • step S41 detection of the first rotation amount ⁇ 1 based on the endoscopic image may be performed by focusing on folds in the endoscopic image.
  • FIG. 31 is a graph for explaining an example of a method for correcting the amount of rotation of an organ model in the third embodiment.
  • correction can be performed using part or the entire organ model as a correction range, as with the diameter.
  • the lumen axis of the organ model in the correction range is estimated.
  • the rotation amount is changed by ( ⁇ 1- ⁇ 2) at the position of the fold where the rotation amount is detected, Change the amount of rotation so that the amount is zero.
  • the graph shown in FIG. 31 is an example, and the change in the amount of rotation may be configured as a curved line.
  • FIG. 32 is a chart for explaining the process of detecting the expansion/contraction amount in step S83 of FIG. 26 in the third embodiment.
  • column A1 indicates the endoscopic image IMG(n) captured at time t(n)
  • column A2 indicates the endoscopic image IMG(n+1) captured at time t(n+1).
  • the organ model shape correction unit 13 uses AI, for example, to detect two identical folds in the endoscopic image IMG(n) and the endoscopic image IMG(n+1).
  • AI for example, to detect two identical folds in the endoscopic image IMG(n) and the endoscopic image IMG(n+1).
  • the first fold CP1(n) and the second fold CP2(n) are detected in the endoscopic image IMG(n)
  • the endoscopic image IMG(n+1) is the first fold CP2(n).
  • One fold CP1(n+1) and a second fold CP2(n+1) have been detected.
  • the amount of expansion/contraction is detected based on the depth value difference of each fold using SLAM, for example.
  • SLAM depth value difference of each fold
  • the distance L1 between folds in the existing organ model OM(n) as shown in column B1 of FIG. 32 becomes the distance L2 shown in column B2 of FIG. 32 in the new organ model OM(n+1). , to correct the shape of the organ model.
  • the expansion and contraction amount can be corrected within an appropriate correction range including the folds for which the expansion and contraction amount is detected, in the same manner as described above.
  • the correction range may be between a landmark in the opposite direction to the fold that the distal end portion 2a1 of the insertion portion 2a passed last and the fold that is closest to the distal end portion 2a1 and has not yet passed.
  • FIG. 33 is a graph for explaining an example of a method for correcting the expansion/contraction amount of an organ model in the third embodiment.
  • FIG. 34 is a diagram for explaining an example of correcting the expansion/contraction amount of an organ model in the third embodiment.
  • the organ model shape correction unit 13 first determines which part of the organ model OM(n) is to be corrected based on the moving direction of the distal end portion 2a1 of the insertion portion 2a. For example, in FIG. 34, it is assumed that the distal end portion 2a1 of the insertion portion 2a moves from the splenic flexure FCS toward the liver flexure FCD. In this case, the organ model shape correction unit 13 sets the hepatic curve FCD side (cecum IC side) in the transverse colon TC of the organ model OM(n) as a correction range as indicated by hatching.
  • the organ model shape correction unit 13 calculates the length x Calculate
  • the organ model shape correcting unit 13 sets the hepatic flexure FCD, which is a landmark, as a fixed position, and the amount of expansion and contraction from the fixed position to the fold CP2(n+1) at time t(n+1), for example, the shortened length y is calculated based on the change in the distance between folds from L1 to L2. It can be seen that the length along the lumen axis from the landmark to the fold CP2(n+1) is now (xy).
  • the expansion/contraction ratio of the organ model is (x - y)/x.
  • the organ model shape correction unit 13 corrects the organ model OM(n ) is corrected.
  • the graph shown in FIG. 33 is an example, and the change in the expansion/contraction rate may be configured as a curve.
  • an organ model OM(n+1) as shown in FIG. 34 is calculated.
  • FIG. 35 is a flowchart for explaining the process of detecting the amount of movement in step S84 of FIG. 26 in the third embodiment.
  • the position of the distal end portion 2a1 of the insertion portion 2a is estimated when the same folds of the existing organ model and the new organ model are photographed and detected (step S101).
  • the estimation of the position of the distal end portion 2a1 may be performed based on the endoscopic image as described above, or may be performed based on the information input from the distal end position detection device 5.
  • step S102 it is determined whether the difference between the position of the tip portion 2a1 when the folds are photographed in the existing organ model and the position of the tip portion 2a1 when the folds are photographed in the new organ model is a predetermined distance or more. Determine (step S102).
  • step S103 if the distance is greater than or equal to the predetermined distance, it is determined that the organ has moved, and that distance is detected as the amount of movement (step S103).
  • step S104 if the distance is less than the predetermined distance in step S102, it is determined that the organ has not moved, and the amount of movement is detected as 0 (step S104).
  • the reason why it is determined that the organ has moved only when the distance is greater than or equal to a predetermined distance is to prevent an erroneous determination due to a calculation error.
  • FIG. 36 is a diagram showing an example of detecting the same folds of an existing organ model and a new organ model in order to determine organ movement in the third embodiment.
  • the dotted line indicates the position of the organ OBJ(n) of the subject before movement (during the first imaging at time t(n)), and the solid line indicates the position after movement (second imaging at time t(n+1)). time) of the subject's organ OBJ(n+1). Based on the order of the fold from the splenic flexure FCS, which is a landmark, the same fold is detected in the first imaging and the second imaging.
  • the first fold CP1(n) is located at the position of the first fold CP1(n+1), the second fold CP2 ( n) has moved to the position of the second fold CP2(n+1), and the third fold CP3(n) has moved to the position of the third fold CP3(n+1).
  • the distal end portion 2a1 of the insertion portion 2a passes through the first fold CP1 and the second fold CP2 and is at a position facing the third fold CP3. is the fold CP3.
  • Unobserved areas UOA(n) and UOA(n+1) exist near the far side of the third folds CP3(n) and CP3(n+1) when viewed from the distal end portion 2a1 of the insertion portion 2a.
  • the unobserved area determination/correction unit 15 calculates correct positions at times t(n) and t(n+1) and displays them on the monitor 8 or the like.
  • FIG. 37 is a chart for explaining a method of correcting the shape of the organ model according to the movement of the organ in the third embodiment.
  • the organ model shape correction unit 13 corrects the positions of the folds CP(n) and CP(n+1) based on the position of the distal end portion 2a1 of the insertion portion 2a estimated in step S101. calculate.
  • the organ model shape correction unit 13 determines the center of the folds CP(n) and CP(n+1) whose movement is detected and the center of the folds CP(n) and CP(n+1).
  • a straight line connecting the center positions of the landmarks before and after is generated. Specifically, for example, straight lines SL1(n) and SL1(n+1) connecting the center position of the liver curve FCD and the centers of the folds CP(n) and CP(n+1), respectively, and the center position of the splenic curve FCS and the fold CP( n) and CP(n+1), straight lines SL2(n) and SL2(n+1) are generated.
  • the organ model shape correction unit 13 calculates the distance from a predetermined point on the straight line SL1(n) to a predetermined point on the straight line SL1(n+1) for each point. is calculated as the amount of movement of As a method of setting each point, for example, the intersection of a plane perpendicular to a straight line connecting the center position of the hepatic curve FCD and the center position of the splenic curve FCS and the straight lines SL1(n) and SL1(n+1) is set as each point. There is a way.
  • FIG. 38 is a graph for explaining a method of correcting the shape of the organ model according to the movement of the organ in the third embodiment.
  • the correction range is between the liver flexure FCD and the splenic flexure FCS.
  • the amount of movement is monotonically increased as the position increases, and the amount of movement is monotonically decreased as the linear position is moved from the fold CP to the splenic flexure FCS.
  • the graph shown in FIG. 38 is an example, and the change in the amount of movement may be configured as a curved line.
  • the organ model shape correction unit 13 corrects the distance between the hepatic flexure FCD and the splenic flexure FCS of the organ model OM(n) according to the calculated distance. Then, an organ model OM(n+1) is calculated.
  • FIG. 39 is a chart showing a display example of an organ model and unobserved regions in the third embodiment.
  • the corrected organ model OM(n+1) is displayed on the monitor 8 .
  • FIG. 39 shows the corrected organ model OM(n+1) displayed on the monitor 8 .
  • the organ model OM(n+1) displays a range from the distal end portion 2a1 of the insertion portion 2a to the cecum IC via the liver flexure FCD.
  • an area where the organ model OM(n+1) is not generated may be displayed as an unobserved area UOA(n+1).
  • the position of the distal end portion 2a1 of the insertion portion 2a and the visual field direction are displayed on the organ model OM(n+1) by, for example, triangular marks. When a triangular mark is used, one vertex of the triangular mark indicates the position of tip portion 2a1, and two sides sandwiching the vertex indicate the viewing direction and viewing range. However, other marks may of course be used.
  • Column B in FIG. 39 shows an example of displaying only the organ model OM(n+1) after the position of the unobserved area UOA(n+1) in the movement direction of the distal end portion 2a1 of the insertion portion 2a.
  • the distal end portion 2a1 is moving from the cecum IC to the liver flexure FCD and further moving from the liver flexure FCD to the splenic flexure FCS.
  • the organ model OM(n+1) before the position of the unobserved area UOA(n+1) may not be displayed as indicated by the dotted line.
  • Column C in FIG. 39 is an example in which the endoscope image IMG(n+1) is displayed on the monitor 8 and the direction from the distal end portion 2a1 to the unobserved area is displayed by the arrow AR(n+1). At this time, the length (or thickness, color, etc.) of the arrow AR(n+1) may be used to further display the distance from the tip portion 2a1 to the unobserved area.
  • the fold CP may not be clearly imaged.
  • the fold CP is used for correcting the organ model OM in this embodiment. Therefore, when it is necessary to clearly image the fold CP, the movement speed of the tip portion 2a1 may be displayed on the monitor 8, and when the movement speed is equal to or greater than a threshold value, an alert may be issued by display or voice. good.
  • substantially the same effects as those of the above-described first and second embodiments can be obtained, and even if changes occur in the organ, the order of folds and the number of folds will not be affected.
  • Identical folds can be detected by determining whether or not the folds pass through. By detecting the presence or absence of change in the same fold and the amount of change, the change in shape of the organ can be accurately estimated.
  • the unobserved region can be presented correctly, and lesions can be prevented from being overlooked.
  • the shape of the organ model may be corrected based on information obtained from the endoscope 2 or peripheral equipment of the endoscope 2.
  • information obtained from the endoscope 2 or a peripheral device of the endoscope 2 may be combined with endoscope image information to correct the shape of the organ model.
  • the organ when air is supplied from the endoscope 2 into an organ, the organ expands and changes its shape. Therefore, the expansion amount of the organ may be estimated based on the amount of air supplied into the organ, and the shape of the organ model may be corrected.
  • the present invention is mainly described as an image processing apparatus for an endoscope system.
  • it may be a program for causing a computer to perform processing similar to that of an image processing apparatus, a computer-readable non-temporary recording medium (non-volatile storage medium) recording the program, etc. I don't mind.
  • the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the gist of the present invention at the implementation stage.
  • various aspects of the invention can be formed by appropriate combinations of the plurality of constituent elements disclosed in the above embodiments. For example, some components may be omitted from all components shown in the embodiments. Furthermore, components across different embodiments may be combined as appropriate. As described above, it goes without saying that various modifications and applications are possible without departing from the gist of the invention.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

画像処理装置（４）は、ハードウェアを有するプロセッサ（４ａ）を備える。プロセッサ（４ａ）は、内視鏡から内視鏡画像情報を取得して臓器モデルを生成した後、内視鏡画像情報の取得を続行し、最新の内視鏡画像情報に基づいて生成済みの臓器モデルの形状を補正し、補正された臓器モデルの情報を出力するように構成される。

Description

画像処理装置、画像処理方法、プログラム、およびプログラムを記録している不揮発性記憶媒体
　本発明は、内視鏡画像情報を取得して臓器モデルを生成する画像処理装置、画像処理方法、プログラム、およびプログラムを記録している不揮発性記憶媒体に関する。
　内視鏡検査においては、検査対象の臓器の全ての領域を観察して、病変の見逃しを防ぐことが求められる。
　例えば、米国特許公報１０６８２１０８号には、２次元の内視鏡画像に基づき、ＤＳＯ（Direct Sparse Odometry）およびニューラルネットワーク（Neural Network）を用いて、３次元の臓器モデルを作成する技術が記載されている。３次元の臓器モデルは、例えば、内視鏡の位置を把握することに利用される。また、臓器モデルにおいて、視覚化されなかった部分（つまり、未観察部分）を示すことで、未観察の領域を把握することにも利用される。
　ところで、臓器によっては経時的に形状が変化するものがある。また、内視鏡を抜き差しする動作によって、臓器の形状、および体内における臓器の位置が変化することがある。
　米国特許公報１０６８２１０８号の技術により過去に作成された臓器モデルは、臓器の形状や位置が変化すると、現状の臓器と整合しなくなることがある。具体的に、同じ領域に対して複数の臓器モデルが生成される、または未観察領域の表示に現状とのずれが生る、などである。すると、未観察領域へのガイド表示が、正しい方向や位置を示さなくなることがある。
　本発明は上記事情に鑑みてなされたものであり、現状の臓器に整合する臓器モデルを生成できる画像処理装置、画像処理方法、プログラム、およびプログラムを記録している不揮発性記憶媒体を提供することを目的としている。
　本発明の一態様による画像処理装置は、ハードウェアを有するプロセッサを備え、前記プロセッサは、内視鏡から内視鏡画像情報を取得して臓器モデルを生成した後、前記内視鏡画像情報の取得を続行し、最新の内視鏡画像情報に基づいて生成済みの前記臓器モデルの形状を補正し、補正された前記臓器モデルの情報を出力するように構成されている。
　本発明の一態様による画像処理方法は、ハードウェアを有するプロセッサが、内視鏡から内視鏡画像情報を取得して臓器モデルを生成した後、前記内視鏡画像情報の取得を続行し、最新の内視鏡画像情報に基づいて生成済みの前記臓器モデルの形状を補正し、補正された前記臓器モデルの情報を出力する。
　本発明の一態様によるプログラムは、コンピュータに、内視鏡から内視鏡画像情報を取得させて臓器モデルを生成させた後、前記内視鏡画像情報の取得を続行させ、最新の内視鏡画像情報に基づいて生成済みの前記臓器モデルの形状を補正させ、補正された前記臓器モデルの情報を出力させる。
　本発明の一態様によるプログラムを記録している不揮発性記憶媒体は、コンピュータに、内視鏡から内視鏡画像情報を取得させて臓器モデルを生成させた後、前記内視鏡画像情報の取得を続行させ、最新の内視鏡画像情報に基づいて生成済みの前記臓器モデルの形状を補正させ、補正された前記臓器モデルの情報を出力させるプログラムを記録している。
本発明の第１の実施形態における内視鏡システムの構成を示す斜視図である。 上記第１の実施形態における、主に画像処理装置の構造的および機能的な構成を示す図である。 上記第１の実施形態の画像処理装置を構造単位でみた場合の構成の一例を示すブロック図である。 上記第１の実施形態の画像処理装置の処理を示すフローチャートである。 上記第１の実施形態において、臓器モデル生成部による臓器モデルの生成を説明するための図である。 上記第１の実施形態において、臓器モデルの全体像と、生成、補正、表示される臓器モデルの例を示す図表である。 上記第１の実施形態において、特徴点に基づき臓器モデルの変化を検出する例を説明するための図である。 本発明の第２の実施形態の画像処理装置の処理を示すフローチャートである。 上記第２の実施形態において、異なる時刻の臓器モデルの変化量を推定する様子を示す図表である。 上記第２の実施形態において、変化量に基づいて臓器モデルの形状を補正する例を示す図である。 上記第２の実施形態において、図８のステップＳ１２の臓器モデルの変化量を推定する処理を示すフローチャートである。 上記第２の実施形態において、臓器モデルの変化に、拡張、回転、移動が含まれる様子を示す図表である。 上記第２の実施形態において、図１１のステップＳ２１における拡縮量検出の処理を示すフローチャートである。 上記第２の実施形態において、拡縮量検出の処理を説明するための図表である。 上記第２の実施形態において、図１１のステップＳ２２における回転量検出の処理を示すフローチャートである。 上記第２の実施形態において、回転量検出の処理を説明するための図表である。 上記第２の実施形態において、図１１のステップＳ２３における伸縮量検出の処理を示すフローチャートである。 上記第２の実施形態において、伸縮量検出の処理を説明するための図表である。 上記第２の実施形態において、図１１のステップＳ２４における移動量検出の処理を示すフローチャートである。 上記第２の実施形態において、図８のステップＳ３Ａにおける臓器モデルの形状の補正方法の例を説明するための図表である。 本発明の第３の実施形態の画像処理装置の処理を示すフローチャートである。 上記第３の実施形態において、図２１のステップＳ１２Ｂにおける襞の変化量の推定処理を示すフローチャートである。 上記第３の実施形態において、襞通過の有無を検出する処理を説明するための図表である。 上記第３の実施形態において、内視鏡画像中の襞と、臓器モデル中の襞とを対応付ける様子を説明するための図表である。 上記第３の実施形態において、同一襞の変化量を検出する様子を説明するための図表である。 上記第３の実施形態において、図２２のステップＳ７３における同一襞の変化量の検出処理を示すフローチャートである。 上記第３の実施形態において、図２６のステップＳ８１における径の拡縮量を検出する他の処理例を示すフローチャートである。 上記第３の実施形態において、径の拡縮量を検出する他の処理例を説明するための図表である。 上記第３の実施形態において、臓器モデルの径の拡縮量の補正方法の例を説明するためのグラフである。 上記第３の実施形態において、臓器モデルの径の拡縮量を補正範囲において補正する例を説明するための図である。 上記第３の実施形態において、臓器モデルの回転量の補正方法の例を説明するためのグラフである。 上記第３の実施形態において、図２６のステップＳ８３における伸縮量を検出する処理を説明するための図表である。 上記第３の実施形態において、臓器モデルの伸縮量の補正方法の例を説明するためのグラフである。 上記第３の実施形態において、臓器モデルの伸縮量を補正する例を説明するための図である。 上記第３の実施形態において、図２６のステップＳ８４における移動量を検出する処理を説明するためのフローチャートである。 上記第３の実施形態において、臓器の移動を判定するために既存の臓器モデルと新規の臓器モデルの同一襞を検出する例を示す図である。 上記第３の実施形態において、臓器の移動に応じた臓器モデルの形状の補正方法を説明するための図である。 上記第３の実施形態において、臓器の移動に応じた臓器モデルの形状の補正方法を説明するためのグラフである。 上記第３の実施形態において、臓器モデルと未観察領域の表示例を示す図表である。
　以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態により本発明が限定されるものではない。
　なお、図面の記載において、同一または対応する要素には、適宜、同一の符号を付している。また、図面は模式的なものであり、１つの図面内における、各要素の長さの関係、各要素の長さの比率、各要素の数量などは、説明を簡潔にするために現実と異なる場合があることに留意する必要がある。さらに、複数の図面の相互間においても、互いの長さの関係や比率が異なる部分が含まれている場合がある。
［第１の実施形態］
　図１から図７は本発明の第１の実施形態を示したものであり、図１は、第１の実施形態における内視鏡システム１の構成を示す斜視図である。
　内視鏡システム１は、例えば、内視鏡２と、光源装置３と、画像処理装置４と、先端位置検出装置５と、吸引ポンプ６と、送水タンク７と、モニタ８とを備える。これらのうち内視鏡２以外は、図１に示すように、カート９に載せられているか、または固定されている。内視鏡システム１は、例えば、被検体の検査や処置を行う検査室に配置される。光源装置３と、画像処理装置４とは別体であってもよいし、一体化した光源一体型画像処理装置であってもよい。先端位置検出装置５は、例えば磁場を発生させることで内視鏡先端の位置を把握する技術を適用できる。また先端位置把握装置５として公知の挿入形状検出装置（ＵＰＤ）を適用することもできる。
　内視鏡２は、挿入部２ａと、操作部２ｂと、ユニバーサルケーブル２ｃとを備える。
　挿入部２ａは、被検体内に挿入される部位であり、先端側から基端側に向かって順に、先端部２ａ１、湾曲部２ａ２、可撓管部２ａ３を備えている。先端部２ａ１には、撮像光学系および撮像素子２ｄ（図２参照）を含む撮像ユニット、磁気コイル２ｅ（図２参照）、ライトガイドの先端部、および処置具チャンネルの先端側開口などが配置されている。
　操作部２ｂは、挿入部２ａの基端側に配置され、手で各種の操作を行う部位である。
　ユニバーサルケーブル２ｃは、例えば操作部２ｂから延出され、内視鏡２を光源装置３、画像処理装置４、吸引ポンプ６、および送水タンク７へ接続するための接続ケーブルである。
　内視鏡２の、挿入部２ａ、操作部２ｂ、およびユニバーサルケーブル２ｃの内部には、ライトガイド、信号ケーブル、吸引チャンネルを兼ねる処置具チャンネル、および送気送水チャンネルが挿通されている。
　ユニバーサルケーブル２ｃの延出端に設けられたコネクタは、光源装置３に接続される。コネクタから延出するケーブルは、画像処理装置４に接続される。従って、内視鏡２は、光源装置３および画像処理装置４に接続される。
　光源装置３は、光源として、ＬＥＤ（Light Emitting Diode）光源、レーザ光源、またはキセノン光源などの発光デバイスを備える。コネクタを光源装置３に接続することで、ライトガイドへの照明光の伝送が可能となる。
　光源装置３からライトガイドの基端面に入射した照明光は、ライトガイドを伝送され、挿入部２ａの先端部２ａ１に配置されたライトガイドの先端面から被検体へ向けて照射される。
　また、吸引チャンネルおよび送気送水チャンネルは、例えば光源装置３を経由して、吸引ポンプ６および送水タンク７へそれぞれ接続されている。従って、コネクタを光源装置３に接続することで、吸引ポンプ６による吸引チャンネルの吸引と、送気送水チャンネルを経由した送水タンク７からの送水と、送気送水チャンネルを経由した送気と、が可能となる。
　吸引ポンプ６は、被検体から液体などを吸引するために用いられる。
　送水タンク７は、生理食塩水などの液体を貯留するタンクである。光源装置３内の送気送水用のポンプから送水タンク７へ加圧した気体を送ることで、送水タンク７内の液体が送気送水チャンネルへ送水される。
　先端位置検出装置５は、挿入部２ａに設けられている１つ以上の磁気コイル２ｅ（図２参照）から発生する磁気を磁気センサ（位置検出センサ）により検出することで、挿入部２ａの形状を検出する。先端位置検出装置５により、挿入部２ａの先端部２ａ１の位置および姿勢が検出される。
　画像処理装置４は、撮像素子２ｄ（図２参照）を駆動するための駆動信号を、信号ケーブルを経由して送信する。撮像素子２ｄから出力される撮像信号は、信号ケーブルを経由して、画像処理装置４へ送信される。
　画像処理装置４は、撮像素子２ｄにより取得された撮像信号に画像処理を行い、表示可能な画像信号を生成して出力する。また、画像処理装置４には、先端位置検出装置５から取得される挿入部２ａの先端部２ａ１の位置情報が入力される。なお、画像処理装置４は、内視鏡２だけでなく、光源装置３、先端位置検出装置５、吸引ポンプ６、モニタ８などを含む内視鏡システム１全体を制御してもよい。
　モニタ８は、画像処理装置４から出力された画像信号により、内視鏡画像を含む画像を表示する。
　図２は、第１の実施形態における、主に画像処理装置の構造的および機能的な構成を示す図である。なお、図２において、光源装置３、吸引ポンプ６、送水タンク７等の図示は省略している。
　内視鏡２は電子内視鏡として構成され、挿入部２ａの先端部２ａ１に、撮像素子２ｄと、磁気コイル２ｅとを備える。
　撮像素子２ｄは、撮像光学系により結像された被検体の光学像を撮像して、撮像信号を生成する。撮像素子２ｄは、例えばフレーム単位で撮像を行い、複数フレームの画像に係る撮像信号を時系列的に生成する。生成された撮像信号は、撮像素子２ｄに接続された信号ケーブルを経由して、画像処理装置４へ順次出力される。
　磁気コイル２ｅが発生した磁気に基づき、先端位置検出装置５により検出された挿入部２ａの先端部２ａ１の位置および姿勢は、画像処理装置４へ出力される。
　画像処理装置４は、入力部１１と、臓器モデル生成部１２と、臓器モデル形状補正部１３と、メモリ１４と、未観察領域判定・補正部１５と、出力部１６と、記録部１７と、を備えている。
　入力部１１は、撮像素子２ｄからの撮像信号と、先端位置検出装置５からの挿入部２ａの先端部２ａ１の位置および姿勢の情報と、を入力する。
　臓器モデル生成部１２は、入力部１１から撮像信号に係る内視鏡画像情報（以下、適宜に内視鏡画像という）を取得する。そして、臓器モデル生成部１２は、内視鏡画像から挿入部２ａの先端部２ａ１の位置および姿勢を検出する。また、臓器モデル生成部１２は、入力部１１を経由して、先端位置検出装置５から挿入部２ａの先端部２ａ１の位置および姿勢の情報を必要に応じて取得する。さらに、臓器モデル生成部１２は、先端部２ａ１の位置および姿勢と、内視鏡画像とに基づいて、３次元の臓器モデルを生成する。
　臓器モデル形状補正部１３は、最新の内視鏡画像に基づいて、過去に生成済みの臓器モデル（既存の臓器モデル）の形状を補正する。
　メモリ１４は、補正された臓器モデルを記憶する。
　未観察領域判定・補正部１５は、補正された臓器モデルにおける未観察領域を判定し、補正された臓器モデルに応じて未観察領域の位置および形状を補正する。未観察領域の位置および形状は、必要に応じてメモリ１４に記憶される。
　出力部１６は、補正された臓器モデルの情報を出力する。さらに出力部１６は、必要に応じて、未観察領域の情報も出力する。
　記録部１７は、画像処理装置４により画像処理され、出力部１６から出力された内視鏡画像情報を不揮発に記憶する。なお、記録部１７は、画像処理装置４の外部に設けられた記録装置でも構わない。
　また、出力部１６から出力された臓器モデルの情報（必要に応じて、さらに未観察領域の情報）は、臓器モデル画像として、例えば内視鏡画像と共にモニタ８に表示される。
　図２では画像処理装置４の各ハードウェアの機能的な構成を示したが、図３は、第１の実施形態の画像処理装置４を構造単位でみた場合の構成の一例を示すブロック図である。
　図３に示すように、画像処理装置４は、ハードウェアを有するプロセッサ４ａと、メモリ４ｂとを備える。プロセッサ４ａは、例えば、ＣＰＵ（Central Processing Unit：中央処理装置）等を含むＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）、ＦＰＧＡ（Field Programmable Gate Array）、または、ＧＰＵ（Graphics Processing Unit）等を備える。
　メモリ４ｂは、図２のメモリ１４を含み、例えば、ＲＡＭ（Random Access Memory）などの揮発性の記憶媒体と、ＲＯＭ（Read Only Memory）（またはＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory））などの不揮発性の記憶媒体とを備える。ＲＡＭは、処理対象の画像、実行時の処理パラメータ、外部から入力されたユーザ設定値などの各種情報を一時的に記憶する。ＲＯＭは、処理プログラム（コンピュータプログラム）、処理パラメータの規定値、内視鏡システム１の電源をオフにしても記憶しておくべきユーザ設定値などの各種情報を不揮発に記憶する。
　図３に示すプロセッサ４ａが、メモリ４ｂに記憶された処理プログラムを読み込んで実行することにより、図１に示したような画像処理装置４の各種機能が果たされる。ただし、画像処理装置４の各種機能の全部または一部を、専用の電子回路により果たすように構成しても構わない。
　また、ここでは、メモリ４ｂに処理プログラムが記憶されている例を説明したが、処理プログラム（または処理プログラムの少なくとも一部）は、フレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read only memory）、ＤＶＤ（Digital Versatile Disc）、もしくはブルーレイディスク（Blu-ray Disc）等の可搬記憶媒体、ハードディスクドライブもしくはＳＳＤ（Solid State Drive）等の記憶媒体、クラウド上の記憶媒体などに記憶されていても構わない。この場合、外部の記憶媒体から処理プログラムを読み込みメモリ４ｂに記憶させ、プロセッサ４ａが処理プログラムを実行するようにすればよい。
　図４は、第１の実施形態の画像処理装置４の処理を示すフローチャートである。
　内視鏡システム１の電源がオンになり、内視鏡２が撮像を開始して撮像信号を出力し始めると、画像処理装置４は、図４に示す処理を、撮像信号（内視鏡画像情報）が例えば１フレーム分入力される毎に実行する。
　画像処理装置４は、入力部１１により、最新の１枚以上の内視鏡画像を取得する（ステップＳ１）。
　臓器モデル生成部１２は、取得した１枚以上の内視鏡画像に基づき、撮像対象の臓器モデルを生成する（ステップＳ２）。３次元の臓器モデルを生成するには、異なる位置で撮像された複数枚の内視鏡画像を用いることが好ましいが、ＡＩ（Artificial Intelligence：人工知能）を用いれば、１枚の内視鏡画像から３次元の臓器モデルを生成することも可能である。
　臓器モデル形状補正部１３は、最新の内視鏡画像に基づいて、過去に生成済みの臓器モデル（既存の臓器モデル）の形状を補正する（ステップＳ３）。
　ここで、ステップＳ２において取得した内視鏡画像が、内視鏡２が撮像を開始した１枚目の画像である場合、生成済みの臓器モデルはないために、臓器モデル形状補正部１３は補正を行わず、臓器モデル生成部１２から取得した臓器モデルをメモリ１４に記憶させる。
　また、ステップＳ２において取得した内視鏡画像が、内視鏡２が撮像を開始した２枚目以降の画像である場合、臓器モデル形状補正部１３は、臓器モデル生成部１２から、最新の内視鏡画像に基づいて生成された新規の臓器モデルを取得し、必要に応じて最新の内視鏡画像も取得する。さらに、臓器モデル形状補正部１３は、メモリ１４から既存の臓器モデルを取得する。そして、臓器モデル形状補正部１３は、最新の内視鏡画像と、新規の臓器モデルと、の少なくとも一方に基づき、既存の臓器モデルに対する補正が必要であるか否かを判定する。補正が必要であると判定した場合、臓器モデル形状補正部１３は、新規の臓器モデルに基づき、既存の臓器モデルを補正する。臓器モデル形状補正部１３は、補正した臓器モデルをメモリ１４に記憶させる。
　出力部１６は、臓器モデル形状補正部１３により補正された臓器モデルの情報をモニタ８へ出力する（ステップＳ４）。これにより、モニタ８には、臓器モデル画像が表示される。
　上述したように、図４に示す処理は、最新の内視鏡画像が取得される毎に実行される。従って、ユーザは、最新の内視鏡画像情報に基づいて生成された、現状の臓器に整合する臓器モデルをモニタ８上で確認できる。
　図５は、第１の実施形態において、臓器モデル生成部１２による臓器モデルの生成を説明するための図である。
　臓器モデル生成部１２は、例えば、ビジュアルＳＬＡＭ（Visual Simultaneous Localization And Mapping）により３Ｄ臓器モデルを生成する。臓器モデル生成部１２は、挿入部２ａの先端部２ａ１の位置および姿勢を、ビジュアルＳＬＡＭの処理により推定してもよいし、先端位置検出装置５から入力された情報を用いても構わない。
　臓器モデル生成部１２は、３次元の臓器モデルを生成する際に、まず初期化を行う。初期化に際して、キャリブレーションにより内視鏡２の内部パラメータが既知であるとする。臓器モデル生成部１２は、初期化として、例えばＳｆＭ（Structure from Motion）により、内視鏡２の自己位置と３次元位置を推定する。ここで、ＳＬＡＭは、実時間性を前提として例えば時間的に連続する動画像などを入力とするのに対し、ＳｆＭは、実時間性を前提としない複数の画像を入力とする。
　初期化を行った後に、内視鏡２が移動したものとする。図５には、時刻がｔ（ｎ）、ｔ（ｎ＋１）、ｔ（ｎ＋２）と推移するのに応じて、挿入部２ａの先端部２ａ１の位置が変化している様子を示している。
　このとき、臓器モデル生成部１２は、複数フレームの内視鏡画像において対応する点を探索する。
　具体的に、図５の例では、時刻ｔ（ｎ）で撮像された内視鏡画像ＩＭＧ（ｎ）と、時刻ｔ（ｎ）よりも後の時刻ｔ（ｎ＋１）で撮像された内視鏡画像ＩＭＧ（ｎ＋１）と、時刻ｔ（ｎ＋１）よりも後の時刻ｔ（ｎ＋２）で撮像された内視鏡画像ＩＭＧ（ｎ＋２）とにおいて、対応する点を探索する。
　例えば、被検体の臓器ＯＢＪにおける点Ｐ１に対応する画像点ＩＰ１が内視鏡画像ＩＭＧ（ｎ）および内視鏡画像ＩＭＧ（ｎ＋１）で探索されて、内視鏡画像ＩＭＧ（ｎ＋２）からは探索されず、被検体の臓器ＯＢＪにおける点Ｐ２に対応する画像点ＩＰ２が内視鏡画像ＩＭＧ（ｎ）では探索されず、内視鏡画像ＩＭＧ（ｎ＋１）および内視鏡画像ＩＭＧ（ｎ＋２）で探索されている。
　次に、臓器モデル生成部１２は、内視鏡２の位置および姿勢を推定する（トラッキング）。内視鏡２（より一般にはカメラ）の位置および姿勢を推定する問題は、いわゆるＰｎＰ問題と言われ、ワールド座標系におけるｎ点の３次元座標と、ｎ点が観測された画像座標とから、カメラ（本実施形態では内視鏡２）の位置および姿勢を推定する問題である。
　まず、臓器モデル生成部１２は、３次元位置が既知な複数の点と、複数の点の画像上の位置とに基づき、内視鏡２の姿勢を推定する。
　続いて、臓器モデル生成部１２は、３Ｄマップ上に点を登録（マッピング）する。つまり、姿勢が既知となった内視鏡２により得られた複数の内視鏡画像に写っている共通の点の対応が取れることで、その点の３次元位置が分かる（三角測量）。
　その後、臓器モデル生成部１２は、上述したトラッキングとマッピングとを繰り返して行うことで、内視鏡画像上の任意の点の３次元位置を知ることができ、臓器モデルが生成される。
　図６は、第１の実施形態において、臓器モデルの全体像と、生成、補正、表示される臓器モデルの例を示す図表である。
　図６のＡ欄は、臓器モデルＯＭの全体像を示している。ここでは臓器モデルＯＭの一例として、腸管、具体的には結腸の臓器モデルを示しているが、これには限定されない。図６のＡ欄において、ＩＣは盲腸、ＡＮは肛門、ＦＣＤは肝彎曲（右結腸曲）、ＦＣＳは脾彎曲（左結腸曲）、ＴＣは横行結腸を示す。
　図６のＢ欄は、盲腸ＩＣ側から肝彎曲ＦＣＤを経て脾彎曲ＦＣＳ側へ向け内視鏡２の挿入部２ａを移動するときに生成される臓器モデルＯＭの様子を示している。なお、図６のＢ～Ｄの各欄における三角は、挿入部２ａの先端部２ａ１から被検体を観察するときの視野角の様子を示している。
　図６のＢ左欄では、盲腸ＩＣ近傍の臓器モデルＯＭが生成されている。
　図６のＢ中央欄では、挿入部２ａが肝彎曲ＦＣＤを通過して横行結腸ＴＣ側へ移動しつつあるため、盲腸ＩＣから肝彎曲ＦＣＤ、および横行結腸ＴＣの一部の臓器モデルＯＭが生成されている。
　図６のＢ右欄は、図６のＢ中央欄の変形例を示している。図６のＢ中央欄の臓器モデルＯＭの内、Ｂ右欄において点線で示されている部分には未観察領域がないものとする。このとき、点線で示す既存の臓器モデル部分は、メモリ１４に保持してもしなくても良いし、モニタ８に表示してもしなくても構わない。
　図６のＣ欄は、破線で示す部分が補正前の臓器モデルＯＭ１を示し、実線で示す部分が補正後の臓器モデルＯＭ２を示している。補正後の臓器モデルＯＭ２が生成されると、補正前の臓器モデルＯＭ１は削除される。
　図６のＤ欄に示すように、モニタ８には、補正後の臓器モデルＯＭ２が表示される。
　図７は、第１の実施形態において、特徴点に基づき臓器モデルの変化を検出する例を説明するための図である。特徴点は、内視鏡画像情報に含まれる特定対象の１つである。
　図７のＡ１欄は、時刻ｔ（ｎ）において撮像された内視鏡画像ＩＭＧ（ｎ）の様子を示している。また、図７のＡ２欄は時刻ｔ（ｎ＋１）において撮像された内視鏡画像ＩＭＧ（ｎ＋１）の様子を示している。内視鏡画像ＩＭＧ（ｎ）中の複数の特徴点ＳＰ（ｎ）と、内視鏡画像ＩＭＧ（ｎ＋１）中の複数の特徴点ＳＰ（ｎ＋１）とは、対応する同一の特徴点（同じ特徴量をもつ点）である。
　図７のＢ１欄は、時刻ｔ（ｎ）における被検体の臓器ＯＢＪ（ｎ）と、内視鏡２の撮像領域ＩＡ（ｎ）を示している。図７のＢ２欄は、時刻ｔ（ｎ＋１）における被検体の臓器ＯＢＪ（ｎ＋１）と、内視鏡２の撮像領域ＩＡ（ｎ＋１）を示している。Ｂ１欄とＢ２欄を比較すると、時刻ｔ（ｎ＋１）における被検体の臓器ＯＢＪ（ｎ＋１）の管腔径は、時刻ｔ（ｎ）における被検体の臓器ＯＢＪ（ｎ）の管腔径よりも拡大している。
　図７のＣ１欄は、時刻ｔ（ｎ）における臓器モデルＯＭ（ｎ）と、撮像領域ＩＡ（ｎ）に対応する臓器モデル領域ＯＭＡ（ｎ）を示している。図７のＣ２欄は、時刻ｔ（ｎ＋１）における臓器モデルＯＭ（ｎ＋１）と、撮像領域ＩＡ（ｎ＋１）に対応する臓器モデル領域ＯＭＡ（ｎ＋１）を、臓器モデルＯＭ（ｎ）に対比して示している。
　図７のＤ欄は、図７のＣ２欄に示す断面ＣＳにおいて、臓器モデル領域ＯＭＡ（ｎ）中の複数の特徴点ＳＰ（ｎ）と、複数の特徴点ＳＰ（ｎ）に対応する臓器モデル領域ＯＭＡ（ｎ＋１）中の複数の特徴点ＳＰ（ｎ＋１）とを、特徴量、輝度値、輝度勾配値などを用いて検出する様子を示す。時刻ｔ（ｎ＋１）では管腔径が拡大しているため、特徴点ＳＰ（ｎ＋１）は、特徴点ＳＰ（ｎ）が径方向に広がるように移動した点となっている。
　図７のＥ欄は、時刻ｔ（ｎ）と時刻ｔ（ｎ＋１）において対応する点の内、既存の臓器モデルＯＭ（ｎ）上の点ＯＭＰ（ｎ）を削除して、最新の内視鏡画像から取得した点ＯＭＰ（ｎ＋１）により新たな臓器モデルＯＭ（ｎ＋１）を生成する様子を示している。
　このような第１の実施形態によれば、生成済みの臓器モデルの形状を補正するようにしたため、現状の臓器の形状に整合する臓器モデルを生成できる。また、既存の臓器モデルＯＭ（ｎ）上の点ＯＭＰ（ｎ）を削除するため、同じ領域に対して複数の臓器モデルが生成されることがなく、適切な臓器モデルとなる。
［第２の実施形態］
　図８から図２０は本発明の第２の実施形態を示したものであり、図８は第２の実施形態の画像処理装置４の処理を示すフローチャートである。第２の実施形態において、第１の実施形態と同様である部分については同一の符号を付して説明を適宜省略し、異なる点を主に説明する。
　図８に示す処理を開始すると、画像処理装置４がステップＳ１の処理を行って最新の１枚以上の内視鏡画像を取得し、取得した内視鏡画像から臓器モデル生成部１２が挿入部２ａの先端部２ａ１の位置および姿勢を推定する（ステップＳ１１）。
　次に、推定した挿入部２ａの先端部２ａ１の位置および姿勢に基づき、臓器モデル生成部１２が撮像対象の臓器モデルを生成する（ステップＳ２Ａ）。
　そして、臓器モデル形状補正部１３が、過去に生成済みの臓器モデル（既存の臓器モデル）に対する、ステップＳ２Ａで生成した現在の撮像対象の臓器モデル（新規の臓器モデル）の変化部位を特定し、変化部位の変化量を推定する（ステップＳ１２）。変化量の推定は、例えば、既存の臓器モデルと新規の臓器モデルの各断面において対応する点（特徴点など）の変化量に基づき行う。例えば、内視鏡画像情報が１フレーム分入力される毎に図４に示す処理が実行される場合、変化量の算出も１フレーム毎に行われる。
　続いて、臓器モデル形状補正部１３が、推定した臓器モデルの変化量に基づき、既存の臓器モデルの形状を補正する（ステップＳ３Ａ）。
　その後、ステップＳ４の処理を行って、補正された臓器モデルの情報をモニタ８等へ出力する。
　図９は、第２の実施形態において、異なる時刻の臓器モデルの変化量を推定する様子を示す図表である。
　なお、想定する臓器モデルの全体像は、図６のＡ欄に示したものである。また、未観察領域がない場合に、図６のＢ欄において点線で示す臓器モデル部分を、メモリ１４に保持してもしなくても良いし、モニタ８に表示してもしなくても構わないことは、第１の実施形態と同様である。
　図９のＡ左欄は、時刻ｔ（ｎ）の臓器モデルＯＭ（ｎ）中における、変化量を検出する対象の臓器モデル領域ＯＭＡ（ｎ）を示している。図９のＡ右欄は、時刻ｔ（ｎ＋１）の臓器モデルＯＭ（ｎ＋１）中における、変化量を検出する対象の臓器モデル領域ＯＭＡ（ｎ＋１）を示している。
　図９のＢ右欄に示す時刻ｔ（ｎ＋１）の臓器モデル領域ＯＭＡ（ｎ＋１）は、図９のＢ左欄に示す時刻ｔ（ｎ）の臓器モデル領域ＯＭＡ（ｎ）に比べて、管腔径が例えば適宜の実数倍だけ拡張している。
　図１０は、第２の実施形態において、変化量に基づいて臓器モデルの形状を補正する例を示す図である。
　過去の時刻ｔ（ｎ）における臓器モデルＯＭ（ｎ）は、現在の時刻ｔ（ｎ＋１）における臓器モデルＯＭ（ｎ＋１）に補正される。
　このとき未観察領域判定・補正部１５は、補正後の臓器モデルＯＭ（ｎ＋１）における未観察領域ＵＯＡ（ｎ＋１）を判定する。例えば未観察領域判定・補正部１５は、未観察領域ＵＯＡ（ｎ）が観察済みの領域になったかを判定し、観察済みの領域になっていない場合に未観察領域ＵＯＡ（ｎ）が未観察領域ＵＯＡ（ｎ＋１）に移動したかを判定し、また新たな未観察領域ＵＯＡ（ｎ＋１）が発生したか等も判定する。
　そして未観察領域判定・補正部１５は、生成した未観察領域ＵＯＡ（ｎ＋１）を、補正後の臓器モデルＯＭ（ｎ＋１）に重畳して出力部１６へ出力する。これにより、新規の臓器モデルＯＭ（ｎ＋１）に、位置や形状が補正された、または新たな未観察領域ＵＯＡ（ｎ＋１）が重畳された臓器モデル画像が、例えば内視鏡画像と共にモニタ８に表示される。また、未観察領域判定・補正部１５は、未観察領域ＵＯＡ（ｎ＋１）をメモリ１４に保持してもよい。
　図１１は、第２の実施形態において、図８のステップＳ１２の臓器モデルの変化量を推定する処理を示すフローチャートである。
　臓器モデル形状補正部１３による臓器モデルの変化量の推定は、例えば、既存の臓器モデルに対する新規の臓器モデルの、管腔の径の拡縮量を検出し（ステップＳ２１）、管腔の中心軸（管腔軸）周りの回転量を検出し（ステップＳ２２）、管腔軸に沿った管腔の伸縮量を検出し（ステップＳ２３）、被検体内における管腔の移動量を検出する（ステップＳ２４）ことにより行われる。なお、図１１には検出順序の一例を示したが、図示の検出順序に限定されるものではない。
　図１２は、第２の実施形態において、臓器モデルの変化に、拡張、回転、移動が含まれる様子を示す図表である。
　図１２のＡ欄に示す、異なる時刻ｔ（ｎ），ｔ（ｎ＋１）における臓器モデルＯＭ（ｎ），ＯＭ（ｎ＋１）において、臓器モデル領域ＯＭＡの管腔軸に垂直な断面ＣＳをとったときの様子を、図１２のＢ欄に示している。
　臓器モデルＯＭにおける複数の特徴点ＳＰ（ｎ）から複数の特徴点ＳＰ（ｎ＋１）への変化には、例えば、管腔の径の拡張ＥＸＰと、管腔軸周りの管腔の回転ＲＯＴと、被検体内における管腔の移動ＭＯＶと、が含まれている。
　図１３は、第２の実施形態において、図１１のステップＳ２１における拡縮量検出の処理を示すフローチャートである。図１４は、第２の実施形態において、拡縮量検出の処理を説明するための図表である。
　臓器モデル形状補正部１３は、図１３に示す拡縮量検出の処理を開始すると、メモリ１４から読み出した既存の臓器モデルＯＭ（ｎ）の特徴点ＳＰ（ｎ）と、最新の内視鏡画像に基づいて臓器モデル生成部１２により生成された新規の臓器モデルＯＭ（ｎ＋１）において、特徴点ＳＰ（ｎ）に対応する特徴点ＳＰ（ｎ＋１）とを検出する（ステップＳ３１）。
　次に、臓器モデル形状補正部１３は、図１４のＡ１欄およびＢ１欄に示すように、既存の臓器モデルＯＭ（ｎ）の管腔軸に垂直な断面ＣＳ（ｎ）上における、特定の２つの特徴点ＳＰ（ｎ）の間の距離Ｄ１を検出する（ステップＳ３２）。
　さらに、臓器モデル形状補正部１３は、図１４のＡ２欄およびＢ２欄に示すように、新規の臓器モデルＯＭ（ｎ＋１）の管腔軸に垂直な断面ＣＳ（ｎ＋１）上における、距離Ｄ１を検出した特徴点ＳＰ（ｎ）に対応する２つの特徴点ＳＰ（ｎ＋１）の間の距離Ｄ２を検出する（ステップＳ３３）。
　そして、臓器モデル形状補正部１３は、距離Ｄ１に対する距離Ｄ２の比（Ｄ２／Ｄ１）を管腔径の拡縮量とし（ステップＳ３４）、図１１の処理にリターンする。なお、比（Ｄ２／Ｄ１）が１より大きいときは管腔径の拡張となり、比（Ｄ２／Ｄ１）が１より小さいときは管腔径の縮小となる。
　図１５は、第２の実施形態において、図１１のステップＳ２２における回転量検出の処理を示すフローチャートである。図１６は、第２の実施形態において、回転量検出の処理を説明するための図表である。
　臓器モデル形状補正部１３は、臓器モデル生成部１２を経由して入力部１１から取得した撮像時刻の異なる内視鏡画像に基づき、例えばＳＬＡＭの処理により画像推定を行い、図１６のＡ欄に示すように挿入部２ａの先端部２ａ１の第１の回転量θ１を検出する（ステップＳ４１）。例えば、特定対象（特徴点など）に基づき検出される撮像時刻の異なる複数の内視鏡画像情報の回転量が－θ１であるときに、臓器モデル形状補正部１３は、先端部２ａ１の回転量をθ１として検出する。
　次に、臓器モデル形状補正部１３は、臓器モデル生成部１２から取得した先端位置検出装置５の出力に基づき、第１の回転量θ１を検出した２つの時刻間における挿入部２ａの先端部２ａ１の第２の回転量θ２を、図１６のＢ欄に示すように検出する（ステップＳ４２）。
　さらに、臓器モデル形状補正部１３は、第１の回転量θ１と第２の回転量θ２との差分（θ１－θ２）を臓器の回転量として検出し（ステップＳ４３）、図１１の処理にリターンする。
　図１７は、第２の実施形態において、図１１のステップＳ２３における伸縮量検出の処理を示すフローチャートである。図１８は、第２の実施形態において、伸縮量検出の処理を説明するための図表である。
　臓器モデル形状補正部１３は、既存の臓器モデルＯＭ（ｎ）において、図１８のＡ欄に示すように、特徴点を含む管腔軸に垂直な２つの断面ＣＳ１（ｎ），ＣＳ２（ｎ）を選定し、２つの断面ＣＳ１（ｎ），ＣＳ２（ｎ）間の距離Ｌ１を検出する（ステップＳ５１）。
　次に、臓器モデル形状補正部１３は、新規の臓器モデルＯＭ（ｎ＋１）において、図１８のＢ欄に示すように、距離Ｌ１を検出した２つの断面ＣＳ１（ｎ），ＣＳ２（ｎ）に対応する特徴点を含む管腔軸に垂直な２つの断面ＣＳ１（ｎ＋１），ＣＳ２（ｎ＋１）を探索し、２つの断面ＣＳ１（ｎ＋１），ＣＳ２（ｎ＋１）間の距離Ｌ２を検出する（ステップＳ５２）。
　そして、臓器モデル形状補正部１３は、距離Ｌ１に対する距離Ｌ２の比（Ｌ２／Ｌ１）を管腔径の伸縮量とし（ステップＳ５３）、図１１の処理にリターンする。なお、比（Ｌ２／Ｌ１）が１より大きいときは管腔長の伸張となり、比（Ｌ２／Ｌ１）が１より小さいときは管腔長の短縮となる。
　図１９は、第２の実施形態において、図１１のステップＳ２４における移動量検出の処理を示すフローチャートである。
　臓器モデル形状補正部１３は、既存の臓器モデルＯＭ（ｎ）を、ステップＳ２１で検出された拡縮量、ステップＳ２２で検出された回転量、およびステップＳ２３で検出された伸縮量に基づき補正する（ステップＳ６１）。
　次に、臓器モデル形状補正部１３は、補正前後の臓器モデルの同一特徴点を検出する（ステップＳ６２）。ここで、検出する特徴点の数は１つであっても構わないが、好ましくは複数である。そこで、以下では複数の特徴点を検出する例を説明する。
　続いて、臓器モデル形状補正部１３は、補正前後の臓器モデルにおける複数の同一特徴点の平均距離を算出する（ステップＳ６３）。なお、ステップＳ６２において、検出する特徴点の数を１つとする場合は、ステップＳ６３の処理を省略しても構わず、補正前後の臓器モデルに同一特徴点の距離を平均距離と見なせばよい。
　そして、臓器モデル形状補正部１３は、算出した平均距離が、予め定めた閾値以上であるかを判定する（ステップＳ６４）。
　ここで、閾値以上であると判定した場合には、ステップＳ６３で算出した平均距離を移動量として検出する（ステップＳ６５）。
　また、ステップＳ６４において、閾値未満であると判定した場合には、移動量が０であると検出する（ステップＳ６６）。すなわち、誤検出を防ぐため、平均距離が閾値未満の場合、臓器の移動はないと判定している。
　ステップＳ６５またはステップＳ６６の処理を行ったら、図１１の処理にリターンする。
　図２０は、第２の実施形態において、図８のステップＳ３Ａにおける臓器モデルの形状の補正方法の例を説明するための図表である。
　臓器モデルの形状の補正は、ステップＳ１２で検出された臓器モデルの変化量に基づき行う。
　このときの補正範囲は、変化量を検出する対象となった領域（変化部位）を基点として、例えば、管腔軸に沿った前後の固定距離範囲（変化部位を含む臓器モデルの一部）とすることができる。ここで、管腔軸に沿った、変化部位から前方の固定距離と、変化部位から後方の固定距離とは、同一の距離としても良いし、異なる距離としても構わない。
　また、補正範囲を、ランドマークと、挿入部２ａの先端部２ａ１の位置と、の少なくとも一方を端点とした範囲（変化部位を含む臓器モデルの一部）としても構わない。ここで、臓器を大腸とした場合のランドマークとして、臓器の端である盲腸ＩＣや肛門ＡＮ、固定部と可動部の境界である肝彎曲ＦＣＤ、脾彎曲ＦＣＳなどが挙げられる。これらのランドマークは、臓器に応じて異なり、ＡＩによる部位認識で検出可能である。こうして、臓器モデル形状補正部１３は、臓器の種類に基づいて、臓器モデルの内の補正対象外の範囲を設定できる。そして、臓器モデル形状補正部１３は、臓器の種類に応じた特定対象の種類情報を参照して、変化量の算出を行う。
　もしくは、臓器モデル形状補正部１３は、臓器モデルの全体を補正範囲としてもよい。
　補正範囲内における補正量は、例えば、変化量を検出する対象となった領域における補正量を１、補正範囲の端点における補正量を０として、管腔軸に沿った距離に応じて制御する。
　図２０のＡ欄は、横行結腸ＴＣの中央部分にある挿入部２ａの先端部２ａ１の位置と、肝彎曲ＦＣＤと、を両端点として、補正範囲ＣＴＡを設定した例を示す。
　図２０のＢ欄は、補正範囲ＣＴＡにおいて、変化量を検出する対象となった領域ＤＡ（具体例は、襞）の補正量を１とし、両端点の補正量を０として、管腔軸に沿った距離に応じて補正量を制御する例を示している。すなわち、臓器モデル形状補正部１３は、臓器モデルの形状の補正量を、変化量を検出する対象となった領域ＤＡ（特定対象）からの距離が遠いほど、小さくしている。
　このような第２の実施形態によれば、上述した第１の実施形態とほぼ同様の効果を奏するとともに、図１０に示したように、未観察領域ＵＯＡを正しい位置で提示することが可能となる。
　また、臓器モデルの変化量を、拡縮、回転、伸縮、移動のそれぞれに応じた適切な方法で検出できる。
　さらに、管腔軸に沿った距離に応じて補正量を制御することで、補正後の臓器モデルを、妥当な形状にできる。
［第３の実施形態］
　図２１から図３９は本発明の第３の実施形態を示したものであり、図２１は第３の実施形態の画像処理装置４の処理を示すフローチャートである。第３の実施形態において、第１，２の実施形態と同様である部分については同一の符号を付して説明を適宜省略し、異なる点を主に説明する。
　図２１に示す処理を開始すると、ステップＳ１の処理を行って最新の１枚以上の内視鏡画像を取得し、ステップＳ１１の処理を行って内視鏡画像から挿入部２ａの先端部２ａ１の位置および姿勢を推定する。
　次に、ステップＳ２Ａの処理を行って撮像対象の臓器モデルを生成する。このとき、図６のＢ欄に示したように、未観察領域がない場合に、点線で示す既存の臓器モデル部分を、メモリ１４に保持してもしなくても良いし、モニタ８に表示してもしなくても構わない点は、第１、第２の実施形態と同様である。
　続いて、臓器モデル形状補正部１３が、臓器モデルにおける腸管の襞（特定対象）の変化量を推定する（ステップＳ１２Ｂ）。臓器の位置や形状などが変化すると、既存の臓器モデルと新規の臓器モデルとで特徴点の対応が取れない場合がある。これに対して、管腔臓器における襞は、臓器の位置や形状などが変化しても、襞数が変化せず、襞の順序関係も変化しない。そこで本実施形態では、襞を用いて、臓器モデルの変化量を確実に推定するようにしている。
　さらに、臓器モデル形状補正部１３が、推定した臓器モデルにおける襞の変化量に基づき、既存の臓器モデルの形状を補正する（ステップＳ３Ｂ）。
　その後、ステップＳ４の処理を行って、補正された臓器モデルの情報をモニタ８等へ出力する。
　図２２は、第３の実施形態において、図２１のステップＳ１２Ｂにおける襞の変化量の推定処理を示すフローチャートである。図２３は、第３の実施形態において、襞通過の有無を検出する処理を説明するための図表である。
　臓器モデル形状補正部１３は、図２３のＡ１欄に示すような過去の時刻ｔ（ｎ）の内視鏡画像ＩＭＧ（ｎ）と、図２３のＢ１欄またはＣ１欄に示すような最新の時刻ｔ（ｎ＋１）の内視鏡画像ＩＭＧ（ｎ＋１）とを取得する。内視鏡画像ＩＭＧ（ｎ）は既存の３次元の臓器モデルを生成するために用いられた画像、内視鏡画像ＩＭＧ（ｎ＋１）は新規の３次元の臓器モデルを生成するために用いられた画像である。
　臓器モデル形状補正部１３は、撮像時刻が異なる内視鏡画像ＩＭＧ（ｎ）と内視鏡画像ＩＭＧ（ｎ＋１）とにおいて、襞以外の、共通する特徴点ＳＰをトラッキング点として探索する。
　次に、臓器モデル形状補正部１３は、内視鏡画像ＩＭＧ（ｎ）において特徴点ＳＰの近傍の遠位側に位置する襞ＣＰ１を、挿入部２ａの先端部２ａ１が通過したか否かを判定する。図２３のＡ欄は時刻ｔ（ｎ）に係るため、Ａ２欄に示すように襞通過は判定されない。
　内視鏡画像ＩＭＧ（ｎ＋１）が図２３のＢ１欄のようになったとする。すると、特徴点ＳＰより近位側にある襞ＣＰ２は、特徴点ＳＰより遠位側に位置する襞ＣＰ１とは異なる襞であることが分かる。このため臓器モデル形状補正部１３は、図２３のＢ２欄のように、襞ＣＰ１を通過したと判定する。
　一方、内視鏡画像ＩＭＧ（ｎ＋１）が図２３のＣ１欄のようになったとする。この場合、特徴点ＳＰの近傍の遠位側に位置する襞ＣＰ１は、Ａ１欄に示した襞ＣＰ１と同一であることが分かる。このため臓器モデル形状補正部１３は、図２３のＣ２欄のように、襞ＣＰ１を通過していないと判定する。
　このようにして、臓器モデル形状補正部１３は、襞通過の有無を判定する（ステップＳ７１）。
　次に、臓器モデル形状補正部１３は、襞通過の有無に基づき、既存の臓器モデルおよび新規の臓器モデルの同一襞を検出する（ステップＳ７２）。
　図２４は、第３の実施形態において、内視鏡画像中の襞と、臓器モデル中の襞とを対応付ける様子を説明するための図表である。
　上述したように、臓器の形状が変化しても、襞数は変化せず、襞の順序関係も変化しないため、襞の数をカウントすることで、内視鏡画像中の襞と、臓器モデル中の襞とを対応付ける。
　図２４において、Ａ１欄は内視鏡画像ＩＭＧ（ｎ）における襞ＣＰ１を示し、Ａ２欄は内視鏡画像ＩＭＧ（ｎ＋１）における襞ＣＰ１，ＣＰ２を示す。
　図２４において、Ｂ１欄は、臓器モデルＯＭ（ｎ）における、襞ＣＰ１のみが観察される位置に、挿入部２ａの先端部２ａ１があることを示している。Ｂ２欄は、臓器モデルＯＭ（ｎ＋１）における、襞ＣＰ１，ＣＰ２が観察される位置に、挿入部２ａの先端部２ａ１があることを示している。
　ステップＳ７２において同一襞を検出したら、続いて、臓器モデル形状補正部１３は、同一襞の変化量を検出する（ステップＳ７３）。
　図２５は、第３の実施形態において、同一襞の変化量を検出する様子を説明するための図表である。
　図２５のＡ１欄は、時刻ｔ（ｎ）の臓器モデルＯＭ（ｎ）において、３つの襞ＣＰ１（ｎ），ＣＰ２（ｎ），ＣＰ３（ｎ）が検出されている様子を示す。
　図２５のＡ２欄は、時刻ｔ（ｎ＋１）の臓器モデルＯＭ（ｎ＋１）において、Ａ１欄の３つの襞ＣＰ１（ｎ），ＣＰ２（ｎ），ＣＰ３（ｎ）に各対応する３つの襞ＣＰ１（ｎ＋１），ＣＰ２（ｎ＋１），ＣＰ３（ｎ＋１）が検出されている様子を示す。
　図２５のＢ１欄は、３つの襞ＣＰ１（ｎ），ＣＰ２（ｎ），ＣＰ３（ｎ）の内、挿入部２ａの先端部２ａ１に最も近い襞ＣＰ３（ｎ）を変化量を検出するために選択した様子を示す。
　図２５のＢ２欄は、襞ＣＰ３（ｎ）に対応する襞ＣＰ３（ｎ＋１）を変化量を検出するために選択した様子を示す。
　臓器モデル形状補正部１３は、図２５のＢ１欄に示す襞ＣＰ３（ｎ）と、図２５のＢ２欄に示す襞ＣＰ３（ｎ＋１）とを比較することで、変化量を検出する。
　図２６は、第３の実施形態において、図２２のステップＳ７３における同一襞の変化量の検出処理を示すフローチャートである。
　臓器モデル形状補正部１３による同一襞の変化量の検出は、例えば、既存の臓器モデル中の襞に対する、新規の臓器モデル中の同一襞の、径の拡縮量を検出し（ステップＳ８１）、回転量を検出し（ステップＳ８２）、２つの同一襞間の伸縮量を検出し（ステップＳ８３）、被検体内における襞の移動量を検出する（ステップＳ８４）ことにより行われる。なお、図２６には検出順序の一例を示したが、図示の検出順序に限定されるものではない。
　図２６のステップＳ８１における径の拡縮量を検出する処理は、例えば、図１３および図１４を参照した説明において、管腔軸に垂直な断面上における特徴点の距離の比Ｄ２／Ｄ１を算出するのに代えて、同一襞上の対応する特徴点の距離の比Ｄ２／Ｄ１を検出して行えばよい。または、図１３および図１４を参照した説明をそのまま適用しても構わない。
　また、図２７は、第３の実施形態において、図２６のステップＳ８１における径の拡縮量を検出する他の処理例を示すフローチャートである。図２８は、第３の実施形態において、径の拡縮量を検出する他の処理例を説明するための図表である。
　図２７に示す処理を開始すると、既存の臓器モデルと新規の臓器モデルに、対応する襞上の同一の特徴点を含むように、管腔軸に垂直な断面ＣＳ（ｎ），ＣＳ（ｎ＋１）をそれぞれ設定する。さらに、図２８に示すように、断面ＣＳ（ｎ），ＣＳ（ｎ＋１）のそれぞれに同一長さＤｘの線分ＡＢを設定する（ステップＳ９１）。このとき、線分ＡＢの少なくとも一方の端点（例えば端点Ａ）は、対応する襞上の同一の特徴点としてもよい。
　次に、線分ＡＢの垂直２等分線が断面ＣＳ（ｎ），ＣＳ（ｎ＋１）に交差する２点間の距離を、直径ｄ（ｎ），ｄ（ｎ＋１）としてそれぞれ検出する（ステップＳ９２）。
　そして、直径の比ｄ（ｎ＋１）／ｄ（ｎ）を襞における管腔径の拡縮量として検出して（ステップＳ９３）、図２６の処理にリターンする。
　図２９は、第３の実施形態において、臓器モデルの径の拡縮量の補正方法の例を説明するためのグラフである。図３０は、第３の実施形態において、臓器モデルの径の拡縮量を補正範囲において補正する例を説明するための図である。
　図２０に関連して上述したように、径に関しても、拡縮量の補正を、拡縮量を検出した襞を含む補正範囲内において行ってもよい。補正範囲は、襞の前後の固定距離範囲、襞を含む２つのランドマークの間、襞を含むランドマークと挿入部２ａの先端部２ａ１の位置との間の何れでも構わないのは上述と同様である。また、臓器モデルの全体を補正範囲としてもよいことも上述と同様である。
　図２９は、管腔軸ＣＡ（図３０参照）に沿った補正範囲において、径の拡縮量を検出した襞の位置において直径を比ｄ（ｎ＋１）／ｄ（ｎ）だけ変化させ、補正範囲の両端点において直径の比の変化を１にするように、直径の変化率を設定したグラフを示している。これにより、例えば径の拡縮量を検出した襞の位置と補正範囲の端点との中点では、直径の変化率が、｛１＋（［｛ｄ（ｎ＋１）／ｄ（ｎ）｝－１］／２）｝となる。なお、図２９に示したグラフは一例であり、直径の変化率が曲線で構成されるようにしても構わない。
　図２９に示した拡縮量に応じて、臓器モデルを、管腔軸を中心とした径方向に放射状に補正することにより、図３０に示すように、ハッチングを付した補正範囲が、臓器モデルＯＭ（ｎ）から臓器モデルＯＭ（ｎ＋１）へ補正される。なお、補正対象外の範囲については、臓器モデルＯＭ（ｎ）と臓器モデルＯＭ（ｎ＋１）に変化はない。
　図２６のステップＳ８２における回転量を検出する処理は、例えば、図１５および図１６を参照した説明を適用することができる。このとき、ステップＳ４１において、内視鏡画像に基づく第１の回転量θ１の検出を、内視鏡画像中の襞に着目して行うとよい。
　図３１は、第３の実施形態において、臓器モデルの回転量の補正方法の例を説明するためのグラフである。
　管腔臓器の管腔軸周りの回転に関しても、径と同様に、臓器モデルの一部または全体を補正範囲として補正を行える。
　回転量を補正する際には、まず、補正範囲における臓器モデルの管腔軸を推定する。
　次に、管腔軸に沿った補正範囲において、図３１のグラフに示すように、回転量を検出した襞の位置において回転量を（θ１－θ２）だけ変化させ、補正範囲の両端点において回転量を０にするように、回転量を変化させる。なお、図３１に示したグラフは一例であり、回転量の変化が曲線で構成されるようにしても構わない。
　図３２は、第３の実施形態において、図２６のステップＳ８３における伸縮量を検出する処理を説明するための図表である。
　図３２において、Ａ１欄は時刻ｔ（ｎ）で撮像された内視鏡画像ＩＭＧ（ｎ）を示し、Ａ２欄は時刻ｔ（ｎ＋１）で撮像された内視鏡画像ＩＭＧ（ｎ＋１）を示す。
　臓器モデル形状補正部１３は、内視鏡画像ＩＭＧ（ｎ）および内視鏡画像ＩＭＧ（ｎ＋１）において、例えばＡＩを用いて２つの同一襞を検出する。図３２のＡ欄に示す例では、内視鏡画像ＩＭＧ（ｎ）に第１の襞ＣＰ１（ｎ）および第２の襞ＣＰ２（ｎ）が検出され、内視鏡画像ＩＭＧ（ｎ＋１）に第１の襞ＣＰ１（ｎ＋１）および第２の襞ＣＰ２（ｎ＋１）が検出されている。
　過去の時刻ｔ（ｎ）と、現在の時刻ｔ（ｎ＋１）とで襞間の距離が変化していた場合、伸縮量を、例えばＳＬＡＭを用いて各襞の深度値差に基づき検出する。ここで、時刻ｔ（ｎ）における襞間の距離Ｌ１が、時刻ｔ（ｎ＋１）では距離Ｌ２に変化したことが検出されたとする。
　すると、図３２のＢ１欄に示すような既存の臓器モデルＯＭ（ｎ）における襞間の距離Ｌ１が、新規の臓器モデルＯＭ（ｎ＋１）においては図３２のＢ２欄に示す距離Ｌ２となるように、臓器モデルの形状を補正する。
　また、管腔臓器の管腔軸方向の伸縮に関しても、上述と同様に、伸縮量の補正を、伸縮量を検出した襞を含む適宜の補正範囲内において行える。一例として、挿入部２ａの先端部２ａ１が最後に通過した襞とは逆方向にあるランドマークと、先端部２ａ１に最も近くまだ通過していない襞と、の間を補正範囲としてもよい。
　図３３は、第３の実施形態において、臓器モデルの伸縮量の補正方法の例を説明するためのグラフである。図３４は、第３の実施形態において、臓器モデルの伸縮量を補正する例を説明するための図である。
　臓器モデル形状補正部１３は、まず、挿入部２ａの先端部２ａ１の移動方向に基づき、臓器モデルＯＭ（ｎ）のどの部分を補正するかを決定する。例えば、図３４において、挿入部２ａの先端部２ａ１が脾彎曲ＦＣＳから肝彎曲ＦＣＤの方向へ移動しているものとする。この場合、臓器モデル形状補正部１３は、臓器モデルＯＭ（ｎ）の横行結腸ＴＣにおける肝彎曲ＦＣＤ側（盲腸ＩＣ側）を、ハッチングで示すように補正範囲とする。
　次に、臓器モデル形状補正部１３は、既存の臓器モデルＯＭ（ｎ）におけるランドマークである肝彎曲ＦＣＤから、変化量を検出した襞ＣＰ２（ｎ）までの管腔軸に沿った長さｘを算出する。
　続いて、臓器モデル形状補正部１３は、ランドマークである肝彎曲ＦＣＤを固定位置とし、時刻ｔ（ｎ＋１）における固定位置から襞ＣＰ２（ｎ＋１）までの伸縮量、ここでは例えば短縮した長さｙを、襞間の距離がＬ１からＬ２に変化したことに基づき算出する。これにより、ランドマークから襞ＣＰ２（ｎ＋１）までの管腔軸に沿った長さが（ｘ－ｙ）になったことが分かる。
　この場合、臓器モデルの伸縮率は（ｘ－ｙ）／ｘになる。臓器モデル形状補正部１３は、図３３に示すように、ランドマークを固定位置として、管腔軸上の各点の伸縮率が（ｘ－ｙ）／ｘになるように、臓器モデルＯＭ（ｎ）の形状を補正する。具体例を挙げれば、ｘ＝１０，ｙ＝２の場合、伸縮率は（１０－２）／１０＝０．８となる。従って、固定位置を原点とする管腔軸上の位置５は、補正後に５×０．８＝４となる。なお、図３３に示したグラフは一例であり、伸縮率の変化が曲線で構成されるようにしても構わない。
　このような補正を行うことで、図３４に示すような臓器モデルＯＭ（ｎ＋１）が算出される。
　図３５は、第３の実施形態において、図２６のステップＳ８４における移動量を検出する処理を説明するためのフローチャートである。
　図３５に示す処理を開始すると、既存の臓器モデルと新規の臓器モデルの同一襞を撮影して検出したときの、挿入部２ａの先端部２ａ１の位置を推定する（ステップＳ１０１）。先端部２ａ１の位置の推定は、上述したように、内視鏡画像に基づいて行ってもよいし、先端位置検出装置５から入力された情報に基づいて行っても構わない。
　次に、既存の臓器モデルにおいて襞を撮影したときの先端部２ａ１の位置と、新規の臓器モデルにおいて襞を撮影したときの先端部２ａ１の位置との相違が、所定の距離以上であるかを判定する（ステップＳ１０２）。
　ここで、所定の距離以上である場合は、臓器が移動したと判定して、その距離を移動量として検出する（ステップＳ１０３）。
　また、ステップＳ１０２において所定の距離未満である場合は、臓器が移動していないと判定して、移動量が０であると検出する（ステップＳ１０４）。ここで、所定の距離以上である場合のみに臓器が移動したと判定しているのは、計算誤差による誤判定を防止するためである。ステップＳ１０３またはステップＳ１０４の処理を行ったら、図２６の処理にリターンする。
　図３６は、第３の実施形態において、臓器の移動を判定するために既存の臓器モデルと新規の臓器モデルの同一襞を検出する例を示す図である。
　図３６において、点線は移動前（時刻ｔ（ｎ）における１度目の撮像時）の被検体の臓器ＯＢＪ（ｎ）の位置を示し、実線は移動後（時刻ｔ（ｎ＋１）における２度目の撮像時）の被検体の臓器ＯＢＪ（ｎ＋１）の位置を示している。ランドマークである脾彎曲ＦＣＳから何番目の襞であるかに基づき、１度目の撮像時と２度目の撮像時における同一襞を検出する。
　時刻ｔ（ｎ）から時刻ｔ（ｎ＋１）へ移行すると、脾彎曲ＦＣＳから数えて順に、第１の襞ＣＰ１（ｎ）は第１の襞ＣＰ１（ｎ＋１）の位置に、第２の襞ＣＰ２（ｎ）は第２の襞ＣＰ２（ｎ＋１）の位置に、第３の襞ＣＰ３（ｎ）は第３の襞ＣＰ３（ｎ＋１）の位置に、それぞれ移動している。挿入部２ａの先端部２ａ１は、第１の襞ＣＰ１および第２の襞ＣＰ２を通過して第３の襞ＣＰ３に対向する位置にあり、内視鏡画像において近くに観察されるのは第３の襞ＣＰ３である。
　挿入部２ａの先端部２ａ１から見て、第３の襞ＣＰ３（ｎ），ＣＰ３（ｎ＋１）の遠方側の近傍には未観察領域ＵＯＡ（ｎ），ＵＯＡ（ｎ＋１）が存在している。未観察領域ＵＯＡは、未観察領域判定・補正部１５が時刻ｔ（ｎ），ｔ（ｎ＋１）のそれぞれにおける正しい位置を算出して、モニタ８等に表示する。
　図３７は、第３の実施形態において、臓器の移動に応じた臓器モデルの形状の補正方法を説明するための図表である。
　臓器モデル形状補正部１３は、臓器モデルＯＭの形状を補正する際に、ステップＳ１０１で推定した挿入部２ａの先端部２ａ１の位置に基づいて、襞ＣＰ（ｎ），ＣＰ（ｎ＋１）の位置を算出する。
　次に、臓器モデル形状補正部１３は、図３７のＡ欄に示すように、移動を検出した襞ＣＰ（ｎ），ＣＰ（ｎ＋１）の中心と、襞ＣＰ（ｎ），ＣＰ（ｎ＋１）の前後のランドマークの中心位置とを結んだ直線を生成する。具体的に、例えば肝彎曲ＦＣＤの中心位置と襞ＣＰ（ｎ），ＣＰ（ｎ＋１）の中心をそれぞれ結んだ直線ＳＬ１（ｎ），ＳＬ１（ｎ＋１）と、脾彎曲ＦＣＳの中心位置と襞ＣＰ（ｎ），ＣＰ（ｎ＋１）の中心をそれぞれ結んだ直線ＳＬ２（ｎ），ＳＬ２（ｎ＋１）と、を生成する。
　続いて、臓器モデル形状補正部１３は、図３７のＢ欄に示すように、例えば直線ＳＬ１（ｎ）上の所定の点から直線ＳＬ１（ｎ＋１）上の所定の点までの距離を、各点の移動量として算出する。各点の設定方法として、例えば肝彎曲ＦＣＤの中心位置と脾彎曲ＦＣＳの中心位置を結んだ直線に垂直な面と、直線ＳＬ１（ｎ）およびＳＬ１（ｎ＋１）と、の交点を各点とする方法がある。
　図３８は、第３の実施形態において、臓器の移動に応じた臓器モデルの形状の補正方法を説明するためのグラフである。図３８に示すように、肝彎曲ＦＣＤと脾彎曲ＦＣＳとの間が補正範囲であり、変化を検出した襞ＣＰにおける移動量をＸとすると、直線上の位置を肝彎曲ＦＣＤから襞ＣＰへ移動するにつれて移動量を単調に増加させ、直線上の位置を襞ＣＰから脾彎曲ＦＣＳへ移動するにつれて移動量を単調に減少させる。なお、図３８に示したグラフは一例であり、移動量の変化が曲線で構成されるようにしても構わない。
　そして、臓器モデル形状補正部１３は、図３７のＣ欄に示すように、臓器モデルＯＭ（ｎ）の肝彎曲ＦＣＤと脾彎曲ＦＣＳの間を、算出した距離に応じて補正することで、補正された臓器モデルＯＭ（ｎ＋１）を算出する。
　図３９は、第３の実施形態において、臓器モデルと未観察領域の表示例を示す図表である。
　臓器モデルＯＭ（ｎ）の形状を補正して臓器モデルＯＭ（ｎ＋１）を算出したら、モニタ８に、補正後の臓器モデルＯＭ（ｎ＋１）を表示する。
　図３９のＡ欄は、モニタ８に表示された補正後の臓器モデルＯＭ（ｎ＋１）を示す。臓器モデルＯＭ（ｎ＋１）は、挿入部２ａの先端部２ａ１から肝彎曲ＦＣＤを経て盲腸ＩＣまでの範囲が表示されている。このとき、臓器モデルＯＭ（ｎ＋１）が生成されていない領域を、未観察領域ＵＯＡ（ｎ＋１）として表示してもよい。さらに、臓器モデルＯＭ（ｎ＋１）には、挿入部２ａの先端部２ａ１の位置や視野方向が例えば三角マークにより表示される。三角マークを用いる場合、三角マークの１つの頂点が先端部２ａ１の位置を示し、前記頂点を挟む２辺により視野方向および視野範囲が示される。ただし、他のマークなどを用いても勿論構わない。
　図３９のＢ欄は、挿入部２ａの先端部２ａ１の移動方向における、未観察領域ＵＯＡ（ｎ＋１）の位置以降の臓器モデルＯＭ（ｎ＋１）のみを表示する例を示す。例えば、先端部２ａ１が、盲腸ＩＣから肝彎曲ＦＣＤへ移動し、さらに肝彎曲ＦＣＤから脾彎曲ＦＣＳへ向けて移動中であるとする。このとき、未観察領域ＵＯＡ（ｎ＋１）の位置以前の臓器モデルＯＭ（ｎ＋１）は、点線で示すように表示しなくても構わない。
　図３９のＣ欄は、モニタ８に内視鏡画像ＩＭＧ（ｎ＋１）を表示し、矢印ＡＲ（ｎ＋１）により、先端部２ａ１から未観察領域への方向を表示する例である。このとき、矢印ＡＲ（ｎ＋１）の長短（または、太さ、色など）により、先端部２ａ１から未観察領域までの距離をさらに表示するようにしても構わない。
　また、挿入部２ａの先端部２ａ１の移動速度が所定の閾値よりも大きいと、襞ＣＰが明瞭に撮像されない場合がある。襞ＣＰは本実施形態では臓器モデルＯＭの補正に用いられる。そこで、襞ＣＰを明瞭に撮像する必要がある場合は、先端部２ａ１の移動速度をモニタ８に表示し、移動速度が閾値以上である場合に、表示や音声などでアラートを出すようにしてもよい。
　このような第３の実施形態によれば、上述した第１，２の実施形態とほぼ同様の効果を奏するとともに、臓器に変化が生じても襞の順序関係や襞数に影響がないことを利用して、襞の通過の有無を判定することにより、同一の襞を検出できる。同一の襞の変化の有無、および変化量を検出することで、臓器の形状変化を適確に推定できる。また、補正後の臓器モデルまたは最新の内視鏡画像と共に補正後の未観察領域の方向や位置を表示することで、未観察領域が正しく提示され、病変の見落としなどを防止できる。
　なお、上述した各実施形態において、内視鏡２または内視鏡２の周辺機器から得られる情報に基づいて、臓器モデルの形状を補正してもよい。もしくは、内視鏡２または内視鏡２の周辺機器から得られる情報と、内視鏡画像情報とを組み合わせて、臓器モデルの形状を補正しても構わない。
　例えば、内視鏡２から臓器内へ送気を行うと、臓器が膨張して形状が変化する。そこで、臓器内への送気量に基づいて、臓器の膨脹量を推定し、臓器モデルの形状を補正してもよい。
　また、上述では本発明が内視鏡システムの画像処理装置である場合を主として説明したが、これに限定されるものではなく、本発明は、画像処理装置と同様の作用を行う画像処理方法であってもよいし、コンピュータに画像処理装置と同様の処理を行わせるためのプログラム、前記プログラムを記録しているコンピュータにより読み取り可能な一時的でない記録媒体（不揮発性記憶媒体）、等であっても構わない。
　さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

Claims (17)

  1. 　ハードウェアを有するプロセッサを備え、
    　前記プロセッサは、
    　内視鏡から内視鏡画像情報を取得して臓器モデルを生成した後、
    　前記内視鏡画像情報の取得を続行し、
    　最新の内視鏡画像情報に基づいて生成済みの前記臓器モデルの形状を補正し、
    　補正された前記臓器モデルの情報を出力するように構成されている画像処理装置。
  2. 　前記プロセッサは、前記最新の内視鏡画像情報に基づいて新規の臓器モデルを生成し、前記新規の臓器モデルに基づき、生成済みの前記臓器モデルの形状を補正することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記プロセッサは、前記臓器モデルの全体を補正することを特徴とする請求項１に記載の画像処理装置。
  4. 　前記プロセッサは、
    　前記最新の内視鏡画像情報に基づいて、生成済みの前記臓器モデルに対する変化部位を特定し、
    　前記変化部位を含む前記臓器モデルの一部を補正することを特徴とする請求項１に記載の画像処理装置。
  5. 　前記プロセッサは、臓器の種類に基づいて、前記臓器モデルの内の補正対象外の範囲を設定することを特徴とする請求項１に記載の画像処理装置。
  6. 　前記プロセッサは、
    　撮像時刻の異なる複数の内視鏡画像情報に含まれる特定対象から、前記特定対象の変化量を算出し、
    　前記変化量に基づいて前記臓器モデルの形状を補正することを特徴とする請求項１に記載の画像処理装置。
  7. 　前記プロセッサは、前記変化量として、拡縮量と、回転量と、伸縮量と、移動量との内の少なくとも１つを算出することを特徴とする請求項６に記載の画像処理装置。
  8. 　前記プロセッサは、複数の特定対象の距離の変化量に基づき、前記拡縮量と、前記伸縮量との少なくとも一方を算出することを特徴とする請求項７に記載の画像処理装置。
  9. 　前記プロセッサは、
    　前記特定対象に基づき前記複数の内視鏡画像情報の第１の回転量を算出し、
    　外部の位置検出センサから前記内視鏡の挿入部の先端部の第２の回転量を取得し、
    　前記第１の回転量と前記第２の回転量とに基づいて、前記回転量を算出することを特徴とする請求項７に記載の画像処理装置。
  10. 　前記プロセッサは、
    　前記拡縮量、前記回転量、および前記伸縮量を算出し、
    　生成済みの前記臓器モデルの形状を、前記拡縮量、前記回転量、および前記伸縮量に基づき補正した後に、補正前後の前記臓器モデルの特定対象の距離が閾値以上である場合に、前記特定対象の距離を前記移動量として算出することを特徴とする請求項７に記載の画像処理装置。
  11. 　前記プロセッサは、
    　前記内視鏡から前記内視鏡画像情報をフレーム毎に取得し、
    　前記変化量の算出を、前記フレーム毎に行うことを特徴とする請求項６に記載の画像処理装置。
  12. 　前記プロセッサは、前記変化量の算出を、前記特定対象の種類情報を参照して行うことを特徴とする請求項６に記載の画像処理装置。
  13. 　前記プロセッサは、前記臓器モデルの形状の補正量を、前記特定対象からの距離が遠いほど小さくすることを特徴とする請求項６に記載の画像処理装置。
  14. 　前記臓器モデルを生成する対象の臓器は腸管であり、
    　前記特定対象は、前記腸管の襞であることを特徴とする請求項６に記載の画像処理装置。
  15. 　ハードウェアを有するプロセッサが、
    　内視鏡から内視鏡画像情報を取得して臓器モデルを生成した後、
    　前記内視鏡画像情報の取得を続行し、
    　最新の内視鏡画像情報に基づいて生成済みの前記臓器モデルの形状を補正し、
    　補正された前記臓器モデルの情報を出力することを特徴とする画像処理方法。
  16. 　コンピュータに、
    　内視鏡から内視鏡画像情報を取得させて臓器モデルを生成させた後、
    　前記内視鏡画像情報の取得を続行させ、
    　最新の内視鏡画像情報に基づいて生成済みの前記臓器モデルの形状を補正させ、
    　補正された前記臓器モデルの情報を出力させることを特徴とするプログラム。
  17. 　コンピュータに、
    　内視鏡から内視鏡画像情報を取得させて臓器モデルを生成させた後、
    　前記内視鏡画像情報の取得を続行させ、
    　最新の内視鏡画像情報に基づいて生成済みの前記臓器モデルの形状を補正させ、
    　補正された前記臓器モデルの情報を出力させるプログラムを記録している不揮発性記憶媒体。
PCT/JP2021/047082 2021-12-20 2021-12-20 画像処理装置、画像処理方法、プログラム、およびプログラムを記録している不揮発性記憶媒体 WO2023119373A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/047082 WO2023119373A1 (ja) 2021-12-20 2021-12-20 画像処理装置、画像処理方法、プログラム、およびプログラムを記録している不揮発性記憶媒体
JP2023568781A JPWO2023119373A5 (ja) 2021-12-20 画像処理装置、画像処理方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/047082 WO2023119373A1 (ja) 2021-12-20 2021-12-20 画像処理装置、画像処理方法、プログラム、およびプログラムを記録している不揮発性記憶媒体

Publications (1)

Publication Number Publication Date
WO2023119373A1 true WO2023119373A1 (ja) 2023-06-29

Family

ID=86901574

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/047082 WO2023119373A1 (ja) 2021-12-20 2021-12-20 画像処理装置、画像処理方法、プログラム、およびプログラムを記録している不揮発性記憶媒体

Country Status (1)

Country Link
WO (1) WO2023119373A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06304127A (ja) * 1993-04-27 1994-11-01 Olympus Optical Co Ltd 内視鏡挿入補助装置
JP2002345725A (ja) * 2001-05-22 2002-12-03 Olympus Optical Co Ltd 内視鏡システム
WO2015029970A1 (ja) * 2013-08-28 2015-03-05 オリンパスメディカルシステムズ株式会社 カプセル型内視鏡システム
WO2017056775A1 (ja) * 2015-09-28 2017-04-06 富士フイルム株式会社 プロジェクションマッピング装置
WO2017057330A1 (ja) * 2015-09-28 2017-04-06 オリンパス株式会社 内視鏡システム及び画像処理方法
WO2021166103A1 (ja) * 2020-02-19 2021-08-26 オリンパス株式会社 内視鏡システム、管腔構造算出装置及び管腔構造情報の作成方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06304127A (ja) * 1993-04-27 1994-11-01 Olympus Optical Co Ltd 内視鏡挿入補助装置
JP2002345725A (ja) * 2001-05-22 2002-12-03 Olympus Optical Co Ltd 内視鏡システム
WO2015029970A1 (ja) * 2013-08-28 2015-03-05 オリンパスメディカルシステムズ株式会社 カプセル型内視鏡システム
WO2017056775A1 (ja) * 2015-09-28 2017-04-06 富士フイルム株式会社 プロジェクションマッピング装置
WO2017057330A1 (ja) * 2015-09-28 2017-04-06 オリンパス株式会社 内視鏡システム及び画像処理方法
WO2021166103A1 (ja) * 2020-02-19 2021-08-26 オリンパス株式会社 内視鏡システム、管腔構造算出装置及び管腔構造情報の作成方法

Also Published As

Publication number Publication date
JPWO2023119373A1 (ja) 2023-06-29

Similar Documents

Publication Publication Date Title
US20230157524A1 (en) Robotic systems and methods for navigation of luminal network that detect physiological noise
US11864850B2 (en) Path-based navigation of tubular networks
US10321803B2 (en) System and method for image-based alignment of an endoscope
JP7293265B2 (ja) 管状網のナビゲーション
JP7154832B2 (ja) 形状推定をともなう軌道情報による位置合わせの改良
US7945310B2 (en) Surgical instrument path computation and display for endoluminal surgery
US7824328B2 (en) Method and apparatus for tracking a surgical instrument during surgery
US8248413B2 (en) Visual navigation system for endoscopic surgery
US8248414B2 (en) Multi-dimensional navigation of endoscopic video
JP2022523445A (ja) 動的な介入的３次元モデル変形
JP2013509902A (ja) 距離センサを使用した衝突の回避と探知
JP7423740B2 (ja) 内視鏡システム、管腔構造算出装置、管腔構造算出装置の作動方法及び管腔構造情報作成プログラム
JP2012165838A (ja) 内視鏡挿入支援装置
CN116829091A (zh) 外科手术辅助系统和表示方法
WO2023119373A1 (ja) 画像処理装置、画像処理方法、プログラム、およびプログラムを記録している不揮発性記憶媒体
US9345394B2 (en) Medical apparatus
WO2024028934A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
US20230210627A1 (en) Three-dimensional instrument pose estimation
WO2022202400A1 (ja) 画像処理装置、画像処理方法、及びプログラム
US20230230263A1 (en) Two-dimensional image registration
WO2023126754A1 (en) Three-dimensional model reconstruction

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21968810

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023568781

Country of ref document: JP