WO2017203814A1 - 内視鏡装置、内視鏡装置の作動方法 - Google Patents

内視鏡装置、内視鏡装置の作動方法 Download PDF

Info

Publication number
WO2017203814A1
WO2017203814A1 PCT/JP2017/011397 JP2017011397W WO2017203814A1 WO 2017203814 A1 WO2017203814 A1 WO 2017203814A1 JP 2017011397 W JP2017011397 W JP 2017011397W WO 2017203814 A1 WO2017203814 A1 WO 2017203814A1
Authority
WO
WIPO (PCT)
Prior art keywords
progress information
image
dimensional model
subject
progress
Prior art date
Application number
PCT/JP2017/011397
Other languages
English (en)
French (fr)
Inventor
誠悟 伊藤
秋本　俊也
長谷川　潤
大西　順一
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2017535117A priority Critical patent/JP6211239B1/ja
Publication of WO2017203814A1 publication Critical patent/WO2017203814A1/ja
Priority to US16/156,076 priority patent/US20190043215A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30084—Kidney; Renal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Definitions

  • the present invention relates to an endoscope apparatus that enables generation and display of a three-dimensional model image of a subject during endoscopic observation, and an operation method of the endoscope apparatus.
  • Endoscopic observation support technology for generating a three-dimensional model image of a hollow organ and presenting an unobserved region to the operator on the generated three-dimensional model image is known.
  • an insertion path for inserting a distal end portion of an insertion portion to a target site is generated based on a three-dimensional image of a subject acquired in advance, and generated from three-dimensional image data.
  • a medical device that superimposes and displays a generated insertion path on a tomographic image is described. Further, this publication describes that the insertion path that has already passed and the insertion path to the target position are displayed on the three-dimensional model image with different line types.
  • Japanese Unexamined Patent Publication No. 2016-002206 an observation image of a subject and information on an observation site included in past examination information of the subject are displayed on a display device and displayed on the display device.
  • a medical information processing system for registering site observation completion information indicating that observation of an observation site corresponding to information is completed is described.
  • this publication describes a technique for displaying a part where observation has been completed, for example, with a square mark, a part to be observed from now on, for example, a triangular mark, and an unobserved part, for example, with a round mark.
  • the present invention has been made in view of the above circumstances, and it is an object of the present invention to provide an endoscope apparatus that can intuitively and easily grasp the progress of endoscopic observation, and an operation method of the endoscope apparatus. It is said.
  • An endoscope apparatus includes an endoscope that acquires an internal image of a subject having a three-dimensional shape, a three-dimensional model generation unit that generates three-dimensional model data of the subject, An image generation unit that generates a three-dimensional model image based on the three-dimensional model data generated by the three-dimensional model generation unit, and a progress that generates progress information indicating the progress of observation of the subject by the endoscope An information generation unit; and a presentation control unit that presents the progress information in association with the three-dimensional model image.
  • an endoscope acquires an internal image of a subject having a three-dimensional shape, and a three-dimensional model generation unit includes a three-dimensional model of the subject. Data is generated, an image generation unit generates a three-dimensional model image based on the three-dimensional model data generated by the three-dimensional model generation unit, and a progress information generation unit generates the object by the endoscope This is a method of generating progress information indicating the progress of the observation and presenting the progress information in association with the three-dimensional model image.
  • FIG. 3 is a flowchart showing the operation of the endoscope apparatus of the first embodiment.
  • the figure which shows the example in the middle of observation of a progress information display part In the said Embodiment 1, the figure which shows the example in the middle of observation of a progress information display part.
  • FIG. 3 The block diagram which shows the structure relevant to the control part of the endoscope apparatus in the said Embodiment 3.
  • FIG. In the said Embodiment 3, the figure which shows the example of the observed area
  • region The figure which shows the example of the progress information produced
  • FIG. 1 is a block diagram showing a configuration of an endoscope apparatus.
  • This endoscope apparatus includes an endoscope 1, a processing system 2, and a display device 4, and may further include a database 3 as necessary.
  • a case where the database 3 is not provided will be described as an example, and a case where the database 3 is provided will be described as appropriate.
  • the endoscope 1 is an image acquisition device that acquires an image inside a subject in order to observe the inside of the subject having a three-dimensional shape, and includes an imaging unit 11, an illumination unit 12, and a position / orientation detection unit. 13.
  • the imaging unit 11, the illumination unit 12, and the position / orientation detection unit 13 are disposed, for example, at the distal end portion of the insertion unit of the endoscope 1 that is inserted into the subject.
  • the renal pelvic and renal goblet is taken as an example of a subject having a three-dimensional shape.
  • the present invention is not limited to this, and endoscope observation is possible with a plurality of ducts. Any subject can be widely applied.
  • the illumination unit 12 irradiates illumination light toward the inside of the subject.
  • the imaging unit 11 forms an optical image inside the subject irradiated with illumination light with an optical system, performs photoelectric conversion with an imaging element or the like, and generates a captured image signal.
  • the position / orientation detection unit 13 detects the three-dimensional position of the distal end portion of the insertion portion of the endoscope 1 and outputs it as position information, and detects the direction in which the distal end portion of the insertion portion of the endoscope 1 faces to Output as information.
  • the position information is represented by (x, y, z) coordinates
  • the azimuth information is represented by an angle around the x axis, an angle around the y axis, and an angle around the z axis.
  • the position / orientation detection unit 13 is also called, for example, a 6D sensor).
  • the position information and orientation information of the endoscope 1 may be expressed using other appropriate methods (for example, a polar coordinate system).
  • the processing system 2 controls the endoscope 1 and communicates with the database 3 as necessary to process the captured image signal, the position information, and the azimuth information acquired from the endoscope 1 for display. Image data and image data for recording are generated and output to the display device 4 and the like.
  • this processing system 2 may be comprised as a single apparatus, and may be comprised from several apparatuses, such as a light source device and a video processor.
  • the processing system 2 includes an image processing unit 21, a three-dimensional model generation unit 22, an image generation unit 23, a presentation control unit 24, an illumination control unit 25, and a control unit 26.
  • the image processing unit 21 generates a captured image from the captured image signal output from the imaging unit 11, and performs, for example, demosaicing processing (or synchronization processing), white balance processing, color matrix processing on the generated captured image.
  • demosaicing processing or synchronization processing
  • white balance processing color matrix processing
  • color matrix processing on the generated captured image.
  • image processing such as gamma conversion processing are performed to generate an endoscopic image EI (see FIG. 2).
  • the 3D model generation unit 22 generates 3D model data of the subject.
  • the three-dimensional model generation unit 22 includes an endoscope image EI generated by the image processing unit 21 (or an endoscope image EI image-processed for generating a three-dimensional model by the image processing unit 21), A plurality of frames of position information and azimuth information detected by the position / orientation detection unit 13 when the captured image used to generate the endoscopic image EI is captured are acquired via the control unit 26.
  • the three-dimensional model generation unit 22 generates three-dimensional three-dimensional model data while matching the positional relationship of the endoscopic images EI of a plurality of frames based on the position information and orientation information of each frame. Yes. In this case, the three-dimensional model data is gradually constructed as the observation proceeds, and as a result, the generation of the three-dimensional model image M3 (see FIG. 2 and the like) by the image generation unit 23 gradually proceeds.
  • the method of generating the 3D model data by the 3D model generation unit 22 is not limited to this.
  • the 3D model data generated by the past endoscopy is already recorded in the database 3
  • the 3D model data May be used.
  • three-dimensional model data may be generated using the contrast CT data.
  • the database 3 further stores in advance a renal pelvis and kidney goblet model that is the basis of the progress map PM as shown in FIG. 2 described later.
  • the renal pelvis and goblet model to be memorized may be, for example, a standard renal pelvis and goblet model (that is, a model based on the average pelvic and renal cup shape of the human body), or as recently proposed, It may be a multi-pattern renal pelvis and kidney goblet model classified based on a large number of cases, or a renal pelvic and kidney goblet model generated by schematically representing a three-dimensional model data of a subject. (That is, the renal pelvis and kidney goblet model is not limited to a specific model). Further, the renal pelvis and kidney goblet model is not limited to being stored in the database 3 but may be stored in a storage device or the like included in the control unit 26 in the processing system 2.
  • the image generation unit 23 generates a 3D model image M3 (see FIG. 2 and the like) based on the 3D model data generated by the 3D model generation unit 22.
  • the three-dimensional model image M3 is, for example, an image when a three-dimensional subject image is viewed from a certain line-of-sight direction, and the line-of-sight direction can be changed (that is, with the change of the line-of-sight direction, three-dimensional The model image M3 is rotated).
  • the three-dimensional model generation unit 22 and the image generation unit 23 described above constitute a three-dimensional model image generation unit.
  • the presentation control unit 24 presents progress information PI (see FIG. 2 and the like) generated by a progress information generation unit 27 described later in association with the three-dimensional model image M3 generated by the image generation unit 23.
  • the presentation control unit 24 may associate the 3D model image M3 and the progress information PI by presenting the 3D model image M3 and the progress information PI side by side (see FIG. 2 and the like).
  • the presentation control unit 24 may associate the three-dimensional model image M3 with the progress information PI by superimposing and presenting the progress information PI on the three-dimensional model image M3.
  • the presentation control unit 24 also presents an endoscopic image EI generated by the image processing unit 21.
  • the presentation information PI, the three-dimensional model image M3, and the endoscope image EI are presented by the presentation control unit 24 to the display device 4 or a recording device (not shown) (this recording device may be the database 3). Since it is an output, the presentation control unit 24 can also be called an output information control unit.
  • the illumination control unit 25 controls on / off of the illumination light irradiated by the illumination unit 12 and the amount of light.
  • the illumination control unit 25 may be a light source device and the illumination unit 12 may be a light guide or the like, the illumination control unit 25 may be a light emission control circuit, and the illumination unit 12 may be a light source such as an LED. It doesn't matter.
  • the control unit 26 controls the entire processing system 2 and also controls the endoscope 1.
  • the control unit 26 includes a progress information generating unit 27 that generates progress information PI indicating the progress of observation of the subject by the endoscope 1.
  • a progress information generating unit 27 that generates progress information PI indicating the progress of observation of the subject by the endoscope 1.
  • the database 3 is connected to the processing system 2 via, for example, an in-hospital system.
  • the contrast CT data of the subject the three-dimensional model data of the subject generated based on the contrast CT data, the past
  • the three-dimensional model data of the subject generated by the endoscopy, or the renal pelvis and kidney goblet model that is the basis of the progress map PM are recorded.
  • the display device 4 includes one or a plurality of monitors and the like, and displays a presentation image including an endoscopic image EI, a three-dimensional model image M3, and progress information PI output from the presentation control unit 24. indicate.
  • FIG. 2 is a diagram showing a state during observation of the display screen 4i of the display device 4 including the progress information display unit 4c of the first example.
  • the display screen 4i is provided with an endoscope image display unit 4a, a three-dimensional model image display unit 4b, and a progress information display unit 4c.
  • the endoscope image EI generated by the image processing unit 21 is displayed on the endoscope image display unit 4a.
  • the 3D model image M3 generated by the image generation unit 23 is displayed.
  • the three-dimensional model image M3 shown in FIG. 2 is the three-dimensional model image M3 that is constructed as the observation proceeds as described above, and therefore, the already observed region OR is displayed.
  • the existence of the unobserved area UOR is determined by changing the display mode (for example, color (hue, saturation, brightness), pattern, or combination of color and pattern) of the connection part to the unobserved area UOR. it's shown.
  • the unobserved area UOR is displayed in red hue (red display), the saturation of the unobserved area UOR is reduced (monochrome display), and the brightness of the unobserved area UOR is increased. (Highlighted display), etc.
  • the display may be performed while blinking.
  • Progress information PI is displayed in the progress information display section 4c.
  • the progress information display unit 4c is a slightly smaller display unit than the three-dimensional model image display unit 4b.
  • the display position and display size of each display unit are variable. It is good.
  • the progress information PI includes, for example, a progress map PM and a stone mark display PR.
  • the progress map PM schematically displays the renal pelvic goblet structure of the observation target (here, for example, the kidney), and displays the display mode (as described above, for example, color, A pattern or a combination of a color and a pattern) is different (in FIG. 2, the display mode is differently indicated by hatching).
  • the kidney is provided with a renal cup which is a plurality of partial areas forming a duct structure. Therefore, for example, information indicating the ratio of the number of observed kidney cups to the number of all kidney cups included in the kidney (or the number of all kidney cups estimated to be included in the kidney) is displayed in different forms. And so on.
  • the kidney cup is classified into the upper kidney cup, the middle kidney cup, and the lower kidney cup, and the progress information PI for each part is displayed, the total number of kidney cups present in the upper kidney cup is displayed.
  • the ratio of the number of kidney cups that have been observed in the upper kidney cup is displayed in the upper kidney cup portion of the progress map PM, and the display of the calculated results is also performed for the middle kidney cup and lower kidney cup, respectively. (See FIG. 2 etc.).
  • the progress information PI is not limited to being calculated based on the ratio of the number of partial areas, and may be calculated based on, for example, a volume ratio or an area ratio.
  • the observation is performed on the volume of a predetermined region of the subject, for example, the volume of the entire region of the subject (or the estimated volume of the entire region of the subject if not known).
  • the proportion of the volume of the completed region OR may be calculated and used as the progress information PI.
  • the area of a predetermined region of the subject for example, the area of the entire region of the subject (if not known, the estimated area of the entire region of the subject)
  • the ratio of the area of the observed region OR with respect to can be calculated and used as the progress information PI.
  • the number of all partial areas included in the subject and the number of observed partial areas may be used as the progress information PI.
  • the number of unobserved partial areas (along with the number of all partial areas as necessary) may be displayed as the progress information PI.
  • the number of unobserved partial areas is calculated by subtracting the number of observed partial areas from the estimated total number of partial areas.
  • the fact that the kidney cup has been observed is not limited to the determination that the observation inside the kidney cup has been completed (ie, 100%). For example, about 80% of the kidney cup has been observed. It may be determined by this, or an arbitrary ratio may be set in advance.
  • the progress map PM shown in FIG. 2 employs a standard model that divides the kidney cup into three parts: the upper kidney cup, the middle kidney cup, and the lower kidney cup.
  • Other models may be used.
  • a suitable map may be selected from the renal pelvis and kidney cup models and used as the progress map PM.
  • the progress map PM generated by schematically representing the three-dimensional model data of the subject may be used.
  • a three-dimensional model image of the subject may be used as the progress map PM.
  • the calculus mark display PR is a part for displaying information indicating the number of objects already marked with respect to the number of objects to be marked.
  • An object to be marked in the present embodiment is a calculus, for example. That is, the number of stones that have already been marked is displayed with respect to the number of stones acquired in advance by another method (for example, simple CT imaging).
  • one of the two stones present in the upper kidney cup is already marked, and no stone is present in the middle kidney cup, and one stone present in the lower kidney cup.
  • the calculus is already marked.
  • display positions and display sizes of the endoscope image display unit 4a, the three-dimensional model image display unit 4b, and the progress information display unit 4c are independently changed as desired. You may be able to do that.
  • the endoscope image display unit 4a is displayed large on the right side of the display screen 4i
  • the progress information display unit 4c is displayed small on the upper left of the display screen 4i
  • the three-dimensional model image display unit 4b is displayed on the display screen 4i. It is displayed in the middle size in the lower left of the screen.
  • the endoscope image display unit 4a, the three-dimensional model image display unit 4b, and the progress information display unit 4c are each displayed as one window, such display position and display size can be easily changed. be able to.
  • the display screen 4 i is one.
  • the display device 4 is divided into a plurality of monitors and displayed. Also good. For example, as a configuration in which the display device 4 includes two monitors, the endoscope image display unit 4a is displayed on the first monitor, and the three-dimensional model image display unit 4b and the progress information display unit 4c are displayed on the second monitor. You may make it do. Further, the display device 4 includes three monitors, and the endoscope image display unit 4a, the three-dimensional model image display unit 4b, and the progress information display unit 4c are displayed on different monitors. It doesn't matter.
  • FIG. 3 is a diagram illustrating a state at the start of observation of the progress information display unit 4c of the first example.
  • the progress map PM is all in a display mode corresponding to the unobserved area UOR, and the stone mark display PR also indicates that the marked stone is zero.
  • FIG. 4 is a diagram showing a state at the start of observation of the progress information display unit 4c of the second example
  • FIG. 5 is a diagram showing a state during observation of the progress information display unit 4c of the second example.
  • a pie chart is simply displayed as the progress map PM.
  • the progress map PM not being divided into upper kidney cup, middle kidney cup, lower kidney cup, stone mark display PR is also for three stones present in all kidney cups of the kidney, The number of stones that have been marked is displayed.
  • FIG. 6 is a flowchart showing the operation of the endoscope apparatus.
  • progress information PI is displayed based on a standard renal pelvis and kidney cup model.
  • step S1 the total number of kidney cups based on a standard renal pelvis and kidney cup model is acquired, and the total number of stones of the subject that is already known is acquired (step S1).
  • the number of stones in the subject for example, in each of the upper kidney cup, the middle kidney cup, and the lower kidney cup.
  • FIG. 4 and FIG. 5 it is possible to acquire how many are in the entire kidney cup.
  • step S3 it is determined whether or not a new kidney cup different from the standard renal pelvic kidney cup model has been found, and if found, the kidney cup to be observed Is updated (step S4).
  • Step S4 If it is determined that the process of step S4 is performed or no new kidney cup has been found in step S2, it is determined whether a new stone other than the stone acquired in step S1 has been found. (Step S5) If found, the total number of stones is updated (Step S6).
  • step S6 When the process of step S6 is performed or when it is determined in step S5 that no new stone has been found, it is determined whether or not one kidney cup has been observed (step S7).
  • a progress map PM indicating the ratio of the number of observed kidney cups to the total number of kidney cups is generated, and the generated progress map PM is used.
  • the display on the progress information display unit 4c is updated (step S8). At this time, as shown in FIG. 2 and FIG. 3, it is more efficient to generate a progress map PM indicating how much observation has been performed in each of the upper kidney cup, middle kidney cup, and lower kidney cup. It is preferable that observation can proceed.
  • step S8 If the process of step S8 is performed, or if it is determined in step S7 that the kidney cup has not yet been observed, a new operation is performed during the loop from step S3 to step S11 described later. It is determined whether or not marking has been performed on one calculus (step S9). If marking has been performed, the calculus mark display PR is updated (step S10).
  • step S11 it is determined whether or not to end the endoscopic observation. If not, the process returns to the above-described step S3 to continue the endoscopic observation.
  • step S11 if it is determined in step S11 that the endoscopic observation is to be terminated, this process is terminated.
  • the exact shape of the subject's renal pelvis and renal pelvis is not known at the stage of starting the endoscopic observation. If the shape of the renal pelvis and kidney cup is known in advance, such as when the pelvic kidney is acquired in advance, the progress information PI can be displayed more appropriately by using the renal pelvis and kidney cup model that matches the subject. It becomes.
  • FIG. 7 is a diagram illustrating a state at the start of observation of the progress information display unit 4c of the third example
  • FIG. 8 is a diagram illustrating a state during observation of the progress information display unit 4c of the third example.
  • the progress map PM displayed on the progress information display unit 4c is based on a more detailed renal pelvic kidney cup model that matches the shape of the renal pelvic kidney cup of the subject.
  • the mark MK indicating that the marked stone is present on the progress map PM is the position of the marked stone. (Ie, the progress information generation unit 27 generates progress information so as to include the mark MK).
  • FIG. 9 is a diagram showing a state during observation of the progress information display unit 4c of the fourth example.
  • the progress information display is a display showing the approximate degree of progress.
  • the volume of the observed region OR relative to the volume (or area) of the entire region of the subject.
  • the ratio of (or area) is information indicating the degree of progress with high accuracy.
  • the progress rate NV may be further displayed as the progress information PI.
  • the progress rate NV is displayed as a percentage value, the observation of the upper renal cup is completed by 50%, the observation of the middle renal cup is completed by 50%, and the observation of the lower renal cup is completed by 70%. It has been shown.
  • the upper kidney cup, the middle kidney cup, and the lower kidney cup are displayed in%, but in more detail, for each kidney cup, it may be displayed in% for each kidney cup, Alternatively,% may be displayed only for the kidney cup where a calculus is present.
  • FIG. 10 is a diagram showing a state during observation of the progress information display unit 4c of the fifth example.
  • the display of the progress information display unit 4c is further simplified, and observation of the upper renal cup (U) is completed by 50%, observation of the intermediate renal cup (M) is completed by 50%,
  • the numerical value in the table indicates that the observation of the kidney cup (D) has been completed by 70%.
  • the endoscope 1 since the progress information PI indicating the progress of observation of the subject by the endoscope 1 is generated and presented in association with the three-dimensional model image M3, the endoscope The progress of observation, that is, the level of progress of endoscopic observation can be grasped intuitively and easily, and usability is improved.
  • the progress information PI includes information indicating the ratio of the volume of the observed region OR to the volume of the entire region of the subject, it is possible to display an accurate progress status based on the volume ratio.
  • the progress information PI includes information indicating the ratio of the area of the observed region OR to the area of the entire region of the subject, it is possible to display an accurate progress status based on the area ratio.
  • the progress information PI includes information indicating the ratio of the number of observed partial regions to the number of all partial regions included in the subject, the remaining steps in the endoscopic observation are performed as partial information. It is possible to grasp in units of the number of areas.
  • the progress information PI further includes information indicating the number of objects already marked (the same stone) with respect to the number of objects to be marked (here, stones), It is possible to easily grasp whether the stage has been advanced.
  • the progress information PI is presented alongside the three-dimensional model image M3, it is possible to more accurately grasp up to which part of the three-dimensional observation target has been subjected to endoscopic observation. it can. Thereby, it is possible to prevent oversight of the unobserved region UOR at a position where it cannot be visually recognized.
  • the user can confirm the presence of the unobserved region UOR by the progress status PI. This can also prevent oversight of the unobserved region UOR at a position where it cannot be visually recognized.
  • FIG. 11 and 12 show Embodiment 2 of the present invention.
  • FIG. 11 is a block diagram showing a configuration related to the control unit 26 of the endoscope apparatus.
  • FIG. 12 shows a progress information display unit 4c. It is a figure which shows the example in the middle of observation.
  • control unit 26 of the present embodiment further includes an area dividing unit 28 in addition to the progress information generating unit 27.
  • the region dividing unit 28 divides the three-dimensional model image M3 generated by the image generating unit 23 into a plurality of divided regions RG (see FIG. 12) together with the background image.
  • the progress information generation unit 27 selects at least one of the three-dimensional model image and the background image of the divided region RG including the unobserved region UOR among the plurality of divided regions RG divided by the region dividing unit 28 as an unobserved region.
  • Progress information PI is generated by performing image processing so as to be distinguishable from other divided regions RG not including UOR.
  • the progress information generation unit 27 can also be referred to as an overhead information generation unit in order to generate information for grasping the progress of endoscopic observation from a bird's-eye view.
  • a three-dimensional model image M3 and a background image subjected to the above-described image processing are used as the progress map PM.
  • the same 3D model image M3 as the 3D model image display unit 4b may be displayed on the progress information display unit 4c, or the 3D model image display unit 4b may also serve as the progress information display unit 4c.
  • the progress information PI is not limited to being displayed on the progress information display unit 4c provided separately from the three-dimensional model image display unit 4b, and is not displayed on the three-dimensional model image M3 of the three-dimensional model image display unit 4b. You may make it superimpose and display.
  • the progress information display unit 4c Since the 3D model image M3 of the 3D model image display unit 4b can be rotated, for example, as described above, the progress information display unit 4c has the same 3D model image M3 as the 3D model image display unit 4b. Is displayed, the 3D model image M3 of the progress information display unit 4c may be rotated in synchronization with the rotation of the 3D model image M3 of the 3D model image display unit 4b. .
  • the three-dimensional model image M3 and the background image are divided into a plurality of divided regions RG (here, a plurality of divided regions RG having a strip shape in the horizontal direction).
  • the display mode of the background image of the divided region RG including the unobserved region UOR is different from the display mode of the background image of the other divided region RG not including the unobserved region UOR, thereby including the unobserved region UOR.
  • the divided region RG can be identified.
  • the display mode of the 3D model image M3 may be changed, or the display mode of the background image and the 3D model image M3 may be changed.
  • the display mode may be changed stepwise depending on the size of the unobserved area UOR and the like. That is, the display mode may be made slightly different in the divided region RG including the small unobserved region UOR, and the display mode may be greatly changed in the divided region RG including the large unobserved region UOR.
  • the divided region RG including the small unobserved region UOR may be displayed with a light color
  • the divided region RG including the large unobserved region UOR may be displayed with a dark color.
  • the three-dimensional model image M3 Since the effects similar to those of the first embodiment described above are obtained and the progress information PI is presented superimposed on the three-dimensional model image M3, the three-dimensional model image M3 It is not necessary to compare the progress information PI, and it is possible to grasp the progress status of endoscopic observation only by looking at the three-dimensional model image M3.
  • FIGS. 13 to 20 show the third embodiment of the present invention
  • FIG. 13 is a block diagram showing a configuration related to the control unit 26 of the endoscope apparatus.
  • control unit 26 of the present embodiment further includes a pipeline length estimation unit 29 in addition to the progress information generation unit 27.
  • the pipeline length estimation unit 29 detects the length of one or more observed pipelines among a plurality of pipelines of the subject, and based on the detected observed pipeline lengths, Estimate the length of the observation pipeline.
  • the progress information generation unit 27 generates the core information of the observed pipeline, and at the same time obtains the core information of the unobserved pipeline based on the length of the unobserved pipeline estimated by the pipeline length estimation unit 29.
  • the progress information PI that is generated and displayed in a display mode in which the core information of the observed pipeline and the core information of the unobserved pipeline can be identified is generated.
  • the progress information PI generated by the progress information generation unit 27 is displayed on the progress information display unit 4c as a progress map PM.
  • FIG. 14 is a diagram showing an example of the observed region OR and the unobserved region UOR when the kidney cup is being observed by the endoscope 1.
  • FIG. 15 is a diagram showing an example of the progress information PI generated by the progress information generating unit 27 in the observation state shown in FIG.
  • the duct length estimation unit 29 estimates that there is one unobserved kidney cup. Then, the duct length estimation unit 29 estimates the length L2 of one kidney cup in the unobserved area UOR, which is an unobserved duct, based on the detected duct length L1 in the observed area OR. .
  • the average value of the detected lengths is the estimated length of the unobserved kidney cup.
  • the progress information generation unit 27 uses the 3D model data generated by the 3D model generation unit 22 (or, further, the renal cup length L1 of the observed region OR detected by the duct length estimation unit 29). Based on this, the core information CL of the kidney cup of the observed region OR is generated as shown by the solid line in FIG.
  • the progress information generation unit 27 extrapolates the curve of the core wire of the observed region OR based on the length L2 of the renal cup of the unobserved region UOR estimated by the duct length estimation unit 29, and only the length L2 is obtained. By extending, the core information as shown by the dotted line in FIG. 15 is generated. Thus, the core information of the entire observation target including the observed region OR and the unobserved region UOR (virtual whole of the observation target) even if it is not the second or subsequent endoscopic observation or no contrast CT data is obtained. Core line information indicating the shape) can be generated.
  • the progress information generation unit 27 displays the core line of the observed area OR and the core line of the unobserved area UOR in different display modes (for example, color, pattern, or combination of color and pattern as described above).
  • the progress information PI is generated so that it can be identified.
  • one of the core wire of the observed region OR and the core wire of the unobserved region UOR is a red line and the other is a blue line.
  • a mode in which the core line of the unobserved area UOR is blinked may be used.
  • the user can grasp that at least one unobserved kidney cup remains.
  • FIG. 16 is a diagram showing an example of the observed region OR and the unobserved region UOR when the observation is somewhat advanced from the observation state shown in FIG.
  • FIG. 17 is a diagram showing an example of the progress information PI generated by the progress information generating unit 27 in the observation state shown in FIG. In this way, in the observation state shown in FIG. 16, two pieces of core line information CL are generated for the unobserved region UOR.
  • the user can determine that two unobserved kidney cups remain.
  • FIG. 18 is a diagram illustrating an example when the observation is completed and only the observed region OR is obtained.
  • FIG. 19 is a diagram showing an example of the progress information PI generated by the progress information generating unit 27 in the observation completion state shown in FIG.
  • the user can determine that observation of the kidney cup has ended.
  • the core line information CL is assumed to be generated based on the three-dimensional model data that is constructed as the endoscopic observation proceeds, in the state shown in FIG. Despite the fact that there are two, only one core line indicating that it was not observed was displayed. However, the core information CL is generated based on the three-dimensional model data in which the shape of the renal pelvis and kidney cup of the subject is already known (when the endoscopic observation is after the second time or based on the contrast CT data). In this case, since the shape of the core wire is determined in advance and only the display mode is changed depending on whether it has been observed or not observed, it is possible to grasp the degree of progress more accurately. .
  • FIG. 20 is a diagram showing an example in which the progress information PI shown in FIG. 19 is displayed superimposed on the three-dimensional model image M3.
  • the core information CL generated by the progress information generation unit 27 may be displayed as the progress map PM of the progress information display unit 4c (that is, side by side with the 3D model image M3 of the 3D model image display unit 4b). As shown in FIG. 20, the image may be displayed superimposed on the 3D model image M3 of the 3D model image display unit 4b. In this case, the three-dimensional model image display unit 4b also serves as the progress information display unit 4c.
  • the user can easily determine how much the observation of the renal cup displayed as the three-dimensional model image M3 has progressed by viewing the display as shown in FIG.
  • the length of the unobserved pipeline is estimated based on the detected length of the observed pipeline, Since the core information of the observed and unobserved ducts is generated, and the progress information PI is generated to display whether the observation is observed or unobserved in a display mode, the endoscopic observation is performed.
  • the degree of progress can be easily recognized.
  • the endoscope apparatus is configured to be able to take any of the display mode of the first embodiment, the display mode of the second embodiment, and the display mode of the third embodiment as described above.
  • a user may select and switch a desired display mode.
  • the user performs a setting to switch to a desired display mode by operating an operation unit (not shown) provided in the endoscope 1 or an operation unit (not shown) provided in the processing system 2. .
  • each part mentioned above may be constituted as a circuit.
  • Any circuit may be mounted as a single circuit or a combination of a plurality of circuits as long as it can perform the same function.
  • an arbitrary circuit is not limited to being configured as a dedicated circuit for performing a target function, and may be configured to perform a target function by causing a general-purpose circuit to execute a processing program. .
  • an operation method for operating the endoscope apparatus as described above may be used, or a process for causing a computer to perform the same process as the endoscope apparatus. It may be a program, a non-temporary recording medium readable by a computer for recording the processing program, or the like.
  • the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage.
  • various aspects of the invention can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment.
  • constituent elements over different embodiments may be appropriately combined.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Robotics (AREA)
  • Signal Processing (AREA)
  • Gynecology & Obstetrics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Endoscopes (AREA)

Abstract

被検体の内部の画像を取得する内視鏡（１）と、被検体の３次元モデルデータを生成する３次元モデル生成部（２２）と、３次元モデルデータに基づいて３次元モデル画像を生成する画像生成部（２３）と、内視観察の進捗状況を示す進捗情報を生成する進捗情報生成部（２７）と、３次元モデル画像に関連付けて進捗情報を提示する提示制御部（２４）と、を備える内視鏡装置。

Description

内視鏡装置、内視鏡装置の作動方法
　本発明は、内視鏡観察を行う際に、被検体の３次元モデル画像を生成して表示可能とする内視鏡装置、内視鏡装置の作動方法に関する。
　管腔臓器の３次元モデル画像を生成して、生成した３次元モデル画像上で未観察領域を術者へ提示する内視鏡観察支援技術が知られている。
　例えば、ＷＯ２０１２／１０１８８８号公報には、予め取得した被検者の３次元画像に基づいて、挿入部の先端部を目標部位まで挿入するための挿入経路を生成し、３次元画像データから生成した断層画像に、生成した挿入経路を重畳して表示する医療機器が記載されている。さらに該公報には、既に通過した挿入経路と、目標位置までの挿入経路と、を異なる線種で３次元モデル画像に表示することが記載されている。
　また、日本国特開２０１６－００２２０６号公報には、被検体の観察画像と、被検体の過去の検査情報に含まれる観察部位に関する情報と、を表示装置に表示し、表示装置に表示された情報に対応する観察部位の観察が完了したことを示す部位観察完了情報を登録する医療情報処理システムが記載されている。さらに該公報には、観察が完了した部位を例えば四角マークで、これから観察するべき部位を例えば三角マークで、未観察の部位を例えば丸マークで、それぞれ表示する技術が記載されている。
　こうした内視鏡観察支援技術を用いれば、未観察領域のおおよその位置や個数を視覚的に判断することができ、見落としを防止するのに役立てることができる。
　しかしながら、上述したような従来の技術では、現在の内視鏡観察が、全ての観察工程の中でどの段階まで進んでいるかの進捗状況を、直感的に把握するのが難しかった。
　本発明は上記事情に鑑みてなされたものであり、内視鏡観察の進捗状況を直感的により容易に把握することができる内視鏡装置、内視鏡装置の作動方法を提供することを目的としている。
　本発明の一態様による内視鏡装置は、３次元形状を有する被検体の内部の画像を取得する内視鏡と、前記被検体の３次元モデルデータを生成する３次元モデル生成部と、前記３次元モデル生成部により生成された前記３次元モデルデータに基づいて３次元モデル画像を生成する画像生成部と、前記内視鏡による前記被検体の観察の進捗状況を示す進捗情報を生成する進捗情報生成部と、前記３次元モデル画像に関連付けて前記進捗情報を提示する提示制御部と、を備える。
　本発明の他の態様による内視鏡装置の作動方法は、内視鏡が、３次元形状を有する被検体の内部の画像を取得し、３次元モデル生成部が、前記被検体の３次元モデルデータを生成し、画像生成部が、前記３次元モデル生成部により生成された前記３次元モデルデータに基づいて３次元モデル画像を生成し、進捗情報生成部が、前記内視鏡による前記被検体の観察の進捗状況を示す進捗情報を生成し、提示制御部が、前記３次元モデル画像に関連付けて前記進捗情報を提示する方法である。
本発明の実施形態１の内視鏡装置の構成を示すブロック図。 上記実施形態１において、第１の例の進捗情報表示部を含む表示装置の表示画面の、観察途中の様子を示す図。 上記実施形態１において、第１の例の進捗情報表示部の観察開始時の様子を示す図。 上記実施形態１において、第２の例の進捗情報表示部の観察開始時の様子を示す図。 上記実施形態１において、第２の例の進捗情報表示部の観察途中の様子を示す図。 上記実施形態１の内視鏡装置の作用を示すフローチャート。 上記実施形態１において、第３の例の進捗情報表示部の観察開始時の様子を示す図。 上記実施形態１において、第３の例の進捗情報表示部の観察途中の様子を示す図。 上記実施形態１において、第４の例の進捗情報表示部の観察途中の様子を示す図。 上記実施形態１において、第５の例の進捗情報表示部の観察途中の様子を示す図。 本発明の実施形態２における内視鏡装置の、制御部に関連する構成を示すブロック図。 上記実施形態２において、進捗情報表示部の観察途中の例を示す図。 上記実施形態３における内視鏡装置の、制御部に関連する構成を示すブロック図。 上記実施形態３において、内視鏡により腎杯を観察しているときの、観察済み領域および未観察領域の例を示す図。 上記実施形態３において、図１４に示す観察状態のときに進捗情報生成部により生成される進捗情報の例を示す図。 上記実施形態３において、図１４に示す観察状態よりも観察が幾らか進んだときの、観察済み領域および未観察領域の例を示す図。 上記実施形態３において、図１６に示す観察状態のときに進捗情報生成部により生成される進捗情報の例を示す図。 上記実施形態３において、観察が完了して観察済み領域のみとなったときの例を示す図。 上記実施形態３において、図１８に示す観察完了状態のときに進捗情報生成部により生成される進捗情報の例を示す図。 上記実施形態３において、図１９に示す進捗情報を３次元モデル画像に重畳して表示する例を示す図。
　以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
　図１から図１０は本発明の実施形態１を示したものであり、図１は内視鏡装置の構成を示すブロック図である。
　この内視鏡装置は、内視鏡１と、処理システム２と、表示装置４とを備え、必要に応じてさらにデータベース３を備えていてもよい。以下では、データベース３を備えていない場合を例に挙げて説明し、データベース３を備えている場合については適宜説明する。
　内視鏡１は、３次元形状を有する被検体の内部を観察するために、被検体の内部の画像を取得する画像取得装置であり、撮像部１１と、照明部１２と、位置方位検出部１３と、を備えている。これら撮像部１１、照明部１２、および位置方位検出部１３は、例えば、内視鏡１の、被検体に挿入される挿入部の先端部に配置されている。
　なお、本実施形態においては、３次元形状を有する被検体として腎臓の腎盂腎杯を例に挙げるが、これに限定されるものではなく、複数の管路を有し内視鏡観察が可能な被検体であれば広く適用することができる。
　照明部１２は、被検体の内部へ向けて照明光を照射する。
　撮像部１１は、照明光を照射された被検体の内部の光学像を光学系により結像して、撮像素子等により光電変換を行い、撮像画像信号を生成する。
　位置方位検出部１３は、内視鏡１の挿入部の先端部の３次元位置を検出して位置情報として出力すると共に、内視鏡１の挿入部の先端部が向く方向を検出して方位情報として出力する。例えば、ｘｙｚ座標系を設定する場合には、位置情報は（ｘ，ｙ，ｚ）座標により表され、方位情報はｘ軸周りの角度、ｙ軸周りの角度、およびｚ軸周りの角度により表される（従って、位置方位検出部１３は、例えば６Ｄセンサなどとも呼ばれる）。なお、内視鏡１の位置情報および方位情報は、その他の適宜の方法（例えば極座標系など）を用いて表しても勿論構わない。
　処理システム２は、内視鏡１の制御を行うと共に、必要に応じてデータベース３と通信し、内視鏡１から取得された撮像画像信号、位置情報および方位情報を処理して、表示用の画像データや記録用の画像データを生成し、表示装置４等へ出力するものである。なお、この処理システム２は、単一の装置として構成されていてもよいし、光源装置やビデオプロセッサなどの複数の装置から構成されていても構わない。
　この処理システム２は、画像処理部２１と、３次元モデル生成部２２と、画像生成部２３と、提示制御部２４と、照明制御部２５と、制御部２６と、を備えている。
　画像処理部２１は、撮像部１１から出力された撮像画像信号から撮像画像を生成し、生成した撮像画像に対して、例えば、デモザイキング処理（または同時化処理）、ホワイトバランス処理、カラーマトリクス処理、ガンマ変換処理などの各種の画像処理を行って、内視鏡画像ＥＩ（図２参照）を生成する。
　３次元モデル生成部２２は、被検体の３次元モデルデータを生成する。例えば、３次元モデル生成部２２は、画像処理部２１により生成された内視鏡画像ＥＩ（あるいは、画像処理部２１により３次元モデル生成用に画像処理された内視鏡画像ＥＩ）と、この内視鏡画像ＥＩを生成する元となった撮像画像が撮像されたときに位置方位検出部１３により検出された位置情報および方位情報と、を制御部２６を介して複数フレーム分取得する。
　そして、３次元モデル生成部２２は、複数フレームの内視鏡画像ＥＩの位置関係を各フレームの位置情報および方位情報に基づき整合させながら、立体的な３次元モデルデータを生成するようになっている。この場合には、観察が進むにつれて３次元モデルデータが次第に構築され、ひいては、画像生成部２３による３次元モデル画像Ｍ３（図２等参照）の生成が次第に進むことになる。
　ただし、３次元モデル生成部２２による３次元モデルデータの生成方法は、これに限定されるものではない。例えば、被検体に対する内視鏡検査が２回目もしくはそれ以降であり、過去の内視鏡検査によって生成された３次元モデルデータがデータベース３に既に記録されている場合には、その３次元モデルデータを用いてもよい。あるいは、被検体に対して造影ＣＴ撮影を行って取得したデータがデータベース３に既に記録されている場合には、その造影ＣＴデータを用いて３次元モデルデータを生成するようにしても構わない。
　このデータベース３には、さらに、後述する図２に示すような進捗マップＰＭの元となる腎盂腎杯モデルが予め記憶されている。ここに、記憶する腎盂腎杯モデルは、例えば標準的な腎盂腎杯モデル（すなわち、人体の平均的な腎盂腎杯形状に基づくモデル）であってもよいし、近年提案されているような、多数の症例に基づいて分類を行った複数パターンの腎盂腎杯モデルであっても構わないし、被検体の３次元モデルデータを模式化して生成された腎盂腎杯モデルであってもよいし、その他のモデルであっても構わない（すなわち、腎盂腎杯モデルは特定のモデルに限定されるものではない）。また、腎盂腎杯モデルは、データベース３に記憶されるに限るものではなく、処理システム２内の制御部２６が備える記憶装置等に記憶されていても構わない。
　画像生成部２３は、３次元モデル生成部２２により生成された３次元モデルデータに基づいて３次元モデル画像Ｍ３（図２等参照）を生成する。この３次元モデル画像Ｍ３は、例えば、３次元の被検体像をある視線方向から見たときの像であり、視線方向は変更可能となっている（すなわち、視線方向の変更に伴い、３次元モデル画像Ｍ３が回転するようになっている）。なお、上述した３次元モデル生成部２２および画像生成部２３は、３次元モデル画像生成部を構成している。
　提示制御部２４は、画像生成部２３が生成した３次元モデル画像Ｍ３に関連付けて、後述する進捗情報生成部２７が生成した進捗情報ＰＩ（図２等参照）を提示する。ここに、提示制御部２４は、３次元モデル画像Ｍ３と進捗情報ＰＩとを並べて提示する（図２等参照）ことで、３次元モデル画像Ｍ３と進捗情報ＰＩとの関連付けを行ってもよい。あるいは、提示制御部２４は、３次元モデル画像Ｍ３に進捗情報ＰＩを重畳して提示することで、３次元モデル画像Ｍ３と進捗情報ＰＩとの関連付けを行っても構わない。また、提示制御部２４は、画像処理部２１により生成された内視鏡画像ＥＩも提示する。この提示制御部２４による進捗情報ＰＩ、３次元モデル画像Ｍ３、および内視鏡画像ＥＩの提示は、表示装置４や図示しない記録装置（この記録装置はデータベース３であっても構わない）への出力であるために、提示制御部２４を出力情報制御部と呼ぶこともできる。
　照明制御部２５は、照明部１２が照射する照明光のオン／オフや光量を制御するものである。ここに、照明制御部２５が光源装置であって照明部１２がライトガイド等であってもよいし、照明制御部２５が発光制御回路であって照明部１２がＬＥＤ等の発光源であっても構わない。
　制御部２６は、処理システム２の全体を制御し、さらに内視鏡１の制御も行うものであり、上述した画像処理部２１、３次元モデル生成部２２、画像生成部２３、提示制御部２４、および照明制御部２５と接続されている。
　この制御部２６は、内視鏡１による被検体の観察の進捗状況を示す進捗情報ＰＩを生成する進捗情報生成部２７を備えている。進捗情報生成部２７が生成する進捗情報ＰＩの具体例については、後で図面を参照して説明する。
　データベース３は、例えば院内システム等を介して処理システム２に接続されており、上述したように、被検体の造影ＣＴデータ、造影ＣＴデータに基づき生成された被検体の３次元モデルデータ、過去の内視鏡検査によって生成された被検体の３次元モデルデータ、あるいは進捗マップＰＭの元となる腎盂腎杯モデルなどを記録している。
　表示装置４は、１つまたは複数のモニタ等を有して構成されており、提示制御部２４から出力された内視鏡画像ＥＩ、３次元モデル画像Ｍ３、および進捗情報ＰＩを含む提示画像を表示する。
　図２は、第１の例の進捗情報表示部４ｃを含む表示装置４の表示画面４ｉの、観察途中の様子を示す図である。
　表示画面４ｉには、内視鏡画像表示部４ａと、３次元モデル画像表示部４ｂと、進捗情報表示部４ｃと、が設けられている。
　内視鏡画像表示部４ａには、画像処理部２１により生成された内視鏡画像ＥＩが表示されている。
　３次元モデル画像表示部４ｂには、画像生成部２３により生成された３次元モデル画像Ｍ３が表示されている。この図２に示す３次元モデル画像Ｍ３は、上述したような、観察が進むにつれて構築されていく３次元モデル画像Ｍ３であるために、既に観察が行われた観察済み領域ＯＲが表示されると共に、未観察領域ＵＯＲが存在することを、未観察領域ＵＯＲへの接続部分の表示態様（例えば、色（色相、彩度、明度）、模様、または色と模様の組み合わせなど）を異ならせることで表示している。幾つかの具体例を挙げれば、未観察領域ＵＯＲを赤の色相で表示する（赤色表示）、未観察領域ＵＯＲの彩度を下げて表示する（モノクロ表示）、未観察領域ＵＯＲの明度を上げて表示する（ハイライト表示）、等である。また、ここで表示された未観察領域ＵＯＲをさらに強調して表示するために、点滅させながら表示させる態様であってもよい。
　進捗情報表示部４ｃには、進捗情報ＰＩが表示されている。なお、図示の例では、進捗情報表示部４ｃは、３次元モデル画像表示部４ｂよりもやや小さめの表示部となっているが、後述するように、各表示部の表示位置や表示サイズを可変としてもよい。
　この進捗情報ＰＩは、例えば、進捗マップＰＭと、結石マーク表示ＰＲと、を含んでいる。
　進捗マップＰＭは、観察対象（ここでは、例えば腎臓）の腎盂腎杯構造を模式化して表示すると共に、観察済み領域ＯＲと未観察領域ＵＯＲとで表示態様（上述したように、例えば、色、模様、または色と模様の組み合わせなど）を異ならせたものである（図２においては、表示態様が異なることをハッチングを付して示している）。
　具体的に、腎臓は、管路構造をなす複数の部分領域である腎杯を備えている。そこで例えば、腎臓が備える全ての腎杯の個数（あるいは、腎臓が備えると推定された全ての腎杯の個数）に対する観察済みの腎杯の個数の割合を示す情報を、表示態様を異ならせることで表示する等を行えばよい。
　より詳細に、腎杯を、上腎杯、中腎杯、下腎杯に分類して、各部分毎の進捗情報ＰＩを表示する場合には、上腎杯に存在する腎杯の全個数に対して、上腎杯において観察済みとなって腎杯の個数の割合を進捗マップＰＭにおける上腎杯の部分に表示し、同様に算出した結果の表示を中腎杯、下腎杯についてもそれぞれ行えばよい（図２等参照）。
　こうして、進捗マップＰＭを見れば、観察対象全体のどの程度の割合が観察済みとなったかを直感的により容易に判別することができるようにしている。
　ただし、進捗情報ＰＩは、部分領域の個数の割合に基づき算出するに限るものではなく、例えば、体積の割合、あるいは面積の割合に基づき算出しても構わない。
　体積の割合に基づき算出する場合には、被検体の予め定められた領域の体積、例えば被検体の全領域の体積（既知でない場合には、被検体の全領域の推定された体積）に対する観察済み領域ＯＲの体積の割合を算出して、進捗情報ＰＩとして用いればよい。
　また、面積の割合に基づき算出する場合には、被検体の予め定められた領域の面積、例えば被検体の全領域の面積（既知でない場合には、被検体の全領域の推定された面積）に対する観察済み領域ＯＲの面積の割合を算出して、進捗情報ＰＩとして用いればよい。
　さらにあるいは、進捗情報ＰＩとして割合を算出するのに代えて、被検体が備える全ての部分領域の個数、および観察済みの部分領域の個数を、進捗情報ＰＩとして用いてもよい。
　加えて、進捗情報ＰＩとして、未観察の部分領域の個数を（必要に応じて、全ての部分領域の個数と共に）表示しても構わない。ここに、未観察の部分領域の個数は、推定される全体の部分領域の個数から、観察済みの部分領域の個数を減算することにより算出される。
　なお、腎杯が観察済みであることは、腎杯内部の観察が完全に（つまり、１０割）済んだことにより判定するに限るものではなく、例えば、腎杯内部の観察が８割程度済んだことにより判定するようにしても構わないし、事前に任意の割合を設定しても良い。
　この図２に示す進捗マップＰＭは、腎杯を、上腎杯、中腎杯、下腎杯の３つに区分する標準的なモデルを採用したものであるが、これに限らず、さらに詳細なモデルを用いてもよい。例えば、上述したような、多数の症例に基づいて分類された複数の腎盂腎杯モデルがあって、例えば被検体の３次元モデルデータが既に存在する場合には、３次元モデルデータに基づいて複数の腎盂腎杯モデルの中から適合するものを選択して進捗マップＰＭとして用いてもよい。また、上述したように、被検体の３次元モデルデータを模式化して生成された進捗マップＰＭでも構わない。さらにあるいは、後述するように、被検体の３次元モデル画像を進捗マップＰＭとして利用してもよい。
　また、結石マーク表示ＰＲは、マーキングを行う対象の個数に対する、既にマーキングを行った対象の個数を示す情報を表示する部分である。本実施形態におけるマーキングを行う対象は、例えば結石である。すなわち、他の方法（例えば単純ＣＴ撮影など）で予め取得されている結石の個数に対して、マーキングが既に行われた結石の個数が表示されている。
　具体的に、図２に示す例では、上腎杯に存在する２つの結石の内の１つが既にマーキングされ、中腎杯には結石が存在しておらず、下腎杯に存在する１つの結石が既にマーキングされた状態が示されている。
　なお、図２に示した例において、内視鏡画像表示部４ａと、３次元モデル画像表示部４ｂと、進捗情報表示部４ｃと、の表示位置や表示サイズを、それぞれ独立に所望に変更することができるようにしてもよい。一例を挙げれば、内視鏡画像表示部４ａを表示画面４ｉの右側に大きく表示し、進捗情報表示部４ｃを表示画面４ｉの左上に小さく表示し、３次元モデル画像表示部４ｂを表示画面４ｉの左下に中程度の大きさで表示する、等である。例えば、内視鏡画像表示部４ａ、３次元モデル画像表示部４ｂ、および進捗情報表示部４ｃを、それぞれ１つのウィンドウとして表示するようにすれば、こうした表示位置や表示サイズの変更を容易に行うことができる。
　また、図２に示した例では、表示装置４が１つのモニタで構成される場合を想定して、表示画面４ｉを１つとしたが、上述したように、複数のモニタに分けて表示してもよい。例えば、表示装置４が２つのモニタを備える構成として、内視鏡画像表示部４ａを第１のモニタに表示し、３次元モデル画像表示部４ｂおよび進捗情報表示部４ｃを第２のモニタに表示するようにしてもよい。さらには、表示装置４が３つのモニタを備える構成として、内視鏡画像表示部４ａと、３次元モデル画像表示部４ｂと、進捗情報表示部４ｃと、をそれぞれ異なるモニタに表示するようにしても構わない。
　また、図３は、第１の例の進捗情報表示部４ｃの観察開始時の様子を示す図である。
　図示のように、観察開始時には、進捗マップＰＭは全て未観察領域ＵＯＲに対応する表示態様となっており、結石マーク表示ＰＲもマーキングされた結石が０であることを示している。
　図４は第２の例の進捗情報表示部４ｃの観察開始時の様子を示す図、図５は第２の例の進捗情報表示部４ｃの観察途中の様子を示す図である。
　図４および図５に示す進捗情報表示部４ｃの第２の例においては、進捗マップＰＭとして単に円グラフが表示されている。また、進捗マップＰＭが上腎杯、中腎杯、下腎杯に区分されていないのに対応して、結石マーク表示ＰＲも、腎臓の全ての腎杯に存在する３つの結石に対して、何個の結石がマーキング済みであるかを表示するものとなっている。
　図６は、内視鏡装置の作用を示すフローチャートである。なお、ここでは、被検体の腎盂腎杯の正確な形状がまだ不明であるために、標準的な腎盂腎杯モデルに基づき進捗情報ＰＩを表示する例について説明する。
　この処理を開始すると、まず、標準的な腎盂腎杯モデルに基づく腎杯の総数を取得すると共に、既知となっている被検体の結石の総数を取得する（ステップＳ１）。ここに、被検体の結石の数は、図２および図３に示したように、例えば、上腎杯、中腎杯、下腎杯のそれぞれにおいて何個ずつであるかを取得することが好ましいが、図４および図５に示したように、全腎杯で何個であるかを取得することであっても構わない。
　そして、内視鏡１による腎杯の観察を開始する（ステップＳ２）。
　腎杯を観察している途中で、標準的な腎盂腎杯モデルとは異なる新たな腎杯を発見したか否かを判定し（ステップＳ３）、発見した場合には、観察対象となる腎杯の総数を更新する（ステップＳ４）。
　このステップＳ４の処理を行うか、またはステップＳ２において新たな腎杯を発見していないと判定された場合には、ステップＳ１において取得した結石以外の新たな結石を発見したか否かを判定し（ステップＳ５）、発見した場合には、結石の総数を更新する（ステップＳ６）。
　ステップＳ６の処理を行うか、またはステップＳ５において新たな結石を発見していないと判定された場合には、１つの腎杯が観察済みになったか否かを判定する（ステップＳ７）。
　ここで、１つの腎杯が観察済みになったと判定された場合には、腎杯の総数に対する観察済みの腎杯の数の割合を示す進捗マップＰＭを生成して、生成した進捗マップＰＭにより進捗情報表示部４ｃの表示を更新する（ステップＳ８）。このときには、図２および図３に示したように、上腎杯、中腎杯、下腎杯のそれぞれにおいてどの程度の割合まで観察が行われたかを示す進捗マップＰＭを生成すると、より効率的に観察を進めることができて好ましい。
　ステップＳ８の処理を行うか、またはステップＳ７においてまだ腎杯が観察済みに至っていないと判定された場合には、上述したステップＳ３から後述するステップＳ１１までのループを回っている間に、新たに１つの結石にマーキングを行ったか否かを判定し（ステップＳ９）、マーキングを行った場合には、結石マーク表示ＰＲを更新する（ステップＳ１０）。
　その後、内視鏡観察を終了するか否かを判定し（ステップＳ１１）、終了しない場合には、上述したステップＳ３へ戻って内視鏡観察を続行する。
　一方、ステップＳ１１において、内視鏡観察を終了すると判定された場合には、この処理を終了する。
　なお、上述では、内視鏡観察を開始する段階では被検体の腎盂腎杯の正確な形状が不明であることを前提としていたが、内視鏡観察が２回目以降である場合や造影ＣＴデータを予め取得している場合などの、腎盂腎杯の形状が予め分かっている場合には、被検体に合わせた腎盂腎杯モデルを用いることで、進捗情報ＰＩをより適切に表示することが可能となる。
　図７および図８を参照して、被検体に合わせた腎盂腎杯モデルを用いる例を説明する。図７は、第３の例の進捗情報表示部４ｃの観察開始時の様子を示す図、図８は第３の例の進捗情報表示部４ｃの観察途中の様子を示す図である。
　進捗情報表示部４ｃに表示された進捗マップＰＭは、図７および図８に示す第３の例では、被検体の腎盂腎杯形状に合わせたより詳細な腎盂腎杯モデルに基づくものとなっている。さらに、結石のマーキングが行われた場合には、図８に示すように、進捗マップＰＭ上に、マーキングが行われた結石が存在することを示すマークＭＫが、マーキングが行われた結石の位置に概略対応する位置に表示される（すなわち、進捗情報生成部２７が、マークＭＫを含むように進捗情報を生成する）。
　また、図９は、第４の例の進捗情報表示部４ｃの観察途中の様子を示す図である。
　被検体の腎盂腎杯の形状が不明である場合には、進捗マップＰＭとして標準的な腎盂腎杯モデルを使用することになり、進捗情報表示は、概略の進捗の度合いを示す表示となる。これに対して、内視鏡観察の前に被検体の腎盂腎杯形状が分かっている場合には、上述したように、被検体の全領域の体積（または面積）に対する観察済み領域ＯＲの体積（または面積）の割合は、進捗の度合いを高い精度で示す情報となる。この場合には、図９に示すように、進捗情報ＰＩとして、進捗割合ＮＶをさらに表示するようにしてもよい。この図９の例では、進捗割合ＮＶがパーセント数値により表示されていて、上腎杯の観察が５０％完了し、中腎杯の観察が５０％完了し、下腎杯の観察が７０％完了したことが示されている。
　なお、ここでは上腎杯、中腎杯、下腎杯に分けて％表示を行ったが、さらに詳細に、全ての腎杯に対してそれぞれの腎杯毎に％表示してもよいし、あるいは結石が存在する腎杯のみについて％表示しても構わない。
　図１０は、第５の例の進捗情報表示部４ｃの観察途中の様子を示す図である。
　この図１０に示す例では、進捗情報表示部４ｃの表示をより簡略化して、上腎杯（Ｕ）の観察が５０％完了し、中腎杯（Ｍ）の観察が５０％完了し、下腎杯（Ｄ）の観察が７０％完了したことを、例えば表における数値として示したものとなっている。このとき、上述した各例と同様に、全結石の個数に対する結石マーク表示の完了個数をさらに追加して表示しても勿論構わない。
　このような実施形態１によれば、内視鏡１による被検体の観察の進捗状況を示す進捗情報ＰＩを生成して、３次元モデル画像Ｍ３に関連付けて提示するようにしたために、内視鏡観察の進捗状況、つまり内視鏡観察がどの程度の段階まで進んだかの状況を直感的により容易に把握することができ、ユーザビリティーが向上する。
　また、進捗情報ＰＩが、被検体の全領域の体積に対する観察済み領域ＯＲの体積の割合を示す情報を含むようにしたために、体積割合に基づく正確な進捗状況の表示が可能となる。
　あるいは、進捗情報ＰＩが、被検体の全領域の面積に対する観察済み領域ＯＲの面積の割合を示す情報を含むようにした場合には、面積割合に基づく正確な進捗状況の表示が可能となる。
　そして、進捗情報ＰＩが、被検体が備える全ての部分領域の個数に対する観察済みの部分領域の個数の割合を示す情報を含むようにした場合には、内視鏡観察における残りの工程を、部分領域の個数単位で把握することが可能となる。
　加えて、進捗情報ＰＩが、マーキングを行う対象（ここでは結石）の個数に対する、既にマーキングを行った対象の個数（同、結石）を示す情報をさらに含むようにしたために、対象に対するマーキングがどの段階まで進んだかも容易に把握することが可能となる。
　また、進捗情報ＰＩを、３次元モデル画像Ｍ３と並べて提示するようにしたために、３次元的な観察対象に対して、どの部分までの内視鏡観察を行ったかをより的確に把握することができる。これにより、視認不可能な位置にある未観察領域ＵＯＲの見落としを防止することができる。
　さらに、３次元モデル画像Ｍ３をユーザから見た方向の裏側に未観察領域ＵＯＲが隠れている場合でも、進捗状況ＰＩにより、ユーザは未観察領域ＵＯＲの存在を確認できる。これによっても視認不可能な位置にある未観察領域ＵＯＲの見落としを防止することができる。
［実施形態２］
　図１１および図１２は本発明の実施形態２を示したものであり、図１１は、内視鏡装置の、制御部２６に関連する構成を示すブロック図、図１２は、進捗情報表示部４ｃの観察途中の例を示す図である。
　この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
　図１１に示すように、本実施形態の制御部２６は、進捗情報生成部２７に加えて、領域分割部２８をさらに備えている。
　領域分割部２８は、画像生成部２３により生成された３次元モデル画像Ｍ３を、背景画像と共に複数の分割領域ＲＧ（図１２参照）に分割する。
　進捗情報生成部２７は、領域分割部２８により分割された複数の分割領域ＲＧの内の、未観察領域ＵＯＲを含む分割領域ＲＧの３次元モデル画像と背景画像との少なくとも一方を、未観察領域ＵＯＲを含まない他の分割領域ＲＧと識別可能となるように画像処理して、進捗情報ＰＩを生成する。この進捗情報生成部２７は、内視鏡観察の進捗状況を俯瞰的に把握するための情報を生成するために、俯瞰情報生成部と呼ぶこともできる。
　まず、本実施形態においては、図１２に示すように、進捗マップＰＭとして３次元モデル画像Ｍ３および上述の画像処理を施した背景画像を用いている。このとき、進捗情報表示部４ｃに３次元モデル画像表示部４ｂと同様の３次元モデル画像Ｍ３を表示してもよいし、３次元モデル画像表示部４ｂが進捗情報表示部４ｃを兼ねるようにしても構わない。すなわち、進捗情報ＰＩは、３次元モデル画像表示部４ｂと別途に設けられた進捗情報表示部４ｃに表示するに限るものではなく、３次元モデル画像表示部４ｂの３次元モデル画像Ｍ３に対して重畳して表示するようにしても構わない。
　なお、３次元モデル画像表示部４ｂの３次元モデル画像Ｍ３は、上述したように例えば回転可能であるために、進捗情報表示部４ｃに３次元モデル画像表示部４ｂと同様の３次元モデル画像Ｍ３を表示する場合には、３次元モデル画像表示部４ｂの３次元モデル画像Ｍ３が回転するのに同期して、進捗情報表示部４ｃの３次元モデル画像Ｍ３も回転するように構成してもよい。
　そして、図１２に示す例においては、３次元モデル画像Ｍ３および背景画像が複数の分割領域ＲＧ（ここでは水平方向の帯状をなす複数の分割領域ＲＧ）に分割されている。この際、未観察領域ＵＯＲを含む分割領域ＲＧの背景画像の表示態様を、未観察領域ＵＯＲを含まない他の分割領域ＲＧの背景画像の表示態様と異ならせることで、未観察領域ＵＯＲを含む分割領域ＲＧが識別可能となるようにしている。
　ここで、背景画像の表示態様を異ならせる代わりに、３次元モデル画像Ｍ３の表示態様を異ならせてもよいし、背景画像および３次元モデル画像Ｍ３の表示態様を異ならせても構わない。
　また、図１２に示す例においては、未観察領域ＵＯＲを含む分割領域ＲＧが１箇所の場合を示したが、未観察領域ＵＯＲを含む分割領域ＲＧが複数箇所ある場合は、上述の表示態様を異ならせる箇所も複数となる。
　このとき、未観察領域ＵＯＲの大きさ等によって、表示態様を段階的に異ならせてもよい。即ち、小さな未観察領域ＵＯＲを含む分割領域ＲＧでは、表示態様を小さく異ならせ、大きな未観察領域ＵＯＲを含む分割領域ＲＧでは、表示態様を大きく異ならせてもよい。例えば、小さな未観察領域ＵＯＲを含む分割領域ＲＧは、薄い色で塗りつぶして表示させ、大きな未観察領域ＵＯＲを含む分割領域ＲＧは、濃い色で塗りつぶして表示させてもよい。
　なお、上述したような、内視鏡観察が進むにつれて構築されていく３次元モデル画像Ｍ３を採用する場合には、構築が済んだ部分のみに対して分割領域ＲＧへの分割を行うようにしてもよい。
　このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、進捗情報ＰＩを３次元モデル画像Ｍ３に重畳して提示しているために、３次元モデル画像Ｍ３と進捗情報ＰＩを見比べる必要がなく、３次元モデル画像Ｍ３を見るだけで、内視鏡観察の進捗状況を把握することが可能となる。
　そして、未観察領域ＵＯＲを含むか否かを示す表示態様を、分割領域ＲＧ毎に異ならせているために、領域単位での段階的な進捗状況を把握することができる。
［実施形態３］
　図１３から図２０は本発明の実施形態３を示したものであり、図１３は内視鏡装置の制御部２６に関連する構成を示すブロック図である。
　この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
　図１３に示すように、本実施形態の制御部２６は、進捗情報生成部２７に加えて、管路長推定部２９をさらに備えている。
　管路長推定部２９は、被検体が有する複数の管路の内の、１つ以上の観察済みの管路の長さを検出して、検出した観察済みの管路の長さに基づき未観察の管路の長さを推定する。
　進捗情報生成部２７は、観察済みの管路の芯線情報を生成すると共に、管路長推定部２９により推定された未観察の管路の長さに基づいて未観察の管路の芯線情報を生成し、観察済みの管路の芯線情報と未観察の管路の芯線情報とを識別可能な表示態様で表示する進捗情報ＰＩを生成する。この進捗情報生成部２７により生成された進捗情報ＰＩは、進捗マップＰＭとして進捗情報表示部４ｃに表示される。
　具体的には、内視鏡１により管路としての腎杯を観察し、図１４に示すように、１つの腎杯が観察済み領域ＯＲになったものとする。ここに、図１４は、内視鏡１により腎杯を観察しているときの、観察済み領域ＯＲおよび未観察領域ＵＯＲの例を示す図である。
　このときには、管路長推定部２９が、例えば３次元モデル生成部２２により生成された３次元モデルデータに基づいて、図１５に示すような、観察済み領域ＯＲの管路の長さＬ１を検出する。ここに、図１５は、図１４に示す観察状態のときに進捗情報生成部２７により生成される進捗情報ＰＩの例を示す図である。
　観察済み領域ＯＲが、図１４の実線に示すような範囲である場合には、図１４の点線に示すような未観察領域ＵＯＲに２つの腎杯があることは未だ不明である。そこで、管路長推定部２９は、未観察の腎杯が１つであると推定する。そして、管路長推定部２９は、検出した観察済み領域ＯＲの管路の長さＬ１に基づいて、未観察の管路である未観察領域ＵＯＲの１つの腎杯の長さＬ２を推定する。
　この推定は、例えば、各腎杯の大きさ（あるいは奥行き）は略同一であるとの想定に基づき、Ｌ２＝Ｌ１であるとすることにより行う。また、観察済みの腎杯が複数あり、複数の腎杯の管路の長さが既に検出されている場合には、検出された長さの例えば平均値を未観察の腎杯の推定長さとして設定すればよい。
　そして、進捗情報生成部２７は、３次元モデル生成部２２により生成された３次元モデルデータ（あるいはさらに、管路長推定部２９により検出された観察済み領域ＯＲの腎杯の長さＬ１）に基づいて、観察済み領域ＯＲの腎杯の芯線情報ＣＬを図１５の実線で示すように生成する。
　さらに、進捗情報生成部２７は、管路長推定部２９により推定された未観察領域ＵＯＲの腎杯の長さＬ２に基づいて、観察済み領域ＯＲの芯線の曲線を外挿して長さＬ２だけ延長することにより、図１５の点線で示すような芯線情報を生成する。これにより、２回目以降の内視鏡観察でなくても、あるいは造影ＣＴデータがなくても、観察済み領域ＯＲおよび未観察領域ＵＯＲを含む観察対象全体の芯線情報（観察対象の仮想的な全体形状を示す芯線情報）を生成することができる。
　このとき、進捗情報生成部２７は、観察済み領域ＯＲの芯線と未観察領域ＵＯＲの芯線とを、表示態様（上述したように、例えば、色、模様、または色と模様の組み合わせなど）を異ならせることで識別可能なように、進捗情報ＰＩを生成する。一例を挙げれば、観察済み領域ＯＲの芯線と未観察領域ＵＯＲの芯線との内の、一方を赤線、他方を青線とする等である。また、ここで表示された未観察領域ＵＯＲをさらに強調するために、未観察領域ＵＯＲの芯線を点滅させながら表示させる態様であってもよい。
　進捗情報表示部４ｃの進捗マップＰＭに表示された図１５のような進捗情報ＰＩを見ることにより、ユーザは、未観察の腎杯が少なくとも１つ残っていると把握することができる。
　内視鏡１による腎杯の観察が、図１４に示すような状態から、図１６に示すような状態に進んだものとする。ここに、図１６は、図１４に示す観察状態よりも観察が幾らか進んだときの、観察済み領域ＯＲおよび未観察領域ＵＯＲの例を示す図である。
　このときには、管路長推定部２９は、未観察領域ＵＯＲに、２つの腎杯があると推定することができる。そこで、管路長推定部２９は、検出した観察済み領域ＯＲの管路の長さＬ１に基づいて、未観察の管路である未観察領域ＵＯＲの２つの腎杯の長さＬ２，Ｌ３を、Ｌ２＝Ｌ１、およびＬ３＝Ｌ１であると推定する。これにより、進捗情報生成部２７は、芯線情報ＣＬを図１７の実線および点線で示すように生成する。ここに、図１７は、図１６に示す観察状態のときに進捗情報生成部２７により生成される進捗情報ＰＩの例を示す図である。こうして、図１６に示す観察状態では、未観察領域ＵＯＲに対して２本の芯線情報ＣＬが生成される。
　進捗情報表示部４ｃの進捗マップＰＭに表示された図１７のような進捗情報ＰＩを見ることにより、ユーザは、未観察の腎杯が２つ残っていると判断することができる。
　内視鏡１による腎杯の観察が、図１６に示すような状態から、図１８に示すような状態にさらに進んだものとする。ここに、図１８は、観察が完了して観察済み領域ＯＲのみとなったときの例を示す図である。
　このときには、管路長推定部２９により検出された観察済み領域ＯＲの芯線情報に基づいて、進捗情報生成部２７は、図１９の実線で示すような芯線情報ＣＬ、つまり、全てが観察済みの表示態様の芯線情報ＣＬを生成する。ここに、図１９は、図１８に示す観察完了状態のときに進捗情報生成部２７により生成される進捗情報ＰＩの例を示す図である。
　進捗情報表示部４ｃの進捗マップＰＭに表示された図１９のような進捗情報ＰＩを見ることにより、ユーザは、腎杯の観察が終了したと判断することができる。
　なお、上述では、内視鏡観察が進むにつれて構築されていく３次元モデルデータに基づき芯線情報ＣＬを生成することを想定していたために、図１５に示す状態においては、未観察の腎杯が２つあるにも関わらず、未観察であることを示す芯線は１本表示されているだけであった。しかし、被検体の腎盂腎杯形状が既に分かっている３次元モデルデータ（内視鏡観察が２回目以降である場合や造影ＣＴデータに基づくものである場合など）に基づき芯線情報ＣＬを生成する場合には、芯線の形状が予め定まっていて観察済みであるか未観察であるかに応じて表示態様を異ならせるだけとなるために、進捗の度合いをより正確に把握することが可能となる。
　また、図２０は、図１９に示す進捗情報ＰＩを３次元モデル画像Ｍ３に重畳して表示する例を示す図である。
　進捗情報生成部２７により生成された芯線情報ＣＬは、進捗情報表示部４ｃの進捗マップＰＭとして（つまり、３次元モデル画像表示部４ｂの３次元モデル画像Ｍ３と並べて）表示してもよいが、図２０に示すように、３次元モデル画像表示部４ｂの３次元モデル画像Ｍ３に重畳して表示するようにしても構わない。この場合には、３次元モデル画像表示部４ｂが、進捗情報表示部４ｃを兼ねることになる。
　ユーザは、この図２０に示すような表示を見ることにより、３次元モデル画像Ｍ３として表示されている腎杯の観察がどの程度進捗しているかを、容易に判断することができる。
　このような実施形態３によれば、上述した実施形態１，２とほぼ同様の効果を奏するとともに、検出した観察済みの管路の長さに基づき未観察の管路の長さを推定し、観察済みおよび未観察の管路の芯線情報を生成し、観察済みであるか未観察であるかを識別可能な表示態様で表示する進捗情報ＰＩを生成するようにしたために、内視鏡観察の進捗の度合いを容易に認識することができる。
　なお、内視鏡装置を、上述したような実施形態１の表示態様と、実施形態２の表示態様と、実施形態３の表示態様と、の何れも取り得るように構成して、１回の内視鏡検査において、所望の表示態様をユーザが選択して切り替えることができるようにしてもよい。この場合には、ユーザが、例えば、内視鏡１に設けられた図示しない操作部、あるいは処理システム２に設けられた図示しない操作部を操作することで、所望の表示態様に切り替える設定を行う。
　そして、上述した各部は、回路として構成されていてもよい。そして、任意の回路は、同一の機能を果たすことができれば、単一の回路として実装されていてもよいし、複数の回路を組み合わせたものとして実装されていても構わない。さらに、任意の回路は、目的とする機能を果たすための専用回路として構成されるに限るものではなく、汎用回路に処理プログラムを実行させることで目的とする機能を果たす構成であっても構わない。
　さらに、上述では主として内視鏡装置について説明したが、内視鏡装置を上述したように作動させる作動方法であってもよいし、コンピュータに内視鏡装置と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。
　なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
　本出願は、２０１６年５月２５日に日本国に出願された特願２０１６－１０４５２５号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (10)

  1. 　３次元形状を有する被検体の内部の画像を取得する内視鏡と、
    　前記被検体の３次元モデルデータを生成する３次元モデル生成部と、
    　前記３次元モデル生成部により生成された前記３次元モデルデータに基づいて３次元モデル画像を生成する画像生成部と、
    　前記内視鏡による前記被検体の観察の進捗状況を示す進捗情報を生成する進捗情報生成部と、
    　前記３次元モデル画像に関連付けて前記進捗情報を提示する提示制御部と、
    　を備えることを特徴とする内視鏡装置。
  2. 　前記進捗情報は、前記被検体の予め定められた領域の体積または面積に対する前記観察済み領域の割合を示す情報を含むことを特徴とする請求項１に記載の内視鏡装置。
  3. 　前記予め定められた領域は、前記被検体の全領域であることを特徴とする請求項２に記載の内視鏡装置。
  4. 　前記被検体は、複数の部分領域を有し、
    　前記進捗情報は、前記被検体が備える全ての部分領域の個数に対する観察済みの部分領域の個数の割合を示す情報を含むことを特徴とする請求項１に記載の内視鏡装置。
  5. 　前記３次元モデル画像を背景画像と共に複数の分割領域に分割する領域分割部をさらに備え、
    　前記進捗情報生成部は、前記領域分割部により分割された前記複数の分割領域の内の、未観察領域を含む分割領域の前記３次元モデル画像と前記背景画像との少なくとも一方を、前記未観察領域を含まない他の分割領域と識別可能となるように画像処理して、前記進捗情報を生成することを特徴とする請求項１に記載の内視鏡装置。
  6. 　前記被検体は、複数の管路を有し、
    　前記複数の管路の内の、１つ以上の観察済みの管路の長さを検出して、検出した前記観察済みの管路の長さに基づき未観察の管路の長さを推定する管路長推定部をさらに備え、
    　前記進捗情報生成部は、前記観察済みの管路の芯線情報を生成すると共に、前記管路長推定部により推定された前記未観察の管路の長さに基づいて該未観察の管路の芯線情報を生成し、前記観察済みの管路の芯線情報と前記未観察の管路の芯線情報とを識別可能な表示態様で表示する進捗情報を生成することを特徴とする請求項１に記載の内視鏡装置。
  7. 　前記進捗情報は、マーキングを行う対象の個数に対する、既にマーキングを行った対象の個数を示す情報をさらに含むことを特徴とする請求項１に記載の内視鏡装置。
  8. 　前記提示制御部は、前記３次元モデル画像と前記進捗情報とを並べて提示することを特徴とする請求項１に記載の内視鏡装置。
  9. 　前記提示制御部は、前記３次元モデル画像に前記進捗情報を重畳して提示することを特徴とする請求項１に記載の内視鏡装置。
  10. 　内視鏡が、３次元形状を有する被検体の内部の画像を取得し、
    　３次元モデル生成部が、前記被検体の３次元モデルデータを生成し、
    　画像生成部が、前記３次元モデル生成部により生成された前記３次元モデルデータに基づいて３次元モデル画像を生成し、
    　進捗情報生成部が、前記内視鏡による前記被検体の観察の進捗状況を示す進捗情報を生成し、
    　提示制御部が、前記３次元モデル画像に関連付けて前記進捗情報を提示することを特徴とする内視鏡装置の作動方法。
PCT/JP2017/011397 2016-05-25 2017-03-22 内視鏡装置、内視鏡装置の作動方法 WO2017203814A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017535117A JP6211239B1 (ja) 2016-05-25 2017-03-22 内視鏡装置
US16/156,076 US20190043215A1 (en) 2016-05-25 2018-10-10 Endoscope apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016104525 2016-05-25
JP2016-104525 2016-05-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/156,076 Continuation US20190043215A1 (en) 2016-05-25 2018-10-10 Endoscope apparatus

Publications (1)

Publication Number Publication Date
WO2017203814A1 true WO2017203814A1 (ja) 2017-11-30

Family

ID=60412171

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/011397 WO2017203814A1 (ja) 2016-05-25 2017-03-22 内視鏡装置、内視鏡装置の作動方法

Country Status (2)

Country Link
US (1) US20190043215A1 (ja)
WO (1) WO2017203814A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021153471A1 (ja) * 2020-01-27 2021-08-05 富士フイルム株式会社 医療画像処理装置、医療画像処理方法、及びプログラム
WO2021234907A1 (ja) 2020-05-21 2021-11-25 日本電気株式会社 画像処理装置、制御方法及び記憶媒体
WO2023275974A1 (ja) 2021-06-29 2023-01-05 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
JP2023102286A (ja) * 2022-01-11 2023-07-24 オリンパス株式会社 手術システム
WO2024028925A1 (ja) * 2022-08-01 2024-02-08 日本電気株式会社 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110325098A (zh) 2016-11-28 2019-10-11 适内有限责任公司 具有可分离一次性轴的内窥镜
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
USD1031035S1 (en) 2021-04-29 2024-06-11 Adaptivendo Llc Endoscope handle

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004041709A (ja) * 2002-05-16 2004-02-12 Olympus Corp カプセル医療装置
JP2014083289A (ja) * 2012-10-25 2014-05-12 Olympus Corp 挿入システム、挿入支援装置、挿入支援方法及びプログラム
WO2016076262A1 (ja) * 2014-11-11 2016-05-19 オリンパス株式会社 医療装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004041709A (ja) * 2002-05-16 2004-02-12 Olympus Corp カプセル医療装置
JP2014083289A (ja) * 2012-10-25 2014-05-12 Olympus Corp 挿入システム、挿入支援装置、挿入支援方法及びプログラム
WO2016076262A1 (ja) * 2014-11-11 2016-05-19 オリンパス株式会社 医療装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021153471A1 (ja) * 2020-01-27 2021-08-05 富士フイルム株式会社 医療画像処理装置、医療画像処理方法、及びプログラム
JPWO2021153471A1 (ja) * 2020-01-27 2021-08-05
WO2021234907A1 (ja) 2020-05-21 2021-11-25 日本電気株式会社 画像処理装置、制御方法及び記憶媒体
WO2023275974A1 (ja) 2021-06-29 2023-01-05 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
JP2023102286A (ja) * 2022-01-11 2023-07-24 オリンパス株式会社 手術システム
JP7562720B2 (ja) 2022-01-11 2024-10-07 オリンパス株式会社 手術システム
WO2024028925A1 (ja) * 2022-08-01 2024-02-08 日本電気株式会社 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
WO2024029504A1 (ja) * 2022-08-01 2024-02-08 日本電気株式会社 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

Also Published As

Publication number Publication date
US20190043215A1 (en) 2019-02-07

Similar Documents

Publication Publication Date Title
WO2017203814A1 (ja) 内視鏡装置、内視鏡装置の作動方法
JP6720238B2 (ja) 出血検出ユニットを有する手術用システム
JP5810248B2 (ja) 内視鏡システム
CN108135453B (zh) 内窥镜系统和图像处理方法
JP5676058B1 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP5771757B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP6103827B2 (ja) 画像処理装置および立体画像観察システム
JP5993515B2 (ja) 内視鏡システム
WO2014156378A1 (ja) 内視鏡システム
JP6254053B2 (ja) 内視鏡画像診断支援装置、システムおよびプログラム、並びに内視鏡画像診断支援装置の作動方法
JP6141559B1 (ja) 医療装置、医療画像生成方法及び医療画像生成プログラム
WO2017159335A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
JP6478136B1 (ja) 内視鏡システム、内視鏡システムの作動方法
JP2020512089A (ja) 奥行き知覚を高める仮想陰影
WO2016080331A1 (ja) 医療装置
JPWO2019130868A1 (ja) 画像処理装置、プロセッサ装置、内視鏡システム、画像処理方法、及びプログラム
WO2016076262A1 (ja) 医療装置
JP2017205343A (ja) 内視鏡装置、内視鏡装置の作動方法
JP2010256988A (ja) ３次元画像生成装置、３次元画像生成方法、及びプログラム
JP6211239B1 (ja) 内視鏡装置
US10694929B2 (en) Medical equipment system and operation method of medical equipment system
JP2016225861A (ja) 情報処理装置、情報処理方法、及び生体内撮像システム
JP2011170276A (ja) 内視鏡装置およびプログラム
JP2012249757A (ja) 画像処理装置
JP2005304937A (ja) 挿入支援システム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2017535117

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17802416

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17802416

Country of ref document: EP

Kind code of ref document: A1