WO2015190186A1 - 内視鏡システム、内視鏡システムの作動方法 - Google Patents

内視鏡システム、内視鏡システムの作動方法 Download PDF

Info

Publication number
WO2015190186A1
WO2015190186A1 PCT/JP2015/062830 JP2015062830W WO2015190186A1 WO 2015190186 A1 WO2015190186 A1 WO 2015190186A1 JP 2015062830 W JP2015062830 W JP 2015062830W WO 2015190186 A1 WO2015190186 A1 WO 2015190186A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
angle
unit
view
Prior art date
Application number
PCT/JP2015/062830
Other languages
English (en)
French (fr)
Inventor
聡一 生熊
山本　達郎
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2015562616A priority Critical patent/JP5945643B2/ja
Priority to EP15806951.8A priority patent/EP3095377A4/en
Priority to CN201580009481.5A priority patent/CN106028903B/zh
Publication of WO2015190186A1 publication Critical patent/WO2015190186A1/ja
Priority to US15/244,270 priority patent/US9918614B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots

Definitions

  • the present invention relates to an endoscope system capable of observing a luminal organ with reference to luminal organ image information in the constructed three-dimensional image information, and an operation method of the endoscope system.
  • Endoscopic apparatuses are widely used as medical endoscopes that perform treatment using, for example, observation of organs in a body cavity and treatment tools as necessary.
  • the insertion portion of the endoscope is inserted into the lumen, and the distal end of the insertion portion quickly and accurately reaches the destination such as the lesion. It is necessary to let
  • Japanese Patent Application Laid-Open No. 2012-110549 specifies a correspondence relationship between viewpoint positions of a virtual endoscopic image and a real endoscopic image based on, for example, a distance from an end point of an observation path.
  • a technique is described in which an endoscopic image and an actual endoscopic image are displayed at the same time, for example, by aligning them or superimposing them so that their center positions overlap.
  • the viewpoint, center line-of-sight vector, and angle of view of the virtual endoscope are determined in consideration of the position of the target structure, the endoscope position, the center line-of-sight vector, and the internal view line.
  • a technique is described in which a virtual endoscope image is generated from a three-dimensional medical image that is determined based on the angle of view of the endoscope.
  • lumen organs having a plurality of branched lumens such as bronchi and kidney.
  • stones for example, may form in the kidney, and the treatment to remove these stones is performed while observing the inside of the renal pelvis and kidney cup with an endoscope using a treatment tool protruding from the tip of the endoscope. It has been broken.
  • the calculus is first crushed and subdivided. At this time, in order to confirm the presence or absence of crushing stones after crushing, it is desirable to observe the entire renal pelvis and renal cup with an endoscope.
  • the endoscope for the renal pelvis and ureter has a small diameter, there are great structural restrictions on the objective optical system, and it is technically difficult to adopt an objective optical system with a wide viewing angle. Furthermore, the observation is performed, for example, in physiological saline, and the refractive index of the physiological saline is larger than that of air, so that the viewing angle is narrower than that in the case of observation in air. Therefore, just because the endoscope tip is located at a certain position, not all the tip side is observed from that position.
  • kidney cup often has a conical shape with a narrow entrance and a wide back, it was possible to observe the bottom part of the cone where the tip of the endoscope entered the small kidney cup and hit the front. In other words, not all of the side portions were observed, that is, it cannot be said that all of the surface mucosa in the kidney cup was observed.
  • the present invention has been made in view of the above circumstances, and an object thereof is to provide an endoscope system capable of presenting an observation range in a luminal organ in an easy-to-understand manner and an operation method of the endoscope system.
  • An endoscope system includes a first storage unit that stores image information related to a subject acquired in advance for constructing three-dimensional image information, and the three-dimensional image information from the image information.
  • a position for acquiring position information of a luminal organ extracting unit that constructs and extracts predetermined luminal organ image information existing in the three-dimensional image information, and an objective optical system that forms an optical image in the subject An image acquired by an image acquisition system including an information acquisition unit, an alignment unit that aligns position information acquired by the position information acquisition unit with respect to the predetermined luminal organ image information, and the objective optical system
  • An angle-of-view display information generating unit for generating angle-of-view display information indicating the angle-of-view information of the image, and the position indicated by the position information aligned by the position aligning unit in the predetermined luminal organ image information, Angle of view Comprising an image processing unit that creates a superimposed image obtained by superimposing indicate information.
  • An operation method of an endoscope system includes a first storage unit, a luminal organ extraction unit, a position information acquisition unit, a position alignment unit, an angle-of-view display information generation unit, and image processing.
  • the first storage unit stores pre-acquired image information about the subject for constructing three-dimensional image information, and the lumen
  • An organ extraction unit constructs the three-dimensional image information from the image information and extracts predetermined luminal organ image information existing in the three-dimensional image information
  • the position information acquisition unit stores the three-dimensional image information in the subject.
  • the alignment unit aligns the position information acquired by the position information acquisition unit with respect to the predetermined luminal organ image information
  • the angle-of-view display information generation unit includes imaging including the objective optical system Angle-of-view display information indicating the angle-of-view information of the captured image captured by the image processing unit is generated, and the image processing unit is indicated by the position information aligned by the alignment unit in the predetermined luminal organ image information A superimposed image in which the view angle display information is superimposed at a position is created.
  • FIG. 2 is a block diagram illustrating a configuration of the image processing apparatus according to the first embodiment.
  • 3 is a flowchart showing the operation of the endoscope system in the first embodiment.
  • FIG. 6 is a diagram showing a display example of a display screen of the display device in the first embodiment.
  • the figure which shows an example of the bird's-eye view image on which the view angle display information was superimposed.
  • FIG. In the said Embodiment 1, the figure which shows the example of the view angle display information displayed on the bird's-eye view image seen from a different direction when the accumulation view angle display button is operated.
  • FIG. 1 is a diagram showing a configuration of an endoscope system 1.
  • an endoscope system 1 includes an endoscope device 4 having an endoscope 2 and a camera control unit (CCU) 3, a position detection device 5, a server 6, and an image processing device 7. And a display device 8.
  • CCU camera control unit
  • the endoscope 2 includes an elongated insertion portion 11 having flexibility, which is inserted into a subject, an operation portion 12 connected to a proximal end portion of the insertion portion 11, and a side surface of the operation portion 12. And an extended cable 13.
  • the operation unit 12 includes a release button 12a that is an imaging instruction unit that generates imaging instruction data for acquiring a captured image for recording (an imaging instruction is input), and an image of an image that is observing the subject.
  • An angle-of-view display button 12b for generating angle-of-view display instruction data for displaying an angle (inputting an angle-of-view display instruction) and a freeze angle of view for displaying the angle of view at the time of operation during the effective period.
  • Freeze angle of view display button 12c as an acquisition instruction section for generating display instruction data (input of freeze angle of view display instruction) and accumulated angle of view display instruction data for accumulating and displaying past angle of view display information.
  • a cumulative view angle display button 12d which is a cumulative display instruction portion to be generated (a cumulative view angle display instruction is input).
  • the view angle display button 12b is a superimposed image selection instruction unit to which a selection instruction for selecting ON / OFF of the superimposed image generation is input.
  • buttons 12a to 12d as described above are not limited to being provided on the operation unit 12 of the endoscope 2.
  • the buttons 12a to 12d may be provided as foot switches, or may be provided as switches having other configurations. Absent.
  • An imaging system 10 for imaging the inside of the subject is provided at the distal end of the insertion unit 11.
  • the imaging system 10 includes an objective optical system that forms an optical image in the subject, and a CCD that photoelectrically converts the optical image formed by the objective optical system to generate an imaging signal.
  • the endoscope 2 is connected to the CCU 3 via the cable 13, and an imaging signal captured by the imaging system 10 is transmitted to the CCU 3.
  • the CCU 3 performs predetermined image processing on the imaging signal transmitted from the endoscope 2 to generate endoscope image data. Further, the CCU 3 generates endoscope specification data including angle-of-view information based on the model number of the connected endoscope 2 and the like, the operation state of the endoscope apparatus 4 and the like.
  • endoscope specification data including angle-of-view information based on the model number of the connected endoscope 2 and the like, the operation state of the endoscope apparatus 4 and the like.
  • the electronic zoom is performed by the image processing of the CCU 3
  • the field angle range of the observation image changes, and also when the endoscope 2 includes a zoomable objective optical system. Therefore, real-time data at the time of transmission is used as the angle of view information.
  • a plurality of receiving coils are provided at a predetermined interval from the distal end portion to the proximal end portion of the insertion portion 11.
  • the plurality of receiving coils output electrical signals in accordance with the magnetic field generated by the position detection device 5.
  • the endoscope 2 is connected to the position detection device 5 via the cable 14, and each electric signal output from the reception coil is transmitted to the position detection device 5.
  • the position detection device 5 as a position information acquisition unit is based on an electrical signal from a reception coil provided at the distal end of the insertion unit 11 among a plurality of reception coils, more specifically, the distal end of the insertion unit 11.
  • this position information includes each information of the three-dimensional position of the objective optical system and the optical axis direction of the objective optical system.
  • the acquisition of the position information by the position detection device 5 is repeatedly performed at regular time intervals, for example.
  • the position detection device 5 calculates and acquires insertion shape data indicating the insertion shape of the insertion portion 11 based on the electrical signals from the plurality of reception coils described above.
  • the curved shape data is acquired using the receiving coil.
  • the present invention is not limited to this.
  • the curved shape data is acquired using an FBG (Fiber Bragg Grating) sensor or the like. It doesn't matter.
  • the CCU 3, the position detection device 5, and the server 6 described above are connected to the image processing device 7.
  • the server 6 is connected to the image processing apparatus 7 via a communication line such as a hospital LAN.
  • the CCU 3 includes endoscope image data, endoscope specification data, each instruction data such as the above-described imaging instruction data, field angle display instruction data, freeze field angle display instruction data, cumulative field angle display instruction data, Is transmitted to the image processing apparatus 7.
  • the position detection device 5 transmits the position information (position and direction data) of the objective optical system and the insertion shape data of the insertion unit 11 to the image processing device 7.
  • the server 6 stores preoperative multi-slice image data 16a to 16n acquired in advance by CT, MRI, PET, or the like, for example, before performing the examination by the endoscope system 1. Then, the server 6 transmits these preoperative multi-slice image data 16a to 16n to the image processing device 7.
  • the image processing apparatus 7 reads the preoperative multi-slice image data 16a to 16n from the server 6, but instead of this, a CD-ROM or the like in which the preoperative multi-slice image data 16a to 16n is stored can be used. Of course, it is possible to read from a portable recording medium.
  • the image processing apparatus 7 creates image data by performing a process described later based on each data fetched from the CCU 3, the position detection apparatus 5, and the server 6.
  • the image processing device 7 is connected to the display device 8, and the display device 8 receives and displays the image data created by the image processing device 7.
  • the display device 8 is a display unit that displays a superimposed image created by the image processing device 7.
  • FIG. 2 is a block diagram showing a configuration of the image processing apparatus 7.
  • the image processing device 7 includes a first storage unit 21, a luminal organ extraction unit 22, an image processing unit 23, and a second storage unit 24.
  • the first storage unit 21 stores preoperative multi-slice image data 16a to 16n, which are image information about a subject acquired in advance for constructing three-dimensional image information.
  • the luminal organ extracting unit 22 reads out the image information stored in the first storage unit 21 to construct three-dimensional image information, and further stores predetermined luminal organ image information existing in the three-dimensional image information. Extract.
  • the extracted luminal organ image information is image information indicating the luminal structure of the kidney.
  • the luminal organ extraction unit 22 uses, for example, the ureter 42, the renal pelvis 43, the large renal cup 44, the small renal cup 45, and the renal papilla 46 (or the bladder and urethra as necessary) as the luminal organ 41.
  • a predetermined luminal organ is extracted (see FIG. 4).
  • the image processing unit 23 includes an alignment unit 26, an angle-of-view display information generation unit 27, a superimposed image creation unit 28, and an image reading unit 29.
  • the alignment unit 26 obtains position information (position information of the objective optical system) acquired by the position detection device 5 with respect to predetermined lumen organ image information as three-dimensional image information extracted by the lumen organ extraction unit 22. ).
  • the alignment by the alignment unit 26 is performed, for example, by calculating a conversion formula from real space coordinates acquired by the position detection device 5 to 3D image coordinates for constructing 3D image information.
  • the alignment method is not limited to the method using the above-described conversion formula.
  • the position detection of the feature points on the patient's body surface as disclosed in Japanese Patent Application Laid-Open No. 2005-31770 is possible.
  • a registration method based on feature point designation on 3D image data, or by matching an endoscopic image and a virtual endoscopic image as disclosed in Japanese Patent Application Laid-Open No. 2009-279251 An alignment method or the like may be employed.
  • the angle-of-view display information generation unit 27 is based on the angle-of-view information in the endoscope specification data received from the CCU 3, and the angle-of-view display information indicating the angle-of-view information of the captured image captured by the imaging system 10 including the objective optical system. Is generated. Specifically, the angle-of-view display information generated by the angle-of-view display information generation unit 27 includes a boundary line indicating a range of angle of view that extends from one point. Specific examples include a sector shape and a cone shape. And quadrangular pyramids.
  • the sector shape is suitable for superimposing on two-dimensional image information created from, for example, three-dimensional image information
  • the cone shape is suitable for superimposing on three-dimensional image information
  • the quadrangular pyramid shape is an image sensor. It is suitable for superimposing on the three-dimensional image information in consideration of the shape of the imaging surface (generally, a quadrangular shape).
  • the image processing unit 23 sets the starting point of the boundary line in the view angle display information to the position of the objective optical system indicated by the position information aligned by the alignment unit 26.
  • the superimposed image creation unit 28 of the image processing unit 23 has an angle of view generated by the angle-of-view display information generation unit 27 at a position indicated by the position information aligned by the alignment unit 26 in predetermined luminal organ image information.
  • a superimposed image is created by superimposing display information.
  • the superimposed image creating unit 28 creates the superimposed image at regular time intervals until the superimposed image generation off is selected. This is performed in accordance with the acquisition of position information by the position detection device 5 that is repeatedly performed. At this time, the display device 8 displays the superimposed image while the selection instruction is on the superimposed image generation. Thereby, the view angle display information is displayed in real time. Further, when the superimposed image generation off is selected by the view angle display button 12b, the superimposed image creation unit 28 does not generate a superimposed image, for example (however, as described later, the superimposed image is stored in the second storage unit 24). When the following cumulative view angle display is performed, a superimposed image may be created regardless of the operation state of the view angle display button 12b).
  • the superimposed image creating unit 28 repeats the superimposed image according to the acquisition of the position information by the position detection device 5 repeatedly performed at regular time intervals. Will be made.
  • the superimposed image creation unit 28 may create a superimposed image when the operation is performed.
  • the superimposing process by the superimposing image creating unit 28 includes a case where the angle-of-view display information is superimposed on predetermined luminal organ image information as three-dimensional image information extracted by the luminal organ extracting unit 22, and There is a case where the predetermined luminal organ image information as the two-dimensional image information is created as an overhead image or a cut-out image from the predetermined luminal organ image information as the image information and then the angle of view display information is superimposed. .
  • the two-dimensional superimposed image becomes image data to be output to the display device 8, but when the created superimposed image is a three-dimensional image, image processing is performed.
  • the unit 23 creates a two-dimensional superimposed image such as an overhead image or a cut-out image from the superimposed image and sets it as image data to be output to the display device 8.
  • the second storage unit 24 stores the generated two-dimensional superimposed image, position information and angle-of-view information (specifically, based on preoperative multi-slice image data 16a to 16n stored in the server 6). At least one of position information (position and direction data) and field-of-view information of the captured image), which is data for creating a superimposed image, is stored.
  • the second storage unit 24 includes at least a two-dimensional superimposed image, position information, and angle-of-view information in order to make it easier to later understand the position and direction in which the recorded photograph to be placed on the medical chart or the like was taken.
  • One storage may be performed in association with the captured image captured by the imaging system 10. At this time, it is preferable to include the timing at which an imaging instruction is input from the release button 12a, which is an imaging instruction unit, in the timing at which the associated storage is performed.
  • the image reading unit 29 displays the two-dimensional superimposed image read from the second storage unit 24 or the two-dimensional superimposed image created based on the position information and the angle-of-view information read from the second storage unit 24. 8 for display.
  • the freeze angle-of-view display instruction data generated by the freeze angle-of-view display button 12c, which is the acquisition instruction unit described above, is an acquisition instruction for acquiring information from the second storage unit 24.
  • the image reading unit 29 reads the two-dimensional superimposed image at the input start time of the acquisition instruction from the second storage unit 24 in response to the acquisition instruction.
  • the image reading unit 29 reads position information and angle-of-view information at the input start point of the acquisition instruction from the second storage unit 24 according to the acquisition instruction, and based on the read position information and angle-of-view information, The processing unit 23 is caused to create a two-dimensional superimposed image.
  • the image reading unit 29 continues to output the two-dimensional superimposed image for display while the acquisition instruction is valid. As a result, during the period when the acquisition instruction is valid, the angle of view at the time when the freeze angle-of-view display button 12c is operated is continuously displayed.
  • FIG. 3 is a flowchart showing the operation of the endoscope system 1
  • FIG. 4 is a diagram showing a display example of the display screen 8 a of the display device 8.
  • the image displayed on the display screen 8a in FIG. 4 is final two-dimensional image data after being processed by the image processing apparatus 7, but in the following, the two-dimensional image data shown in FIG. The description will be made using symbols as appropriate.
  • an overhead image 31, a virtual endoscopic image 32, and an endoscopic image 33 are displayed on the display screen 8 a of the display device 8.
  • the bird's-eye view image 31 is a two-dimensional image of the luminal organ observed stereoscopically when the luminal organ constructed as three-dimensional image data is looked down on.
  • the virtual endoscopic image 32 is a two-dimensional image when a luminal organ constructed as three-dimensional image data is observed from the viewpoint of the objective optical system.
  • the endoscopic image 33 is a captured image captured by the imaging system 10. Note that the display example shown in FIG. 4 is merely an example, and other information may be displayed or some information may be omitted.
  • the ureter 42, the renal pelvis 43, the large renal cup 44, the small renal cup 45, and the renal papilla 46 in the luminal organ 41 are displayed.
  • An insertion portion image 51 showing the insertion shape is displayed.
  • the tip of the insertion portion image 51 is the current position 50 of the objective optical system.
  • the current position 50 of the objective optical system is within the great kidney cup 44.
  • the endoscopic image 33 shown in FIG. 4 displays the openings of a plurality of small renal cups 45 observed from the large renal cup 44 corresponding to the objective optical system of the insertion unit 11 being in the large renal cup 44. Has been.
  • the virtual endoscopic image 32 displays openings of a plurality of small kidney cups 45 that should be observed from the current position 50 of the objective optical system.
  • the surgeon first inserts the target small renal cup 45 using the same navigation as in the prior art. Then, an inspection is performed to look around the target small renal cup 45 with an endoscope. In such an examination, the angle of view is displayed when the surgeon operates the angle of view display button 12b of the operation unit 12 at a desired timing.
  • the navigation similar to the conventional one is used again. Then, it moves to the next small renal cup 45 for observation.
  • the surgeon can operate the view angle display button 12b to turn off the view angle display.
  • the luminal organ extracting unit 22 reads out preoperative multi-slice image data 16a to 16n to construct three-dimensional image information as described above, and further, in the constructed three-dimensional image information.
  • the predetermined luminal organ image information existing in is extracted (step S1).
  • the alignment unit 26 acquires position information (position and direction data) of the objective optical system from the position detection device 5 (step S2).
  • the alignment unit 26 performs alignment between the real space coordinates indicated by the acquired position information and the 3D image coordinates where the 3D image information is constructed (step S3).
  • the angle-of-view display information generation unit 27 acquires the endoscope specification data from the CCU 3, and based on the angle-of-view information included in the endoscope specification data, the angle-of-view display including a boundary line indicating the angle-of-view range. Information is generated (step S4).
  • the image processing unit 23 determines whether or not the view angle display button 12b is operated and the view angle display instruction data is input from the CCU 3 (step S5).
  • the superimposed image creation unit 28 is extracted by the luminal organ extraction unit 22 based on the position information aligned by the alignment unit 26.
  • a superimposed image is created by superimposing the angle-of-view display information generated by the insertion portion image 51 and the angle-of-view display information generating unit 27 on the three-dimensional image of the luminal organ (step S6).
  • the superimposed image creation unit 28 is extracted by the luminal organ extraction unit 22 based on the position information aligned by the alignment unit 26.
  • a superimposed image is created by superimposing the insertion portion image 51 on the three-dimensional image of the hollow organ (step S7).
  • the image processing unit 23 creates an overhead image 31 from the created superimposed image, configures image data for display together with the virtual endoscopic image 32 and the endoscopic image 33, and then transmits the image data to the display device 8. Output. Accordingly, an image including the overhead image 31 as a superimposed image is displayed on the display device 8 (step S8).
  • step S9 it is determined whether or not to end this process.
  • the process returns to step S2 to repeat the above-described process, and when it is determined to end. This process is finished.
  • FIG. 5 is a diagram illustrating an example of the overhead image 31 on which the view angle display information 52 is superimposed.
  • the angle-of-view display information 52 generated as a boundary line that forms a fan-shaped angle indicating the angle-of-view range starting from the position 50 of the objective optical system at the tip of the insertion portion image 51 of the overhead image 31 is the optical axis of the objective optical system. It is displayed so as to spread around the direction that matches the direction.
  • the opening of the small kidney cup 45 that is observed, the opening of the small kidney cup 45 that is not observed, Can be determined. That is, the opening of the small kidney cup 45 displayed in the endoscopic image 33 and the virtual endoscopic image 32 is three in the example shown in FIG. 4, whereas the overhead image 31 shown in FIG. In FIG. 4, when there are four, it is determined that the opening of one small renal cup 45 is not observed.
  • This determination may be performed by the surgeon by comparing the bird's-eye view image 31 as shown in FIG. 5 with the endoscopic image 33 or the virtual endoscopic image 32, but the image processing unit 23 performs the determination process.
  • the determination result may be displayed as one piece of navigation information.
  • FIG. 6 is a diagram showing an example in which an observable / impossible mark is attached to the overhead image 31 together with the view angle display information 52.
  • an observable mark 53 and an unobservable mark 54 are formed in the opening of the small renal cup 45 within the range indicated by the view angle display information 52 of the luminal organ 41 in the overhead image 31. May be displayed.
  • the display shown in FIG. 6 is an example, and other display modes may be used, and navigation may be performed by voice or other methods together with or instead of the display.
  • FIG. 7 is a diagram showing another example of the overhead image 31 on which the view angle display information 52 is superimposed.
  • the field angle display information 52 shown in FIG. 5 is only a fan-shaped boundary line, since the actual observation range is a solid angle, the field angle display information 55 is displayed as a cone in the example shown in FIG. Information.
  • the display information may be, for example, a quadrangular pyramid in consideration of the shape of the imaging surface of the imaging device.
  • FIG. 8 is a diagram showing an example in which the angle-of-view display information is displayed on a plurality of overhead images 31 and 34 viewed from different directions.
  • the image processing unit 23 can create a plurality of two-dimensional superimposed images viewed from different directions.
  • the endoscopic image 33, the overhead image 31 and the second overhead image 34 viewed from a different angle from the overhead image 31 are displayed on the display screen 8a of the display device 8.
  • the second overhead image 34 is displayed instead of the virtual endoscope image 32, but the overhead image 31, the virtual endoscope image 32, and the endoscope image 33 are further displayed.
  • the second overhead image 34 may be displayed.
  • the second bird's-eye view image 34 is an image when seen from the direction of arrow A in FIG. 8, and the image processing unit 23 uses the three-dimensional image coordinates for the luminal organ constructed as the three-dimensional image information. It is generated by rotating within.
  • angle-of-view display information 52 including fan-shaped boundary lines having a predetermined length is displayed in the bird's-eye view image 31 as in FIG.
  • angle-of-view display information 52a indicating a circular angle-of-view range is displayed.
  • the angle-of-view display information 52a may be, for example, a rectangle in consideration of the shape of the imaging surface of the imaging element, as described above.
  • FIG. 9 is a diagram showing an example of the view angle display information displayed when the freeze view angle display button 12c is operated.
  • the view angle display information is displayed in real time starting from the current position 50 of the objective optical system.
  • freeze angle-of-view display button 12c which is the acquisition instruction unit
  • the angle-of-view display information at the time of the operation is continuously displayed while the freeze angle-of-view display instruction is valid. It is like that.
  • the freeze angle-of-view display button 12c is an acquisition instruction unit to which an acquisition instruction for acquiring information from the second storage unit 24 is input.
  • the image processing device 7 reads the preoperative multi-slice image data 16a to 16n from the server 6 and reads the position from the second storage unit 24. After the information and the angle-of-view information are aligned by the alignment unit 26, a two-dimensional superimposed image at the start time of input of the acquisition instruction is created.
  • the image reading unit 29 displays the two-dimensional superimposed image at the input start time of the acquisition instruction, which is read or created based on the read information, for display while the acquisition instruction is valid. To continue to output.
  • the view angle display information 62 is obtained by operating the freeze view angle display button 12c.
  • the freeze display is continued starting from the position 61 of the objective optical system at the time.
  • This freeze display is erased from the screen when the freeze view angle display button 12c is subsequently operated to cancel the freeze view angle display instruction.
  • FIG. 10 is a diagram illustrating an example of the view angle display information displayed on the overhead view image when the cumulative view angle display button 12d is operated, and FIG. 11 is different when the cumulative view angle display button 12d is operated. It is a figure which shows the example of the view angle display information displayed on the bird's-eye view image seen from the direction.
  • FIG. 11 shows an image when viewed from the direction of arrow B in FIG.
  • the second storage unit 24 stores at least one of a two-dimensional superimposed image, position information, and field angle information at a plurality of past times.
  • the cumulative field angle display since it is also possible to reset the cumulative field angle display, when a reset operation is performed, it is acquired at the time before the reset operation and the two-dimensional superimposed image acquired at the time before the reset operation.
  • the position information and the angle-of-view information may be deleted.
  • the image processing unit 23 cumulatively superimposes the two-dimensional superimposed images at a plurality of past time points, and at the past plural time points. At least one of position information and angle-of-view information is read from the second storage unit 24.
  • the image processing apparatus 7 sends pre-operative multi-slice image data 16a to 16 from the server 6. 16n is read, and the position information and angle-of-view information at the past plural time points read from the second storage unit 24 are aligned by the aligning unit 26, and then a two-dimensional superimposed image at the past plural time points is created. .
  • the image processing unit 23 reads out from the second storage unit 24, or created based on the position information and the angle of view information read out from the second storage unit 24, and two-dimensional superimposition at a plurality of past times.
  • An image is cumulatively superimposed to create a cumulative two-dimensional superimposed image in which past angles of view are accumulated and displayed.
  • FIGS. 10 and 11 a cumulative two-dimensional superimposed image as shown in FIGS. 10 and 11 is displayed on the display device 8.
  • FIG. 10 and FIG. 11 show a state when the inside of the small renal cup 45 is observed from the opening 45a of the small renal cup 45.
  • FIG. 10 and FIG. 11 show a state when the inside of the small renal cup 45 is observed from the opening 45a of the small renal cup 45.
  • FIG. 10 and FIG. 11 show a state when the inside of the small renal cup 45 is observed from the opening 45a of the small renal cup 45.
  • the inside 45b of the small renal cup 45 is wider than the opening 45a.
  • the accumulated field angle display information 71 indicated by hatching indicates an observed field angle range in the inside 45 b of the small kidney cup 45.
  • view angle display information 52 and 52a indicate the range of the inside 45b of the small renal cup 45 observed from the current position 50 of the objective optical system.
  • a region 72 indicates an unobserved region in the small kidney cup 45.
  • the area including the specific small area that is, the enlargement target area as shown by a two-dot chain line in FIG. 73 may be enlarged and displayed.
  • the enlargement target area 73 may be automatically enlarged and displayed.
  • the observation range in the luminal organ is reduced. It becomes possible to present it in an easy-to-understand manner.
  • the second storage unit 24 that stores at least one of the two-dimensional superimposed image, the position information, and the angle of view information is provided, the observation range at a certain time can be confirmed at a later time. Become. In particular, when storing position information and angle-of-view information, it is possible to reduce the storage capacity compared to storing a two-dimensional superimposed image.
  • the second storage unit 24 since at least one of the two-dimensional superimposed image, the position information, and the angle-of-view information stored by the second storage unit 24 is stored in association with the captured image captured by the imaging system 10, a medical record or the like When a captured image is captured as a recorded photograph to be placed on the camera, the recorded photograph is captured by referring to the associated two-dimensional superimposed image or the two-dimensional superimposed image created from the associated positional information and angle-of-view information. The range can be easily grasped.
  • the imaging instruction unit 24 storage associated with at least one of the two-dimensional superimposed image, the position information, and the angle-of-view information by the second storage unit 24 is performed when an imaging instruction is input from the imaging instruction unit. If this is done (that is, if the timing at which the associated instruction is stored includes the timing at which the imaging instruction is input from the release button 12a, which is the imaging instruction unit), the imaging range at the time when the captured image is acquired is surely determined. It becomes possible to grasp.
  • the image reading unit 29 reads out the two-dimensional superimposed image at the input start time of the acquisition instruction read from the second storage unit 24 according to the acquisition instruction or the second storage unit 24 according to the acquisition instruction. Since the two-dimensional superimposed image created based on the position information and the angle-of-view information when the acquisition instruction is input is continuously output for display while the acquisition instruction is valid, the freeze angle-of-view display instruction is issued. It is possible to continuously view the observation range at the time point when the freeze display is effective. As a result, even if the current position 50 of the objective optical system changes finely, for example, the observation range at the time of the indication of the freeze angle of view can be stably viewed.
  • the image processing unit 23 creates a superimposed image in response to the position information being acquired by the position detection device 5
  • the field angle display information can be displayed in real time. It is also possible to store in advance a superimposed image for displaying the cumulative angle of view.
  • the image processing unit 23 Since the image processing unit 23 generates a superimposed image when the superimposed image generation ON is selected by the view angle display button 12b and does not generate a superimposed image when the superimposed image generation OFF is selected, real-time display is performed. Therefore, a superimposed image is generated only when necessary, and the processing load can be reduced when real-time display is unnecessary.
  • the display device 8 displays the superimposed image while the selection instruction is on the superimposed image generation ON, it is possible to observe the view angle display information displayed in real time. Further, even for an operator who does not like to always display the angle-of-view display information in a superimposed manner, the display of the angle-of-view display information can be turned on / off by selecting on / off of the superimposed image generation. It is possible to switch.
  • the observation range can be grasped in a three-dimensional manner.
  • the view angle display information includes a boundary line indicating a view angle range extending from the position of the objective optical system indicated by the position information, the range observed from the position of the objective optical system can be easily set. It becomes possible to grasp.
  • the image processing unit 23 Since the image processing unit 23 creates a cumulative two-dimensional superimposed image in which two-dimensional superimposed images at a plurality of past times are cumulatively superimposed when a cumulative field angle display instruction is input, Thus, it is possible to easily check the completed area and the unobserved area.
  • FIG. 12 shows a second embodiment of the present invention, and is a flowchart showing an automatic superimposed image display process in the endoscope system 1.
  • the same parts as those in the first embodiment are denoted by the same reference numerals and the description thereof is omitted as appropriate, and only different points will be mainly described.
  • the display of the superimposed image that is, the display of the view angle display information is performed according to the button operation from the operator, but this embodiment is performed by automatic processing. ing.
  • step S11 when the processing shown in FIG. 12 is started, it is determined whether or not the objective optical system is present in a predetermined region, specifically in the small kidney cup 45 (step S11).
  • step S12 when it is determined that it exists in the predetermined area, it is determined whether or not the duration time existing in the predetermined area is equal to or longer than the first threshold (step S12).
  • step S13 if it is determined that the threshold value is equal to or greater than the first threshold value, the automatic superimposed image display is turned on (step S13). If it is determined that the threshold value is less than the first threshold value, the process proceeds to step S13. The process returns to the determination in step S11 without performing the process.
  • the automatic superimposed image display is turned on in step S13, the process of creating and displaying the superimposed image as described in the first embodiment in real time is performed.
  • step S11 If it is determined in step S11 that the objective optical system does not exist within the predetermined area, it is determined whether or not the automatic superimposed image display is currently on (step S14).
  • step S15 if it is determined that the automatic superimposed image display is on, it is determined whether or not the duration that does not exist in the predetermined area is equal to or greater than the second threshold (step S15).
  • step S16 If it is determined that the threshold value is greater than or equal to the second threshold, the automatic superimposed image display is turned off (step S16), and the automatic superimposed image display is determined to be off in step S14. If it is determined in step S15 that it is less than the second threshold, the process returns to step S11.
  • the same effect as that of the first embodiment described above can be obtained, and the superimposed image can be displayed when the duration time during which the objective optical system is present in the predetermined region is equal to or greater than the first threshold value. Since it is automatically created, when observing a specific region such as the small renal cup 45, it is possible to grasp the range to be observed without requiring manual operation.
  • the angle of view is near the entrance of a specific area such as the small kidney cup 45. It is possible to prevent the display on / off of the display information from being unstablely switched, and to perform observation while viewing a stable display screen.
  • the display of the superimposed image is turned off. It is possible to move the insertion position while observing a screen on which no information is displayed.
  • the endoscope system may be an operation method of the endoscope system that operates the endoscope system as described above, or a program for causing a computer to execute the operation method. It may be a non-temporary recording medium that can be read by a computer that records the program.
  • the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage.
  • various aspects of the invention can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, you may delete some components from all the components shown by embodiment.
  • the constituent elements over different embodiments may be appropriately combined.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

　予め取得した被検体画像を記憶する第１の記憶部（２１）と、被検体画像から３次元画像を構築して管腔臓器画像を抽出する管腔臓器抽出部（２２）と、取得された対物光学系の位置を管腔臓器画像に位置合わせする位置合わせ部（２６）と、対物光学系を含む撮像系によって撮像された撮像画像に係る画角表示を生成する画角表示情報生成部（２７）と、所定の管腔臓器画像における位置合わせされた位置に画角表示を重畳した重畳画像を作成する画像処理部（２３）と、を備える内視鏡システム。

Description

内視鏡システム、内視鏡システムの作動方法
　本発明は、構築した３次元画像情報内の管腔臓器画像情報を参考に管腔臓器を観察し得る内視鏡システム、内視鏡システムの作動方法に関する。
　内視鏡装置は、例えば、体腔内臓器の観察や必要に応じて処置具を用いて治療処置を行う医療用内視鏡として、広く用いられている。このような内視鏡装置で観察や治療処置を行う場合、内視鏡の挿入部を管腔内に挿入していき、挿入部の先端部を病変部等の目的地に早くかつ正確に到達させる必要がある。
　そこで、内視鏡の挿入部を目的地まで到達させるために、ナビゲーション画像を表示して案内を行うナビゲーション技術が従来より提案されている。
　例えば、日本国特開２０１２－１１０５４９号公報には、仮想内視鏡画像と実内視鏡画像との視点位置の対応関係を、例えば観察経路の端点からの距離に基づいて特定し、仮想内視鏡画像と実内視鏡画像とを、並べる、あるいは中心位置が重なるように重畳する、等で同時に表示する技術が記載されている。
　また、日本国特開２０１１－２１２２４４号公報には、仮想内視鏡の視点、中心視線ベクトル、画角を、注目構造物の位置を考慮しながら、内視鏡位置、中心視線ベクトル、および内視鏡の画角に基づいて決定し、３次元医用画像から仮想内視鏡画像を生成する技術が記載されている。
　従来のナビゲーションシステムでは、視点となる内視鏡先端が所望の位置へ挿入されたか否かを判断することができ、このときには視点の位置だけでなく視点からの視線方向をナビゲーション画像から判断することも可能であった。
　ところで、体腔内臓器の中には、気管支や腎臓などの、複数に分岐した管腔を有する管腔臓器がある。
　これらの内の例えば腎臓では結石が生じることがあり、こうした結石を取り除く処置が、内視鏡の先端から突出する処置具等を用いて、腎盂、腎杯内を内視鏡で観察しながら行われている。
　具体的に、結石は、まず破砕されて細分化される。このときに、破砕後の残石の有無を確認するために、腎盂、腎杯内を内視鏡でくまなく観察することが望まれる。
　しかしながら、腎盂尿管用の内視鏡は細径であるために、対物光学系に対する構造上の制約が大きく、広い視野角の対物光学系を採用することは技術的に難易度が高い。さらに、観察は、例えば生理食塩水中で行われ、生理食塩水の屈折率は空気よりも大きいために、空気中で観察する場合に比べて視野角がより狭くなってしまう。従って、ある位置に内視鏡先端があるからといって、その位置よりも先端側が全て観察されるとは限らない。
　加えて、腎杯は、入口が狭く奥が広い円錐状をなしている場合が多いために、内視鏡先端が小腎杯に入って正面に当たる円錐の底面部分を観察することができたからといって、側面部分の全てを観察したことにはならず、つまり腎杯内の表面粘膜の全てを観察したとは言い切れない。
　そして、管腔臓器の俯瞰画像上に視点位置や視線方向が表示されたとしても、俯瞰画像における観察範囲を術者が直感的に把握することは困難であった。
　また、カルテ等に載せるために記録写真を撮像した場合にも、従来のナビゲーションシステムでは、記録写真の撮像範囲を容易に把握することは困難であった。
　本発明は上記事情に鑑みてなされたものであり、管腔臓器における観察範囲を分かり易く提示することができる内視鏡システム、内視鏡システムの作動方法を提供することを目的としている。
　本発明のある態様による内視鏡システムは、３次元画像情報を構築するための、予め取得した被検体に関する画像情報を記憶する第１の記憶部と、前記画像情報から前記３次元画像情報を構築して当該３次元画像情報内に存在する所定の管腔臓器画像情報を抽出する管腔臓器抽出部と、前記被検体内の光学像を結像する対物光学系の位置情報を取得する位置情報取得部と、前記所定の管腔臓器画像情報に対して、前記位置情報取得部で取得された位置情報を位置合わせする位置合わせ部と、前記対物光学系を含む撮像系によって撮像された撮像画像の画角情報を示す画角表示情報を生成する画角表示情報生成部と、前記所定の管腔臓器画像情報における前記位置合わせ部によって位置合わせされた前記位置情報で示される位置に、前記画角表示情報を重畳した重畳画像を作成する画像処理部と、を具備する。
　本発明のある態様による内視鏡システムの作動方法は、第１の記憶部と、管腔臓器抽出部と、位置情報取得部と、位置合わせ部と、画角表示情報生成部と、画像処理部と、を具備する内視鏡システムの作動方法であって、前記第１の記憶部が、３次元画像情報を構築するための、予め取得した被検体に関する画像情報を記憶し、前記管腔臓器抽出部が、前記画像情報から前記３次元画像情報を構築して当該３次元画像情報内に存在する所定の管腔臓器画像情報を抽出し、前記位置情報取得部が、前記被検体内の光学像を結像する対物光学系の位置情報を取得し、前記位置合わせ部が、前記所定の管腔臓器画像情報に対して、前記位置情報取得部で取得された位置情報を位置合わせし、前記画角表示情報生成部が、前記対物光学系を含む撮像系によって撮像された撮像画像の画角情報を示す画角表示情報を生成し、前記画像処理部が、前記所定の管腔臓器画像情報における前記位置合わせ部によって位置合わせされた前記位置情報で示される位置に、前記画角表示情報を重畳した重畳画像を作成する。
本発明の実施形態１における内視鏡システムの構成を示す図。 上記実施形態１の画像処理装置の構成を示すブロック図。 上記実施形態１における内視鏡システムの作用を示すフローチャート。 上記実施形態１における表示装置の表示画面の表示例を示す図。 上記実施形態１において、画角表示情報が重畳された俯瞰画像の一例を示す図。 上記実施形態１において、俯瞰画像に画角表示情報と共に観察可能／不能マークを付した例を示す図。 上記実施形態１において、画角表示情報が重畳された俯瞰画像の他の例を示す図。 上記実施形態１において、異なる複数方向から見た複数の俯瞰画像に画角表示情報を表示する例を示す図。 上記実施形態１において、フリーズ画角表示ボタンが操作されたときに表示される画角表示情報の例を示す図。 上記実施形態１において、累積画角表示ボタンが操作されたときに俯瞰画像に表示される画角表示情報の例を示す図。 上記実施形態１において、累積画角表示ボタンが操作されたときに異なる方向から見た俯瞰画像に表示される画角表示情報の例を示す図。 本発明の実施形態２の内視鏡システムにおける自動重畳画像表示処理を示すフローチャート。
　以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
　図１から図１１は本発明の実施形態１を示したものであり、図１は内視鏡システム１の構成を示す図である。
　図１に示すように、内視鏡システム１は、内視鏡２とカメラコントロールユニット（ＣＣＵ）３とを有する内視鏡装置４と、位置検出装置５と、サーバ６と、画像処理装置７と、表示装置８と、を備えている。
　内視鏡２は、被検体内に挿入される可撓性を有する細長の挿入部１１と、この挿入部１１の基端部に連設された操作部１２と、この操作部１２の側面から延設されたケーブル１３と、を備えている。
　操作部１２には、記録用の撮像画像を取得するための撮像指示データを発生させる（撮像指示が入力される）撮像指示部であるレリーズボタン１２ａと、被検体を観察している画像の画角を表示するための画角表示指示データを発生させる（画角表示指示が入力される）画角表示ボタン１２ｂと、有効期間中は操作された時点の画角を表示するためのフリーズ画角表示指示データを発生させる（フリーズ画角表示指示が入力される）取得指示部たるフリーズ画角表示ボタン１２ｃと、過去の画角表示情報を累積して表示するための累積画角表示指示データを発生させる（累積画角表示指示が入力される）累積表示指示部たる累積画角表示ボタン１２ｄと、が設けられている。ここに、画角表示ボタン１２ｂは、重畳画像生成オン／オフを選択するための選択指示が入力される重畳画像選択指示部となっている。
　なお、上述したような各ボタン１２ａ～１２ｄは、内視鏡２の操作部１２に設けるに限るものではなく、例えばフットスイッチとして設けても良いし、その他の構成のスイッチ等として設けても構わない。
　挿入部１１の先端部には、被検体内を撮像するための撮像系１０が設けられている。この撮像系１０は、具体的には、被検体内の光学像を結像する対物光学系と、この対物光学系により結像された光学像を光電変換して撮像信号を生成するＣＣＤ等の撮像素子と、を備えている。内視鏡２は、ケーブル１３を介してＣＣＵ３に接続されていて、撮像系１０で撮像された撮像信号はＣＣＵ３へ送信される。
　ＣＣＵ３は、内視鏡２から送信された撮像信号に所定の画像処理を施して、内視鏡画像データを生成する。また、ＣＣＵ３は、接続された内視鏡２の型番等や内視鏡装置４の動作状態などに基づいて、画角情報を含む内視鏡仕様データを生成する。ここに、例えばＣＣＵ３の画像処理により電子ズームが行われる場合には観察画像の画角範囲が変化し、また、内視鏡２がズーム可能な対物光学系を備えている場合にも画角範囲が変化することになるために、画角情報は送信に際してのリアルタイムデータが用いられる。
　また、挿入部１１の先端部から基端部には、所定の間隔で図示しない複数の受信コイルが設けられている。これら複数の受信コイルは、位置検出装置５が発生する磁界に応じて、電気信号をそれぞれ出力する。内視鏡２は、ケーブル１４を介して位置検出装置５に接続されており、受信コイルから出力された各電気信号は位置検出装置５へ送信される。
　位置情報取得部としての位置検出装置５は、複数の受信コイルの内の、挿入部１１の先端部に設けられた受信コイルからの電気信号に基づき、挿入部１１の先端、より具体的には撮像系１０における対物光学系（あるいは、視点ということもできる）の位置情報（この位置情報は、対物光学系の３次元位置および対物光学系の光軸方向の各情報を含む）を演算して取得する。この位置検出装置５による位置情報の取得は、例えば、一定の時間間隔毎に繰り返して行われる。
　そして、位置検出装置５は、上述した複数の受信コイルからの電気信号に基づいて、挿入部１１の挿入形状を示す挿入形状データを演算して取得する。なお、ここでは受信コイルを利用して湾曲形状データを取得するようにしたが、これに限らず、例えばＦＢＧ（ファイバブラッググレーティング：Fiber Bragg Grating）センサ等を用いて湾曲形状データを取得するようにしても構わない。
　上述したＣＣＵ３、位置検出装置５、およびサーバ６は、画像処理装置７に接続されている。これらの内のサーバ６は、例えば、院内のＬＡＮ等の通信回線を介して、画像処理装置７に接続されている。
　ＣＣＵ３は、内視鏡画像データと、内視鏡仕様データと、上述した撮像指示データ、画角表示指示データ、フリーズ画角表示指示データ、累積画角表示指示データ、等の各指示データと、を画像処理装置７へ送信する。
　位置検出装置５は、対物光学系の位置情報（位置および方向データ）と、挿入部１１の挿入形状データと、を画像処理装置７へ送信する。
　一方、サーバ６は、例えば、この内視鏡システム１による検査を行う前にＣＴ、ＭＲＩ、あるいはＰＥＴ等により予め取得されている術前マルチスライス画像データ１６ａ～１６ｎを格納している。そして、サーバ６は、これらの術前マルチスライス画像データ１６ａ～１６ｎを画像処理装置７へ送信する。なお、ここでは画像処理装置７は、サーバ６から術前マルチスライス画像データ１６ａ～１６ｎを読み込んだが、これに代えて、術前マルチスライス画像データ１６ａ～１６ｎを記憶させたＣＤ－ＲＯＭ等の可搬な記録媒体から読み込むようにしても構わないことは勿論である。
　画像処理装置７は、ＣＣＵ３、位置検出装置５、およびサーバ６から取り込んだ各データに基づいて、後述する処理を行って画像データを作成する。
　画像処理装置７は表示装置８と接続されていて、表示装置８は、画像処理装置７により作成された画像データを受信して表示する。この表示装置８は、後述するように画像処理装置７により作成される重畳画像を表示する表示部となっている。
　次に、図２は、画像処理装置７の構成を示すブロック図である。
　画像処理装置７は、第１の記憶部２１と、管腔臓器抽出部２２と、画像処理部２３と、第２の記憶部２４と、を備えている。
　第１の記憶部２１は、３次元画像情報を構築するための、予め取得した被検体に関する画像情報である術前マルチスライス画像データ１６ａ～１６ｎを記憶する。
　管腔臓器抽出部２２は、第１の記憶部２１に記憶されている画像情報を読み出して３次元画像情報を構築し、さらに、３次元画像情報内に存在する所定の管腔臓器画像情報を抽出する。ここでは、抽出する管腔臓器画像情報は、腎臓の管腔構造を示す画像情報であるものとする。このとき、管腔臓器抽出部２２は、管腔臓器４１として、例えば尿管４２、腎盂４３、大腎杯４４、小腎杯４５、腎乳頭４６（あるいはさらに必要に応じて膀胱や尿道）を含む所定の管腔臓器を抽出する（図４参照）。
　画像処理部２３は、位置合わせ部２６と、画角表示情報生成部２７と、重畳画像作成部２８と、画像読出部２９と、を備えている。
　位置合わせ部２６は、管腔臓器抽出部２２により抽出された３次元画像情報としての所定の管腔臓器画像情報に対して、位置検出装置５で取得された位置情報（対物光学系の位置情報を含む）を位置合わせする。この位置合わせ部２６による位置合わせは、例えば、位置検出装置５で取得される実空間座標から、３次元画像情報が構築される３次元画像座標への変換式の算出により行われる。
　なお、位置合わせの方法は、上述した変換式を用いる方法に限るものでなく、例えば、日本国特開２００５－３１２７７０号公報に開示されているような、患者の体表の特徴点の位置検出と３次元画像データ上での特徴点指定とに基づく位置合わせ方法や、日本国特開２００９－２７９２５１号公報に開示されているような、内視鏡画像と仮想内視鏡画像とのマッチングによる位置合わせ方法などを採用しても構わない。
　画角表示情報生成部２７は、ＣＣＵ３から受信した内視鏡仕様データ中の画角情報に基づき、対物光学系を含む撮像系１０によって撮像された撮像画像の画角情報を示す画角表示情報を生成する。具体的に、画角表示情報生成部２７が生成する画角表示情報は、一点を起点として延伸する画角範囲を示す境界線を含むものとなっており、具体例としては、扇形、円錐形、四角錐形などが挙げられる。ここに扇形は例えば３次元画像情報から作成された２次元画像情報に重畳するのに適しており、円錐形は３次元画像情報に対して重畳するのに適しており、四角錐形は撮像素子の撮像面の形状（一般的には四角形状）を考慮して３次元画像情報に対して重畳するのに適している。
　画像処理部２３は、画角表示情報における境界線の起点を、位置合わせ部２６により位置合わせされた位置情報で示される対物光学系の位置に設定する。
　画像処理部２３の重畳画像作成部２８は、所定の管腔臓器画像情報における位置合わせ部２６によって位置合わせされた位置情報で示される位置に、画角表示情報生成部２７により生成された画角表示情報を重畳して、重畳画像を作成する。
　この重畳画像作成部２８による重畳画像の作成は、画角表示ボタン１２ｂにより重畳画像生成オンが選択されると、重畳画像生成オフが選択されるまでは、上述したように一定の時間間隔毎に繰り返して行われる位置検出装置５による位置情報の取得に応じて行うことになる。このときに表示装置８は、選択指示が重畳画像生成オンである間は重畳画像を表示する。これにより、画角表示情報がリアルタイムで表示されることになる。また、重畳画像作成部２８は、画角表示ボタン１２ｂにより重畳画像生成オフが選択されると、例えば重畳画像を生成しない（ただし、後述するように第２の記憶部２４に重畳画像を記憶して下記の累積画角表示を行う場合には、画角表示ボタン１２ｂの操作状態に関わらず重畳画像を作成しても構わない）。
　そして、累積画角表示ボタン１２ｄが操作された場合に備えるためには、重畳画像作成部２８は、一定の時間間隔毎に繰り返して行われる位置検出装置５による位置情報の取得に応じて重畳画像の作成を行うことになる。
　一方、フリーズ画角表示ボタン１２ｃが操作された場合には、重畳画像作成部２８は、操作がなされた時点で重畳画像を作成すれば良い。
　また、重畳画像作成部２８による重畳処理は、管腔臓器抽出部２２により抽出された３次元画像情報としての所定の管腔臓器画像情報に対して画角表示情報を重畳する場合と、３次元画像情報としての所定の管腔臓器画像情報から２次元画像情報としての所定の管腔臓器画像情報を俯瞰画像や切出画像などとして作成してから画角表示情報を重畳する場合と、がある。
　作成された重畳画像が２次元画像である場合には、この２次元重畳画像が表示装置８へ出力する画像データとなるが、作成された重畳画像が３次元画像である場合には、画像処理部２３は、重畳画像から俯瞰画像や切出画像などの２次元重畳画像を作成して表示装置８へ出力する画像データとする。
　第２の記憶部２４は、作成された２次元重畳画像と、位置情報および画角情報（具体的には、サーバ６に記憶されている術前マルチスライス画像データ１６ａ～１６ｎに基づいて２次元重畳画像を作成するためのデータである対物光学系の位置情報（位置および方向データ）および撮像画像の画角情報）と、の少なくとも一方を記憶する。
　ここに、第２の記憶部２４は、カルテ等に載せる記録写真が撮影された位置や方向を後で把握し易くするために、２次元重畳画像と、位置情報および画角情報と、の少なくとも一方の記憶を、撮像系１０によって撮像された撮像画像に関連付けて行うと良い。このとき、関連付けた記憶を行うタイミングに、撮像指示部であるレリーズボタン１２ａから撮像指示が入力されたタイミングを含むようにすると良い。
　画像読出部２９は、第２の記憶部２４から読み出した２次元重畳画像、または、第２の記憶部２４から読み出した位置情報および画角情報に基づき作成された２次元重畳画像を、表示装置８へ表示用に出力するものである。上述した取得指示部であるフリーズ画角表示ボタン１２ｃが発生させるフリーズ画角表示指示データは、第２の記憶部２４から情報を取得するための取得指示となっている。
　従って、画像読出部２９は、取得指示に応じて、取得指示の入力開始時点における２次元重畳画像を第２の記憶部２４から読み出す。
　あるいは、画像読出部２９は、取得指示に応じて、取得指示の入力開始時点における位置情報および画角情報を第２の記憶部２４から読み出して、読み出した位置情報および画角情報に基づき、画像処理部２３に２次元重畳画像を作成させる。
　そして、画像読出部２９は、取得指示が有効である間は、２次元重畳画像を表示用に出力し続ける。これにより、取得指示が有効である期間中は、フリーズ画角表示ボタン１２ｃが操作された時点の画角が表示され続けることになる。
　次に、図３は内視鏡システム１の作用を示すフローチャート、図４は表示装置８の表示画面８ａの表示例を示す図である。
　なお、図４の表示画面８ａに表示される画像は、画像処理装置７で処理された後の最終的な２次元画像データであるが、以下においては、図４中に示す２次元画像データの符号を適宜用いて説明を行う。
　図４に示すように、表示装置８の表示画面８ａには、例えば俯瞰画像３１と、仮想内視鏡画像３２と、内視鏡画像３３と、が表示されている。ここに、俯瞰画像３１は３次元画像データとして構築された管腔臓器を俯瞰したときの、立体的に観察される管腔臓器の２次元画像である。また、仮想内視鏡画像３２は、３次元画像データとして構築された管腔臓器を、対物光学系の視点から観察したときの２次元画像である。そして、内視鏡画像３３は撮像系１０によって撮像された撮像画像である。なお、図４に示す表示例は単なる一例であり、その他の情報を表示する、あるいは幾つかの情報の表示を省略する等を行っても構わない。
　図４に示す俯瞰画像３１には、管腔臓器４１における、尿管４２、腎盂４３、大腎杯４４、小腎杯４５、腎乳頭４６が表示され、さらに、ナビゲーションとしての現在の挿入部１１の挿入形状を示す挿入部画像５１が表示されている。この挿入部画像５１の先端が、現在の対物光学系の位置５０である。図４の俯瞰画像３１に示す例では、現在の対物光学系の位置５０は大腎杯４４内となっている。
　図４に示す内視鏡画像３３は、挿入部１１の対物光学系が大腎杯４４内にあるのに対応して、大腎杯４４から観察される複数の小腎杯４５の開口が表示されている。
　また、仮想内視鏡画像３２は、現在の対物光学系の位置５０から観察されるはずの複数の小腎杯４５の開口が表示されている。
　次に、例えば、腎臓結石を破砕して細分化した後に、結石の破片が残存しているかどうかを検査する際に内視鏡システム１を用いる場合を例に挙げて説明する。このような検査においては、結石の破片の見落としがないように、腎臓の管腔内をくまなく検査することが必要である。
　このときに術者は、まず、従来と同様のナビゲーションを利用して、目的の小腎杯４５まで挿入を行う。そして、目的の小腎杯４５内を内視鏡でくまなく見回す検査を行う。このような検査において、術者が所望のタイミングで操作部１２の画角表示ボタン１２ｂを操作することにより、画角表示が行われる。
　また、画角表示を参照しながら小腎杯４５の観察を行って、１つの小腎杯４５内を全て観察したと術者が判断した場合には、再び従来と同様のナビゲーションを利用して、次の小腎杯４５に移動して観察を行うことになる。この小腎杯４５間の移動に際して、画角表示が不要である場合には、術者は、画角表示ボタン１２ｂを操作して画角表示をオフにすることも可能となっている。
　続いて、図３を参照して、内視鏡システム１の作用の詳細について説明する。
　図３に示す処理を開始すると、管腔臓器抽出部２２が、上述したように術前マルチスライス画像データ１６ａ～１６ｎを読み出して３次元画像情報を構築し、さらに、構築した３次元画像情報内に存在する所定の管腔臓器画像情報を抽出する（ステップＳ１）。
　一方で、位置合わせ部２６は、位置検出装置５から対物光学系の位置情報（位置および方向データ）を取得する（ステップＳ２）。
　そして、位置合わせ部２６は、取得した位置情報で示される実空間座標と、３次元画像情報が構築されている３次元画像座標と、の位置合わせを行う（ステップＳ３）。
　また、画角表示情報生成部２７は、ＣＣＵ３から内視鏡仕様データを取得して、内視鏡仕様データに含まれる画角情報に基づいて、画角範囲を示す境界線を含む画角表示情報を生成する（ステップＳ４）。
　その後、画像処理部２３は、画角表示ボタン１２ｂが操作されてＣＣＵ３から画角表示指示データが入力されたか否かを判定する（ステップＳ５）。
　ここで、画角表示指示データが入力されたと判定された場合には、重畳画像作成部２８が、位置合わせ部２６により位置合わせされた位置情報に基づいて、管腔臓器抽出部２２により抽出された管腔臓器の３次元画像上に、挿入部画像５１および画角表示情報生成部２７により生成された画角表示情報を重畳した重畳画像を作成する（ステップＳ６）。
　一方、画角表示指示データが入力されなかったと判定された場合には、重畳画像作成部２８が、位置合わせ部２６により位置合わせされた位置情報に基づいて、管腔臓器抽出部２２により抽出された管腔臓器の３次元画像上に、挿入部画像５１を重畳した重畳画像を作成する（ステップＳ７）。
　画像処理部２３は、作成された重畳画像から俯瞰画像３１を作成し、仮想内視鏡画像３２や内視鏡画像３３と共に表示用の画像データを構成してから、画像データを表示装置８へ出力する。これにより、表示装置８には重畳画像としての俯瞰画像３１を含む画像が表示される（ステップＳ８）。
　その後、この処理を終了するか否かを判定して（ステップＳ９）、未だ終了しないと判定された場合にはステップＳ２へ戻って上述したような処理を繰り返して行い、終了すると判定された場合にはこの処理を終える。
　図５は、画角表示情報５２が重畳された俯瞰画像３１の一例を示す図である。
　俯瞰画像３１の挿入部画像５１の先端における対物光学系の位置５０を起点として、画角範囲を示す角度の扇形をなす境界線として生成された画角表示情報５２が、対物光学系の光軸方向に合わせた方向を中心として広がるように表示されている。
　このように表示された画角表示情報５２を、内視鏡画像３３や仮想内視鏡画像３２と併用すると、観察される小腎杯４５の開口と、観察されない小腎杯４５の開口と、を判別することができる。すなわち、内視鏡画像３３や仮想内視鏡画像３２に表示されている小腎杯４５の開口は、図４に示す例においては３つであるのに対して、図５に示す俯瞰画像３１においては４つ存在している場合に、１つの小腎杯４５の開口が観察されていないと判別される。
　この判別は、図５に示すような俯瞰画像３１と、内視鏡画像３３または仮想内視鏡画像３２とを見比べることにより術者が行っても良いが、画像処理部２３により判別処理を行って判別結果をナビゲーション情報の１つとして表示等するようにしても構わない。
　図６は俯瞰画像３１に画角表示情報５２と共に観察可能／不能マークを付した例を示す図である。
　すなわち、図６に示すように、俯瞰画像３１における管腔臓器４１の画角表示情報５２により示される範囲内にある小腎杯４５の開口に、例えば、観察可能マーク５３と、観察不能マーク５４と、を表示するようにしても良い。ただし、図６に示す表示は一例であり、その他の表示態様をとっても良いし、表示と共に、あるいは表示に代えて、音声やその他の方法によりナビゲーションを行うようにしても構わない。
　また、図７は、画角表示情報５２が重畳された俯瞰画像３１の他の例を示す図である。
　図５に示した画角表示情報５２は扇形の境界線のみであったが、実際の観察範囲は立体角であるために、この図７に示す例では画角表示情報５５を円錐形の表示情報としている。ただし、撮像素子の撮像面の形状を考慮して例えば四角錐形の表示情報としても良いのは上述した通りである。
　次に、図８は、異なる複数方向から見た複数の俯瞰画像３１，３４に画角表示情報を表示する例を示す図である。
　画像処理部２３は、異なる複数方向から見た複数の２次元重畳画像を作成可能となっている。
　この場合には、表示装置８の表示画面８ａに、内視鏡画像３３と、俯瞰画像３１と、この俯瞰画像３１とは別の角度から見た第２の俯瞰画像３４と、が表示される。なお、この図８に示す例では仮想内視鏡画像３２に代えて第２の俯瞰画像３４を表示しているが、俯瞰画像３１、仮想内視鏡画像３２、および内視鏡画像３３にさらに追加して第２の俯瞰画像３４を表示する等であっても構わない。
　ここに、第２の俯瞰画像３４は、図８において矢印Ａの方向から俯瞰したときの画像となっていて、３次元画像情報として構築された管腔臓器を画像処理部２３が３次元画像座標内で回転させることにより、生成される。
　そして、俯瞰画像３１には図５と同様に所定長さの扇形の境界線で構成される画角表示情報５２が表示され、第２の俯瞰画像３４には矢印Ａの方向から境界線の先端を見たときの形状である例えば円形の画角範囲を示す画角表示情報５２ａが表示される。なお、撮像素子の撮像面の形状を考慮して、この画角表示情報５２ａを例えば四角形としても良いことは上述と同様である。
　こうして、異なる複数方向から見た複数の俯瞰画像３１，３４において画角表示情報５２，５２ａを表示することによっても、観察範囲を立体的に把握することが可能となる。
　続いて、図９は、フリーズ画角表示ボタン１２ｃが操作されたときに表示される画角表示情報の例を示す図である。
　上述したように、画角表示ボタン１２ｂが操作されたときには、現在の対物光学系の位置５０を起点として画角表示情報をリアルタイムに表示するようになっている。
　これに対して、取得指示部であるフリーズ画角表示ボタン１２ｃが操作されたときには、操作された時点の画角表示情報を、フリーズ画角表示指示が有効である間は継続して表示し続けるようになっている。
　すなわち、画像処理部２３にフリーズ画角表示指示データが入力されると、画像読出部２９は、取得指示の入力開始時点における、２次元重畳画像、または、位置情報および画角情報を第２の記憶部２４から読み出す。従って、フリーズ画角表示ボタン１２ｃは、第２の記憶部２４から情報を取得するための取得指示が入力される取得指示部となっている。
　ここで読み出したデータが位置情報および画角情報である場合には、画像処理装置７は、サーバ６から術前マルチスライス画像データ１６ａ～１６ｎを読み出して、第２の記憶部２４から読み出した位置情報および画角情報を位置合わせ部２６により位置合わせした後に、取得指示の入力開始時点における２次元重畳画像を作成する。
　画像読出部２９は、読み出された、または読み出された情報に基づき作成された、取得指示の入力開始時点における２次元重畳画像を、取得指示が有効である間は表示用として表示装置８へ出力し続けるようになっている。
　これにより、図９に示すように、フリーズ画角表示ボタン１２ｃが操作された後に対物光学系の位置５０が変化したとしても、画角表示情報６２は、フリーズ画角表示ボタン１２ｃが操作された時点の対物光学系の位置６１を起点としてフリーズ表示され続けることになる。
　このフリーズ表示は、その後にフリーズ画角表示ボタン１２ｃが操作されてフリーズ画角表示指示が取り消された時点で、画面から消去される。
　次に、図１０は累積画角表示ボタン１２ｄが操作されたときに俯瞰画像に表示される画角表示情報の例を示す図、図１１は累積画角表示ボタン１２ｄが操作されたときに異なる方向から見た俯瞰画像に表示される画角表示情報の例を示す図である。ここに、図１１は、図１０において矢印Ｂの方向から見たときの画像となっている。
　累積表示指示部である累積画角表示ボタン１２ｄが操作され、累積画角表示指示が入力されると、過去の画角表示情報が累積して表示されるようになっている。
　まず、第２の記憶部２４は、過去の複数の時点における、２次元重畳画像と、位置情報および画角情報と、の少なくとも一方を記憶している。なお、累積画角表示をリセットすることも可能であるために、リセット操作が行われた場合には、リセット操作以前の時点で取得された２次元重畳画像、および、リセット操作以前の時点で取得された位置情報および画角情報を消去するようにしても良い。
　そして、画像処理部２３は、累積画角表示指示が入力された場合には、過去の複数の時点における２次元重畳画像を累積的に重畳した累積２次元重畳画像と、過去の複数の時点における位置情報および画角情報と、の少なくとも一方を第２の記憶部２４から読み出す。
　ここで、第２の記憶部２４から読み出したのが、過去の複数の時点における位置情報および画角情報である場合には、画像処理装置７は、サーバ６から術前マルチスライス画像データ１６ａ～１６ｎを読み出して、第２の記憶部２４から読み出した過去の複数の時点における位置情報および画角情報を位置合わせ部２６により位置合わせした後に、過去の複数の時点における２次元重畳画像を作成する。
　その後、画像処理部２３は、第２の記憶部２４から読み出した、または、第２の記憶部２４から読み出した位置情報および画角情報に基づき作成された、過去の複数の時点における２次元重畳画像を累積的に重畳して、過去の画角が累積して表示される累積２次元重畳画像を作成する。
　こうして表示装置８には、例えば図１０や図１１に示すような累積２次元重畳画像が表示される。
　まず、図１０および図１１は、小腎杯４５の開口４５ａから、小腎杯４５の内部を観察するときの様子を示している。この例においては、小腎杯４５の内部４５ｂは、開口４５ａよりも広くなっている。
　そして、ハッチングを付して示す累積画角表示情報７１は、小腎杯４５の内部４５ｂにおける観察済みの画角範囲を示している。
　また、画角表示情報５２，５２ａは、現在の対物光学系の位置５０から観察される小腎杯４５の内部４５ｂの範囲を示している。
　一方、領域７２は、小腎杯４５における未観察の領域を示している。
　なお、このような特定の小領域（ここでは小腎杯４５）をくまなく観察しようとしている場合には、特定の小領域を含む領域、つまり図１０において２点鎖線で示すような拡大対象領域７３を拡大して表示するようにすると良い。例えば、累積画角表示ボタン１２ｄが操作されて累積画角表示指示が有効である期間は、拡大対象領域７３を自動的に拡大して表示する等を行うようにしても良い。
　このような実施形態１によれば、管腔臓器画像における位置合わせ部２６によって位置合わせされた位置に画角表示情報を重畳した重畳画像を作成するようにしたために、管腔臓器における観察範囲を分かり易く提示することが可能となる。
　また、２次元重畳画像と、位置情報および画角情報と、の少なくとも一方を記憶する第２の記憶部２４を設けたために、ある時点における観察範囲を、後の時点で確認することが可能となる。特に、位置情報および画角情報を記憶する場合には、２次元重畳画像を記憶する場合に比して、記憶容量を削減することが可能となる。
　さらに、第２の記憶部２４による２次元重畳画像と、位置情報および画角情報と、の少なくとも一方の記憶を、撮像系１０によって撮像された撮像画像に関連付けて行うようにしたために、カルテ等に載せるための記録写真として撮像画像を撮像した場合に、関連付けられた２次元重畳画像、もしくは関連付けられた位置情報および画角情報から作成される２次元重畳画像を参照すれば、記録写真の撮像範囲を容易に把握することが可能となる。
　このとき、第２の記憶部２４による２次元重畳画像と、位置情報および画角情報と、の少なくとも一方の撮像画像に関連付けた記憶を、撮像指示部から撮像指示が入力された場合に行うようにすれば（つまり、関連付けた記憶を行うタイミングに、撮像指示部であるレリーズボタン１２ａから撮像指示が入力されたタイミングを含むようにすれば）、撮像画像が取得された時点の撮像範囲を確実に把握することが可能となる。
　そして、画像読出部２９が、取得指示に応じて第２の記憶部２４から読み出した取得指示の入力開始時点における２次元重畳画像、または、取得指示に応じて第２の記憶部２４から読み出した取得指示の入力開始時点における位置情報および画角情報に基づき作成された２次元重畳画像を、取得指示が有効である間は表示用に出力し続けるようにしたために、フリーズ画角表示指示がなされた時点の観察範囲を、フリーズ表示が有効である期間中、継続して見ることが可能となる。これにより、現在の対物光学系の位置５０が例えば細かく変化したとしても、フリーズ画角表示指示時点の観察範囲を、安定して見ることができる。
　加えて、位置検出装置５により位置情報が取得されることに応じて画像処理部２３が重畳画像を作成するようにした場合には、画角表示情報をリアルタイムで表示することが可能となる。また、累積画角表示を行うための重畳画像を予め蓄積しておくことも可能となる。
　画像処理部２３が、画角表示ボタン１２ｂにより重畳画像生成オンが選択された場合に重畳画像を生成し、重畳画像生成オフが選択された場合に重畳画像を生成しないようにしたために、リアルタイム表示が必要な場合にのみ重畳画像が生成され、リアルタイム表示が不要な場合に処理負荷を軽減することが可能となる。
　そして、選択指示が重畳画像生成オンである間は表示装置８が重畳画像を表示するようにした場合には、リアルタイムで表示される画角表示情報を観察することが可能となる。また、画角表示情報が常に重畳して表示されるのを好まない術者の場合にも、重畳画像生成オン／オフを選択することにより、画角表示情報の表示のオン／オフを所望に切り替えることが可能となる。
　また、図８に示したような、異なる複数方向から見た複数の２次元重畳画像を作成して表示する場合には、観察範囲を立体的に把握することが可能となる。
　さらに、画角表示情報が、位置情報で示される対物光学系の位置を起点として延伸する画角範囲を示す境界線を含むようにしたために、対物光学系の位置から観察される範囲を容易に把握することが可能となる。
　画像処理部２３が、累積画角表示指示が入力された場合に、過去の複数の時点における２次元重畳画像を累積的に重畳した累積２次元重畳画像を作成するようにしたために、過去に観察済みの領域と、まだ未観察の領域とを容易に確認することが可能となる。
［実施形態２］
　図１２は本発明の実施形態２を示したものであり、内視鏡システム１における自動重畳画像表示処理を示すフローチャートである。この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
　上述した実施形態１においては、重畳画像の表示、つまり画角表示情報の表示を術者からのボタン操作に応じて行っていたが、本実施形態は、自動処理により行うようにしたものとなっている。
　すなわち、図１２に示す処理を開始すると、対物光学系が所定領域内、具体例を挙げれば小腎杯４５内に存在するか否かを判定する（ステップＳ１１）。
　ここで、所定領域内に存在すると判定された場合には、所定領域に存在する継続時間が第１の閾値以上であるか否かを判定する（ステップＳ１２）。
　ここで、第１の閾値以上であると判定された場合には、自動重畳画像表示をオンしてから（ステップＳ１３）、また第１の閾値未満であると判定された場合にはステップＳ１３の処理を行うことなく、ステップＳ１１の判定へ戻る。ここに、ステップＳ１３において自動重畳画像表示がオンになると、上述した実施形態１において説明したような重畳画像をリアルタイムで作成して表示する処理が行われる。
　また、ステップＳ１１において、対物光学系が所定領域内に存在しないと判定された場合には、現在、自動重畳画像表示がオンであるか否かを判定する（ステップＳ１４）。
　ここで自動重畳画像表示がオンであると判定された場合には、所定領域に存在しない継続時間が第２の閾値以上であるか否かを判定する（ステップＳ１５）。
　ここで第２の閾値以上であると判定された場合には、自動重畳画像表示をオフしてから（ステップＳ１６）、また、ステップＳ１４において自動重畳画像表示がオフであると判定された場合およびステップＳ１５において第２の閾値未満であると判定された場合にはそのまま、ステップＳ１１の処理へ戻る。
　このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、対物光学系が所定領域内に存在する継続時間が第１の閾値以上となった場合に重畳画像を自動的に作成するようにしたために、小腎杯４５等の特定領域を観察する際に、手動操作を行う手間を要することなく、観察される範囲を把握することが可能となる。
　さらに、対物光学系が所定領域内に存在しない継続時間が第２の閾値未満である間は重畳画像を自動的に作成し続けるために、小腎杯４５等の特定領域の入口付近で画角表示情報の表示オン／オフが不安定に切り替わるのを防止して、安定した表示画面を見ながら観察を行うことができる。
　そして、対物光学系が所定領域内に存在しない継続時間が第２の閾値以上になった場合には重畳画像の表示がオフになるために、手動操作を行う手間を要することなく、画角表示情報が表示されていない画面を観察しながら挿入位置の移動等を行うことが可能となる。
　なお、上述では主として内視鏡システムについて説明したが、内視鏡システムを上述したように作動させる内視鏡システムの作動方法であっても良いし、コンピュータに該作動方法を実行させるためのプログラム、該プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。
　また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
　本出願は、２０１４年６月１０日に日本国に出願された特願２０１４－１１９７５４号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (13)

  1. 　３次元画像情報を構築するための、予め取得した被検体に関する画像情報を記憶する第１の記憶部と、
    　前記画像情報から前記３次元画像情報を構築して当該３次元画像情報内に存在する所定の管腔臓器画像情報を抽出する管腔臓器抽出部と、
    　前記被検体内の光学像を結像する対物光学系の位置情報を取得する位置情報取得部と、
    　前記所定の管腔臓器画像情報に対して、前記位置情報取得部で取得された位置情報を位置合わせする位置合わせ部と、
    　前記対物光学系を含む撮像系によって撮像された撮像画像の画角情報を示す画角表示情報を生成する画角表示情報生成部と、
    　前記所定の管腔臓器画像情報における前記位置合わせ部によって位置合わせされた前記位置情報で示される位置に、前記画角表示情報を重畳した重畳画像を作成する画像処理部と、
    　を具備することを特徴とする内視鏡システム。
  2. 　前記画像処理部は、さらに、前記重畳画像から２次元重畳画像を作成可能であり、
    　前記２次元重畳画像と、前記位置情報および前記画角情報と、の少なくとも一方を記憶する第２の記憶部をさらに具備することを特徴とする請求項１に記載の内視鏡システム。
  3. 　前記第２の記憶部は、前記２次元重畳画像と、前記位置情報および前記画角情報と、の少なくとも一方を、前記撮像画像に関連付けて記憶することを特徴とする請求項２に記載の内視鏡システム。
  4. 　前記撮像画像を取得するための撮像指示が入力される撮像指示部をさらに具備し、
    　前記第２の記憶部は、前記撮像指示部から前記撮像指示が入力された場合に、前記２次元重畳画像と、前記位置情報および前記画角情報と、の少なくとも一方を、前記撮像画像に関連付けて記憶することを特徴とする請求項３に記載の内視鏡システム。
  5. 　前記第２の記憶部から情報を取得するための取得指示が入力される取得指示部と、
    　前記取得指示に応じて前記第２の記憶部から読み出した該取得指示の入力開始時点における前記２次元重畳画像、または、前記取得指示に応じて前記第２の記憶部から読み出した該取得指示の入力開始時点における前記位置情報および前記画角情報に基づき作成された２次元重畳画像を、該取得指示が有効である間は表示用に出力し続ける画像読出部と、
    　をさらに具備することを特徴とする請求項２に記載の内視鏡システム。
  6. 　前記画像処理部は、前記位置情報取得部により前記位置情報が取得されることに応じて前記重畳画像を作成することを特徴とする請求項１に記載の内視鏡システム。
  7. 　重畳画像生成オン／オフを選択するための選択指示が入力される重畳画像選択指示部をさらに具備し、
    　前記画像処理部は、前記選択指示が重畳画像生成オンであるときには前記重畳画像を生成し、前記選択指示が重畳画像生成オフであるときには前記重畳画像を生成しないことを特徴とする請求項１に記載の内視鏡システム。
  8. 　前記重畳画像を表示する表示部をさらに具備し、
    　前記表示部は、前記選択指示が重畳画像生成オンである間は前記重畳画像を表示することを特徴とする請求項７に記載の内視鏡システム。
  9. 　前記画像処理部は、さらに、前記重畳画像から、異なる複数方向から見た複数の２次元重畳画像を作成することを特徴とする請求項１に記載の内視鏡システム。
  10. 　前記画角表示情報は、前記位置情報で示される前記対物光学系の位置を起点として延伸する画角範囲を示す境界線を含むことを特徴とする請求項１に記載の内視鏡システム。
  11. 　過去の画角表示情報を累積して表示するための累積画角表示指示が入力される累積表示指示部をさらに具備し、
    　前記第２の記憶部は、過去の複数の時点における、前記２次元重畳画像と、前記位置情報および前記画角情報と、の少なくとも一方を記憶し、
    　前記画像処理部は、さらに、前記累積画角表示指示が入力された場合には、過去の複数の時点における前記２次元重畳画像を累積的に重畳した累積２次元重畳画像と、過去の複数の時点における前記位置情報および前記画角情報に基づき作成された累積２次元重畳画像と、の少なくとも一方を作成することを特徴とする請求項２に記載の内視鏡システム。
  12. 　前記画像処理部は、前記位置情報に基づき前記対物光学系が所定領域内に存在すると判定される継続時間が第１の閾値以上となった場合には、その後に該所定領域内に存在しないと判定される継続時間が第２の閾値以上になるまでは、重畳画像を自動的に作成することを特徴とする請求項１に記載の内視鏡システム。
  13. 　第１の記憶部と、管腔臓器抽出部と、位置情報取得部と、位置合わせ部と、画角表示情報生成部と、画像処理部と、を具備する内視鏡システムの作動方法であって、
    　前記第１の記憶部が、３次元画像情報を構築するための、予め取得した被検体に関する画像情報を記憶し、
    　前記管腔臓器抽出部が、前記画像情報から前記３次元画像情報を構築して当該３次元画像情報内に存在する所定の管腔臓器画像情報を抽出し、
    　前記位置情報取得部が、前記被検体内の光学像を結像する対物光学系の位置情報を取得し、
    　前記位置合わせ部が、前記所定の管腔臓器画像情報に対して、前記位置情報取得部で取得された位置情報を位置合わせし、
    　前記画角表示情報生成部が、前記対物光学系を含む撮像系によって撮像された撮像画像の画角情報を示す画角表示情報を生成し、
    　前記画像処理部が、前記所定の管腔臓器画像情報における前記位置合わせ部によって位置合わせされた前記位置情報で示される位置に、前記画角表示情報を重畳した重畳画像を作成することを特徴とする内視鏡システムの作動方法。
PCT/JP2015/062830 2014-06-10 2015-04-28 内視鏡システム、内視鏡システムの作動方法 WO2015190186A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015562616A JP5945643B2 (ja) 2014-06-10 2015-04-28 内視鏡システム、内視鏡システムの作動方法
EP15806951.8A EP3095377A4 (en) 2014-06-10 2015-04-28 Endoscope system and endoscope system operation method
CN201580009481.5A CN106028903B (zh) 2014-06-10 2015-04-28 内窥镜系统、内窥镜系统的工作方法
US15/244,270 US9918614B2 (en) 2014-06-10 2016-08-23 Endoscope system with angle-of-view display information overlapped on three-dimensional image information

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014119754 2014-06-10
JP2014-119754 2014-06-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/244,270 Continuation US9918614B2 (en) 2014-06-10 2016-08-23 Endoscope system with angle-of-view display information overlapped on three-dimensional image information

Publications (1)

Publication Number Publication Date
WO2015190186A1 true WO2015190186A1 (ja) 2015-12-17

Family

ID=54833291

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/062830 WO2015190186A1 (ja) 2014-06-10 2015-04-28 内視鏡システム、内視鏡システムの作動方法

Country Status (5)

Country Link
US (1) US9918614B2 (ja)
EP (1) EP3095377A4 (ja)
JP (1) JP5945643B2 (ja)
CN (1) CN106028903B (ja)
WO (1) WO2015190186A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023148812A1 (ja) * 2022-02-01 2023-08-10 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6828465B2 (ja) * 2017-01-30 2021-02-10 セイコーエプソン株式会社 内視鏡操作支援システム
CN110944567B (zh) * 2017-08-03 2022-10-11 索尼奥林巴斯医疗解决方案公司 医疗观察装置
WO2019079126A1 (en) * 2017-10-17 2019-04-25 Verily Life Sciences Llc DISPLAYING PREOPERATIVE AND INTRA-OPERATIVE IMAGES
US11660057B2 (en) * 2019-07-10 2023-05-30 Stryker Corporation Systems and methods for persistent ureter visualization
CN114785948B (zh) * 2022-04-14 2023-12-26 常州联影智融医疗科技有限公司 内窥镜调焦方法、装置、内镜图像处理器及可读存储介质
CN116211260B (zh) * 2023-05-09 2023-07-21 西南医科大学附属医院 一种基于变焦扫描的肾结石形态三维成像系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003225195A (ja) * 2002-02-01 2003-08-12 Pentax Corp 可撓性内視鏡のモニター装置
JP2011212244A (ja) * 2010-03-31 2011-10-27 Fujifilm Corp 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム
WO2012176854A1 (ja) * 2011-06-23 2012-12-27 株式会社 東芝 医用画像処理装置及び医用画像診断装置
JP2013085593A (ja) * 2011-10-14 2013-05-13 Toshiba Corp 医用画像表示装置
JP2013202313A (ja) * 2012-03-29 2013-10-07 Panasonic Corp 手術支援装置および手術支援プログラム
WO2015029970A1 (ja) * 2013-08-28 2015-03-05 オリンパスメディカルシステムズ株式会社 カプセル型内視鏡システム
WO2015049962A1 (ja) * 2013-10-02 2015-04-09 オリンパスメディカルシステムズ株式会社 内視鏡システム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6281193A (ja) * 1985-10-03 1987-04-14 Toshiba Corp 内視鏡装置
DE10246355A1 (de) * 2002-10-04 2004-04-15 Rust, Georg-Friedemann, Dr. Interaktive virtuelle Endoskopie
US7381183B2 (en) * 2003-04-21 2008-06-03 Karl Storz Development Corp. Method for capturing and displaying endoscopic maps
JP4537756B2 (ja) 2004-04-30 2010-09-08 オリンパス株式会社 超音波診断装置
JP2006167123A (ja) * 2004-12-15 2006-06-29 Olympus Corp 画像処理装置および内視鏡装置
JP2006198031A (ja) * 2005-01-18 2006-08-03 Olympus Corp 手術支援システム
US7967742B2 (en) * 2005-02-14 2011-06-28 Karl Storz Imaging, Inc. Method for using variable direction of view endoscopy in conjunction with image guided surgical systems
US9289267B2 (en) * 2005-06-14 2016-03-22 Siemens Medical Solutions Usa, Inc. Method and apparatus for minimally invasive surgery using endoscopes
EP2110067B1 (en) * 2007-02-05 2014-04-02 Olympus Medical Systems Corp. Display device and in-vivo information acquisition system using the same
US8527032B2 (en) * 2007-05-16 2013-09-03 General Electric Company Imaging system and method of delivery of an instrument to an imaged subject
JP5188879B2 (ja) 2008-05-23 2013-04-24 オリンパスメディカルシステムズ株式会社 医療機器
WO2010130056A1 (en) * 2009-05-14 2010-11-18 University Health Network Quantitative endoscopy
JP5369078B2 (ja) 2010-11-26 2013-12-18 富士フイルム株式会社 医用画像処理装置および方法、並びにプログラム
BR112014009129A2 (pt) * 2011-10-20 2017-04-18 Koninklijke Philips Nv sistema e método para exibição holográfica interativa
WO2013132880A1 (ja) * 2012-03-06 2013-09-12 オリンパスメディカルシステムズ株式会社 内視鏡システム
US20130250081A1 (en) * 2012-03-21 2013-09-26 Covidien Lp System and method for determining camera angles by using virtual planes derived from actual images
JP6128796B2 (ja) * 2012-10-25 2017-05-17 オリンパス株式会社 挿入システム、挿入支援装置、挿入支援装置の作動方法及びプログラム
CN104780826B (zh) * 2013-03-12 2016-12-28 奥林巴斯株式会社 内窥镜系统
WO2015031877A2 (en) * 2013-08-30 2015-03-05 Maracaja-Neto Luiz Endo-navigation systems and methods for surgical procedures and cpr
CN106163371B (zh) * 2014-03-31 2018-09-28 奥林巴斯株式会社 内窥镜系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003225195A (ja) * 2002-02-01 2003-08-12 Pentax Corp 可撓性内視鏡のモニター装置
JP2011212244A (ja) * 2010-03-31 2011-10-27 Fujifilm Corp 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム
WO2012176854A1 (ja) * 2011-06-23 2012-12-27 株式会社 東芝 医用画像処理装置及び医用画像診断装置
JP2013085593A (ja) * 2011-10-14 2013-05-13 Toshiba Corp 医用画像表示装置
JP2013202313A (ja) * 2012-03-29 2013-10-07 Panasonic Corp 手術支援装置および手術支援プログラム
WO2015029970A1 (ja) * 2013-08-28 2015-03-05 オリンパスメディカルシステムズ株式会社 カプセル型内視鏡システム
WO2015049962A1 (ja) * 2013-10-02 2015-04-09 オリンパスメディカルシステムズ株式会社 内視鏡システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3095377A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023148812A1 (ja) * 2022-02-01 2023-08-10 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体

Also Published As

Publication number Publication date
EP3095377A1 (en) 2016-11-23
EP3095377A4 (en) 2017-09-13
CN106028903B (zh) 2018-07-24
JPWO2015190186A1 (ja) 2017-04-20
US9918614B2 (en) 2018-03-20
CN106028903A (zh) 2016-10-12
JP5945643B2 (ja) 2016-07-05
US20160353968A1 (en) 2016-12-08

Similar Documents

Publication Publication Date Title
JP5945643B2 (ja) 内視鏡システム、内視鏡システムの作動方法
JP4153963B2 (ja) 内視鏡挿入形状検出装置
JP5378628B1 (ja) 内視鏡システム
JP4698966B2 (ja) 手技支援システム
JP5687811B1 (ja) 内視鏡システム
JP4733243B2 (ja) 生検支援システム
EP2904958A1 (en) Endoscopic system
JP5977900B2 (ja) 画像処理装置
JP3850217B2 (ja) 気管支用内視鏡位置検出装置
JPWO2004010857A1 (ja) 内視鏡装置、内視鏡装置のナビゲーション方法、内視鏡画像の表示方法、及び内視鏡用画像表示プログラム
US20210338044A1 (en) Medical systems and related methods
US10918443B2 (en) Navigation system and operation method of navigation system
US20170188986A1 (en) Medical observation system
JP4445792B2 (ja) 挿入支援システム
KR101492801B1 (ko) Oct 영상과 심장 삼차원 영상의 정합을 통한 심장 수술 내비게이션 시스템 및 방법
JP2005211529A (ja) 手技支援システム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2015562616

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15806951

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2015806951

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015806951

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE