WO2018220930A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2018220930A1
WO2018220930A1 PCT/JP2018/008588 JP2018008588W WO2018220930A1 WO 2018220930 A1 WO2018220930 A1 WO 2018220930A1 JP 2018008588 W JP2018008588 W JP 2018008588W WO 2018220930 A1 WO2018220930 A1 WO 2018220930A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
blood vessel
light
dimensional
Prior art date
Application number
PCT/JP2018/008588
Other languages
English (en)
French (fr)
Inventor
圭 久保
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2018547496A priority Critical patent/JPWO2018220930A1/ja
Publication of WO2018220930A1 publication Critical patent/WO2018220930A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing

Definitions

  • the present invention relates to an image processing apparatus, and more particularly to an image processing apparatus used for endoscopic observation.
  • Japanese Patent Laid-Open No. 2003-265408 discloses that a virtual endoscopic image calculated based on a three-dimensional image (MRI image or CT image) to be inspected is stored in a database and stored in the database.
  • the observation point and the observation posture of the current endoscope tip are determined by comparing the virtual endoscopic image thus obtained and the actual endoscope image to be examined, and the determined endoscope tip A configuration is disclosed in which the observation point and the observation posture are superimposed and displayed on the three-dimensional image to be inspected.
  • Japanese Patent Laid-Open No. 2003-265408 does not particularly disclose a method for presenting information representing the correspondence as described above. Therefore, according to the configuration disclosed in Japanese Patent Application Laid-Open No. 2003-265408, for example, there is a risk that a large-sized blood vessel may be accidentally damaged due to displacement of an organ to be operated on. However, there is a problem that an excessive burden may be imposed on an operator who performs a surgical operation under endoscopic observation.
  • the present invention has been made in view of the above-described circumstances, and an object thereof is to provide an image processing apparatus capable of reducing the burden on an operator who performs a surgical operation under endoscopic observation.
  • An image processing apparatus includes a storage unit in which a three-dimensional blood vessel model constructed to represent a three-dimensional distribution state of blood vessels in a predetermined organ existing in a subject is stored;
  • a blood vessel tomographic image generation unit configured to generate a plurality of blood vessel tomographic images representing a distribution state of blood vessels included on an arbitrary plane in a three-dimensional space in which a three-dimensional blood vessel model is constructed;
  • An image input unit that receives an image obtained by imaging the subject when the subject is irradiated with light that can reach the deep part of the living tissue, and all or generated by the vascular tomographic image generation unit
  • An image matching unit configured to perform a process for identifying a vascular tomographic image having a matching degree higher than a predetermined threshold value among the images input to the image input unit from among some vascular tomographic images; Based on the vascular tomographic image specified by the image verification unit, between the three-dimensional vascular model and the position of the endoscope that can observe the blood vessel included in the
  • FIG. 5 is a diagram for explaining an example of a display image generated by the processor according to the first embodiment.
  • the figure for demonstrating an example of the specific structure of the endoscope system which concerns on 2nd Embodiment The figure for demonstrating an example of the specific structure of the display image generation part provided in the processor which concerns on 2nd Embodiment.
  • (First embodiment) 1 to 7 relate to a first embodiment of the present invention.
  • the endoscope system 1 is inserted into a subject and outputs an image obtained by imaging a subject such as a living tissue in the subject.
  • a predetermined image processing is performed on the endoscope apparatus 2, the light source apparatus 3 configured to supply the light emitted to the subject to the endoscope apparatus 2, and an image output from the endoscope apparatus 2.
  • a processor 4 configured to generate and output a display image and a display device 5 configured to display the display image output from the processor 4 on the screen.
  • Drawing 1 is a figure showing the composition of the important section of the endoscope system concerning an embodiment.
  • the endoscope apparatus 2 includes an optical viewing tube 21 having an elongated insertion portion 6 and a camera unit 22 that can be attached to and detached from the eyepiece portion 7 of the optical viewing tube 21.
  • the optical viewing tube 21 includes an elongated insertion portion 6 that can be inserted into a subject, a gripping portion 8 provided at the proximal end portion of the insertion portion 6, and an eyepiece portion provided at the proximal end portion of the gripping portion 8. 7.
  • FIG. 2 is a diagram for explaining an example of a specific configuration of the endoscope system according to the first embodiment.
  • the exit end of the light guide 11 is disposed in the vicinity of the illumination lens 15 at the distal end of the insertion section 6 as shown in FIG. Further, the incident end portion of the light guide 11 is disposed in a light guide base 12 provided in the grip portion 8.
  • a light guide 13 for transmitting light supplied from the light source device 3 is inserted into the cable 13a.
  • a connection member (not shown) that can be attached to and detached from the light guide base 12 is provided at one end of the cable 13a.
  • a light guide connector 14 that can be attached to and detached from the light source device 3 is provided at the other end of the cable 13a.
  • an illumination lens 15 for emitting the light transmitted by the light guide 11 to the outside
  • an objective lens 17 for obtaining an optical image corresponding to the light incident from the outside. Is provided.
  • An illumination window (not shown) in which the illumination lens 15 is arranged and an observation window (not shown) in which the objective lens 17 is arranged are provided adjacent to each other on the distal end surface of the insertion portion 6. Yes.
  • a relay lens 18 including a plurality of lenses LE for transmitting an optical image obtained by the objective lens 17 to the eyepiece unit 7 is provided inside the insertion unit 6. That is, the relay lens 18 has a function as a transmission optical system that transmits light incident from the objective lens 17.
  • an eyepiece lens 19 is provided inside the eyepiece unit 7 so that the optical image transmitted by the relay lens 18 can be observed with the naked eye.
  • the camera unit 22 includes an image sensor 25 and a signal processing circuit 26.
  • the camera unit 22 is configured to be detachable from the processor 4 via a connector 29 provided at an end of the signal cable 28.
  • the image sensor 25 is configured to include, for example, an image sensor such as a color CCD or color CMOS having sensitivity in the visible range. Further, the image sensor 25 is configured to perform an imaging operation according to an image sensor drive signal output from the processor 4. In addition, the imaging element 25 is configured to capture light emitted through the eyepiece lens 19, generate an image corresponding to the captured light, and output the image to the signal processing circuit 26.
  • an image sensor such as a color CCD or color CMOS having sensitivity in the visible range.
  • the image sensor 25 is configured to perform an imaging operation according to an image sensor drive signal output from the processor 4.
  • the imaging element 25 is configured to capture light emitted through the eyepiece lens 19, generate an image corresponding to the captured light, and output the image to the signal processing circuit 26.
  • the signal processing circuit 26 is configured to perform predetermined signal processing such as correlated double sampling processing, gain adjustment processing, and A / D conversion processing on the image output from the image sensor 25. ing. Further, the signal processing circuit 26 is configured to output the image subjected to the predetermined signal processing described above to the processor 4 to which the signal cable 28 is connected.
  • predetermined signal processing such as correlated double sampling processing, gain adjustment processing, and A / D conversion processing
  • the light source device 3 includes a light emitting unit 31, a multiplexer 32, a condenser lens 33, and a light source control unit 34.
  • the light emitting unit 31 includes a blue LED 311, a green LED 312, a red LED 313, and an amber LED 314.
  • the blue LED 311 is configured to emit B light which is light (narrow band) having intensity in the blue region. Specifically, the blue LED 311 is configured to emit B light having a center wavelength set to around 460 nm and a bandwidth set to about 20 nm, for example. Further, the blue LED 311 is configured to be switched between a lighting state and a light-off state according to the control of the light source control unit 34. Further, the blue LED 311 is configured to generate B light having an intensity according to the control of the light source control unit 34 in the lighting state. Note that the center wavelength of the B light may be set to a wavelength different from 460 nm as long as it is set in the blue region. In addition, the bandwidth of the B light may be set to a predetermined bandwidth corresponding to the center wavelength.
  • the green LED 312 is configured to emit G light which is light (narrow band) having intensity in the green region. Specifically, the green LED 312 is configured to emit G light whose center wavelength is set to around 540 nm and whose bandwidth is set to about 20 nm, for example. Further, the green LED 312 is configured to be switched between a lighting state and a light-off state according to the control of the light source control unit 34. Further, the green LED 312 is configured to generate G light having an intensity according to the control of the light source control unit 34 in the lighting state.
  • the center wavelength of the G light may be set to a wavelength different from 540 nm as long as it is set in the green range. Moreover, the bandwidth of G light should just be set to the predetermined bandwidth according to the center wavelength.
  • the red LED 313 is configured to emit R light which is light (narrow band) having intensity in a red region. Specifically, the red LED 313 is configured to emit R light having a center wavelength set to around 630 nm and a bandwidth set to about 20 nm, for example. Further, the red LED 313 is configured to switch between a lighting state and a light-off state according to the control of the light source control unit 34. Further, the red LED 313 is configured to generate R light having an intensity according to the control of the light source control unit 34 in the lighting state.
  • the center wavelength of the R light may be set to a wavelength different from 630 nm, for example, as long as it is set in the red region. Moreover, the bandwidth of R light should just be set to the predetermined bandwidth according to the center wavelength.
  • the amber LED 314 is configured to emit, for example, A light which is amber light (narrow band) whose center wavelength is set to around 600 nm. That is, the amber LED 314 is configured to emit A light that is light (special light) that can reach a deep blood vessel that is a deep blood vessel and a deep blood vessel that exists in the deep portion of the biological tissue. Further, the amber LED 314 is configured to switch between a lighting state and a light-off state according to the control of the light source control unit 34. Further, the amber LED 314 is configured to generate A light having an intensity according to the control of the light source control unit 34 in the lighting state.
  • a light which is amber light (narrow band) whose center wavelength is set to around 600 nm. That is, the amber LED 314 is configured to emit A light that is light (special light) that can reach a deep blood vessel that is a deep blood vessel and a deep blood vessel that exists in the deep portion of the biological tissue. Further, the amber LED 314 is configured to
  • the multiplexer 32 is configured to be able to multiplex each light emitted from the light emitting unit 31 so as to enter the condenser lens 33.
  • the condenser lens 33 is configured to collect the light incident through the multiplexer 32 and output it to the light guide 13.
  • the light source control unit 34 is configured to control each light source of the light emitting unit 31 based on a system control signal output from the processor 4.
  • the processor 4 has a function as an image processing apparatus.
  • the processor 4 includes an image sensor driving unit 41, an image input unit 42, a display image generation unit 43, an input I / F (interface) 44, and a control unit 45.
  • the image sensor driving unit 41, the image input unit 42, the display image generating unit 43, and the control unit 45 of the processor 4 may be configured as individual electronic circuits. Alternatively, it may be configured as a circuit block in an integrated circuit such as FPGA (Field Programmable Gate Array).
  • the processor 4 may include one or more CPUs.
  • the image sensor drive unit 41 is configured to generate and output an image sensor drive signal for driving the image sensor 25 in accordance with a system control signal output from the control unit 45.
  • the image input unit 42 receives an image obtained by the endoscope apparatus 2 and performs an operation for switching an output destination of the input image according to a system control signal output from the control unit 45. It is configured as follows.
  • the display image generation unit 43 is configured to generate a display image based on the image output from the image input unit 42 and to output the generated display image to the display device 5. Further, for example, as shown in FIG. 3, the display image generation unit 43 includes an endoscope image storage unit 431, a three-dimensional blood vessel model storage unit 432, a blood vessel tomographic image generation unit 433, and an image collation unit 434. The navigation image generating unit 435 and the image synthesizing unit 436 are configured.
  • FIG. 3 is a diagram for explaining an example of a specific configuration of the display image generation unit provided in the processor according to the first embodiment.
  • the endoscope image storage unit 431 is configured to store images output via the image input unit 42 in time series.
  • the three-dimensional blood vessel model storage unit 432 stores a three-dimensional blood vessel model constructed so as to represent a three-dimensional distribution state of blood vessels in a predetermined organ in the subject.
  • the above-described three-dimensional blood vessel model includes, for example, a plurality of tomographic images obtained by three-dimensionally scanning a predetermined organ existing in a subject observed by the endoscope apparatus 2 with X-rays. (CT image) and an anatomical chart that two-dimensionally represents a general blood vessel distribution state in the predetermined organ.
  • FIG. 4 is a diagram illustrating an example of a three-dimensional blood vessel model stored in the processor according to the first embodiment.
  • the vascular tomographic image generation unit 433 reads the three-dimensional vascular model 501 stored in the three-dimensional vascular model storage unit 432, and on an arbitrary plane in the three-dimensional space TDS in which the read three-dimensional vascular model 501 is constructed. Is configured to perform processing for generating a plurality of vascular tomographic images representing the distribution state of the blood vessels included in the.
  • the vascular tomographic image generation unit 433 is a virtual endoscope position that is information that can identify the vascular tomographic image generated as described above and the position of the endoscope that can observe the blood vessel included in the vascular tomographic image. The information is associated with each other and stored in the database 433D.
  • the virtual endoscope position information described above for example, information that can specify the viewpoint of the virtual endoscope that can observe blood vessels included in the blood vessel tomographic image set when the blood vessel tomographic image is generated.
  • the virtual endoscope position information described above includes, for example, information that can specify the posture of the virtual endoscope at the time of generating the vascular tomographic image, the origin (0, 0, 0) of the three-dimensional space TDS, The coordinate (Xv, Yv, Zv) and one or more angles corresponding to the inclination direction of the distal end portion of the virtual endoscope when a straight line passing through the reference axis is included.
  • coordinates (Xv, Yv, Zv) which are information for specifying the viewpoint of the virtual endoscope set in the three-dimensional space TDS, are used as the virtual endoscope position information.
  • the attitude of the virtual endoscope may be calculated separately based on the coordinates (Xv, Yv, Zv).
  • the image collation unit 434 reads the latest image stored in the endoscope image storage unit 431 and applies the latest image from all or some of the vascular tomographic images stored in the database 433D. Image processing for specifying a vascular tomographic image having a matching degree exceeding a predetermined threshold is performed.
  • the image matching unit 434 uses, for example, the degree of coincidence of the second highest blood vessel tomographic image among all or some of the blood vessel tomographic images as a threshold, and the blood vessel tomographic image higher than the threshold, That is, it is configured to perform image matching processing for specifying the one vascular tomographic image having the highest degree of coincidence.
  • the image matching unit 434 acquires virtual endoscope position information associated with one vascular tomographic image obtained as a result of the above-described image matching process, and the acquired virtual endoscope position information Is output to the navigation image generation unit 435.
  • the navigation image generation unit 435 includes the three-dimensional blood vessel model 501 read from the three-dimensional blood vessel model storage unit 432 and the position of the virtual endoscope specified based on the virtual endoscope position information output from the image matching unit 434.
  • a navigation image (to be described later) that expresses the correspondence relationship between and in a predetermined three-dimensional space TDS is generated, and the generated navigation image is output to the image composition unit 436.
  • the navigation image generation unit 435 is configured to change the display state of the navigation image every time the virtual endoscope position information output from the image collation unit 434 is updated.
  • the image composition unit 436 generates a display image by combining the image output from the image input unit 42 and the navigation image output from the navigation image generation unit 435, and displays the generated display image on the display device. 5 is configured to output to 5.
  • the input I / F 44 is configured to include one or more switches and / or buttons capable of giving instructions according to the operation of a user such as an operator.
  • the control unit 45 is configured to generate and output a system control signal for performing an operation in accordance with an instruction given at the input I / F 44.
  • the control unit 45 is configured to generate a system control signal for irradiating the subject with light emitted from the light emitting unit 31 in a time-sharing manner and output the system control signal to the light source control unit 34.
  • the control unit 45 is configured to generate a system control signal for controlling the imaging operation of the imaging device 25 and output the system control signal to the imaging device driving unit 41.
  • the control unit 45 performs an operation related to switching of an output destination of an image obtained by the endoscope apparatus 2 according to an irradiation pattern when the subject is irradiated with light emitted from the light emitting unit 31 in a time division manner.
  • the system control signal is generated and output to the image input unit 42.
  • the display device 5 includes, for example, an LCD (liquid crystal display) and the like, and is configured to display a display image output from the processor 4.
  • LCD liquid crystal display
  • the user After connecting each part of the endoscope system 1 and turning on the power, the user inserts the insertion part 6 into the subject and inserts the desired subject in the lung of the subject at a position where the desired subject can be imaged. 6 is arranged.
  • the control unit 45 When the power of the processor 4 is turned on and the light source device 3 is connected to the processor 4, the control unit 45 has WL light, which is white light mixed with R light, G light, and B light, A light, Are generated and output to the light source control unit 34.
  • the light source control unit 34 controls the blue LED 311, the green LED 312, and the red LED 313 to be turned on while turning off the amber LED 314 and turns on the amber LED 314.
  • the control for turning off the LEDs of the three colors is alternately performed on the light emitting unit 31.
  • WL light and A light are alternately irradiated on the subject, and a white light image WLI obtained by imaging the subject irradiated with the WL light, A deep blood vessel image ALI (see FIG. 5) obtained by imaging the subject irradiated with the A light is output from the endoscope apparatus 2 respectively.
  • the deep blood vessel image ALI is, for example, an image in which a deep blood vessel existing in the subject is relatively dark and a portion other than the deep blood vessel existing in the subject is relatively bright.
  • FIG. 5 is a diagram schematically illustrating a deep blood vessel image acquired by the endoscope system according to the first embodiment.
  • the control unit 45 When the power of the processor 4 is turned on, the control unit 45 outputs the white light image WLI output from the endoscope apparatus 2 in response to the irradiation of the WL light to the image composition unit 436 and the irradiation of the A light. Accordingly, a system control signal for outputting the deep blood vessel image ALI output from the endoscope apparatus 2 to the endoscope image storage unit 431 is generated and output to the image input unit 42.
  • the white light image WLI output from the endoscope apparatus 2 is input to the image composition unit 436 via the image input unit 42 and output from the endoscope apparatus 2.
  • the deep blood vessel image ALI is stored in time series in the endoscope image storage unit 431 via the image input unit 42.
  • the image matching unit 434 reads the latest deep blood vessel image ALI stored in the endoscopic image storage unit 431, and selects the latest blood vessel tomographic image from all or a part of the blood vessel tomographic images stored in the database 433D.
  • the image matching process is performed to identify the one vascular tomographic image BTI having the highest degree of matching with the deep blood vessel image ALI.
  • the image matching unit 434 acquires the virtual endoscope position information VPI associated with the one vascular tomographic image BTI obtained as a result of the above-described image matching process, and also acquires the acquired virtual endoscope.
  • the position information VPI is output to the navigation image generation unit 435.
  • the navigation image generation unit 435 is a position of the virtual endoscope identified based on the 3D blood vessel model 501 read from the 3D blood vessel model storage unit 432 and the virtual endoscope position information VPI output from the image collation unit 434. And a navigation image NGI that expresses the correspondence between the two in a predetermined three-dimensional space TDS. In addition, the navigation image generation unit 435 changes the display state of the navigation image NGI every time the virtual endoscope position information VPI output from the image matching unit 434 is updated.
  • the navigation image generation unit 435 arranges the three-dimensional blood vessel model 501 in a predetermined three-dimensional space TDS and specifies based on the virtual endoscope position information VPI output from the image matching unit 434.
  • a graphic 601 in which the distal end portion of the virtual endoscope is schematically generated is generated, and the graphic 601 is arranged around the three-dimensional blood vessel model 501 to obtain FIG.
  • the navigation image generation unit 435 includes an image including a three-dimensional blood vessel model 501 arranged in a predetermined three-dimensional space TDS and a graphic 601 representing the position of the virtual endoscope in the predetermined three-dimensional space TDS. Is generated as a navigation image NGI. Further, the navigation image generation unit 435, for example, as shown as a broken line in FIG. 6, every time the virtual endoscope position information VPI output from the image matching unit 434 is updated, the graphic included in the navigation image NGI. The position of 601 is moved.
  • FIG. 6 is a diagram for explaining an example of a navigation image generated by the processor according to the first embodiment.
  • the image composition unit 436 generates a display image DSI by combining the white light image WLI output from the image input unit 42 and the navigation image NGI output from the navigation image generation unit 435, and the generated display The image DSI for use is output to the display device 5.
  • a display image DSI in which the white light image WLI and the navigation image NGI are arranged side by side as shown in FIG. 7 includes structures other than deep blood vessels existing in or near the mucosal surface layer of biological tissue, such as capillaries. Further, the white light image WLI in FIG.
  • FIG. 7 includes deep blood vessels imaged in a state in which the visibility is lower than that of the deep blood vessel image ALI used for the image matching processing of the image matching unit 434.
  • FIG. 7 is a diagram for explaining an example of a display image generated by the processor according to the first embodiment.
  • each unit for example, the figure 601 representing the position at which the (white light image WLI and) deep blood vessel image ALI is acquired in the lung and the three-dimensional distribution state of the blood vessel in the lung are displayed.
  • a navigation image NGI including the three-dimensional blood vessel model 501 to be displayed can be displayed on the display device 5. Further, according to the operation of each unit as described above, for example, the position of the figure 601 with respect to the three-dimensional blood vessel model 501 can be changed following the displacement of the lung.
  • the information indicating the correspondence between the current observation position in the organ to be operated and the three-dimensional distribution state of blood vessels in the organ is presented. Can do. Therefore, according to the present embodiment, treatment such as excision of a lesioned part can be performed while preventing accidental damage to deep blood vessels, thereby reducing the burden on an operator who performs a surgical operation under endoscopic observation. be able to.
  • the figure is displayed in a state where the position of the three-dimensional blood vessel model 501 included in the navigation image NGI is fixed.
  • the three-dimensional blood vessel model 501 may be rotated with the position of the figure 601 included in the navigation image NGI being fixed.
  • a display image DSI including the deep blood vessel image ALI instead of the white light image WLI may be displayed on the display device 5.
  • the enlargement ratio RM of the three-dimensional blood vessel model 501 included in the navigation image NGI may be changed according to the position of the figure 601 with respect to the three-dimensional blood vessel model 501. Specifically, for example, the enlargement ratio RM may be increased as the graphic 601 approaches the three-dimensional blood vessel model 501, and the expansion ratio RM may be decreased as the graphic 601 moves away from the three-dimensional blood vessel model 501.
  • the image collation unit 434 has the latest stored in the endoscopic image storage unit 431 among all or part of the vascular tomographic images stored in the database 433D.
  • One or more vascular tomographic images whose degree of coincidence with the image exceeds a predetermined threshold is specified, and the light irradiated to the biological tissue is reached from the identified one or more vascular tomographic images to a depth that can be reached in the deep part of the biological tissue.
  • a blood vessel tomographic image including a plurality of blood vessels may be extracted, and virtual endoscope position information may be acquired from the extracted blood vessel tomographic image.
  • the endoscope system 1A includes an endoscope apparatus 2A, a light source apparatus 3A, a processor 4A, and a display apparatus 5.
  • FIG. 8 is a diagram for explaining an example of a specific configuration of the endoscope system according to the second embodiment.
  • the endoscope apparatus 2A is configured by providing a camera unit 22A instead of the camera unit 22 in the endoscope apparatus 2, as shown in FIG.
  • the camera unit 22A includes an excitation light cut filter 23, a dichroic mirror 24, imaging elements 25A and 25B, and a signal processing circuit 26.
  • the camera unit 22A is configured to be detachable from the processor 4A via a connector 29 provided at an end of the signal cable 28.
  • the excitation light cut filter 23 is configured as an optical filter that removes reflected light of excitation light from light emitted through the eyepiece lens 19. That is, the excitation light cut filter 23 has optical characteristics such that light in the wavelength band other than the IR light is transmitted while blocking light in the same wavelength band as IR light (described later) emitted from the light source device 3A. Configured.
  • the dichroic mirror 24 transmits light in the visible range included in the output light emitted through the excitation light cut filter 23 to the image sensor 25A side, and transmits light in the near infrared region included in the output light to the image sensor 25B side. It is configured to have optical characteristics that reflect the light.
  • the image sensor 25A is configured to include an image sensor such as a color CCD or color CMOS having sensitivity in the visible range. Further, the image sensor 25A is configured to perform an imaging operation in accordance with an image sensor drive signal output from the processor 4A.
  • the imaging element 25 ⁇ / b> A is configured to capture visible light that has passed through the dichroic mirror 24, generate an image corresponding to the captured visible light, and output the image to the signal processing circuit 26.
  • the image sensor 25B is configured to include an image sensor such as a monochrome CCD or monochrome CMOS having sensitivity in the near infrared region. Further, the image sensor 25B is configured to perform an imaging operation according to an image sensor drive signal output from the processor 4A. The image sensor 25B is configured to image the infrared light reflected by the dichroic mirror 24, generate an image corresponding to the captured infrared light, and output the image to the signal processing circuit 26. .
  • an image sensor such as a monochrome CCD or monochrome CMOS having sensitivity in the near infrared region. Further, the image sensor 25B is configured to perform an imaging operation according to an image sensor drive signal output from the processor 4A. The image sensor 25B is configured to image the infrared light reflected by the dichroic mirror 24, generate an image corresponding to the captured infrared light, and output the image to the signal processing circuit 26. .
  • the light source device 3 ⁇ / b> A is configured by providing a light emitting unit 31 ⁇ / b> A instead of the light emitting unit 31 in the light source device 3.
  • the light emitting unit 31A includes a blue LED 311, a green LED 312, a red LED 313, an amber LED 314, and a near infrared LD (laser diode) 315.
  • the near-infrared LD 315 is configured to emit IR light, which is near-infrared light having a center wavelength set at 800 nm (narrow band), for example. That is, the near-infrared LD 315 emits IR light that is excitation light that can excite a predetermined fluorescent agent administered to the subject, such as ICG (Indocyanine Green), to generate fluorescence. It is configured. In other words, the near-infrared LD 315 is configured to emit IR light that is light (special light) that can reach a deep blood vessel that is a deep blood vessel existing in a deep part of the living tissue and a deep part of the living tissue. ing.
  • IR light which is near-infrared light having a center wavelength set at 800 nm (narrow band)
  • ICG Indocyanine Green
  • the near-infrared LD 315 is configured to switch between a lighting state and a light-off state according to the control of the light source control unit 34.
  • the near-infrared LD 315 is configured to generate IR light having an intensity according to the control of the light source control unit 34 in the lighting state.
  • the processor 4A has a function as an image processing apparatus.
  • the processor 4A includes an image sensor driving unit 41A, an image input unit 42, a display image generation unit 43A, an input I / F (interface) 44A, and a control unit 45A.
  • the image sensor driving unit 41A, the image input unit 42, the display image generating unit 43A, and the control unit 45A of the processor 4A may be configured as individual electronic circuits. Alternatively, it may be configured as a circuit block in an integrated circuit such as FPGA (Field Programmable Gate Array).
  • the processor 4A may include one or more CPUs.
  • the image sensor drive unit 41A is configured to generate and output an image sensor drive signal for driving the image sensors 25A and 25B in accordance with a system control signal output from the control unit 45A.
  • the display image generation unit 43A includes an endoscope image storage unit 431, a three-dimensional blood vessel model storage unit 432, a blood vessel tomographic image generation unit 433, an image collation unit 434A, and navigation.
  • An image generation unit 435 and an image composition unit 436 are included.
  • FIG. 9 is a diagram for explaining an example of a specific configuration of the display image generation unit provided in the processor according to the second embodiment.
  • the image matching unit 434A Based on the system control signal output from the control unit 45A, the image matching unit 434A specifies a depth limit corresponding to the depth at which the light irradiated on the subject can reach in the deep part of the living tissue, and further stores the depth limit in the database 433D.
  • Image extraction processing is performed to extract one or more vascular tomographic images including blood vessels up to the depth limit from all or a part of the stored vascular tomographic images.
  • the image matching unit 434A reads the latest image stored in the endoscope image storage unit 431 and selects the latest image from one or more vascular tomographic images extracted by the image extraction process described above.
  • An image matching process is performed to identify the one vascular tomographic image having the highest degree of coincidence with the image.
  • the image matching unit 434A acquires virtual endoscope position information associated with one vascular tomographic image obtained as a result of the above-described image matching process, and the acquired virtual endoscope position information Is output to the navigation image generation unit
  • the input I / F 44A is configured to include one or more switches and / or buttons that can perform an instruction or the like according to an operation of a user such as an operator. Further, the input I / F 44A is configured so as to be able to issue an instruction for emitting either the A light or the IR light from the light source device 3A in accordance with a user operation.
  • the control unit 45A is configured to generate and output a system control signal for performing an operation in accordance with an instruction made in the input I / F 44A. Further, the control unit 45A is configured to generate a system control signal for irradiating the subject with light emitted from the light emitting unit 31A in a time-sharing manner and output the system control signal to the light source control unit 34. Further, the control unit 45A is configured to generate a system control signal for controlling the imaging operation of the imaging devices 25A and 25B and output the system control signal to the imaging device driving unit 41A.
  • control unit 45A performs an operation related to switching of the output destination of the image obtained by the endoscope apparatus 2A according to the irradiation pattern when the subject is irradiated with the light emitted from the light emitting unit 31A in a time division manner.
  • the system control signal is generated and output to the image input unit 42.
  • the user for example, gives instructions to emit A light from the light source device 3 by operating the input I / F 44A after connecting each part of the endoscope system 1A and turning on the power.
  • the user places the distal end portion of the insertion portion 6 at a position where a desired subject in the lung in the subject can be imaged.
  • the control unit 45A When the power of the processor 4A is turned on and the light source device 3A is connected to the processor 4A, the control unit 45A alternately switches the WL light and the A light in response to an instruction given at the input I / F 44A. A system control signal for irradiating the subject is generated and output to the light source control unit 34.
  • the light source control unit 34 controls to turn off the amber LED 314 and the near-infrared LD 315 while turning on the three color LEDs of the blue LED 311, the green LED 312 and the red LED 313, and The control of turning off the three-color LEDs and the near-infrared LD 315 while turning on the color LED 314 is alternately performed on the light emitting unit 31A.
  • the subject is alternately irradiated with WL light and A light, and a white light image WLI and a deep blood vessel image ALI are output from the endoscope apparatus 2A, respectively.
  • the control unit 45A When the processor 4A is turned on and an instruction for irradiating the subject with A light is given at the input I / F 44A, the control unit 45A outputs the white light image WLI output from the endoscope apparatus 2A. Is output to the image composition unit 436, and a system control signal for outputting the deep blood vessel image ALI output from the endoscope apparatus 2A to the endoscope image storage unit 431 is generated and output to the image input unit 42. . In response to the operation of the control unit 45A, the white light image WLI output from the endoscope apparatus 2A is input to the image composition unit 436 via the image input unit 42 and output from the endoscope apparatus 2A. The deep blood vessel image ALI is stored in time series in the endoscope image storage unit 431 via the image input unit 42.
  • the image matching unit 434A detects that the subject is irradiated with the A light based on the system control signal output from the control unit 45A, the image collating unit 434A has a depth at which the deep blood vessel can be observed by the irradiation with the A light.
  • Corresponding depth limit DMA for example, 1 mm
  • one or more vascular tomographic images including blood vessels up to the specified depth limit DMA are included in all or a part of vascular tomographic images stored in the database 433D.
  • the image extraction process for extracting from is performed.
  • the image matching unit 434A reads the latest deep blood vessel image ALI stored in the endoscope image storage unit 431, and from one or more blood vessel tomographic images extracted by the above-described image extraction processing, Image collation processing is performed to identify the one vascular tomographic image BTI having the highest degree of coincidence with the latest deep blood vessel image ALI.
  • the image matching unit 434A includes all or some of the vascular tomographic images generated by the vascular tomographic image generation unit 433 (stored in the database 433D) when the subject is irradiated with the A light. From the extracted one or more blood vessel tomographic images, the latest deep blood vessel image is extracted from the extracted one or more blood vessel tomographic images. A process for specifying the one vascular tomographic image BTI having the highest degree of coincidence with ALI is performed.
  • the image matching unit 434A acquires the virtual endoscope position information VPI associated with one vascular tomographic image BTI obtained as a result of the above-described image matching process, and the acquired virtual endoscope position information The VPI is output to the navigation image generation unit 435. According to the operation of the image collating unit 434A, a navigation image that is substantially the same as that of the first embodiment is generated by the navigation image generating unit 435, and a display image that is substantially the same as that of the first embodiment. Is generated by the image composition unit 436.
  • the user operates the input I / F 44A in a state where a fluorescent agent FLP that is excited by IR light and generates FL light that is near-infrared fluorescence having a longer wavelength than the IR light is administered to the subject.
  • a fluorescent agent FLP that is excited by IR light and generates FL light that is near-infrared fluorescence having a longer wavelength than the IR light is administered to the subject.
  • an instruction for irradiating the subject with IR light is issued.
  • the user places the distal end portion of the insertion portion 6 at a position where a desired subject in the lung in the subject can be imaged.
  • control unit 45A When the power of the processor 4A is turned on and the light source device 3A is connected to the processor 4A, the control unit 45A alternately performs WL light and IR light in response to an instruction given at the input I / F 44A. A system control signal for irradiating the subject is generated and output to the light source control unit 34.
  • the light source control unit 34 Based on the system control signal output from the processor 4A, the light source control unit 34 turns off the amber LED 314 and the near-infrared LD 315 while turning on the three LEDs of the blue LED 311, the green LED 312 and the red LED 313. The control of turning off the three-color LED and the amber LED 314 while turning on the infrared LD 315 and the light emitting unit 31A are alternately performed.
  • WL light and IR light are alternately irradiated onto the subject, and white light obtained by imaging the subject irradiated with the WL light with the imaging element 25A.
  • An image WLI and a fluorescence image FLI see FIG.
  • the fluorescence image FLI is, for example, an image in which the location where the deep blood vessel is present in the subject is relatively bright and the location other than the location where the deep blood vessel is present in the subject is relatively dark.
  • FIG. 10 is a diagram schematically illustrating a fluorescence image acquired by the endoscope system according to the second embodiment.
  • the control unit 45A When the processor 4A is turned on and an instruction for irradiating the subject with IR light is given at the input I / F 44A, the control unit 45A outputs the white light image WLI output from the endoscope apparatus 2A. Is output to the image composition unit 436, and a system control signal for outputting the fluorescent image FLI output from the endoscope apparatus 2A to the endoscope image storage unit 431 is generated and output to the image input unit.
  • the white light image WLI output from the endoscope apparatus 2A is input to the image composition unit 436 via the image input unit 42 and output from the endoscope apparatus 2A.
  • the fluorescence image FLI is stored in time series in the endoscope image storage unit 431 via the image input unit 42.
  • the image matching unit 434A detects that the subject is irradiated with IR light based on the system control signal output from the control unit 45A, the image collating unit 434A has a depth at which the deep blood vessel can be observed by the irradiation of the IR light.
  • Corresponding depth limit DMB for example, 2 mm
  • one or more vascular tomographic images including blood vessels up to the specified depth limit DMB are included in all or part of vascular tomographic images stored in the database 433D.
  • the image extraction process for extracting from is performed.
  • the image matching unit 434A reads the latest fluorescent image FLI stored in the endoscopic image storage unit 431, and from the one or more vascular tomographic images extracted by the above-described image extraction processing, Image collation processing is performed to identify the one vascular tomographic image BTJ having the highest degree of coincidence with the fluorescence image FLI.
  • the image matching unit 434A selects the IR from among all the vascular tomographic images generated by the vascular tomographic image generation unit 433 (stored in the database 433D) when the subject is irradiated with IR light.
  • One or more vascular tomographic images including blood vessels up to a depth at which light can reach in the deep part of the biological tissue are extracted, and the degree of coincidence with the latest fluorescent image FLI is extracted from the extracted one or more vascular tomographic images. Processing for specifying the highest vascular tomographic image BTJ is performed.
  • the image matching unit 434A acquires the virtual endoscope position information VPJ associated with one vascular tomographic image BTJ obtained as a result of the above-described image matching process, and the acquired virtual endoscope position information The VPJ is output to the navigation image generation unit 435. According to such an operation of the image matching unit 434A, more vascular tomographic images are extracted at the time of irradiation with IR light than at the time of irradiation with A light. Further, according to the operation of the image collation unit 434A as described above, a navigation image substantially similar to that of the first embodiment is generated by the navigation image generation unit 435, and a display image similar to that of the first embodiment is used. Is generated by the image composition unit 436.
  • the information indicating the correspondence between the current observation position in the organ to be operated and the three-dimensional distribution state of blood vessels in the organ is presented. Can do. Therefore, according to the present embodiment, treatment such as excision of a lesioned part can be performed while preventing accidental damage to deep blood vessels, thereby reducing the burden on an operator who performs a surgical operation under endoscopic observation. be able to.
  • the number of vascular tomographic images used for the image matching process of the image matching unit 434A can be limited to the number extracted from the database 433D according to the depth limit DMA and DMB. Therefore, according to the present embodiment, for example, the time spent for the image matching process in the image matching unit 434A can be shortened, and the change in the display state of the navigation image in the navigation image generating unit 435 can be accelerated. it can.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

画像処理装置は、所定の臓器における血管の分布状態を表す３次元血管モデルが格納されている格納部と、３次元血管モデルが構築される３次元空間における任意の平面上に含まれる血管の分布状態を表す複数の血管断層画像を生成する血管断層画像生成部と、所定の臓器における被写体に対して生体組織の深部に到達可能な光が照射された際に被写体を撮像して得られる画像が入力される画像入力部と、画像入力部に入力された画像に対する一致度が高い血管断層画像を特定するための処理を行う画像照合部と、３次元血管モデルと、画像照合部により特定された血管断層画像に含まれる血管を観察可能な内視鏡の位置と、の間の対応関係を３次元空間内において表すナビゲーション画像を生成するナビゲーション画像生成部と、を有する。

Description

画像処理装置
　本発明は、画像処理装置に関し、特に、内視鏡観察を行う際に用いられる画像処理装置に関するものである。
　内視鏡観察下の外科手術においては、例えば、被検体内の手術対象の臓器の３次元情報を含む画像を確認しつつ、当該臓器における病変部の切除等の処置を行うような手法が従来用いられている。そして、例えば、日本国特開２００３－２６５４０８号公報には、前述の手法に適用可能と解される構成が開示されている。
　具体的には、日本国特開２００３－２６５４０８号公報には、検査対象の３次元画像（ＭＲＩ画像またはＣＴ画像）に基づいて計算した仮想内視鏡画像をデータベースに蓄積し、当該データベースに蓄積された仮想内視鏡画像と、当該検査対象の実内視鏡画像と、を比較することにより現在の内視鏡先端部の観測点及び観測姿勢を決定し、当該決定した内視鏡先端部の観測点及び観測姿勢を当該検査対象の３次元画像に重畳して表示するような構成が開示されている。
　ところで、内視鏡観察下で外科手術を行う際には、生体組織の粘膜深部等に存在する太径の血管の損傷により生じる多量の出血を回避することが望ましい。そのため、内視鏡観察下で外科手術を行う際には、例えば、手術対象の臓器における現在の観察位置と、当該臓器における血管の３次元的な分布状態と、の間の対応関係を表す情報が術者に提示されることが望ましい。
　しかし、日本国特開２００３－２６５４０８号公報には、前述のような対応関係を表す情報の提示方法等について特に開示されていない。従って、日本国特開２００３－２６５４０８号公報に開示された構成によれば、例えば、手術対象の臓器の変位等に伴って太径の血管を偶発的に損傷してしまうおそれが生じることに起因し、内視鏡観察下で外科手術を行う術者に対して過度な負担を強いてしまう場合がある、という課題が生じている。
　本発明は、前述した事情に鑑みてなされたものであり、内視鏡観察下で外科手術を行う術者の負担を軽減可能な画像処理装置を提供することを目的としている。
　本発明の一態様の画像処理装置は、被検体内に存在する所定の臓器における血管の３次元的な分布状態を表すように構築された３次元血管モデルが格納されている格納部と、前記３次元血管モデルが構築される３次元空間における任意の平面上に含まれる血管の分布状態を表す複数の血管断層画像を生成するように構成された血管断層画像生成部と、前記所定の臓器における被写体に対して生体組織の深部に到達可能な光が照射された際に前記被写体を撮像して得られる画像が入力される画像入力部と、前記血管断層画像生成部により生成された全てのまたは一部の血管断層画像の中から、前記画像入力部に入力された画像に対する一致度が所定の閾値よりも高い血管断層画像を特定するための処理を行うように構成された画像照合部と、前記画像照合部により特定された血管断層画像に基づき、前記３次元血管モデルと、前記画像照合部により特定された血管断層画像に含まれる血管を観察可能な内視鏡の位置と、の間の対応関係を前記３次元空間内において表すナビゲーション画像を生成するように構成されたナビゲーション画像生成部と、を有する。
実施形態に係る内視鏡システムの要部の構成を示す図。 第１の実施形態に係る内視鏡システムの具体的な構成の一例を説明するための図。 第１の実施形態に係るプロセッサに設けられた表示用画像生成部の具体的な構成の一例を説明するための図。 第１の実施形態に係るプロセッサに格納されている３次元血管モデルの一例を示す図。 第１の実施形態に係る内視鏡システムにより取得される深部血管画像を模式的に示した図。 第１の実施形態に係るプロセッサにより生成されるナビゲーション画像の一例を説明するための図。 第１の実施形態に係るプロセッサにより生成される表示用画像の一例を説明するための図。 第２の実施形態に係る内視鏡システムの具体的な構成の一例を説明するための図。 第２の実施形態に係るプロセッサに設けられた表示用画像生成部の具体的な構成の一例を説明するための図。 第２の実施形態に係る内視鏡システムにより取得される蛍光画像を模式的に示した図。
　以下、本発明の実施形態について、図面を参照しつつ説明を行う。
（第１の実施形態）
　図１から図７は、本発明の第１の実施形態に係るものである。
　内視鏡システム１は、図１に示すように、被検体内に挿入されるとともに、当該被検体内における生体組織等の被写体を撮像して得られた画像を出力するように構成された内視鏡装置２と、当該被写体に照射される光を内視鏡装置２に供給するように構成された光源装置３と、内視鏡装置２から出力される画像に対して所定の画像処理を施すことにより表示用画像を生成して出力するように構成されたプロセッサ４と、プロセッサ４から出力される表示用画像等を画面上に表示するように構成された表示装置５と、を有している。図１は、実施形態に係る内視鏡システムの要部の構成を示す図である。
　内視鏡装置２は、細長の挿入部６を備えた光学視管２１と、光学視管２１の接眼部７に対して着脱可能なカメラユニット２２と、を有して構成されている。
　光学視管２１は、被検体内に挿入可能な細長の挿入部６と、挿入部６の基端部に設けられた把持部８と、把持部８の基端部に設けられた接眼部７と、を有して構成されている。
　挿入部６の内部には、図２に示すように、ケーブル１３ａを介して供給される光を伝送するためのライトガイド１１が挿通されている。図２は、第１の実施形態に係る内視鏡システムの具体的な構成の一例を説明するための図である。
　ライトガイド１１の出射端部は、図２に示すように、挿入部６の先端部における照明レンズ１５の近傍に配置されている。また、ライトガイド１１の入射端部は、把持部８に設けられたライトガイド口金１２に配置されている。
　ケーブル１３ａの内部には、図２に示すように、光源装置３から供給される光を伝送するためのライトガイド１３が挿通されている。また、ケーブル１３ａの一方の端部には、ライトガイド口金１２に対して着脱可能な接続部材（不図示）が設けられている。また、ケーブル１３ａの他方の端部には、光源装置３に対して着脱可能なライトガイドコネクタ１４が設けられている。
　挿入部６の先端部には、ライトガイド１１により伝送された光を外部へ出射するための照明レンズ１５と、外部から入射される光に応じた光学像を得るための対物レンズ１７と、が設けられている。また、挿入部６の先端面には、照明レンズ１５が配置された照明窓（不図示）と、対物レンズ１７が配置された観察窓（不図示）と、が相互に隣接して設けられている。
　挿入部６の内部には、図２に示すように、対物レンズ１７により得られた光学像を接眼部７へ伝送するための複数のレンズＬＥを具備するリレーレンズ１８が設けられている。すなわち、リレーレンズ１８は、対物レンズ１７から入射した光を伝送する伝送光学系としての機能を具備して構成されている。
　接眼部７の内部には、図２に示すように、リレーレンズ１８により伝送された光学像を肉眼で観察可能とするための接眼レンズ１９が設けられている。
　カメラユニット２２は、撮像素子２５と、信号処理回路２６と、を有して構成されている。また、カメラユニット２２は、信号ケーブル２８の端部に設けられたコネクタ２９を介してプロセッサ４に着脱可能に構成されている。
　撮像素子２５は、例えば、可視域に感度を有するカラーＣＣＤまたはカラーＣＭＯＳのようなイメージセンサを具備して構成されている。また、撮像素子２５は、プロセッサ４から出力される撮像素子駆動信号に応じた撮像動作を行うように構成されている。また、撮像素子２５は、接眼レンズ１９を経て出射される光を撮像し、当該撮像した光に応じた画像を生成して信号処理回路２６へ出力するように構成されている。
　信号処理回路２６は、撮像素子２５から出力される画像に対し、例えば、相関二重サンプリング処理、ゲイン調整処理、及び、Ａ／Ｄ変換処理等のような所定の信号処理を施すように構成されている。また、信号処理回路２６は、前述の所定の信号処理を施した画像を、信号ケーブル２８が接続されたプロセッサ４へ出力するように構成されている。
　光源装置３は、発光部３１と、合波器３２と、集光レンズ３３と、光源制御部３４と、を有して構成されている。
　発光部３１は、青色ＬＥＤ３１１と、緑色ＬＥＤ３１２と、赤色ＬＥＤ３１３と、琥珀色ＬＥＤ３１４と、を有して構成されている。
　青色ＬＥＤ３１１は、青色域に強度を有する（狭帯域な）光であるＢ光を発するように構成されている。具体的には、青色ＬＥＤ３１１は、例えば、中心波長が４６０ｎｍ付近に設定され、かつ、帯域幅が２０ｎｍ程度に設定されたＢ光を発するように構成されている。また、青色ＬＥＤ３１１は、光源制御部３４の制御に応じて点灯状態または消灯状態に切り替わるように構成されている。また、青色ＬＥＤ３１１は、点灯状態において、光源制御部３４の制御に応じた強度のＢ光を発生するように構成されている。なお、Ｂ光の中心波長は、青色域に設定される限りにおいては、４６０ｎｍとは異なる波長に設定されていてもよい。また、Ｂ光の帯域幅は、中心波長に応じた所定の帯域幅に設定されていればよい。
　緑色ＬＥＤ３１２は、緑色域に強度を有する（狭帯域な）光であるＧ光を発するように構成されている。具体的には、緑色ＬＥＤ３１２は、例えば、中心波長が５４０ｎｍ付近に設定され、かつ、帯域幅が２０ｎｍ程度に設定されたＧ光を発するように構成されている。また、緑色ＬＥＤ３１２は、光源制御部３４の制御に応じて点灯状態または消灯状態に切り替わるように構成されている。また、緑色ＬＥＤ３１２は、点灯状態において、光源制御部３４の制御に応じた強度のＧ光を発生するように構成されている。なお、Ｇ光の中心波長は、緑色域に設定される限りにおいては、５４０ｎｍとは異なる波長に設定されていてもよい。また、Ｇ光の帯域幅は、中心波長に応じた所定の帯域幅に設定されていればよい。
　赤色ＬＥＤ３１３は、赤色域に強度を有する（狭帯域な）光であるＲ光を発するように構成されている。具体的には、赤色ＬＥＤ３１３は、例えば、中心波長が６３０ｎｍ付近に設定され、かつ、帯域幅が２０ｎｍ程度に設定されたＲ光を発するように構成されている。また、赤色ＬＥＤ３１３は、光源制御部３４の制御に応じて点灯状態または消灯状態に切り替わるように構成されている。また、赤色ＬＥＤ３１３は、点灯状態において、光源制御部３４の制御に応じた強度のＲ光を発生するように構成されている。なお、Ｒ光の中心波長は、赤色域に設定される限りにおいては、例えば、６３０ｎｍとは異なる波長に設定されていてもよい。また、Ｒ光の帯域幅は、中心波長に応じた所定の帯域幅に設定されていればよい。
　琥珀色ＬＥＤ３１４は、例えば、中心波長が６００ｎｍ付近に設定された（狭帯域な）琥珀色光であるＡ光を発するように構成されている。すなわち、琥珀色ＬＥＤ３１４は、生体組織の深部及び当該生体組織の深部に存在する太径の血管である深部血管に到達可能な光（特殊光）であるＡ光を発するように構成されている。また、琥珀色ＬＥＤ３１４は、光源制御部３４の制御に応じて点灯状態または消灯状態に切り替わるように構成されている。また、琥珀色ＬＥＤ３１４は、点灯状態において、光源制御部３４の制御に応じた強度のＡ光を発生するように構成されている。
　合波器３２は、発光部３１から発せられた各光を合波して集光レンズ３３に入射させることができるように構成されている。
　集光レンズ３３は、合波器３２を経て入射した光を集光してライトガイド１３へ出射するように構成されている。
　光源制御部３４は、プロセッサ４から出力されるシステム制御信号に基づき、発光部３１の各光源に対する制御を行うように構成されている。
　プロセッサ４は、画像処理装置としての機能を具備して構成されている。また、プロセッサ４は、撮像素子駆動部４１と、画像入力部４２と、表示用画像生成部４３と、入力Ｉ／Ｆ（インターフェース）４４と、制御部４５と、を有して構成されている。なお、本実施形態においては、例えば、プロセッサ４の撮像素子駆動部４１、画像入力部４２、表示用画像生成部４３及び制御部４５の各部が、個々の電子回路として構成されていてもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、プロセッサ４が１つ以上のＣＰＵを具備して構成されていてもよい。
　撮像素子駆動部４１は、制御部４５から出力されるシステム制御信号に応じ、撮像素子２５を駆動させるための撮像素子駆動信号を生成して出力するように構成されている。
　画像入力部４２は、内視鏡装置２により得られた画像が入力されるとともに、当該入力された画像の出力先を制御部４５から出力されるシステム制御信号に応じて切り替えるための動作を行うように構成されている。
　表示用画像生成部４３は、画像入力部４２から出力される画像に基づいて表示用画像を生成し、当該生成した表示用画像を表示装置５へ出力するように構成されている。また、表示用画像生成部４３は、例えば、図３に示すように、内視鏡画像記憶部４３１と、３次元血管モデル格納部４３２と、血管断層画像生成部４３３と、画像照合部４３４と、ナビゲーション画像生成部４３５と、画像合成部４３６と、を有して構成されている。図３は、第１の実施形態に係るプロセッサに設けられた表示用画像生成部の具体的な構成の一例を説明するための図である。
　内視鏡画像記憶部４３１は、画像入力部４２を経て出力される画像を時系列に格納するように構成されている。
　３次元血管モデル格納部４３２には、被検体内の所定の臓器における血管の３次元的な分布状態を表すように構築された３次元血管モデルが格納されている。具体的には、前述の３次元血管モデルは、例えば、内視鏡装置２により観察される被検体内に存在する所定の臓器をＸ線で３次元的に走査して得られる複数の断層画像（ＣＴ画像）と、当該所定の臓器における一般的な血管の分布状態を２次元的に表した解剖図と、に基づいて構築されている。
　なお、以降においては、例えば、図４に示すような、肺における動脈の３次元的な分布状態と、当該肺における静脈の３次元的な分布状態と、を別々に表すように構築された３次元血管モデル５０１が３次元血管モデル格納部４３２に格納されている場合について説明する。図４は、第１の実施形態に係るプロセッサに格納されている３次元血管モデルの一例を示す図である。
　血管断層画像生成部４３３は、３次元血管モデル格納部４３２に格納されている３次元血管モデル５０１を読み込むとともに、当該読み込んだ３次元血管モデル５０１が構築された３次元空間ＴＤＳにおける任意の平面上に含まれる血管の分布状態を表す複数の血管断層画像を生成するための処理を行うように構成されている。また、血管断層画像生成部４３３は、前述のように生成した血管断層画像と、当該血管断層画像に含まれる血管を観察可能な内視鏡の位置を特定可能な情報である仮想内視鏡位置情報と、を関連付けてデータベース４３３Ｄに格納するように構成されている。
　具体的には、前述の仮想内視鏡位置情報には、例えば、血管断層画像の生成時に設定された当該血管断層画像に含まれる血管を観察可能な仮想内視鏡の視点を特定可能な情報として、３次元血管モデル５０１の中心を３次元空間ＴＤＳの原点（０，０，０）に一致させるように配置した場合における当該仮想内視鏡の先端の中心の座標（Ｘｖ，Ｙｖ，Ｚｖ）が含まれている。また、前述の仮想内視鏡位置情報には、例えば、血管断層画像の生成時における仮想内視鏡の姿勢を特定可能な情報として、３次元空間ＴＤＳの原点（０，０，０）と、座標（Ｘｖ，Ｙｖ，Ｚｖ）と、を通過する直線を基準軸とした場合における仮想内視鏡の先端部の傾き方向に応じた１つ以上の角度が含まれている。
　なお、本実施形態においては、例えば、３次元空間ＴＤＳ内に設定された仮想内視鏡の視点を特定するための情報である座標（Ｘｖ，Ｙｖ，Ｚｖ）のみが仮想内視鏡位置情報に含まれているとともに、当該座標（Ｘｖ，Ｙｖ，Ｚｖ）に基づいて当該仮想内視鏡の姿勢が別途算出されるようにしてもよい。
　画像照合部４３４は、内視鏡画像記憶部４３１に格納されている最新の画像を読み込むとともに、データベース４３３Ｄに格納されている全てのまたは一部の血管断層画像の中から、当該最新の画像に対する一致度が所定の閾値を超えている血管断層画像を特定するための画像処理を行うように構成されている。具体的には、画像照合部４３４は、例えば、全てのまたは一部の血管断層画像のうち一致度が２番目に高い血管断層画像の一致度を閾値として、当該閾値よりも高い血管断層画像、すなわち、一致度が最も高い一の血管断層画像を特定するための画像照合処理を行うように構成されている。また、画像照合部４３４は、前述の画像照合処理の処理結果として得られた一の血管断層画像に関連付けられている仮想内視鏡位置情報を取得するとともに、当該取得した仮想内視鏡位置情報をナビゲーション画像生成部４３５へ出力するように構成されている。
　ナビゲーション画像生成部４３５は、３次元血管モデル格納部４３２から読み込んだ３次元血管モデル５０１と、画像照合部４３４から出力される仮想内視鏡位置情報に基づいて特定した仮想内視鏡の位置と、の間の対応関係を所定の３次元空間ＴＤＳ内において表すようなナビゲーション画像（後述）を生成するとともに、当該生成したナビゲーション画像を画像合成部４３６へ出力するように構成されている。また、ナビゲーション画像生成部４３５は、画像照合部４３４から出力される仮想内視鏡位置情報が更新される毎に、ナビゲーション画像の表示状態を変化させるように構成されている。
　画像合成部４３６は、画像入力部４２から出力される画像と、ナビゲーション画像生成部４３５から出力されるナビゲーション画像と、を合成した表示用画像を生成するとともに、当該生成した表示用画像を表示装置５へ出力するように構成されている。
　入力Ｉ／Ｆ４４は、術者等のユーザの操作に応じた指示等を行うことが可能な１つ以上のスイッチ及び／またはボタンを具備して構成されている。
　制御部４５は、入力Ｉ／Ｆ４４においてなされた指示に応じた動作を行わせるためのシステム制御信号を生成して出力するように構成されている。また、制御部４５は、発光部３１から発せられる光を時分割に被写体に照射させるためのシステム制御信号を生成して光源制御部３４へ出力するように構成されている。また、制御部４５は、撮像素子２５の撮像動作を制御するためのシステム制御信号を生成して撮像素子駆動部４１へ出力するように構成されている。また、制御部４５は、発光部３１から発せられる光を時分割に被写体に照射する際の照射パターンに応じ、内視鏡装置２により得られた画像の出力先の切り替えに係る動作を行わせるためのシステム制御信号を生成して画像入力部４２へ出力するように構成されている。
　表示装置５は、例えば、ＬＣＤ（液晶ディスプレイ）等を具備し、プロセッサ４から出力される表示用画像等を表示することができるように構成されている。
　次に、本実施形態の内視鏡システム１の動作等について説明する。
　ユーザは、内視鏡システム１の各部を接続して電源を投入した後、被検体内に挿入部６を挿入するとともに、当該被検体内の肺における所望の被写体を撮像可能な位置に挿入部６の先端部を配置する。
　制御部４５は、プロセッサ４の電源が投入され、かつ、光源装置３がプロセッサ４に接続された際に、Ｒ光、Ｇ光及びＢ光を混合した白色光であるＷＬ光と、Ａ光と、を交互に被写体に照射させるためのシステム制御信号を生成して光源制御部３４へ出力する。
　光源制御部３４は、プロセッサ４から出力されるシステム制御信号に基づき、青色ＬＥＤ３１１、緑色ＬＥＤ３１２及び赤色ＬＥＤ３１３の３色のＬＥＤを点灯させつつ琥珀色ＬＥＤ３１４を消灯させる制御と、琥珀色ＬＥＤ３１４を点灯させつつ当該３色のＬＥＤを消灯させる制御と、を発光部３１に対して交互に行う。そして、このような光源制御部３４の動作に応じ、ＷＬ光及びＡ光が交互に被写体に照射されるとともに、当該ＷＬ光が照射された当該被写体を撮像して得られる白色光画像ＷＬＩと、当該Ａ光が照射された当該被写体を撮像して得られる深部血管画像ＡＬＩ（図５参照）と、が内視鏡装置２からそれぞれ出力される。すなわち、深部血管画像ＡＬＩは、例えば、被検体内における深部血管の存在箇所が相対的に暗くなり、かつ、当該被検体内における深部血管の存在箇所以外の箇所が相対的に明るくなるような画像として取得される。図５は、第１の実施形態に係る内視鏡システムにより取得される深部血管画像を模式的に示した図である。
　制御部４５は、プロセッサ４の電源が投入された際に、ＷＬ光の照射に応じて内視鏡装置２から出力される白色光画像ＷＬＩを画像合成部４３６へ出力させるとともに、Ａ光の照射に応じて内視鏡装置２から出力される深部血管画像ＡＬＩを内視鏡画像記憶部４３１へ出力させるためのシステム制御信号を生成して画像入力部４２へ出力する。そして、このような制御部４５の動作に応じ、内視鏡装置２から出力される白色光画像ＷＬＩが画像入力部４２を経て画像合成部４３６に入力されるとともに、内視鏡装置２から出力される深部血管画像ＡＬＩが画像入力部４２を経て内視鏡画像記憶部４３１に時系列に格納される。
　画像照合部４３４は、内視鏡画像記憶部４３１に格納されている最新の深部血管画像ＡＬＩを読み込むとともに、データベース４３３Ｄに格納されている全てのまたは一部の血管断層画像の中から、当該最新の深部血管画像ＡＬＩに対する一致度が最も高い一の血管断層画像ＢＴＩを特定するための画像照合処理を行う。また、画像照合部４３４は、前述の画像照合処理の処理結果として得られた一の血管断層画像ＢＴＩに関連付けられている仮想内視鏡位置情報ＶＰＩを取得するとともに、当該取得した仮想内視鏡位置情報ＶＰＩをナビゲーション画像生成部４３５へ出力する。
　ナビゲーション画像生成部４３５は、３次元血管モデル格納部４３２から読み込んだ３次元血管モデル５０１と、画像照合部４３４から出力される仮想内視鏡位置情報ＶＰＩに基づいて特定した仮想内視鏡の位置と、の間の対応関係を所定の３次元空間ＴＤＳ内において表すようなナビゲーション画像ＮＧＩを生成する。また、ナビゲーション画像生成部４３５は、画像照合部４３４から出力される仮想内視鏡位置情報ＶＰＩが更新される毎に、ナビゲーション画像ＮＧＩの表示状態を変化させる。
　具体的には、ナビゲーション画像生成部４３５は、例えば、所定の３次元空間ＴＤＳ内に３次元血管モデル５０１を配置し、画像照合部４３４から出力される仮想内視鏡位置情報ＶＰＩに基づいて特定した仮想内視鏡の視点及び姿勢を用いて当該仮想内視鏡の先端部を模式化した図形６０１を生成し、さらに、３次元血管モデル５０１の周囲に図形６０１を配置することにより、図６に示すようなナビゲーション画像ＮＧＩを生成する。すなわち、ナビゲーション画像生成部４３５は、所定の３次元空間ＴＤＳ内に配置した３次元血管モデル５０１と、当該所定の３次元空間ＴＤＳ内における仮想内視鏡の位置を表す図形６０１と、を含む画像をナビゲーション画像ＮＧＩとして生成する。また、ナビゲーション画像生成部４３５は、例えば、図６内の破線として示すように、画像照合部４３４から出力される仮想内視鏡位置情報ＶＰＩが更新される毎に、ナビゲーション画像ＮＧＩに含まれる図形６０１の位置を移動させる。図６は、第１の実施形態に係るプロセッサにより生成されるナビゲーション画像の一例を説明するための図である。
　画像合成部４３６は、画像入力部４２から出力される白色光画像ＷＬＩと、ナビゲーション画像生成部４３５から出力されるナビゲーション画像ＮＧＩと、を合成した表示用画像ＤＳＩを生成するとともに、当該生成した表示用画像ＤＳＩを表示装置５へ出力する。そして、このような画像合成部４３６の動作によれば、例えば、図７に示すような、白色光画像ＷＬＩ及びナビゲーション画像ＮＧＩを横並びに配置した表示用画像ＤＳＩが表示装置５に表示される。なお、図７の白色光画像ＷＬＩには、例えば、毛細血管等のような、生体組織の粘膜表層またはその付近に存在する深部血管以外の構造物が含まれている。また、図７の白色光画像ＷＬＩには、画像照合部４３４の画像照合処理に用いられた深部血管画像ＡＬＩに比べて視認性が低い状態で撮像された深部血管が含まれている。図７は、第１の実施形態に係るプロセッサにより生成される表示用画像の一例を説明するための図である。
　以上に述べたような各部の動作によれば、例えば、肺における（白色光画像ＷＬＩ及び）深部血管画像ＡＬＩを取得した位置を表す図形６０１と、当該肺における血管の３次元的な分布状態を表す３次元血管モデル５０１と、を具備するナビゲーション画像ＮＧＩを表示装置５に表示させることができる。また、以上に述べたような各部の動作によれば、例えば、３次元血管モデル５０１に対する図形６０１の位置を肺の変位に追従して変化させることができる。
　以上に述べたように、本実施形態によれば、手術対象の臓器における現在の観察位置と、当該臓器における血管の３次元的な分布状態と、の間の対応関係を表す情報を提示することができる。従って、本実施形態によれば、深部血管の偶発的な損傷を防ぎつつ病変部の切除等の処置を行うことができるため、内視鏡観察下で外科手術を行う術者の負担を軽減することができる。
　なお、本実施形態によれば、画像照合部４３４から出力される仮想内視鏡位置情報ＶＰＩが更新される毎に、ナビゲーション画像ＮＧＩに含まれる３次元血管モデル５０１の位置を固定した状態で図形６０１の位置を移動させるものに限らず、例えば、当該ナビゲーション画像ＮＧＩに含まれる図形６０１の位置を固定した状態で３次元血管モデル５０１を回転させるようにしてもよい。
　また、本実施形態によれば、例えば、白色光画像ＷＬＩの代わりに深部血管画像ＡＬＩを含むような表示用画像ＤＳＩが表示装置５に表示されるようにしてもよい。
　また、本実施形態によれば、３次元血管モデル５０１に対する図形６０１の位置に応じ、ナビゲーション画像ＮＧＩに含まれる３次元血管モデル５０１の拡大率ＲＭを変化させるようにしてもよい。具体的には、例えば、図形６０１が３次元血管モデル５０１に近づくにつれて拡大率ＲＭを大きくするとともに、図形６０１が３次元血管モデル５０１から遠ざかるにつれて拡大率ＲＭを小さくするようにしてもよい。
　また、本実施形態によれば、例えば、画像照合部４３４が、データベース４３３Ｄに格納されている全てのまたは一部の血管断層画像の中から内視鏡画像記憶部４３１に格納されている最新の画像に対する一致度が所定の閾値を超える１以上の血管断層画像を特定し、当該特定した１以上の血管断層画像の中から生体組織に照射される光が生体組織の深部において到達可能な深さまでの血管を含む血管断層画像を抽出し、当該抽出した血管断層画像から仮想内視鏡位置情報を取得するようにしてもよい。
（第２の実施形態）
　図８から図１０は、本発明の第２の実施形態に係るものである。
　なお、本実施形態においては、第１の実施形態と同様の構成等を有する部分に関する詳細な説明を省略するとともに、第１の実施形態と異なる構成等を有する部分に関して主に説明を行う。
　内視鏡システム１Ａは、図８に示すように、内視鏡装置２Ａと、光源装置３Ａと、プロセッサ４Ａと、表示装置５と、を有して構成されている。図８は、第２の実施形態に係る内視鏡システムの具体的な構成の一例を説明するための図である。
　内視鏡装置２Ａは、図８に示すように、内視鏡装置２におけるカメラユニット２２の代わりにカメラユニット２２Ａを設けて構成されている。
　カメラユニット２２Ａは、励起光カットフィルタ２３と、ダイクロイックミラー２４と、撮像素子２５Ａ及び２５Ｂと、信号処理回路２６と、を有して構成されている。また、カメラユニット２２Ａは、信号ケーブル２８の端部に設けられたコネクタ２９を介してプロセッサ４Ａに着脱可能に構成されている。
　励起光カットフィルタ２３は、接眼レンズ１９を経て出射される光から励起光の反射光を除去する光学フィルタとして構成されている。すなわち、励起光カットフィルタ２３は、光源装置３Ａから出射されるＩＲ光（後述）と同じ波長帯域の光を遮断しつつ、当該ＩＲ光以外の波長帯域の光を透過させるような光学特性を具備して構成されている。
　ダイクロイックミラー２４は、励起光カットフィルタ２３を経て出射される出射光に含まれる可視域の光を撮像素子２５Ａ側へ透過させるとともに、当該出射光に含まれる近赤外域の光を撮像素子２５Ｂ側へ反射するような光学特性を具備して構成されている。
　撮像素子２５Ａは、例えば、可視域に感度を有するカラーＣＣＤまたはカラーＣＭＯＳのようなイメージセンサを具備して構成されている。また、撮像素子２５Ａは、プロセッサ４Ａから出力される撮像素子駆動信号に応じた撮像動作を行うように構成されている。また、撮像素子２５Ａは、ダイクロイックミラー２４を透過した可視域の光を撮像し、当該撮像した可視域の光に応じた画像を生成して信号処理回路２６へ出力するように構成されている。
　撮像素子２５Ｂは、例えば、近赤外域に感度を有するモノクロＣＣＤまたはモノクロＣＭＯＳのようなイメージセンサを具備して構成されている。また、撮像素子２５Ｂは、プロセッサ４Ａから出力される撮像素子駆動信号に応じた撮像動作を行うように構成されている。また、撮像素子２５Ｂは、ダイクロイックミラー２４により反射された赤外域の光を撮像し、当該撮像した赤外域の光に応じた画像を生成して信号処理回路２６へ出力するように構成されている。
　光源装置３Ａは、光源装置３における発光部３１の代わりに発光部３１Ａを設けて構成されている。
　発光部３１Ａは、青色ＬＥＤ３１１と、緑色ＬＥＤ３１２と、赤色ＬＥＤ３１３と、琥珀色ＬＥＤ３１４と、近赤外ＬＤ（レーザダイオード）３１５と、を有して構成されている。
　近赤外ＬＤ３１５は、例えば、中心波長が８００ｎｍに設定された（狭帯域な）近赤外光であるＩＲ光を発するように構成されている。すなわち、近赤外ＬＤ３１５は、ＩＣＧ（インドシアニングリーン）等のような、被検体に投与された所定の蛍光薬剤を励起して蛍光を発生させることが可能な励起光であるＩＲ光を発するように構成されている。さらに換言すると、近赤外ＬＤ３１５は、生体組織の深部及び当該生体組織の深部に存在する太径の血管である深部血管に到達可能な光（特殊光）であるＩＲ光を発するように構成されている。また、近赤外ＬＤ３１５は、光源制御部３４の制御に応じて点灯状態または消灯状態に切り替わるように構成されている。また、近赤外ＬＤ３１５は、点灯状態において、光源制御部３４の制御に応じた強度のＩＲ光を発生するように構成されている。
　プロセッサ４Ａは、画像処理装置としての機能を具備して構成されている。また、プロセッサ４Ａは、撮像素子駆動部４１Ａと、画像入力部４２と、表示用画像生成部４３Ａと、入力Ｉ／Ｆ（インターフェース）４４Ａと、制御部４５Ａと、を有して構成されている。なお、本実施形態においては、例えば、プロセッサ４Ａの撮像素子駆動部４１Ａ、画像入力部４２、表示用画像生成部４３Ａ及び制御部４５Ａの各部が、個々の電子回路として構成されていてもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、プロセッサ４Ａが１つ以上のＣＰＵを具備して構成されていてもよい。
　撮像素子駆動部４１Ａは、制御部４５Ａから出力されるシステム制御信号に応じ、撮像素子２５Ａ及び２５Ｂを駆動させるための撮像素子駆動信号を生成して出力するように構成されている。
　表示用画像生成部４３Ａは、例えば、図９に示すように、内視鏡画像記憶部４３１と、３次元血管モデル格納部４３２と、血管断層画像生成部４３３と、画像照合部４３４Ａと、ナビゲーション画像生成部４３５と、画像合成部４３６と、を有して構成されている。図９は、第２の実施形態に係るプロセッサに設けられた表示用画像生成部の具体的な構成の一例を説明するための図である。
　画像照合部４３４Ａは、制御部４５Ａから出力されるシステム制御信号に基づき、被写体に照射される光が生体組織の深部において到達可能な深さに相当する深度限界を特定し、さらに、データベース４３３Ｄに格納されている全てのまたは一部の血管断層画像の中から、当該深度限界までの血管を含む１つ以上の血管断層画像を抽出するための画像抽出処理を行うように構成されている。また、画像照合部４３４Ａは、内視鏡画像記憶部４３１に格納されている最新の画像を読み込むとともに、前述の画像抽出処理により抽出された１つ以上の血管断層画像の中から、当該最新の画像に対する一致度が最も高い一の血管断層画像を特定するための画像照合処理を行うように構成されている。また、画像照合部４３４Ａは、前述の画像照合処理の処理結果として得られた一の血管断層画像に関連付けられている仮想内視鏡位置情報を取得するとともに、当該取得した仮想内視鏡位置情報をナビゲーション画像生成部４３５へ出力するように構成されている。
　入力Ｉ／Ｆ４４Ａは、術者等のユーザの操作に応じた指示等を行うことが可能な１つ以上のスイッチ及び／またはボタンを具備して構成されている。また、入力Ｉ／Ｆ４４Ａは、ユーザの操作に応じ、Ａ光またはＩＲ光のいずれか一方を光源装置３Ａから出射させるための指示を行うことができるように構成されている。
　制御部４５Ａは、入力Ｉ／Ｆ４４Ａにおいてなされた指示に応じた動作を行わせるためのシステム制御信号を生成して出力するように構成されている。また、制御部４５Ａは、発光部３１Ａから発せられる光を時分割に被写体に照射させるためのシステム制御信号を生成して光源制御部３４へ出力するように構成されている。また、制御部４５Ａは、撮像素子２５Ａ及び２５Ｂの撮像動作を制御するためのシステム制御信号を生成して撮像素子駆動部４１Ａへ出力するように構成されている。また、制御部４５Ａは、発光部３１Ａから発せられる光を時分割に被写体に照射する際の照射パターンに応じ、内視鏡装置２Ａにより得られた画像の出力先の切り替えに係る動作を行わせるためのシステム制御信号を生成して画像入力部４２へ出力するように構成されている。
　次に、本実施形態の内視鏡システム１Ａの動作等について説明する。
　ユーザは、例えば、内視鏡システム１Ａの各部を接続して電源を投入した後、入力Ｉ／Ｆ４４Ａを操作することにより、光源装置３からＡ光を出射させるための指示を行う。また、ユーザは、例えば、光源装置３からＡ光を出射させるための指示を行った後、被検体内の肺における所望の被写体を撮像可能な位置に挿入部６の先端部を配置する。
　制御部４５Ａは、プロセッサ４Ａの電源が投入され、かつ、光源装置３Ａがプロセッサ４Ａに接続された際に、入力Ｉ／Ｆ４４Ａにおいてなされた指示に応じ、ＷＬ光と、Ａ光と、を交互に被写体に照射させるためのシステム制御信号を生成して光源制御部３４へ出力する。
　光源制御部３４は、プロセッサ４Ａから出力されるシステム制御信号に基づき、青色ＬＥＤ３１１、緑色ＬＥＤ３１２及び赤色ＬＥＤ３１３の３色のＬＥＤを点灯させつつ琥珀色ＬＥＤ３１４及び近赤外ＬＤ３１５を消灯させる制御と、琥珀色ＬＥＤ３１４を点灯させつつ当該３色のＬＥＤ及び近赤外ＬＤ３１５を消灯させる制御と、を発光部３１Ａに対して交互に行う。そして、このような光源制御部３４の動作に応じ、ＷＬ光及びＡ光が交互に被写体に照射されるとともに、白色光画像ＷＬＩ及び深部血管画像ＡＬＩが内視鏡装置２Ａからそれぞれ出力される。
　制御部４５Ａは、プロセッサ４Ａの電源が投入され、かつ、Ａ光を被写体に照射させるための指示が入力Ｉ／Ｆ４４Ａにおいて行われた際に、内視鏡装置２Ａから出力される白色光画像ＷＬＩを画像合成部４３６へ出力させるとともに、内視鏡装置２Ａから出力される深部血管画像ＡＬＩを内視鏡画像記憶部４３１へ出力させるためのシステム制御信号を生成して画像入力部４２へ出力する。そして、このような制御部４５Ａの動作に応じ、内視鏡装置２Ａから出力される白色光画像ＷＬＩが画像入力部４２を経て画像合成部４３６に入力されるとともに、内視鏡装置２Ａから出力される深部血管画像ＡＬＩが画像入力部４２を経て内視鏡画像記憶部４３１に時系列に格納される。
　画像照合部４３４Ａは、制御部４５Ａから出力されるシステム制御信号に基づいてＡ光が被写体に照射されていることを検出した場合に、当該Ａ光の照射により深部血管を観察可能な深さに相当する深度限界ＤＭＡ（例えば１ｍｍ）を特定し、当該特定した深度限界ＤＭＡまでの血管を含む１つ以上の血管断層画像をデータベース４３３Ｄに格納されている全てのまたは一部の血管断層画像の中から抽出するための画像抽出処理を行う。また、画像照合部４３４Ａは、内視鏡画像記憶部４３１に格納されている最新の深部血管画像ＡＬＩを読み込むとともに、前述の画像抽出処理により抽出された１つ以上の血管断層画像の中から、当該最新の深部血管画像ＡＬＩに対する一致度が最も高い一の血管断層画像ＢＴＩを特定するための画像照合処理を行う。
　すなわち、画像照合部４３４Ａは、Ａ光が被写体に照射されている場合に、血管断層画像生成部４３３により生成された（データベース４３３Ｄに格納されている）全てのまたは一部の血管断層画像の中から、当該Ａ光が生体組織の深部において到達可能な深さまでの血管を含む１つ以上の血管断層画像を抽出し、当該抽出した１つ以上の血管断層画像の中から、最新の深部血管画像ＡＬＩに対する一致度が最も高い一の血管断層画像ＢＴＩを特定するための処理を行う。
　画像照合部４３４Ａは、前述の画像照合処理の処理結果として得られた一の血管断層画像ＢＴＩに関連付けられている仮想内視鏡位置情報ＶＰＩを取得するとともに、当該取得した仮想内視鏡位置情報ＶＰＩをナビゲーション画像生成部４３５へ出力する。そして、このような画像照合部４３４Ａの動作によれば、第１の実施形態と略同様のナビゲーション画像がナビゲーション画像生成部４３５により生成されるとともに、第１の実施形態と略同様の表示用画像が画像合成部４３６により生成される。
　ユーザは、例えば、ＩＲ光により励起されかつ当該ＩＲ光よりも長波長な近赤外の蛍光であるＦＬ光を発生する蛍光薬剤ＦＬＰを被検体に投与した状態において、入力Ｉ／Ｆ４４Ａを操作することにより、ＩＲ光を被写体に照射させるための指示を行う。また、ユーザは、例えば、光源装置３からＩＲ光を出射させるための指示を行った後、被検体内の肺における所望の被写体を撮像可能な位置に挿入部６の先端部を配置する。
　制御部４５Ａは、プロセッサ４Ａの電源が投入され、かつ、光源装置３Ａがプロセッサ４Ａに接続された際に、入力Ｉ／Ｆ４４Ａにおいてなされた指示に応じ、ＷＬ光と、ＩＲ光と、を交互に被写体に照射させるためのシステム制御信号を生成して光源制御部３４へ出力する。
　光源制御部３４は、プロセッサ４Ａから出力されるシステム制御信号に基づき、青色ＬＥＤ３１１、緑色ＬＥＤ３１２及び赤色ＬＥＤ３１３の３色のＬＥＤを点灯させつつ琥珀色ＬＥＤ３１４及び近赤外ＬＤ３１５を消灯させる制御と、近赤外ＬＤ３１５を点灯させつつ当該３色のＬＥＤ及び琥珀色ＬＥＤ３１４を消灯させる制御と、を発光部３１Ａに対して交互に行う。そして、このような光源制御部３４の動作に応じ、ＷＬ光及びＩＲ光が交互に被写体に照射されるとともに、当該ＷＬ光が照射された当該被写体を撮像素子２５Ａで撮像して得られる白色光画像ＷＬＩと、当該ＩＲ光が照射された当該被写体から発せられるＦＬ光を撮像素子２５Ｂで撮像して得られる蛍光画像ＦＬＩ（図１０参照）と、が内視鏡装置２Ａからそれぞれ出力される。すなわち、蛍光画像ＦＬＩは、例えば、被検体内における深部血管の存在箇所が相対的に明るくなり、かつ、当該被検体内における深部血管の存在箇所以外の箇所が相対的に暗くなるような画像として取得される。図１０は、第２の実施形態に係る内視鏡システムにより取得される蛍光画像を模式的に示した図である。
　制御部４５Ａは、プロセッサ４Ａの電源が投入され、かつ、ＩＲ光を被写体に照射させるための指示が入力Ｉ／Ｆ４４Ａにおいて行われた際に、内視鏡装置２Ａから出力される白色光画像ＷＬＩを画像合成部４３６へ出力させるとともに、内視鏡装置２Ａから出力される蛍光画像ＦＬＩを内視鏡画像記憶部４３１へ出力させるためのシステム制御信号を生成して画像入力部４２へ出力する。そして、このような制御部４５Ａの動作に応じ、内視鏡装置２Ａから出力される白色光画像ＷＬＩが画像入力部４２を経て画像合成部４３６に入力されるとともに、内視鏡装置２Ａから出力される蛍光画像ＦＬＩが画像入力部４２を経て内視鏡画像記憶部４３１に時系列に格納される。
　画像照合部４３４Ａは、制御部４５Ａから出力されるシステム制御信号に基づいてＩＲ光が被写体に照射されていることを検出した場合に、当該ＩＲ光の照射により深部血管を観察可能な深さに相当する深度限界ＤＭＢ（例えば２ｍｍ）を特定し、当該特定した深度限界ＤＭＢまでの血管を含む１つ以上の血管断層画像をデータベース４３３Ｄに格納されている全てのまたは一部の血管断層画像の中から抽出するための画像抽出処理を行う。画像照合部４３４Ａは、内視鏡画像記憶部４３１に格納されている最新の蛍光画像ＦＬＩを読み込むとともに、前述の画像抽出処理により抽出された１つ以上の血管断層画像の中から、当該最新の蛍光画像ＦＬＩに対する一致度が最も高い一の血管断層画像ＢＴＪを特定するための画像照合処理を行う。
　すなわち、画像照合部４３４Ａは、ＩＲ光が被写体に照射されている場合に、血管断層画像生成部４３３により生成された（データベース４３３Ｄに格納されている）全ての血管断層画像の中から、当該ＩＲ光が生体組織の深部において到達可能な深さまでの血管を含む１つ以上の血管断層画像を抽出し、当該抽出した１つ以上の血管断層画像の中から、最新の蛍光画像ＦＬＩに対する一致度が最も高い一の血管断層画像ＢＴＪを特定するための処理を行う。
　画像照合部４３４Ａは、前述の画像照合処理の処理結果として得られた一の血管断層画像ＢＴＪに関連付けられている仮想内視鏡位置情報ＶＰＪを取得するとともに、当該取得した仮想内視鏡位置情報ＶＰＪをナビゲーション画像生成部４３５へ出力する。そして、このような画像照合部４３４Ａの動作によれば、ＩＲ光の照射時において、Ａ光の照射時よりも多くの血管断層画像が抽出される。また、前述のような画像照合部４３４Ａの動作によれば、第１の実施形態と略同様のナビゲーション画像がナビゲーション画像生成部４３５により生成されるとともに、第１の実施形態と同様の表示用画像が画像合成部４３６により生成される。
　以上に述べたように、本実施形態によれば、手術対象の臓器における現在の観察位置と、当該臓器における血管の３次元的な分布状態と、の間の対応関係を表す情報を提示することができる。従って、本実施形態によれば、深部血管の偶発的な損傷を防ぎつつ病変部の切除等の処置を行うことができるため、内視鏡観察下で外科手術を行う術者の負担を軽減することができる。
　また、本実施形態によれば、画像照合部４３４Ａの画像照合処理に用いられる血管断層画像の個数を、深度限界ＤＭＡ及びＤＭＢに応じてデータベース４３３Ｄから抽出した個数に制限することができる。従って、本実施形態によれば、例えば、画像照合部４３４Ａにおける画像照合処理に費やされる時間を短縮することができるとともに、ナビゲーション画像生成部４３５におけるナビゲーション画像の表示状態の変化を高速化することができる。
　なお、本発明は、上述した各実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
　本出願は、２０１７年５月３０日に日本国に出願された特願２０１７－１０６９７５号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (6)

  1. 　被検体内に存在する所定の臓器における血管の３次元的な分布状態を表すように構築された３次元血管モデルが格納されている格納部と、
    　前記３次元血管モデルが構築される３次元空間における任意の平面上に含まれる血管の分布状態を表す複数の血管断層画像を生成するように構成された血管断層画像生成部と、
    　前記所定の臓器における被写体に対して生体組織の深部に到達可能な光が照射された際に前記被写体を撮像して得られる画像が入力される画像入力部と、
    　前記血管断層画像生成部により生成された全てのまたは一部の血管断層画像の中から、前記画像入力部に入力された画像に対する一致度が所定の閾値よりも高い血管断層画像を特定するための処理を行うように構成された画像照合部と、
    　前記画像照合部により特定された血管断層画像に基づき、前記３次元血管モデルと、前記画像照合部により特定された血管断層画像に含まれる血管を観察可能な内視鏡の位置と、の間の対応関係を前記３次元空間内において表すナビゲーション画像を生成するように構成されたナビゲーション画像生成部と、
    　を有することを特徴とする画像処理装置。
  2. 　前記画像照合部は、前記血管断層画像生成部により生成された全てのまたは一部の血管断層画像の中から、前記被写体に照射される光が生体組織の深部において到達可能な深さまでの血管を含む１つ以上の血管断層画像を抽出し、さらに、当該抽出した１つ以上の血管断層画像の中から前記一致度が前記所定の閾値よりも高い血管断層画像を特定するための処理を行う
    　ことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記ナビゲーション画像生成部は、前記３次元空間内に配置した前記３次元血管モデルと、前記３次元空間内における前記内視鏡の位置を表す図形と、を含む画像を前記ナビゲーション画像として生成する
    　ことを特徴とする請求項１に記載の画像処理装置。
  4. 　前記ナビゲーション画像生成部は、前記画像照合部により特定された前記血管断層画像に対応する前記仮想内視鏡の位置が更新される毎に、前記ナビゲーション画像に含まれる前記図形の位置を移動させる
    　ことを特徴とする請求項３に記載の画像処理装置。
  5. 　前記ナビゲーション画像生成部は、前記画像照合部により特定された前記血管断層画像に対応する前記仮想内視鏡の位置が更新される毎に、前記ナビゲーション画像に含まれる前記３次元血管モデルを回転させる
    　ことを特徴とする請求項３に記載の画像処理装置。
  6. 　前記ナビゲーション画像生成部は、前記３次元血管モデルに対する前記図形の位置に応じ、前記ナビゲーション画像に含まれる前記３次元血管モデルの拡大率を変化させる
    　ことを特徴とする請求項３に記載の画像処理装置。
PCT/JP2018/008588 2017-05-30 2018-03-06 画像処理装置 WO2018220930A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018547496A JPWO2018220930A1 (ja) 2017-05-30 2018-03-06 画像処理装置、画像処理システム及び画像処理装置の作動方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-106975 2017-05-30
JP2017106975 2017-05-30

Publications (1)

Publication Number Publication Date
WO2018220930A1 true WO2018220930A1 (ja) 2018-12-06

Family

ID=64456431

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/008588 WO2018220930A1 (ja) 2017-05-30 2018-03-06 画像処理装置

Country Status (2)

Country Link
JP (1) JPWO2018220930A1 (ja)
WO (1) WO2018220930A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005021353A (ja) * 2003-07-01 2005-01-27 Olympus Corp 手術支援装置
JP2007244746A (ja) * 2006-03-17 2007-09-27 Olympus Medical Systems Corp 観察システム
WO2007129493A1 (ja) * 2006-05-02 2007-11-15 National University Corporation Nagoya University 医療画像観察支援装置
US20100210902A1 (en) * 2006-05-04 2010-08-19 Nassir Navab Virtual Penetrating Mirror Device and Method for Visualizing Virtual Objects in Endoscopic Applications
JP2012170774A (ja) * 2011-02-24 2012-09-10 Fujifilm Corp 内視鏡システム
JP2017508506A (ja) * 2014-02-04 2017-03-30 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 血管の深さ及び位置の可視化並びに血管断面のロボットガイド可視化

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005021353A (ja) * 2003-07-01 2005-01-27 Olympus Corp 手術支援装置
JP2007244746A (ja) * 2006-03-17 2007-09-27 Olympus Medical Systems Corp 観察システム
WO2007129493A1 (ja) * 2006-05-02 2007-11-15 National University Corporation Nagoya University 医療画像観察支援装置
US20100210902A1 (en) * 2006-05-04 2010-08-19 Nassir Navab Virtual Penetrating Mirror Device and Method for Visualizing Virtual Objects in Endoscopic Applications
JP2012170774A (ja) * 2011-02-24 2012-09-10 Fujifilm Corp 内視鏡システム
JP2017508506A (ja) * 2014-02-04 2017-03-30 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 血管の深さ及び位置の可視化並びに血管断面のロボットガイド可視化

Also Published As

Publication number Publication date
JPWO2018220930A1 (ja) 2019-06-27

Similar Documents

Publication Publication Date Title
JP5810248B2 (ja) 内視鏡システム
JP2012065698A (ja) 手術支援システムおよびそれを用いた手術支援方法
JPWO2018159363A1 (ja) 内視鏡システム及びその作動方法
JP6001219B1 (ja) 内視鏡システム
JP2018027272A (ja) 撮像システム
JP2015029841A (ja) 撮像装置および撮像方法
WO2017159335A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
WO2012157338A1 (ja) 医療機器、医療画像におけるマーカ表示制御方法及び医療用プロセッサ
JP4190917B2 (ja) 内視鏡装置
JP2008023101A (ja) 電子内視鏡システム
WO2016084504A1 (ja) 診断支援装置及び診断支援情報表示方法
WO2011092951A1 (ja) 画像取得装置、観察装置、および観察システム
JPWO2017115442A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP7328432B2 (ja) 医療用制御装置、医療用観察システム、制御装置及び観察システム
JPWO2019239942A1 (ja) 手術用観察装置、手術用観察方法、手術用光源装置、及び手術用の光照射方法
JPWO2018221041A1 (ja) 医療用観察システム及び医療用観察装置
WO2018047369A1 (ja) 内視鏡システム
CN113038864A (zh) 配置为生成三维信息并计算估计区域的医学观察系统和相应方法
JP5809850B2 (ja) 画像処理装置
JP6205531B1 (ja) 内視鏡システム
WO2018220930A1 (ja) 画像処理装置
WO2020203225A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2020009127A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
US20220022728A1 (en) Medical system, information processing device, and information processing method
US10537225B2 (en) Marking method and resecting method

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018547496

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18809630

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18809630

Country of ref document: EP

Kind code of ref document: A1