WO2013111623A1 - 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法 - Google Patents

内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法 Download PDF

Info

Publication number
WO2013111623A1
WO2013111623A1 PCT/JP2013/050361 JP2013050361W WO2013111623A1 WO 2013111623 A1 WO2013111623 A1 WO 2013111623A1 JP 2013050361 W JP2013050361 W JP 2013050361W WO 2013111623 A1 WO2013111623 A1 WO 2013111623A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
blood vessel
image
illumination light
layer blood
Prior art date
Application number
PCT/JP2013/050361
Other languages
English (en)
French (fr)
Inventor
加來 俊彦
飯田 孝之
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP13741638.4A priority Critical patent/EP2807973B1/en
Priority to CN201380004495.9A priority patent/CN104023618B/zh
Publication of WO2013111623A1 publication Critical patent/WO2013111623A1/ja
Priority to US14/321,116 priority patent/US9943230B2/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0653Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007Evaluating blood vessel condition, e.g. elasticity, compliance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Definitions

  • the present invention relates to an endoscope system that can extract blood vessels such as surface blood vessels and middle-deep blood vessels in a subject, a processor device of the endoscope system, and an image processing method.
  • Japanese Patent Application Laid-Open No. H10-228688 discloses that when the hue of a narrowband image generated based on narrowband light in a specific wavelength range (415 nm, 540 nm) is 5 to 35, it is determined as a surface blood vessel. However, there is shown a method of discriminating a middle-deep blood vessel when the hue H is 170 to 200.
  • semiconductor light sources such as laser light sources are being used as illumination light sources used for normal observation and special observation.
  • the fluorescent light green to red
  • the second blue laser beam having a central wavelength of 445 nm It is done to illuminate.
  • the ratio of the components of each color of the illumination light is also changed by adjusting the light quantity ratio between the first blue laser beam and the second blue laser beam. Since the penetration depth of the illumination light to the living tissue has wavelength dependency, the part to be clarified can be changed.
  • the blue component of the illumination light is made larger than the green component by adjusting the light intensity ratio, the surface blood vessels are clarified. Conversely, if the green component is made larger than the blue components, the middle-deep blood vessels are clarified. can do.
  • the present invention has been made in view of the above background, and even if the ratio of the blue component and the green component of the illumination light that illuminates the subject changes, it is possible to reliably extract a plurality of types of blood vessels having different depths. It is an object of the present invention to provide an endoscope system, a processor device of the endoscope system, and an image processing method.
  • an endoscope system includes a light emitting unit that emits two or more illumination lights including a first illumination light and a second illumination light having different wavelength ranges, a first illumination light, An illumination unit that irradiates the subject with the first illumination light and the second illumination light at a light amount ratio set by the light amount ratio setting unit; Image signal acquisition means for acquiring two or more color signals having different color information by receiving the return light from the subject with an image sensor and imaging, and predetermined for each pixel using the two or more color signals
  • Multi-color image generation means for generating a multi-color image composed of calculated values obtained by performing the above-described calculation, and blood vessel extraction processing that differs depending on the light amount ratio on the multi-color image, a specific depth is obtained.
  • a first layer blood vessel in which a certain first layer blood vessel is extracted from a multicolor image A blood vessel extraction image generation unit that generates at least one of the output image or the second layer blood vessel extraction image in which the second layer blood vessel located deeper than the first layer blood vessel is extracted from the multicolor image.
  • the light quantity ratio setting unit sets one of the predetermined light quantity ratios, and the blood vessel extraction image generating means is provided for each of the plurality of light quantity ratios.
  • each calculation value table a calculation value indicating the boundary between the mucous membrane and the first layer blood vessel is stored as a first boundary value, and a calculation value indicating the boundary between the mucosa and the second layer blood vessel is stored as a second boundary value.
  • the first boundary value and the second boundary value are preferably different for each calculation value table.
  • the first layer blood vessel extraction image is used to generate a first layer blood vessel enhancement / suppression image in which the first layer blood vessel is emphasized or suppressed, or the second layer blood vessel extraction image is used to emphasize or suppress the second layer blood vessel. It is preferable to include a blood vessel enhancement / suppression image generation means for generating a suppressed second-layer blood vessel enhancement / suppression image. It is preferable to include display means for displaying at least one of the first layer blood vessel enhancement / suppression image and the second layer blood vessel enhancement / suppression image.
  • the illumination means includes first illumination light including blue excitation light and fluorescence that is wavelength-converted by the wavelength conversion member by the blue excitation light, and second illumination light having a central wavelength in a wavelength region shorter than the excitation light.
  • the image signal acquisition means images the subject irradiated with the first illumination light and the second illumination light simultaneously with a color imaging device.
  • the wavelength conversion member is preferably provided inside a light source device that is separate from the endoscope that irradiates the subject with the first illumination light and the second illumination light.
  • the wavelength conversion member is preferably provided at the distal end portion of the endoscope that irradiates the subject with the first illumination light and the second illumination light.
  • the center wavelength of the excitation light is preferably 445 nm
  • the center wavelength of the second illumination light is preferably 405 nm.
  • the first illumination light is preferably illumination light having a center wavelength of 420 nm
  • the second illumination light is preferably illumination light having a center wavelength of 530 nm.
  • the color signal has a blue signal including blue component information and a green signal including green component information.
  • a multicolor image is obtained by dividing the blue signal by the green signal for each pixel.
  • a B / G image composed of a ratio is preferable.
  • the center wavelength 420 nm of the first illumination light includes a range where the center wavelength is 420 nm ⁇ 5 nm
  • the center wavelength 530 nm of the second illumination light includes a range where the center wavelength is 530 nm ⁇ 5 nm. It is a waste.
  • the present invention provides a light emitting unit that emits two or more illumination lights including first illumination light and second illumination light having different wavelength ranges, and a light amount ratio setting unit that sets a light amount ratio between the first illumination light and the second illumination light. And illuminating means for irradiating the subject with the first illumination light and the second illumination light at the light amount ratio set by the light amount ratio setting unit, and the return light from the subject is received by the image sensor and imaged. Accordingly, in a processor device of an endoscope system having an electronic endoscope that acquires two or more color signals having different color information, a predetermined calculation is performed for each pixel using the two or more color signals.
  • the multicolor image generating means for generating a multicolor image composed of the calculated values obtained in step (3) and a blood vessel extraction process that differs depending on the light amount ratio on the multicolor image, thereby providing a specific depth from the multicolor image.
  • First layer blood vessel extraction image from which the first layer blood vessel has been extracted Or a blood vessel extraction image generation means for generating at least one of the second layer blood vessel extraction images in which the second layer blood vessels located deeper than the first layer blood vessels are extracted from the multi-color image.
  • the present invention provides a light emitting unit that emits two or more illumination lights including first illumination light and second illumination light having different wavelength ranges, and a light amount ratio setting unit that sets a light amount ratio between the first illumination light and the second illumination light. And illuminating means for irradiating the subject with the first illumination light and the second illumination light at the light amount ratio set by the light amount ratio setting unit, and the return light from the subject is received by the image sensor and imaged. Accordingly, in an image processing method performed in an endoscope system having an electronic endoscope that acquires two or more color signals having different color information, a predetermined value is used for each pixel using two or more color signals.
  • the first color at a specific depth from the multicolor image is obtained.
  • First layer blood vessel extraction image from which layer blood vessels have been extracted, or multiple images Wherein the second layer blood vessels from the image position deeper than the first layer blood vessels to generate at least one of the second layer blood vessel extraction image extracted.
  • the present invention since different blood vessel extraction processes are performed depending on the light amount ratio of the first illumination light and the second illumination light that illuminate the subject, even if the light amount ratio changes, a plurality of types of blood vessels with different depths can be reliably obtained. Can be extracted.
  • (A) is a diagram for explaining the imaging control in the normal observation mode
  • (B) is a diagram for explaining the imaging control in the first to third special observation modes.
  • 6 is a graph showing a relationship between a blood vessel depth and a BG difference stored in a table for a first observation mode. It is a graph which shows the relationship between the blood vessel depth memorize
  • 12 is a graph showing a relationship between a blood vessel depth and a BG difference stored in a table for the third observation mode.
  • an electronic endoscope system 10 includes an electronic endoscope 11 that captures an image of a subject, a processor device 12 that generates an endoscopic image based on a signal obtained by the imaging, A light source device 13 that generates light for illuminating the specimen and a monitor 14 that displays an endoscopic image are provided.
  • the electronic endoscope 11 includes a flexible insertion portion 16 to be inserted into a body cavity, an operation portion 17 provided at a proximal end portion of the insertion portion 16, an operation portion 17, a processor device 12, and a light source device 13. And a universal cord 18 for connecting the two.
  • the electronic endoscope system 10 has a function of generating a superficial blood vessel emphasis / suppression image in which a superficial blood vessel on a subject is emphasized / suppressed and a mid-deep blood vessel emphasis / suppression image in which a middle deep blood vessel is emphasized / suppressed. .
  • Which blood vessel enhancement / suppression image is to be generated is determined by the operation of the surface / middle deep layer selection SW 28 (see FIG. 2).
  • the electronic endoscope system 10 is a first observation mode in which the blue component and the green component are observed in the subject with substantially the same illumination light, and the inside of the subject is observed with the illumination light in which the blue component is larger than the green component.
  • observation modes There are three observation modes: a second observation mode to be performed, and a third observation mode in which the inside of the subject is observed with illumination light whose green component is larger than the blue component. These first to third observation modes are switched by an observation mode selection SW 29 (see FIG. 2).
  • a bending portion 19 in which a plurality of bending pieces are connected is formed at the distal end of the insertion portion 16.
  • the bending portion 19 is bent in the vertical and horizontal directions by operating the angle knob 21 of the operation portion.
  • a distal end portion 16a incorporating an optical system for in-vivo imaging is provided at the distal end of the bending portion 19. The distal end portion 16 a is directed in a desired direction within the body cavity by the bending operation of the bending portion 19.
  • a connector 24 is attached to the universal cord 18 on the processor device 12 and the light source device 13 side.
  • the connector 24 is a composite type connector including a communication connector and a light source connector, and the electronic endoscope 11 is detachably connected to the processor device 12 and the light source device 13 via the connector 24.
  • the light source device 13 (one aspect of the illumination means) includes a broadband light source 30, a blue narrow band light source 33, a coupler 36, and a light source control unit 37.
  • the broadband light source 30 includes an excitation light source 30a that emits excitation light having a central wavelength of 445 nm, and a phosphor 30b that emits green to red fluorescence by excitation light from the excitation light source 30a.
  • the excitation light source 30a is composed of a semiconductor light source such as an LED (light emitting diode) or an LD (laser diode).
  • a broad area type InGaN laser diode can be used, and an InGaNAs laser diode, a GaNAs laser diode, or the like can also be used.
  • the phosphor 30b includes a plurality of types of fluorescent materials (for example, YAG-based fluorescent materials or fluorescent materials such as BAM (BaMgAl 10 O 17 )) that absorb a part of the excitation light and excite and emit green to red light. Is done. Accordingly, the green to red excitation emission light (fluorescence) emitted from the phosphor 30b and the excitation light that has not been absorbed and transmitted by the phosphor 30b are combined to generate a white light having an emission spectrum as shown in FIG. Light BB (pseudo white light) is generated. The generated white light BB enters the broadband optical fiber 34.
  • fluorescent materials for example, YAG-based fluorescent materials or fluorescent materials such as BAM (BaMgAl 10 O 17 )
  • the phosphor 30b preferably has a substantially rectangular parallelepiped shape.
  • the phosphor 30b may be formed by fixing the phosphor material in a substantially rectangular parallelepiped shape with a binder, or may be formed by mixing a phosphor material in a resin such as inorganic glass into a substantially rectangular parallelepiped shape. Good.
  • the phosphor 30b is also called Micro White (registered trademark) (Micro White (MW)) as a trade name.
  • the blue narrow band light source 33 is an LED (light emitting diode) or LD (laser diode), and generates blue narrow band light BN having a wavelength limited to 400 ⁇ 10 nm (center wavelength 405 nm) as shown in FIG. To do.
  • the blue narrowband light BN emitted from the blue narrowband light source 33 is incident on the narrowband optical fiber 35.
  • the coupler 36 connects the light guide 43 in the electronic endoscope 11 to the broadband optical fiber 34 and the narrowband optical fiber 35. Thereby, both the white light BB and the blue narrow band BN enter the light guide 43 simultaneously.
  • the light source controller 37 controls the light amounts of the excitation light source 30a and the blue narrow band light source 33, thereby maintaining a constant light amount ratio between the white light BB and the blue narrow band light BN.
  • the light amount ratio is set by the light amount ratio setting unit 37a.
  • the light amount ratio setting unit 37a is preset for each of the first to third observation modes, and sets the light amount ratio corresponding to the observation mode selected by the observation mode selection SW29.
  • the first light quantity ratio in the first observation mode is set so that the blue component and the green component in the illumination light irradiated into the subject are substantially the same.
  • the second light quantity ratio in the second observation mode is set so that the blue component of the illumination light is larger than the green component.
  • the third light amount ratio in the third observation mode is set so that the green component of the illumination light is larger than the blue component.
  • the inside of the subject is illuminated with the third light quantity ratio, the inside of the subject can be brightened as a whole.
  • the light amount of the blue narrow band light BN is preferably about 10% of the maximum light amount.
  • the electronic endoscope 11 includes a light guide 43, a CCD 44, an analog processing circuit 45 (AFE: Analog Front End), and an imaging control unit 46.
  • the light guide 43 is a large-diameter optical fiber, a bundle fiber, or the like.
  • the incident end is inserted into the coupler 36 in the light source device, and the emission end is directed to the irradiation lens 48 provided at the distal end portion 16a.
  • the white light BB and the blue narrow band light BN guided in the light guide 43 are irradiated into the subject through the irradiation lens 48 and the illumination window 49 attached to the end face of the distal end portion 16a.
  • the white light BB and the blue narrow band light BN reflected in the subject enter the condenser lens 51 through the observation window 50 attached to the end surface of the distal end portion 16a.
  • the CCD 44 receives the light from the condensing lens 51 on the imaging surface 44a, photoelectrically converts the received light, accumulates signal charges, and reads the accumulated signal charges as imaging signals.
  • the read imaging signal is sent to the AFE 45.
  • the CCD 44 is a color CCD, and on the imaging surface 44a, pixels of three colors of B pixel, G pixel, and R pixel provided with any color filter of B color, G color, and R color are arranged. Yes. It is preferable that the CCD 44 has a Bayer array in which the ratio of B pixels, G pixels, and R pixels is 1: 2: 1. Note that one aspect of the image signal acquisition unit includes a condenser lens 51, a CCD 44 having an imaging surface 44a, and an AFE 45.
  • the color filters of B color, G color, and R color have transmission distributions 52, 53, and 54 as shown in FIG.
  • the color filters of B color, G color, and R color are respectively transmitted to the transmission distributions 52, 53, and 54 of the white light BB. Transmits light of the corresponding wavelength.
  • a signal photoelectrically converted by the R pixel is a red signal R
  • a signal photoelectrically converted by the G pixel is a green signal G
  • a signal photoelectrically converted by the B pixel is a blue signal B.
  • the AFE 45 includes a correlated double sampling circuit (CDS), an automatic gain control circuit (AGC), and an analog / digital converter (A / D) (all not shown).
  • the CDS performs correlated double sampling processing on the image pickup signal from the CCD 44 to remove noise generated by driving the CCD 44.
  • the AGC amplifies the imaging signal from which noise has been removed by CDS.
  • the A / D converts the imaging signal amplified by the AGC into a digital imaging signal having a predetermined number of bits and inputs the digital imaging signal to the processor device 12.
  • the imaging control unit 46 is connected to a controller 59 in the processor device 12 and sends a drive signal to the CCD 44 when an instruction is given from the controller 59.
  • the CCD 44 outputs an imaging signal to the AFE 45 at a predetermined frame rate based on the drive signal from the imaging control unit 46.
  • the processor device 12 includes a base image generation unit 55, a frame memory 56, an image processing unit 57, and a display control circuit 58, and a controller 59 controls each unit.
  • the base image generation unit 55 creates a base image by performing various signal processing on the blue signal B, the green signal G, and the red signal R output from the AFE 45 of the electronic endoscope.
  • the created base image is temporarily stored in the frame memory 56.
  • the blue signal B, green signal G, and red signal R output from the AFE 45 are also stored in the frame memory 56.
  • the base image may be a pseudo color image obtained by pseudo-coloring blood vessel function information such as oxygen saturation.
  • the image processing unit 57 includes a B / G image generation unit 61 (one aspect of a multicolor image generation unit), a blood vessel extraction image generation unit 63, and a blood vessel enhancement / suppression image generation unit 65 (vascular enhancement / suppression image generation unit). 1 aspect).
  • the B / G image generation unit 61 generates a B / G image including a luminance ratio B / G (B / G ratio) between the blue signal B and the green signal G.
  • B / G ratio indicates the luminance ratio of the pixels at the same position between the blue signal B and the green signal G.
  • the blood vessel extraction image generation unit 63 generates a surface blood vessel extraction image obtained by extracting surface blood vessels or a middle deep blood vessel extraction image obtained by extracting middle deep blood vessels based on the B / G image.
  • the generation method of these blood vessel extraction images differs depending on which of the first to third observation modes is set.
  • a surface blood vessel extraction image or a mid-deep blood vessel extraction image is generated using the first light amount ratio table 63a suitable for the first light amount ratio in the first observation mode.
  • the first light quantity ratio table 63a stores the correlation between the brightness ratio B / G and the blood vessel depth as shown in FIG. This correlation is a proportional relationship in which the luminance ratio B / G (B / G ratio) increases as the blood vessel depth increases.
  • one aspect of the blood vessel extraction image generation means includes a blood vessel extraction image generation unit 63 and first to third light quantity ratio tables 63a to 63c.
  • the blue component (B component) and the green component (G component) of the illumination light are substantially the same. Therefore, as shown in FIG. 6, when illumination light is irradiated to a mucous membrane without a blood vessel, the ratio of B component and G component of the return light is substantially the same. This is because the mucous membrane does not absorb a large amount of light. If the average B / G ratio at this time is P, the B / G ratio exhibited by the mucous membrane is within a certain range of Ls to P to Ld.
  • Ls is the lower limit value of the B / G ratio of the mucosa in the first observation mode
  • Ld is the upper limit value of the B / G ratio of the mucosa in the first observation mode.
  • the B component of the illumination light is largely absorbed by the surface blood vessel, while the G component is hardly absorbed. Therefore, most of the B / G ratio is Ls or less. Therefore, it can be seen that a superficial blood vessel is projected at a pixel having a B / G ratio of Ls or less (that is, Ls is a boundary value between the mucous membrane and the superficial blood vessel).
  • Ls is a boundary value between the mucous membrane and the superficial blood vessel.
  • the middle-deep blood vessel is projected on the pixel having the B / G ratio of Ld or more (that is, Ld is the boundary value between the mucous membrane and the middle-deep blood vessel).
  • the surface blood vessel extraction image or the mid-deep blood vessel extraction image is used by using the second light amount ratio table 63b suitable for the second light amount ratio in the second observation mode. Is generated.
  • the second light quantity ratio table 63b has a proportional relationship in which the luminance ratio B / G (B / G ratio) increases as the blood vessel depth increases, as shown in FIG. It has become.
  • the B / G ratio is increased overall.
  • the boundary value Ls ′ between the mucosa and the superficial blood vessel becomes larger than the boundary value Ls in the first observation mode
  • the boundary value Ld ′ between the mucosa and the middle-layer blood vessel is the boundary value in the first observation mode. It becomes higher than Ld.
  • the surface blood vessel extraction image or the mid-deep blood vessel extraction image is used by using the third light amount ratio table 63c suitable for the third light amount ratio in the third observation mode. Is generated.
  • the third light quantity ratio table 63c has a proportional relationship in which the luminance ratio B / G (B / G ratio) increases as the blood vessel depth increases, as shown in FIG. It has become.
  • the B / G ratio is lowered overall.
  • the boundary value Ls ′′ between the mucous membrane and the superficial blood vessel becomes smaller than the boundary value Ls in the first observation mode, and the boundary value Ld ′′ between the mucosa and the middle-deep blood vessel is equal to that in the first observation mode. It becomes smaller than the boundary value Ld.
  • the blood vessel enhancement / suppression image generation unit 65 generates a surface blood vessel enhancement / suppression image in which the surface blood vessels are emphasized (or suppressed) by synthesizing the surface blood vessel extraction image and the base image.
  • a mid-deep blood vessel emphasis / suppression image in which the mid-deep blood vessels are emphasized (or suppressed) is generated.
  • an image obtained by increasing the pixel value of each pixel in the surface blood vessel extraction image (or intermediate deep blood vessel extraction image) by several times is added to the pixel value of each pixel of the base image.
  • the pixel value of each pixel in the surface blood vessel extraction image (or intermediate deep blood vessel extraction image) increased several times is subtracted from the pixel value of each pixel of the base image.
  • the display control circuit 58 displays the blood vessel enhancement / suppression image on the monitor 14 (one form of display means). For example, as shown in FIG. 11, when the superficial blood vessel 71 extracted from the B / G image is emphasized on the blood vessel enhancement / suppression image, the superficial blood vessel 71 is more conspicuous than the mid-deep blood vessel 72. Diagnosis focusing on only 71 becomes possible. On the other hand, as shown in FIG. 12, when the middle deep blood vessel 72 extracted from the B / G image is emphasized on the blood vessel enhancement / suppression image, the middle deep blood vessel 72 is more conspicuous than the surface blood vessel 71. Diagnosis focusing on only the middle-deep blood vessel 72 is possible.
  • a predetermined observation mode is set from the first to third observation modes.
  • a light quantity ratio (a light quantity ratio between the white light BB and the blue narrow band light BN) corresponding to the predetermined observation mode is set.
  • the white light BB and the blue narrow-band light BN emitted from the light source device 13 are set to a set light amount ratio between the white light BB and the blue narrow-band light BN that are simultaneously irradiated into the subject via the light guide 43.
  • the light amount is controlled.
  • the reflected light from the subject is imaged by the color CCD 44.
  • a base image is generated from the blue signal B, green signal G, and red signal R obtained by this imaging.
  • the generated base image, blue signal B, green signal G, and red signal R are temporarily stored in the frame memory 56.
  • the B / G image generation unit 61 generates a B / G image having a luminance ratio B / G between the blue signal B and the green signal G.
  • a surface blood vessel extraction image obtained by extracting surface blood vessels from the B / G image is generated, and a medium deep blood vessel extraction image obtained by extracting medium deep blood vessels from the B / G image is generated.
  • a light amount ratio table corresponding to the set light amount ratio is used.
  • a blood vessel enhancement / suppression image in which the surface blood vessel (or middle deep blood vessel) is emphasized / suppressed is generated from the surface blood vessel extraction image (or middle deep blood vessel extraction image) and the base image.
  • the generated blood vessel enhancement / suppression image is converted into a signal that can be displayed on the monitor by the display control circuit 58 and then displayed on the monitor 14 as shown in FIG. 11 or FIG.
  • an image signal obtained by imaging is generated when an image for monitor display is generated.
  • the blue signal B is preferably assigned to the B channel and the G channel of the video signal
  • the green signal G is preferably assigned to the R channel of the video signal.
  • the monitor 14 displays a pseudo color image in which the superficial blood vessels and the middle-deep blood vessels are expressed in different colors.
  • the white light BB is emitted from the broadband light source 30 in the light source device 13.
  • the phosphor 100 is placed on the distal end portion 16 a of the electronic endoscope 11.
  • the phosphor 30b may be excited by excitation light from the excitation light source 101 installed in the light source device 13 to emit fluorescence.
  • the combined light of the fluorescence and the excitation light that has not been absorbed by the phosphor 100 is irradiated into the subject as white light BB.
  • the phosphor 100 is the same as the phosphor 30b of the above embodiment
  • the excitation light source 101 is the same as the excitation light source 30a of the above embodiment.
  • the subject is irradiated with white light from the phosphor, but instead of this, a part of the plurality of illumination lights that illuminate the subject is used as light from the semiconductor light source.
  • Others may be light that is wavelength-separated from white light such as a xenon lamp. In this case, for example, an electronic endoscope system 100 shown in FIG. 15 is used.
  • the electronic endoscope system 100 is different from the light source device 113 in its entirety, and the CCD 101 of the electronic endoscope 111 is a monochrome CCD.
  • the electronic endoscope system 100 has two observation modes, a normal observation mode in which the inside of the subject is observed with illumination light of three colors of blue light, green light, and red light, and two colors of blue narrow band light and green light. First to third special observation modes for observing the inside of the subject with the illumination light.
  • the first to third special observation modes have different light amounts of blue narrow band light and green light.
  • the first special observation mode the light amounts of blue narrow band light and green light are the same, and in the second special observation mode, blue light is the same.
  • the amount of narrowband light is greater than the amount of green light, and in the third special observation mode, the amount of green light is greater than the amount of blue narrowband light. That is, the first to third special observation modes substantially correspond to the first to third observation modes of the above embodiment. Therefore, the blood vessel extraction method in the first to third special observation modes is performed in the same manner as in the first to third observation modes. Other than that, since it is almost the same as the above embodiment, detailed description is omitted.
  • the light source device 113 includes a white light source unit 130, a semiconductor light source unit 131, and a light source control unit 132 that drives and controls them.
  • the white light source unit 130 includes a lamp main body 130 a that emits white light BB, and a diaphragm 130 b provided on the optical path of the lamp main body 130.
  • the lamp body 130a generates broadband light (white light) BB having a continuous emission spectrum in a wide wavelength range from a red region to a blue region (about 400 to 700 nm) such as a xenon lamp, a halogen lamp, or a metal halide lamp.
  • the lamp body 130a is always lit while the light source device 113 is powered on.
  • the aperture of the diaphragm 130b is adjusted by the drive control of the light source control unit 132. Along with the adjustment of the opening, the amount of white light BB is adjusted.
  • a rotary filter 134 is disposed in the optical path of the white light BB. As shown in FIG. 16, the rotary filter 134 has a disk shape, and transmits B, G, and R light into fan-shaped regions that are divided into three in the circumferential direction and have a central angle of 120 °. Three color filters of a B filter part 134a, a G filter part 134b, and an R filter part 134c are provided.
  • the B filter unit 134a transmits blue light (B color light) of the white light BB
  • the G filter unit 134b transmits green light (G color light) of the white light BB
  • the R filter unit 134c of the white light BB Transmits red light (R color light).
  • the transmission band of the G filter part 134b is preferably set so that the center wavelength of the G color light is 530 nm. Since the absorption coefficient of hemoglobin is high in the vicinity of the wavelength of 530 nm, the contrast between the blood vessel and the other can be increased by irradiating the blood vessel with light in this wavelength range.
  • the rotary filter 134 is rotatably provided so that the B filter part 134a, the G filter part 134b, and the R filter part 134c are selectively inserted into the optical path of the white light BB.
  • the rotary filter 134 rotates, the B filter part 134a, the G filter part 134b, and the R filter part 134c are sequentially inserted into the optical path of the white light BB.
  • the semiconductor light source unit 131 has a blue semiconductor light source 131a made of LD (Laser Diode) or LED (Light Emitting Diode), and a drive unit 131b for driving the blue semiconductor light source 131a.
  • the blue semiconductor light source 131a emits blue narrow band light BN having a center wavelength of 420 nm (see FIG. 17). Since the absorption coefficient of hemoglobin is high in the vicinity of the wavelength of 420 nm, the contrast between the blood vessel and the other can be increased by irradiating the blood vessel with light in this wavelength range.
  • the drive unit 131b is connected to the light source control unit 132.
  • the light source control unit 132 controls the driving unit 131b to turn on / off the blue semiconductor light source 131a and adjust the light amount.
  • a laser diode used for the blue semiconductor light source 131a a broad area type InGaN-based, InGaNAs-based, or GaNAs-based laser diode can be used.
  • the B-color light, G-color light, and R-color light from the rotary filter 134 and the blue narrow-band light BN from the blue semiconductor light source 131a are merged at the light merge unit 139.
  • the light merging unit 139 is composed of a dichroic mirror, and transmits B-color light, G-color light, and R-color light as they are, and bends the blue narrow-band light BN by 90 ° to join the optical paths of B-color light, G-color light, and R-color light. .
  • the light that has passed through the light converging portion 139 enters the light guide 43 through the condenser lens 136.
  • a shutter plate 140 is arranged between the white light source unit 130 and the rotary filter 134.
  • the shutter plate 40 shields the white light BB when supplying the blue narrow band light BN to the electronic endoscope 11.
  • the shutter plate 140 is made of a member having a light shielding property against the white light BB, and the planar shape is a shape obtained by cutting out a part of a circle.
  • the shutter plate 140 has a light shielding portion 140a having a central angle of 240 °, and the remaining 120 ° portion is cut out to form a transmission portion 140b that transmits white light BB. .
  • the shutter plate 140 is rotatably provided, and the light shielding part 140a and the transmission part 140b are selectively inserted into the optical path of the white light BB alternately by rotation.
  • the shutter plate 140 has substantially the same radius as the rotary filter 134, and the rotation axis coincides.
  • the central angle of the transmission part 140b of the shutter plate 140 substantially coincides with the central angle of the B, G, R filter parts 134a, 134b, 134c of the rotary filter 34.
  • the transmissive portion 140b is formed by cutting out, but the transmissive portion 140b may be formed of a transparent plate that transmits the white light BB.
  • the rotation of the shutter plate 140 is controlled by the light source control unit 132.
  • This rotation control differs depending on each observation mode.
  • the shutter plate 140 In the normal observation mode, the shutter plate 140 is stopped in a state where the light shielding unit 140a is retracted from the optical path of the white light BB and the transmission unit 140b is inserted in the optical path. Therefore, the white light BB is always incident on the rotary filter 134. Along with this, light of three colors of B color, G color, and R color is sequentially emitted from the rotary filter 134.
  • the blue semiconductor light source 13 is always turned off.
  • the shutter plate 140 rotates at the same speed as the rotary filter 134 so that the rotation phases of the transmission part 140b and the G filter part 134b coincide.
  • the white light BB passes through the G filter part 34b and G color light is generated.
  • the G color light passes through the condenser lens 136 and is supplied to the electronic endoscope 11.
  • the white light BB is shielded. While the white light BB is blocked, the blue semiconductor light source 131a is turned on, and the blue narrow band light BN is supplied to the electronic endoscope 11. Since the CCD 101 is a monochrome image sensor, the provision of the shutter plate 140 prevents color mixture of the blue narrow band light BN and the white light BB.
  • the light source control unit 132 controls the opening degree of the diaphragm 130b of the white light source unit 130 and the drive unit 131b of the semiconductor light source unit 131 as described above. By this control, the light amounts of B color light, G color light, and R color light from the rotary filter 134 and the light amount of the blue narrow band light BN are also adjusted.
  • the light quantity ratio between the G color light and the blue narrow band light BN used in the first to third special observation modes is predetermined for each special observation mode.
  • the setting of the light amount ratio is performed by the light amount ratio setting unit 132a as in the above embodiment.
  • the light amount ratio setting unit 132a sets the light amount ratio corresponding to the observation mode selected by the observation mode selection SW29.
  • the first light quantity ratio in the first special observation mode is set to be the same as the light quantity of the G color light and the blue narrow band light BN.
  • the second light amount ratio in the second special observation mode is set so that the light amount of the blue narrow band light BN is larger than that of the G color light.
  • the third light amount ratio in the third observation mode is set so that the light amount of the G color light is larger than the light amount of the blue narrow band light BN.
  • the imaging control method of the CCD 101 and the base image generation method using the base image 55 are different from those of the CCD 44 of the above embodiment. .
  • the CCD 101 performs an accumulation operation for accumulating signal charges and a read operation for reading the accumulated signal charges within an acquisition period of one frame.
  • image light of the three colors B, G, and R is sequentially captured, and the blue signal B, the green signal G, and the red signal R are sequentially output.
  • a base image is generated based on the signals B, G, and R for the three colors. The above operation is repeated while the normal observation mode is set.
  • the first to third special observation modes as shown in FIG. 19B, one frame out of the two frame periods in which the blue narrow-band light BN is irradiated in the subject.
  • the image light of the blue narrow band light BN is captured for the period, and the blue signal B is sequentially output.
  • the G light image light is captured and the green signal B is sequentially output.
  • a base image is generated based on the signals B and G for these two colors.
  • the first to third special observation modes when generating the base image, the blue signal B is assigned to the B channel and the G channel for monitor display, and the green signal G is assigned to the R channel for monitor display. It is preferable.
  • light from a semiconductor light source is used for blue light, and light obtained by wavelength-separating white light BB is used for green light.
  • light from a semiconductor light source may be used for green light, and light obtained by wavelength-separating white light may be used for blue light.
  • the B / G ratio is used to separate the superficial blood vessel and the middle-deep blood vessel, but instead, the G / B ratio, the BG difference, the GB difference, the B / G Two or more color signals having different color information such as (B + G) ratio, G / (B + G) ratio, B / R ratio, R / B ratio, BR difference, RB difference, B / Y ratio, etc.
  • Each blood vessel can also be separated by the calculated value obtained by the used calculation.
  • the relationship between the calculated value and the blood vessel depth is stored in a plurality of tables corresponding to the first to third observation modes (first to third light quantity ratios), as in the above-described embodiment.
  • the boundary value of the calculated value indicating the boundary with the superficial blood vessel and the boundary value of the calculated value indicating the boundary between the mucosa and the mid-deep blood vessel are different for each table.
  • the table used in the first observation mode includes a BG difference as shown in FIG. 20A.
  • the relationship between blood vessel depth and blood vessel is stored.
  • Ls indicates a BG difference indicating the boundary between the mucosa and the superficial blood vessel
  • Ld indicates a BG difference indicating the boundary between the mucosa and the mid-deep blood vessel.
  • the table used in the second observation mode stores the relationship between the BG difference and the blood vessel depth as shown in FIG. 20B.
  • the BG difference Ls ′ at the boundary between the mucous membrane and the superficial blood vessel is set larger than Ls
  • the BG difference Ld ′ at the boundary between the mucosa and the middle-deep blood vessel is set larger than Ld.
  • the table used in the second observation mode stores the relationship between the BG difference and the blood vessel depth as shown in FIG. 20C.
  • the BG difference Ls ′′ at the boundary between the mucous membrane and the superficial blood vessel is set smaller than Ls
  • the BG difference Ld ′′ at the boundary between the mucosa and the mid-deep blood vessel is set smaller than Ld.
  • the G / B ratio is a value obtained by dividing the green signal by the blue signal
  • the BG difference is a value obtained by subtracting the green signal from the blue signal
  • the GB difference is a value obtained by subtracting the blue signal from the green signal.
  • the B / (B + G) ratio is a value obtained by dividing the blue signal by the added value of the blue signal and the green signal
  • the G / (B + G) ratio is obtained by dividing the green signal by the added value of the blue signal and the green signal.
  • the B / R ratio is a value obtained by dividing the blue signal by the red signal
  • the R / B ratio is a value obtained by dividing the red signal by the blue signal
  • the BR difference is obtained by dividing the red signal from the blue signal.
  • the RB difference is a value obtained by subtracting the blue signal from the red signal
  • the B / Y ratio is a value obtained by dividing the green signal by the yellow signal (the yellow signal indicates the wavelength information of 500 to 700

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Vascular Medicine (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)

Abstract

照明光の青色成分と緑色成分の割合が変化したとしても、深さが異なる複数種類の血管を確実に判別する。白色光BBと青色狭帯域光BNが被検体に同時に照射される。白色光BBと青色狭帯域光BNの光量比は、光量比設定部37aで設定される。被検体をカラーのCCD44で撮像することにより青色信号B、緑色信号G、赤色信号Rを得る。これら3色の信号B,G,Rからベース画像を生成する。青色信号B及び緑色信号G間の信号比であるB/G比から構成されるB/G画像を生成する。B/G画像において、B/G比が粘膜と表層血管の境界値Ls以下である画素を抽出することにより、表層血管抽出画像を得る。B/G比が粘膜と中深層血管の境界値Ld以上である画素を抽出することにより、中深層血管抽出画像を得る。これら境界値Ls、Ldは、光量比設定部37aで設定された光量比によって異なっている。

Description

内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法
 本発明は、被検体内における表層血管、中深層血管などの血管を抽出することができる内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法に関する。
 近年の医療においては、内視鏡装置を用いた診断等が広く行われている。内視鏡装置による被検体内の観察としては、被検体内を全体的に観察する通常観察の他、被検体上の特定の部位など強調させて観察を行う特殊観察も行われるようになってきている。
 この特殊観察においては、強調表示させた血管の形状パターンから、ガンか否かを鑑別することが行われている。血管の種類としては、主に、生体組織表層に分布する表層血管とその下方に位置する中深層血管とがあり、診断の目的に応じて、いずれかの血管に着目して診断が行われることがある。この場合、着目しない血管が内視鏡画像上に混じっていると、診断の妨げになるおそれがあるため、画像上から表層血管、中深層血管のいずれかを判別し、着目するほうの血管のみを抽出した画像をモニタに表示することが求められていた。
 この血管の深さ判別方法に関しては、特許文献1に、特定波長域(415nm、540nm)の狭帯域光に基づいて生成される狭帯域画像の色相が5~35の場合には表層血管と判別し、色相Hが170~200の場合に中深層血管と判別する方法が示されている。
特開2011-135983号公報
 近年においては、通常観察及び特殊観察に用いる照明光源として、レーザー光源などの半導体光源が用いられつつある。例えば、通常観察においては、中心波長405nmの第1青色レーザー光に加えて、中心波長445nmの第2青色レーザー光を蛍光体に照射することで励起発光する蛍光(緑色~赤色)を、被検体に照明することが行われている。また、特殊観察においては、第1青色レーザー光及び第2青色レーザ光の光量比を調整することによって、照明光の各色の成分の比率を変化させることも行われている。生体組織への照明光の深達度は波長依存性を有するため、明瞭化する部位を変更することができる。例えば、光量比の調整によって照明光の青色成分を緑色成分よりも大きくした場合には、表層血管が明瞭化し、反対に緑色成分を青色成分よりも大きくした場合には、中深層血管を明瞭化することができる。
 このように光量比の調整により、着目する血管を明瞭化することができるが、着目しない血管であっても、目立ちはしないものの、わずかに表示されている。このように僅かに表示される血管は、着目する血管の視認性を低下させることとなる。したがって、上記のように、着目する血管のみを判別して抽出する必要がある。しかしながら、光量比を調整した場合には、画像上の色相が変化してしまう。そのため、特許文献1のような色相に基づく血管判別方法では、着目する血管を確実に抽出することはできない。
 本発明は、上記背景に鑑みてなされたもので、被検体に照明する照明光の青色成分と緑色成分の割合が変化したとしても、深さが異なる複数種類の血管を確実に抽出することができる内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法を提供することを目的とする。
 上記目的を達成するために、本発明の内視鏡システムは、互いに波長域が異なる第1照明光及び第2照明光を含む2つ以上の照明光を発する発光部と、第1照明光及び第2照明光の光量比を設定する光量比設定部とを有し、光量比設定部で設定された光量比で、第1照明光及び第2照明光を被検体に照射する照明手段と、被写体からの戻り光を撮像素子で受光して撮像することによって、互いに異なる色情報を持つ2つ以上の色信号を取得する画像信号取得手段と、2以上の色信号を用いて画素毎に所定の演算をすることで得られる演算値から構成される多色画像を生成する多色画像生成手段と、多色画像に対して、光量比によって異なる血管抽出処理を行うことによって、特定深さにある第1層血管が多色画像から抽出された第1層血管抽出画像、または第1層血管よりも深い位置にある第2層血管が多色画像から抽出された第2層血管抽出画像の少なくともいずれか一方を生成する血管抽出画像生成手段とを備えることを特徴とする。
 光量比設定部は、予め定められた複数の光量比の中からいずれかの光量比を設定し、血管抽出画像生成手段は、複数の光量比ごとに設けられ、被検体上の粘膜、第1層血管、及び第2層血管と演算値との相関関係を記憶した複数の演算値テーブルと、光量比設定部で設定された光量比に対応する演算値テーブルを用いた血管抽出処理を行うことによって、第1層血管抽出画像、または第2層血管抽出画像の少なくともいずれか一方を生成する血管抽出画像生成部とを備えることが好ましい。
 各演算値テーブルには、粘膜と第1層血管との境界を示す演算値が第1境界値として記憶され、粘膜と第2層血管との境界を示す演算値が第2境界値として記憶され、第1境界値及び第2境界値は、演算値テーブル毎に異なっていることが好ましい。
 第1層血管抽出画像を用いて、第1層血管が強調または抑制された第1層血管強調・抑制画像を生成し、または第2層血管抽出画像を用いて、第2層血管が強調または抑制された第2層血管強調・抑制画像を生成する血管強調・抑制画像生成手段を備えることが好ましい。第1層血管強調・抑制画像または第2層血管強調・抑制画像の少なくともいずれか一方を表示する表示手段を備えることが好ましい。
 照明手段は、青色の励起光とこの青色励起光により波長変換部材で波長変換される蛍光を含む第1照明光と、中心波長が励起光よりも短波長側に波長域を有する第2照明光を被検体に向けて同時に照射し、画像信号取得手段は、第1照明光及び第2照明光が同時に照射された被検体を、カラーの撮像素子で撮像することが好ましい。
 波長変換部材は、第1照明光及び第2照明光を被検体に向けて照射する内視鏡とは別体の光源装置の内部に設けられることが好ましい。波長変換部材は、第1照明光及び第2照明光を被検体に向けて照射する内視鏡の先端部に設けられることが好ましい。励起光の中心波長は445nmであり、第2照明光の中心波長は405nmであることが好ましい。第1の照明光は420nmを中心波長とする照明光であり、第2の照明光は530nmを中心波長とする照明光であることが好ましい。色信号は、青色成分の情報が含まれる青色信号と緑色成分の情報が含まれる緑色信号を有し、多色画像は、画素毎に青色信号を緑色信号で除することで得られるB/G比から構成されるB/G画像であることが好ましい。なお、第1の照明光の中心波長420nmとは、中心波長が420nm±5nmの範囲を含むものであり、第2の照明光の中心波長530nmとは、中心波長が530nm±5nmの範囲を含むものである。
 本発明は、互いに波長域が異なる第1照明光及び第2照明光を含む2以上の照明光を発する発光部と、第1照明光及び第2照明光の光量比を設定する光量比設定部とを有し、光量比設定部で設定された光量比で、第1照明光及び第2照明光を被検体に照射する照明手段と、被写体からの戻り光を撮像素子で受光して撮像することによって、互いに異なる色情報を持つ2以上の色信号を取得する電子内視鏡とを有する内視鏡システムのプロセッサ装置において、2以上の色信号を用いて画素毎に所定の演算をすることで得られる演算値から構成される多色画像を生成する多色画像生成手段と、多色画像に対して、光量比によって異なる血管抽出処理を行うことによって、多色画像から特定深さにある第1層血管が抽出された第1層血管抽出画像、または多色画像から第1層血管よりも深い位置にある第2層血管が抽出された第2層血管抽出画像の少なくともいずれか一方を生成する血管抽出画像生成手段とを備えることを特徴とする。
 本発明は、互いに波長域が異なる第1照明光及び第2照明光を含む2以上の照明光を発する発光部と、第1照明光及び第2照明光の光量比を設定する光量比設定部とを有し、光量比設定部で設定された光量比で、第1照明光及び第2照明光を被検体に照射する照明手段と、被写体からの戻り光を撮像素子で受光して撮像することによって、互いに異なる色情報を持つ2以上の色信号を取得する電子内視鏡とを有する内視鏡システム内で行われる画像処理方法において、2以上の色信号を用いて画素毎に所定の演算をすることで得られる演算値から構成される多色画像を生成し、多色画像に対して、光量比によって異なる血管抽出処理を行うことによって、多色画像から特定深さにある第1層血管が抽出された第1層血管抽出画像、または多色画像から第1層血管よりも深い位置にある第2層血管が抽出された第2層血管抽出画像の少なくともいずれか一方を生成することを特徴とする。
 本発明によれば、被検体に照明する第1照明光及び第2照明光の光量比によって異なる血管抽出処理を行うため、光量比が変化したとしても、深さが異なる複数種類の血管を確実に抽出することができる。
電子内視鏡システムの外観図である。 電子内視鏡システムの電気的構成を示すブロック図である。 中心波長445nmの励起光、励起光を蛍光体に当てることによって励起発光する励起発光光、及び中心波長405nmの青色レーザ光の発光スペクトルを示すグラフである。 R色、G色、B色のカラーフィルターの分光透過率を示すグラフである。 第1光量比用テーブルに記憶されている血管深さとB/G比との関係を示すグラフである。 B成分とG成分の割合が略同じ照明光が、粘膜、表層血管、中深層血管に照射されたときのB/G比を説明するための図である。 第2光量比用テーブルに記憶されている血管深さとB/G比との関係を示すグラフである。 B成分がG成分よりも大きい照明光が、粘膜、表層血管、中深層血管に照射されたときのB/G比を説明するための図である。 第3光量比用テーブルに記憶されている血管深さとB/G比との関係を示すグラフである。 G成分がB成分よりも大きい照明光が、粘膜、表層血管、中深層血管に照射されたときのB/G比を説明するための図である。 表層血管が強調され、中深層血管が抑制された画像を示す図である。 表層血管が抑制され、中深層血管が強調された画像を示す図である。 本発明の作用を示すフローチャートである。 図2とは別実施形態の電子内視鏡システムの電気的構成を示すブロック図である。 図2、図14とは別実施形態の内視鏡システムの電気的構成を示すブロック図である。 ロータリフィルタを示す図である。 青色狭帯域光の強度分布及びロータリフィルタのBフィルタ、Gフィルタ、Rフィルタの分光透過率を示すグラフである。 シャッタ板を示す図である。 (A)は通常観察モード時の撮像制御を説明するための図であり、(B)は第1~第3特殊観察モード時の撮像制御を説明するための図である。 第1観察モード用のテーブルに記憶されている血管深さとB-G差との関係を示すグラフである。 第2観察モード用のテーブルに記憶されている血管深さとB-G差との関係を示すグラフである。 第3観察モード用のテーブルに記憶されている血管深さとB-G差との関係を示すグラフである。
 図1に示すように、電子内視鏡システム10は、被検体内を撮像する電子内視鏡11と、撮像により得られた信号に基づいて内視鏡画像を生成するプロセッサ装置12と、被検体を照明する光を発生する光源装置13と、内視鏡画像を表示するモニタ14とを備えている。電子内視鏡11は、体腔内に挿入される可撓性の挿入部16と、挿入部16の基端部分に設けられた操作部17と、操作部17とプロセッサ装置12及び光源装置13との間を連結するユニバーサルコード18とを備えている。
 この電子内視鏡システム10は、被検体上の表層血管を強調・抑制した表層血管強調・抑制画像と中深層血管を強調・抑制した中深層血管強調・抑制画像を生成する機能を備えている。いずれの血管強調・抑制画像を生成するかは、表層・中深層選択SW28(図2参照)の操作によって決められる。また、電子内視鏡システム10は、青色成分と緑色成分が略同じ照明光で被検体内の観察を行う第1観察モード、青色成分が緑色成分よりも大きい照明光で被検体内の観察を行う第2観察モード、緑色成分が青色成分よりも大きい照明光で被検体内の観察を行う第3観察モードの3つの観察モードを備えている。これら第1~第3観察モードは、観察モード選択SW29(図2参照)により切り替えられる。
 挿入部16の先端には、複数の湾曲駒を連結した湾曲部19が形成されている。湾曲部19は、操作部のアングルノブ21を操作することにより、上下左右方向に湾曲動作する。湾曲部19の先端には、体腔内撮影用の光学系等を内蔵した先端部16aが設けられている。先端部16aは、湾曲部19の湾曲動作によって体腔内の所望の方向に向けられる。
 ユニバーサルコード18には、プロセッサ装置12および光源装置13側にコネクタ24が取り付けられている。コネクタ24は、通信用コネクタと光源用コネクタからなる複合タイプのコネクタであり、電子内視鏡11は、このコネクタ24を介して、プロセッサ装置12および光源装置13に着脱自在に接続される。
 図2に示すように、光源装置13(照明手段の一態様)は、広帯域光源30と、青色狭帯域光源33と、カプラー36と、光源制御部37とを備えている。広帯域光源30は、中心波長445nmの励起光を発する励起光光源30aと、この励起光光源30aからの励起光によって緑色~赤色の蛍光を励起発光する蛍光体30bとを備えている。励起光光源30aは、LED(light Emitting Diode)やLD(Laser Diode)などの半導体光源で構成される。なお、励起光光源30aは、ブロードエリア型のInGaN系レーザダイオードが使用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオード等を用いることもできる。
 蛍光体30bは、励起光の一部を吸収して緑色~赤色に励起発光する複数種の蛍光物質(例えばYAG系蛍光物質、或いはBAM(BaMgAl1017)等の蛍光物質)を含んで構成される。したがって、蛍光体30bから発せられる緑色~赤色の励起発光光(蛍光)と、蛍光体30bにより吸収されず透過した励起光とが合波することにより、図3に示すような発光スペクトルを有する白色光BB(疑似白色光)が生成される。生成された白色光BBは、広帯域用光ファイバ34に入射する。
 なお、蛍光体30bは略直方体形状を有していることが好ましい。この場合、蛍光体30bは、蛍光体物質をバインダで略直方体状に固めて形成してもよく、また、無機ガラスなどの樹脂に蛍光体物質を混合したものを略直方体状に形成してもよい。この蛍光体30bは、商品名としてマイクロホワイト(登録商標)(Micro White(MW))とも呼ばれている。
 青色狭帯域光源33はLED(light Emitting Diode)やLD(Laser Diode)などであり、図3に示すように、波長が400±10nm(中心波長405nm)に制限された青色狭帯域光BNを発生する。青色狭帯域光源33から発せられた青色狭帯域光BNは、この狭帯域用光ファイバ35に入射する。
 カプラー36は、電子内視鏡11内のライトガイド43と、広帯域用光ファイバ34及び狭帯域用光ファイバ35とを連結する。これにより、白色光BB及び青色狭帯域BNの両方が、ライトガイド43に同時に入射する。
 光源制御部37は、励起光光源30a及び青色狭帯域光源33の光量を制御することにより、白色光BBと青色狭帯域光BNの光量比を一定に保持する。光量比は光量比設定部37aで設定される。光量比設定部37aにおいては、第1~第3観察モード毎に予め設定されており、観察モード選択SW29で選択された観察モードに対応する光量比に設定する。第1観察モード時の第1光量比は、被検体内に照射される照明光のうち青色成分と緑色成分が略同じとなるように、設定されている。この第1光量比で被検体内を照明した場合には、被検体内を全体的に明るくできるとともに、表層血管などの表層に分布する部位を明瞭化することができる。
 第2観察モード時の第2光量比は、照明光のうち青色成分が緑色成分よりも大きくなるように、設定されている。この第2光量比で被検体内を照明した場合には、表層血管と中深層血管の両方を明瞭化することができる。また、第3観察モード時の第3光量比は、照明光のうち緑色成分が青色成分よりも大きくなるように、設定されている。この第3光量比で被検体内を照明した場合には、被検体内を全体的に明るくすることができる。なお、第3光量比に設定する場合には、青色狭帯域光BNの光量は、最大光量の10%程度にすることが好ましい。
 電子内視鏡11は、ライトガイド43、CCD44、アナログ処理回路45(AFE:Analog Front End)、撮像制御部46を備えている。ライトガイド43は大口径光ファイバ、バンドルファイバなどであり、入射端が光源装置内のカプラー36に挿入されており、出射端が先端部16aに設けられた照射レンズ48に向けられている。ライトガイド43内で導光された白色光BB及び青色狭帯域光BNは、照射レンズ48及び先端部16aの端面に取り付けられた照明窓49を通して、被検体内に照射される。被検体内で反射した白色光BB及び青色狭帯域光BNは、先端部16aの端面に取り付けられた観察窓50を通して、集光レンズ51に入射する。
 CCD44は、集光レンズ51からの光を撮像面44aで受光し、受光した光を光電変換して信号電荷を蓄積し、蓄積した信号電荷を撮像信号として読み出す。読み出された撮像信号は、AFE45に送られる。また、CCD44はカラーCCDであり、撮像面44aには、B色、G色、R色のいずれかのカラーフィルターが設けられたB画素、G画素、R画素の3色の画素が配列されている。なお、CCD44は、B画素、G画素、R画素の比率が1:2:1のベイヤー配列にすることが好ましい。なお、画像信号取得手段の一態様は、集光レンズ51、撮像面44aを有するCCD44およびAFE45からなる。
 B色、G色、R色のカラーフィルターは、図4に示すような透過分布52,53,54を有している。波長領域が約400~700nmである白色光BBのみがCCD44に入射した場合には、B色、G色、R色のカラーフィルターは、白色光BBのうちそれぞれの透過分布52,53,54に応じた波長の光を透過する。ここで、R画素で光電変換された信号を赤色信号R、G画素で光電変換された信号を緑色信号G、B画素で光電変換された信号を青色信号Bとする。
 AFE45は、相関二重サンプリング回路(CDS)、自動ゲイン制御回路(AGC)、及びアナログ/デジタル変換器(A/D)(いずれも図示省略)から構成されている。CDSは、CCD44からの撮像信号に対して相関二重サンプリング処理を施し、CCD44の駆動により生じたノイズを除去する。AGCは、CDSによりノイズが除去された撮像信号を増幅する。A/Dは、AGCで増幅された撮像信号を、所定のビット数のデジタルな撮像信号に変換してプロセッサ装置12に入力する。
 撮像制御部46は、プロセッサ装置12内のコントローラー59に接続されており、コントローラー59から指示がなされたときにCCD44に対して駆動信号を送る。CCD44は、撮像制御部46からの駆動信号に基づいて、所定のフレームレートで撮像信号をAFE45に出力する。
 図2に示すように、プロセッサ装置12は、ベース画像生成部55と、フレームメモリ56と、画像処理部57と、表示制御回路58を備えており、コントローラー59が各部を制御している。ベース画像生成部55は、電子内視鏡のAFE45から出力される青色信号B、緑色信号G、赤色信号Rに各種信号処理を施すことによって、ベース画像を作成する。作成されたベース画像はフレームメモリ56に一時的に記憶される。また、AFE45から出力される青色信号B、緑色信号G、赤色信号Rも、フレームメモリ56に記憶される。なお、ベース画像は、酸素飽和度などの血管機能情報を疑似カラー化した疑似カラー画像などであってもよい。
 画像処理部57は、B/G画像生成部61(多色画像生成手段の一態様)と、血管抽出画像生成部63と、血管強調・抑制画像生成部65(血管強調・抑制画像生成手段の一態様)とを備えている。B/G画像生成部61は、青色信号B及び緑色信号G間の輝度比B/G(B/G比)から構成されるB/G画像を生成する。ここで、B/G比は、青色信号B及び緑色信号G間で、同じ位置にある画素の輝度比を示している。
 血管抽出画像生成部63は、B/G画像に基づいて、表層血管を抽出した表層血管抽出画像又は中深層血管を抽出した中深層血管抽出画像を生成する。これら血管抽出画像の生成方法は、第1~第3観察モードのいずれに設定されているかによって、異なっている。第1観察モードに設定されている場合には、この第1観察モード時の第1光量比に適した第1光量比用テーブル63aを用いて、表層血管抽出画像または中深層血管抽出画像を生成する。第1光量比用テーブル63aには、図5に示すような、輝度比B/Gと血管深さとの相関関係が記憶されている。この相関関係は、血管深さが大きくなるほど輝度比B/G(B/G比)も大きくなる比例関係となっている。なお、血管抽出画像生成手段の一態様は、血管抽出画像生成部63と第1~3光量比用テーブル63a~63cからなる。
 第1観察モードにおいては、照明光のうち青色成分(B成分)と緑色成分(G成分)とが略同じである。そのため、図6に示すように、血管が無い粘膜に照明光が照射された場合、その戻り光のB成分、G成分の比率は略同じである。これは、粘膜では大きな光の吸収がないためである。このときの平均的なB/G比をPとすると、粘膜が示すB/G比は、Ls~P~Ldの一定範囲に収まっている。ここで、Lsは、第1観察モードにおける粘膜のB/G比の下限値であり、Ldは第1観察モードにおける粘膜のB/G比の上限値である。
 また、照明光が表層血管に照射された場合には、照明光のB成分が表層血管で大きく吸収される一方で、G成分はほとんど吸収されない。そのため、B/G比は、ほとんどがLs以下となる。したがって、B/G比がLs以下の画素には、表層血管が写し出されていることが分かる(即ちLsは粘膜と表層血管の境界値)。一方、照明光が中深層血管に照射された場合には、照明光のG成分が中深層血管で大きく吸収される一方で、B成分はほとんど吸収されない。そのため、B/G比は、ほとんどがLd以上となる。したがって、B/G比がLd以上の画素に、中深層血管が写し出されていることが分かる(即ちLdは粘膜と中深層血管の境界値)。
 したがって、第1観察モードにおいて、表層血管抽出画像を生成する場合には、B/G画像において、B/G比がLs以下の画素の画素値のみを抽出し、それ以外の画素の画素値を0とする二値化処理を行う。一方、中深層血管抽出画像を生成する場合には、B/G画像において、B/G比がLd以上の画素の画素値のみを抽出し、それ以外の画素の画素値を0とする二値化処理を行う。
 また、第2観察モードに設定されている場合には、この第2観察モード時の第2光量比に適した第2光量比用テーブル63bを用いて、表層血管抽出画像または中深層血管抽出画像を生成する。第2光量比用テーブル63bは、上記第1光量比用テーブル63aと同様、図7に示すように、血管深さが大きくなるほど輝度比B/G(B/G比)も大きくなる比例関係となっている。第2観察モードにおいては、図8に示すように、照明光のうち青色波長成分(B成分)が緑色波長成分(G成分)よりも大きいため、B/G比は全体的に高くなる。これに伴って、粘膜と表層血管の境界値Ls´は、第1観察モード時の境界値Lsよりも大きくなり、粘膜と中深層血管の境界値Ld´は、第1観察モード時の境界値Ldよりも高くなる。
 したがって、第2観察モードにおいて、表層血管抽出画像を生成する場合には、B/G画像において、B/G比がLs´以下の画素の画素値のみを抽出し、それ以外の画素の画素値を0とする二値化処理を行う。一方、中深層血管抽出画像を生成する場合には、B/G画像において、B/G比がLd´以上の画素の画素値のみを抽出し、それ以外の画素の画素値を0とする二値化処理を行う。
 また、第3観察モードに設定されている場合には、この第3観察モード時の第3光量比に適した第3光量比用テーブル63cを用いて、表層血管抽出画像または中深層血管抽出画像を生成する。第3光量比用テーブル63cは、上記第1光量比用テーブル63aと同様、図9に示すように、血管深さが大きくなるほど輝度比B/G(B/G比)も大きくなる比例関係となっている。第3観察モードにおいては、図10に示すように、照明光のうち緑色波長成分(G成分)は青色波長成分(B成分)よりも大きいため、B/G比は全体的に低くなる。これに伴って、粘膜と表層血管の境界値Ls´´は、第1観察モード時の境界値Lsよりも小さくなり、粘膜と中深層血管の境界値Ld´´は、第1観察モード時の境界値Ldよりも小さくなる。
 したがって、第3観察モードにおいて、表層血管抽出画像を生成する場合には、B/G画像において、B/G比がLs´´以下の画素の画素値のみを抽出し、それ以外の画素の画素値を0とする二値化処理を行う。一方、中深層血管抽出画像を生成する場合には、B/G画像において、B/G比がLd´´以上の画素の画素値のみを抽出し、それ以外の画素の画素値を0とする二値化処理を行う。
 血管強調・抑制画像生成部65は、表層血管抽出画像とベース画像とを合成することによって、表層血管が強調(または抑制)された表層血管強調・抑制画像を生成し、また、中深層血管抽出画像とベース画像とを合成することによって、中深層血管が強調(または抑制)された中深層血管強調・抑制画像を生成する。ここで、血管を強調する場合には、表層血管抽出画像(又は中深層血管抽出画像)における各画素の画素値を数倍増加させたものを、ベース画像の各画素の画素値に足し合わせる。また、血管を抑制する場合には、表層血管抽出画像(又は中深層血管抽出画像)における各画素の画素値を数倍増加させたものを、ベース画像の各画素の画素値から減算する。
 表示制御回路58は、血管強調・抑制画像をモニタ14(表示手段の一形態)に表示する。例えば、図11に示すように、B/G画像から抽出した表層血管71を血管強調・抑制画像上で強調している場合には、表層血管71は中深層血管72よりも目立つため、表層血管71のみに着目した診断が可能となる。反対に、図12に示すように、B/G画像から抽出した中深層血管72を血管強調・抑制画像上で強調している場合には、中深層血管72は表層血管71よりも目立つため、中深層血管72のみに着目した診断が可能となる。
 以上のように、B/G画像から着目する血管の画像のみを抽出し、その抽出した血管画像を用いて血管強調・抑制画像を生成することによって、血管以外の部分、例えば観察部位の凹凸などの情報を消すことなく、着目する血管部分のみを確実に強調・抑制処理することができる。これにより、血管に加え観察部位の凹凸など診断に役立つ情報を数多くユーザーに提供することができるため、診断能を向上させることができる。また、血管を表層と中深層に分けて別々に抽出し、それぞれを個別に強調・抑制していることから、表層血管に着目した診断や中深層血管に着目した診断が可能となる。
 次に、本発明の作用について、図13に示すフローチャートを用いて説明する。まず、第1~第3観察モードの中から、所定の観察モードに設定する。これにより、その所定の観察モードに対応する光量比(白色光BBと青色狭帯域光BNの光量比)が設定される。光源装置13から発せられる白色光BB及び青色狭帯域光BNは、ライトガイド43を介して、被検体内に同時に照射される白色光BB及び青色狭帯域光BNは、設定された光量比となるように、光量制御されている。被検体からの反射光は、カラーのCCD44により撮像される。この撮像により得られる青色信号B、緑色信号G、赤色信号Rから、ベース画像を生成する。生成されたベース画像と青色信号B、緑色信号G、赤色信号Rは、フレームメモリ56に一時的に記憶される。
 次に、B/G画像生成部61において、青色信号B及び緑色信号G間の輝度比B/GからなるB/G画像を生成する。このB/G画像から表層血管を抽出した表層血管抽出画像が生成され、また、B/G画像から中深層血管を抽出した中深層血管抽出画像が生成される。これら血管抽出には、設定した光量比に対応する光量比用テーブルが用いられる。血管抽出画像が生成されたら、表層血管抽出画像(または中深層血管抽出画像)とベース画像とから、表層血管(または中深層血管)が強調・抑制された血管強調・抑制画像が生成される。生成された血管強調・抑制画像は、表示制御回路58でモニタ表示可能な信号に変換された後、図11または図12に示すように、モニタ14に画像表示される。
 なお、青色成分が緑色成分よりも大きい照明光で被検体内の観察を行う第2観察モードに設定されている場合には、モニタ表示用の画像を生成する際、撮像によって得られる画像信号のうち、青色信号Bについては、映像信号のBチャンネル及びGチャンネルに割り当て、緑色信号Gには映像信号のRチャンネルに割り当てることが好ましい。この場合、モニタ14には、表層血管と中深層血管とが異なる色で表された疑似カラー画像が表示される。
 なお、上記実施形態においては、光源装置13内の広帯域光源30から白色光BBを発光したが、これに代えて、図14に示すように、電子内視鏡11の先端部16aに蛍光体100を設置し、その蛍光体30bを、光源装置13に設置した励起光光源101の励起光で励起することによって、蛍光を発光させてもよい。この場合、蛍光と、蛍光体100に吸収されなかった励起光とが合波した光が、白色光BBとして被検体内に照射される。なお、蛍光体100は上記実施形態の蛍光体30bと同様であり、励起光光源101は上記実施形態の励起光光源30aと同様である。
 なお、上記実施形態においては、蛍光体からの白色光を被検体内に照射したが、これに代えて、被検体内を照明する複数の照明光のうちの一部を、半導体光源からの光とし、その他を、キセノンランプ等の白色光から波長分離した光としてもよい。この場合、例えば、図15に示す電子内視鏡システム100が使用される。
 電子内視鏡システム100は、電子内視鏡システム10と比較すると、光源装置113全体が光源装置13異なっており、また、電子内視鏡111のCCD101は、モノクロのCCDとなっている。また、電子内視鏡システム100は、観察モードとして、青色光、緑色光、赤色光の3色の照明光で被検体内を観察する通常観察モードと、青色狭帯域光及び緑色光の2色の照明光で被検体内を観察する第1~第3特殊観察モードとを備えている。
 第1~第3特殊観察モードは青色狭帯域光及び緑色光の光量が異なっており、第1特殊観察モードでは青色狭帯域光と緑色光の光量は同じであり、第2特殊観察モードでは青色狭帯域光の光量は緑色光の光量よりも大きく、第3特殊観察モードでは緑色光の光量が青色狭帯域光の光量よりも大きい。即ち、第1~第3特殊観察モードは、上記実施形態の第1~第3観察モードに略対応している。したがって、第1~第3特殊観察モードにおける血管抽出方法は、第1~第3観察モードの場合と同様に行う。なお、それ以外については、上記実施形態とほぼ同様であるので、詳細な説明は省略する。
 光源装置113は、白色光源ユニット130と、半導体光源ユニット131と、これらを駆動制御する光源制御部132とを備えている。白色光源ユニット130は、白色光BBを放射するランプ本体130aと、このランプ本体130の光路上に設けられた絞り130bとを備えている。
 ランプ本体130aは、キセノンランプ、ハロゲンランプ、メタルハライドランプなど、赤色領域から青色領域(約400~700nm)にわたる広い波長域において発光スペクトルが連続する広帯域光(白色光)BBを発生する。このランプ本体130aは、光源装置113の電源がONの間、常時点灯する。絞り130bは、光源制御部132の駆動制御によって、開度が調整される。この開度の調整に伴って、白色光BBの光量が調整される。
 白色光BBの光路には、ロータリフイルタ134が配置されている。図16に示すように、ロータリフイルタ134は、円板形状をしており、円周方向に3分割されて中心角が120°の扇形の領域に、それぞれB、G、Rの光を透過するBフイルタ部134a、Gフイルタ部134b、Rフイルタ部134cの三色のカラーフイルタが設けられている。
 これらBフイルタ部134a、Gフイルタ部134b、Rフイルタ部134cは、図17に示すような分光透過率を有している。Bフィルタ部134aは白色光BBのうち青色光(B色光)を透過させ、Gフィルタ部134bは白色光BBのうち緑色光(G色光)を透過させ、Rフィルタ部134cは白色光BBのうち赤色光(R色光)を透過させる。ここで、Gフィルタ部134bの透過帯域は、G色光の中心波長が530nmとなるように設定することが好ましい。波長530nm付近はヘモグロビンの吸光係数が高くなる領域であるため、この波長範囲の光を血管に照射することで、血管とそれ以外とのコントラストを高めることができる。
 また、ロータリフイルタ134は、Bフイルタ部134a、Gフイルタ部134b、Rフイルタ部134cが選択的に白色光BBの光路に挿入されるように回転自在に設けられている。ロータリフイルタ134が回転すると、Bフイルタ部134a、Gフイルタ部134b、Rフイルタ部134cが順次白色光BBの光路に挿入される。
 半導体光源ユニット131は、LD(Laser Diode)またはLED(Light Emitting Diode)からなる青色半導体光源131aと、この青色半導体光源131aを駆動する駆動部131bを有する。青色半導体光源131aは、中心波長420nmの青色狭帯域光BNを発光する(図17参照)。波長420nm付近はヘモグロビンの吸光係数が高くなる領域であるため、この波長範囲の光を血管に照射することで、血管とそれ以外とのコントラストを高めることができる。
 また、駆動部131bは光源制御部132に接続されている。光源制御部132は駆動部131bを制御することによって、青色半導体光源131aの点灯及び消灯と光量調整を行う。なお、青色半導体光源131aに用いるレーザダイオードとしては、ブロードエリア型のInGaN系、InGaNAs系、GaNAs系のレーザダイオードを用いることができる。
 ロータリフィルタ134からのB色光、G色光、R色光と、青色半導体光源131aからの青色狭帯域光BNは、光合流部139で合流する。光合流部139はダイクロイックミラーで構成され、B色光、G色光、R色光をそのまま透過させるとともに、青色狭帯域光BNを90°屈曲させて、B色光、G色光、R色光の光路に合流させる。光合流部139を経た光は、集光レンズ136を通して、ライトガイド43に入射する。
 図15に示すように、白色光源ユニット130とロータリフイルタ134の間には、シャッタ板140が配置されている。シャッタ板40は、青色狭帯域光BNを電子内視鏡11に供給するときに、白色光BBを遮光するものである。図18に示すように、シャッタ板140は、白色光BBに対する遮光性を有する部材からなり、平面形状は、円形の一部を切り欠いた形状をしている。
 具体的には、シャッタ板140は、240°の中心角を持つ遮光部140aを有しており、残りの120°の部分が切り欠かれて白色光BBを透過する透過部140bとなっている。シャッタ板140は、回転自在に設けられており、回転により、遮光部140aと透過部140bが交互に選択的に白色光BBの光路に挿入されるようになっている。
 シャッタ板140は、ロータリフイルタ134とほぼ同じ半径を有しており、回転軸が一致している。シャッタ板140の透過部140bの中心角は、ロータリフイルタ34のB、G、Rの各フイルタ部134a、134b、134cの中心角とほぼ一致している。なお、本例においては、透過部140bを切り欠きで形成しているが、白色光BBを透過する透明板で透過部140bを構成してもよい。
 また、シャッタ板140は、光源制御部132によって、回転が制御される。この回転制御は、各観察モードによって異なる。通常観察モードにおいては、シャッタ板140は、遮光部140aが白色光BBの光路から退避し、透過部140bが光路に挿入された状態で停止している。したがって、白色光BBは常時ロータリフィルタ134に入射する。これに伴って、ロータリフィルタ134からは、B色、G色、R色の三色の光が順次に出射する。なお、通常観察モード時には、青色半導体光源13は常時消灯している。
 これに対して、第1~第3特殊観察モードにおいては、シャッタ板140は、透過部140bとGフイルタ部134bの回転位相が一致するように、ロータリフイルタ134と同じ速度で回転する。これにより、透過部140bが白色光BBの光路に挿入されて、遮光部140aが光路から退避している間、白色光BBはGフイルタ部34bを透過してG色光が生成される。G色光は、集光レンズ136を通過して電子内視鏡11に供給される。
 一方、遮光部140aが白色光BBの光路に挿入されて、透過部140bが光路から退避している間、白色光BBが遮光される。白色光BBが遮光されている間に、青色半導体光源131aが点灯して、青色狭帯域光BNが電子内視鏡11に供給される。CCD101はモノクロの撮像素子であるため、シャッタ板140を設けることにより、青色狭帯域光BNと白色光BBの混色が防止される。
 光源制御部132は、上記したように、白色光源ユニット130の絞り130bの開度、半導体光源ユニット131の駆動部131bを制御する。この制御によって、ロータリフィルタ134からのB色光、G色光、R色光の光量と青色狭帯域光BNの光量も調整される。ここで、第1~第3特殊観察モード時に使用するG色光と青色狭帯域光BNの光量比は、特殊観察モード毎に予め定められている。光量比の設定は、上記実施形態と同様に、光量比設定部132aで行われる。この光量比設定部132aは、観察モード選択SW29で選択された観察モードに対応する光量比に設定する。
 ここで、第1特殊観察モード時の第1光量比は、G色光と青色狭帯域光BNの光量と同じに設定される。第2特殊観察モード時の第2光量比は、青色狭帯域光BNの光量がG色光よりも大きくなるように、設定されている。第3観察モード時の第3光量比は、G色光の光量が青色狭帯域光BNの光量よりも大きくなるように、設定されている。
 電子内視鏡システム100では、モノクロのCCD101とロータリフィルタ134を使用しているため、CCD101の撮像制御方法とベース画像55でのベース画像生成方法が、上記実施形態のCCD44の場合と異なっている。通常観察モード時には、図19(A)に示すように、CCD101は、1フレームの取得期間内で、信号電荷を蓄積する蓄積動作と、蓄積した信号電荷を読み出す読み出し動作が行なわれる。通常観察モードにおいては、B、G、Rの三色の像光を順次撮像して、青色信号B、緑色信号G、赤色信号Rを順次出力する。そして、これら3色分の信号B、G、Rに基づいて、ベース画像が生成される。以上の動作は、通常観察モードに設定されている間、繰り返し行われる。
 これに対して、第1~第3特殊観察モードにおいては、図19(B)に示すように、青色狭帯域光BNが被検体内に照射されている2フレームの期間のうち、1フレームの期間分だけ青色狭帯域光BNの像光を撮像して、青色信号Bを順次出力する。一方、G色光が被検体内に照射されている1フレームの照射期間は、G色光の像光を撮像して、緑色信号Bを順次出力する。そして、これら2色分の信号B、Gに基づいて、ベース画像を生成する。以上の動作は、第1~第3特殊観察モードに設定されている間、繰り返し行われる。なお、第1~第3特殊観察モード時において、ベース画像を生成する際には、青色信号Bをモニタ表示用のBチャンネル、Gチャンネルに割り当て、緑色信号Gをモニタ表示用のRチャンネルに割り当てることが好ましい。
 なお、電子内視鏡システム100では、第1~第3特殊観察モード時において、青色光については半導体光源の光を使用し、緑色光については、白色光BBを波長分離した光を使用したが、反対に、緑色光については半導体光源の光を使用し、青色光については、白色光を波長分離した光を使用してもよい。
 なお、上記実施形態においては、B/G比を使って表層血管と中深層血管の分離を行ったが、これに代えて、G/B比、B-G差、G-B差、B/(B+G)比、G/(B+G)比、B/R比、R/B比、B-R差、R-B差、B/Y比など、互いに異なる色情報を持つ2以上の色信号を用いた演算により得られる演算値によっても、それぞれの血管を分離することができる。
 この演算値と血管深さとの関係は、上記実施形態と同様に、第1~第3観察モード(第1~第3光量比)に対応した複数のテーブルに記憶されており、また、粘膜と表層血管との境界を示す演算値の境界値及び粘膜と中深層血管の境界を示す演算値の境界値は、テーブル毎に異なっている。例えば、B-G差(青色信号の画素値から緑色信号の画素値を引いた値)の場合であれば、第1観察モード時に使用するテーブルには、図20Aに示すようなB-G差と血管深さとの関係が記憶されている。ここで、Lsは粘膜と表層血管の境界を示すB-G差を示しており、Ldは粘膜と中深層血管の境界を示すB-G差を示している。
 一方、第2観察モード時に使用するテーブルには、図20Bに示すようなB-G差と血管深さとの関係が記憶されている。このテーブルにおいては、粘膜と表層血管の境界部分のB-G差Ls´はLsよりも大きく、また、粘膜と中深層血管の境界部分のB-G差Ld´はLdよりも大きく設定されている。また、第2観察モード時に使用するテーブルには、図20Cに示すようなB-G差と血管深さとの関係が記憶されている。このテーブルにおいては、粘膜と表層血管の境界部分のB-G差Ls´´はLsよりも小さく、また、粘膜と中深層血管の境界部分のB-G差Ld´´はLdよりも小さく設定されている。
 なお、G/B比は緑色信号を青色信号で除した値であり、B-G差は青色信号から緑色信号を引いた値であり、G-B差は緑色信号から青色信号を引いた値であり、B/(B+G)比は青色信号を、青色信号と緑色信号の加算値で除した値であり、G/(B+G)比は緑色信号を、青色信号と緑色信号の加算値で除した値であり、B/R比は青色信号を赤色信号で除した値であり、R/B比は赤色信号を青色信号で除した値であり、B-R差は青色信号から赤色信号を引いた値であり、R-B差は赤色信号から青色信号を引いた値であり、B/Y比は緑色信号を黄色信号で除した値である(黄色信号は500~700nmの波長情報を持つ信号)。
10 電子内視鏡システム
14 モニタ
30 広帯域光源
33 狭帯域光源
57 画像処理部
61 B/G画像生成部
63 血管抽出画像生成部
63a 第1光量比用テーブル















































63b 第2光量比用テーブル
63c 第3光量比用テーブル
65 血管強調・抑制画像生成部
71 表層血管
72 中深層血管

Claims (13)

  1.  互いに波長域が異なる第1照明光及び第2照明光を含む2つ以上の照明光を発する発光部と、前記第1照明光及び第2照明光の光量比を設定する光量比設定部とを有し、前記光量比設定部で設定された光量比で、前記第1照明光及び第2照明光を被検体に照射する照明手段と、
     前記被写体からの戻り光を撮像素子で受光して撮像することによって、互いに異なる色情報を持つ2つ以上の色信号を取得する画像信号取得手段と、
     前記2以上の色信号を用いて画素毎に所定の演算をすることで得られる演算値から構成される多色画像を生成する多色画像生成手段と、
     前記多色画像に対して、前記光量比によって異なる血管抽出処理を行うことによって、特定深さにある第1層血管が前記多色画像から抽出された第1層血管抽出画像、または前記第1層血管よりも深い位置にある第2層血管が前記多色画像から抽出された第2層血管抽出画像の少なくともいずれか一方を生成する血管抽出画像生成手段とを備えることを特徴とする内視鏡システム。
  2.  前記光量比設定部は、予め定められた複数の光量比の中からいずれかの光量比を設定し、
     前記血管抽出画像生成手段は、
     前記複数の光量比ごとに設けられ、前記被検体の粘膜、前記第1層血管、及び前記第2層血管と演算値との相関関係を記憶した複数の演算値テーブルと、
     前記光量比設定部で設定された光量比に対応する演算値テーブルを用いた血管抽出処理を行うことによって、前記第1層血管抽出画像、または前記第2層血管抽出画像の少なくともいずれか一方を生成する血管抽出画像生成部と、
     を備える請求項1記載の内視鏡システム。
  3.  各演算値テーブルには、前記粘膜と前記第1層血管との境界を示す演算値が第1境界値として記憶され、前記粘膜と前記第2層血管との境界を示す演算値が前記第2境界値として記憶され、前記第1境界値及び第2境界値は、演算値テーブル毎に異なっている請求項2記載の内視鏡システム。
  4.  前記第1層血管抽出画像を用いて、前記第1層血管が強調または抑制された第1層血管強調・抑制画像を生成し、または前記第2層血管抽出画像を用いて、前記第2層血管が強調または抑制された第2層血管強調・抑制画像を生成する血管強調・抑制画像生成手段を備える請求項1ないし3いずれか1項記載の内視鏡システム。
  5.  前記第1層血管強調・抑制画像または前記第2層血管強調・抑制画像の少なくともいずれか一方を表示する表示手段を備える請求項4記載の内視鏡システム。
  6.  前記照明手段は、青色の励起光とこの青色励起光により波長変換部材で波長変換される蛍光を含む第1照明光と、中心波長が前記励起光よりも短波長側に波長域を有する第2照明光を前記被検体に向けて同時に照射し、
     前記画像信号取得手段は、前記第1照明光及び第2照明光が同時に照射された被検体を、カラーの撮像素子で撮像する請求項1ないし5いずれか1項記載の内視鏡システム。
  7.  前記波長変換部材は、前記第1照明光及び第2照明光を被検体に向けて照射する内視鏡とは別体の光源装置の内部に設けられる請求項6記載の内視鏡システム。
  8.  前記波長変換部材は、前記第1照明光及び第2照明光を被検体に向けて照射する内視鏡の先端部に設けられる請求項6記載の内視鏡システム。
  9.  前記励起光の中心波長は445nmであり、前記第2照明光の中心波長は405nmである請求項6ないし8いずれか1項記載の内視鏡システム。
  10.  前記第1の照明光は420nmを中心波長とする照明光であり、前記第2の照明光は530nmを中心波長とする照明光である請求項1ないし5いずれか1項記載の内視鏡システム。
  11.  前記色信号は、青色成分の情報が含まれる青色信号と緑色成分の情報が含まれる緑色信号とを有し、
     前記多色画像は、画素毎に青色信号を緑色信号で除することで得られるB/G比から構成されるB/G画像である請求項1ないし10いずれか1項記載の内視鏡システム。
  12.  互いに波長域が異なる第1照明光及び第2照明光を含む2以上の照明光を発する発光部と、前記第1照明光及び第2照明光の光量比を設定する光量比設定部とを有し、前記光量比設定部で設定された光量比で、前記第1照明光及び第2照明光を被検体に照射する照明手段と、前記被写体からの戻り光を撮像素子で受光して撮像することによって、互いに異なる色情報を持つ2以上の色信号を取得する電子内視鏡とを有する内視鏡システムのプロセッサ装置において、
     前記2以上の色信号を用いて画素毎に所定の演算をすることで得られる演算値から構成される多色画像を生成する多色画像生成手段と、
     前記多色画像に対して、前記光量比によって異なる血管抽出処理を行うことによって、特定深さにある第1層血管が前記多色画像から抽出された第1層血管抽出画像、または前記第1層血管よりも深い位置にある第2層血管が前記多色画像から抽出された第2層血管抽出画像の少なくともいずれか一方を生成する血管抽出画像生成手段とを備えることを特徴とする内視鏡システムのプロセッサ装置。
  13.  互いに波長域が異なる第1照明光及び第2照明光を含む2以上の照明光を発する発光部と、前記第1照明光及び第2照明光の光量比を設定する光量比設定部とを有し、前記光量比設定部で設定された光量比で、前記第1照明光及び第2照明光を被検体に照射する照明手段と、前記被写体からの戻り光を撮像素子で受光して撮像することによって、互いに異なる色情報を持つ2以上の色信号を取得する電子内視鏡とを有する内視鏡システム内で行われる画像処理方法において、
     前記2以上の色信号を用いて画素毎に所定の演算をすることで得られる演算値から構成される多色画像を生成し、
     前記多色画像に対して、前記光量比によって異なる血管抽出処理を行うことによって、特定深さにある第1層血管が前記多色画像から抽出された第1層血管抽出画像、または前記第1層血管よりも深い位置にある第2層血管が前記多色画像から抽出された第2層血管抽出画像の少なくともいずれか一方を生成することを特徴とする画像処理方法。
PCT/JP2013/050361 2012-01-25 2013-01-11 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法 WO2013111623A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP13741638.4A EP2807973B1 (en) 2012-01-25 2013-01-11 Endoscope system, processor device for endoscope system, and image processing method
CN201380004495.9A CN104023618B (zh) 2012-01-25 2013-01-11 内窥镜系统、内窥镜系统的处理器装置以及图像处理方法
US14/321,116 US9943230B2 (en) 2012-01-25 2014-07-01 Endoscope system, processor device of endoscope system, and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012013317A JP5815426B2 (ja) 2012-01-25 2012-01-25 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法
JP2012-013317 2012-01-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/321,116 Continuation US9943230B2 (en) 2012-01-25 2014-07-01 Endoscope system, processor device of endoscope system, and image processing method

Publications (1)

Publication Number Publication Date
WO2013111623A1 true WO2013111623A1 (ja) 2013-08-01

Family

ID=48873345

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/050361 WO2013111623A1 (ja) 2012-01-25 2013-01-11 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法

Country Status (5)

Country Link
US (1) US9943230B2 (ja)
EP (1) EP2807973B1 (ja)
JP (1) JP5815426B2 (ja)
CN (1) CN104023618B (ja)
WO (1) WO2013111623A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3127469A1 (en) * 2014-03-31 2017-02-08 Fujifilm Corporation Endoscope system and operation method thereof
WO2017119239A1 (ja) * 2016-01-08 2017-07-13 Hoya株式会社 内視鏡装置

Families Citing this family (143)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
JP5869541B2 (ja) * 2013-09-13 2016-02-24 富士フイルム株式会社 内視鏡システム及びプロセッサ装置並びに内視鏡システムの作動方法
JPWO2016059906A1 (ja) * 2014-10-16 2017-04-27 オリンパス株式会社 内視鏡装置及び内視鏡用光源装置
US11504192B2 (en) 2014-10-30 2022-11-22 Cilag Gmbh International Method of hub communication with surgical instrument systems
JP6432770B2 (ja) 2014-11-12 2018-12-05 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
JP6072374B2 (ja) * 2014-11-20 2017-02-01 オリンパス株式会社 観察装置
JP6076568B1 (ja) * 2015-03-25 2017-02-08 オリンパス株式会社 観察システム
JP6640865B2 (ja) * 2015-09-29 2020-02-05 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
EP3360462A4 (en) * 2015-10-08 2019-04-24 Olympus Corporation ENDOSCOPE DEVICE
WO2017141417A1 (ja) * 2016-02-19 2017-08-24 Hoya株式会社 内視鏡用光源装置
JP6488249B2 (ja) 2016-03-08 2019-03-20 富士フイルム株式会社 血管情報取得装置、内視鏡システム及び血管情報取得方法
US10321816B2 (en) * 2016-06-17 2019-06-18 Fujifilm Corporation Light source device and endoscope system
JP6706339B2 (ja) * 2016-10-27 2020-06-03 富士フイルム株式会社 内視鏡システム
JP6320592B2 (ja) * 2017-03-21 2018-05-09 富士フイルム株式会社 内視鏡システム
JP6439083B1 (ja) * 2017-05-02 2018-12-19 オリンパス株式会社 内視鏡システム
WO2018229833A1 (ja) * 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
JP6909856B2 (ja) * 2017-08-23 2021-07-28 富士フイルム株式会社 内視鏡システム
US11291510B2 (en) 2017-10-30 2022-04-05 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11317919B2 (en) 2017-10-30 2022-05-03 Cilag Gmbh International Clip applier comprising a clip crimping system
US11602366B2 (en) 2017-10-30 2023-03-14 Cilag Gmbh International Surgical suturing instrument configured to manipulate tissue using mechanical and electrical power
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11311342B2 (en) 2017-10-30 2022-04-26 Cilag Gmbh International Method for communicating with surgical instrument systems
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11229436B2 (en) 2017-10-30 2022-01-25 Cilag Gmbh International Surgical system comprising a surgical tool and a surgical hub
US11510741B2 (en) 2017-10-30 2022-11-29 Cilag Gmbh International Method for producing a surgical instrument comprising a smart electrical system
US11413042B2 (en) 2017-10-30 2022-08-16 Cilag Gmbh International Clip applier comprising a reciprocating clip advancing member
US11564756B2 (en) 2017-10-30 2023-01-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US11903601B2 (en) 2017-12-28 2024-02-20 Cilag Gmbh International Surgical instrument comprising a plurality of drive systems
US11969216B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution
US10943454B2 (en) 2017-12-28 2021-03-09 Ethicon Llc Detection and escalation of security responses of surgical instruments to increasing severity threats
US11273001B2 (en) 2017-12-28 2022-03-15 Cilag Gmbh International Surgical hub and modular device response adjustment based on situational awareness
US11571234B2 (en) 2017-12-28 2023-02-07 Cilag Gmbh International Temperature control of ultrasonic end effector and control system therefor
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US11364075B2 (en) 2017-12-28 2022-06-21 Cilag Gmbh International Radio frequency energy device for delivering combined electrical signals
US11051876B2 (en) 2017-12-28 2021-07-06 Cilag Gmbh International Surgical evacuation flow paths
US20190201146A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Safety systems for smart powered surgical stapling
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US11576677B2 (en) 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
US11096693B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Adjustment of staple height of at least one row of staples based on the sensed tissue thickness or force in closing
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11304720B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Activation of energy devices
US11464559B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Estimating state of ultrasonic end effector and control system therefor
US11324557B2 (en) 2017-12-28 2022-05-10 Cilag Gmbh International Surgical instrument with a sensing array
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US11257589B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes
US11844579B2 (en) 2017-12-28 2023-12-19 Cilag Gmbh International Adjustments based on airborne particle properties
US11284936B2 (en) 2017-12-28 2022-03-29 Cilag Gmbh International Surgical instrument having a flexible electrode
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11559308B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method for smart energy device infrastructure
US11786245B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Surgical systems with prioritized data transmission capabilities
US11308075B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical network, instrument, and cloud responses based on validation of received dataset and authentication of its source and integrity
US11304745B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical evacuation sensing and display
US11424027B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Method for operating surgical instrument systems
US11311306B2 (en) 2017-12-28 2022-04-26 Cilag Gmbh International Surgical systems for detecting end effector tissue distribution irregularities
US11771487B2 (en) 2017-12-28 2023-10-03 Cilag Gmbh International Mechanisms for controlling different electromechanical systems of an electrosurgical instrument
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11304699B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11304763B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Image capturing of the areas outside the abdomen to improve placement and control of a surgical device in use
US11213359B2 (en) 2017-12-28 2022-01-04 Cilag Gmbh International Controllers for robot-assisted surgical platforms
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11410259B2 (en) 2017-12-28 2022-08-09 Cilag Gmbh International Adaptive control program updates for surgical devices
US11666331B2 (en) 2017-12-28 2023-06-06 Cilag Gmbh International Systems for detecting proximity of surgical end effector to cancerous tissue
US10966791B2 (en) 2017-12-28 2021-04-06 Ethicon Llc Cloud-based medical analytics for medical facility segmented individualization of instrument function
US11132462B2 (en) 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11602393B2 (en) 2017-12-28 2023-03-14 Cilag Gmbh International Surgical evacuation sensing and generator control
US11147607B2 (en) 2017-12-28 2021-10-19 Cilag Gmbh International Bipolar combination device that automatically adjusts pressure based on energy modality
US11559307B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method of robotic hub communication, detection, and control
US11076921B2 (en) 2017-12-28 2021-08-03 Cilag Gmbh International Adaptive control program updates for surgical hubs
US11832840B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical instrument having a flexible circuit
US11026751B2 (en) 2017-12-28 2021-06-08 Cilag Gmbh International Display of alignment of staple cartridge to prior linear staple line
US11100631B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Use of laser light and red-green-blue coloration to determine properties of back scattered light
US11633237B2 (en) 2017-12-28 2023-04-25 Cilag Gmbh International Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
US11446052B2 (en) 2017-12-28 2022-09-20 Cilag Gmbh International Variation of radio frequency and ultrasonic power level in cooperation with varying clamp arm pressure to achieve predefined heat flux or power applied to tissue
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11419630B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Surgical system distributed processing
US11529187B2 (en) 2017-12-28 2022-12-20 Cilag Gmbh International Surgical evacuation sensor arrangements
US11202570B2 (en) 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US10987178B2 (en) 2017-12-28 2021-04-27 Ethicon Llc Surgical hub control arrangements
US11291495B2 (en) 2017-12-28 2022-04-05 Cilag Gmbh International Interruption of energy due to inadvertent capacitive coupling
US11234756B2 (en) 2017-12-28 2022-02-01 Cilag Gmbh International Powered surgical tool with predefined adjustable control algorithm for controlling end effector parameter
US11589888B2 (en) 2017-12-28 2023-02-28 Cilag Gmbh International Method for controlling smart energy devices
US11659023B2 (en) 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11432885B2 (en) 2017-12-28 2022-09-06 Cilag Gmbh International Sensing arrangements for robot-assisted surgical platforms
US11317937B2 (en) 2018-03-08 2022-05-03 Cilag Gmbh International Determining the state of an ultrasonic end effector
US11419667B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Ultrasonic energy device which varies pressure applied by clamp arm to provide threshold control pressure at a cut progression location
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11069012B2 (en) 2017-12-28 2021-07-20 Cilag Gmbh International Interactive surgical systems with condition handling of devices and data capabilities
US11045591B2 (en) 2017-12-28 2021-06-29 Cilag Gmbh International Dual in-series large and small droplet filters
US10892995B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11464535B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Detection of end effector emersion in liquid
US11253315B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Increasing radio frequency to create pad-less monopolar loop
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11540855B2 (en) 2017-12-28 2023-01-03 Cilag Gmbh International Controlling activation of an ultrasonic surgical instrument according to the presence of tissue
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US20190201042A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Determining the state of an ultrasonic electromechanical system according to frequency shift
US11266468B2 (en) 2017-12-28 2022-03-08 Cilag Gmbh International Cooperative utilization of data derived from secondary sources by intelligent surgical hubs
US20190201113A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Controls for robot-assisted surgical platforms
US11278281B2 (en) 2017-12-28 2022-03-22 Cilag Gmbh International Interactive surgical system
US11376002B2 (en) 2017-12-28 2022-07-05 Cilag Gmbh International Surgical instrument cartridge sensor assemblies
US11423007B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Adjustment of device control programs based on stratified contextual data in addition to the data
US11179208B2 (en) 2017-12-28 2021-11-23 Cilag Gmbh International Cloud-based medical analytics for security and authentication trends and reactive measures
US11056244B2 (en) 2017-12-28 2021-07-06 Cilag Gmbh International Automated data scaling, alignment, and organizing based on predefined parameters within surgical networks
US11160605B2 (en) 2017-12-28 2021-11-02 Cilag Gmbh International Surgical evacuation sensing and motor control
CN111683583B (zh) * 2018-01-30 2023-09-05 富士胶片株式会社 内窥镜系统及其工作方法
US11259830B2 (en) 2018-03-08 2022-03-01 Cilag Gmbh International Methods for controlling temperature in ultrasonic device
US11344326B2 (en) 2018-03-08 2022-05-31 Cilag Gmbh International Smart blade technology to control blade instability
US11986233B2 (en) 2018-03-08 2024-05-21 Cilag Gmbh International Adjustment of complex impedance to compensate for lost power in an articulating ultrasonic device
US11278280B2 (en) 2018-03-28 2022-03-22 Cilag Gmbh International Surgical instrument comprising a jaw closure lockout
US11259806B2 (en) 2018-03-28 2022-03-01 Cilag Gmbh International Surgical stapling devices with features for blocking advancement of a camming assembly of an incompatible cartridge installed therein
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
US11471156B2 (en) 2018-03-28 2022-10-18 Cilag Gmbh International Surgical stapling devices with improved rotary driven closure systems
US11166716B2 (en) 2018-03-28 2021-11-09 Cilag Gmbh International Stapling instrument comprising a deactivatable lockout
US11096688B2 (en) 2018-03-28 2021-08-24 Cilag Gmbh International Rotary driven firing members with different anvil and channel engagement features
US10973520B2 (en) 2018-03-28 2021-04-13 Ethicon Llc Surgical staple cartridge with firing member driven camming assembly that has an onboard tissue cutting feature
US11207067B2 (en) 2018-03-28 2021-12-28 Cilag Gmbh International Surgical stapling device with separate rotary driven closure and firing systems and firing member that engages both jaws while firing
US11219453B2 (en) 2018-03-28 2022-01-11 Cilag Gmbh International Surgical stapling devices with cartridge compatible closure and firing lockout arrangements
JP7048732B2 (ja) * 2018-05-14 2022-04-05 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
CN112236067A (zh) 2018-06-05 2021-01-15 奥林巴斯株式会社 内窥镜系统
JP7093409B2 (ja) 2018-06-05 2022-06-29 オリンパス株式会社 内視鏡システム
JP7123135B2 (ja) * 2018-06-19 2022-08-22 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及びプログラム
JP2021191313A (ja) * 2018-06-19 2021-12-16 オリンパス株式会社 内視鏡システム及び内視鏡システムの作動方法
EP3620098B1 (en) 2018-09-07 2021-11-03 Ambu A/S Enhancing the visibility of blood vessels in colour images
CN109199312A (zh) * 2018-09-10 2019-01-15 苏州新光维医疗科技有限公司 光源的调节方法、装置、设备及内窥镜
US11317915B2 (en) 2019-02-19 2022-05-03 Cilag Gmbh International Universal cartridge based key feature that unlocks multiple lockout arrangements in different surgical staplers
US11369377B2 (en) 2019-02-19 2022-06-28 Cilag Gmbh International Surgical stapling assembly with cartridge based retainer configured to unlock a firing lockout
US11464511B2 (en) 2019-02-19 2022-10-11 Cilag Gmbh International Surgical staple cartridges with movable authentication key arrangements
US11291444B2 (en) 2019-02-19 2022-04-05 Cilag Gmbh International Surgical stapling assembly with cartridge based retainer configured to unlock a closure lockout
US11357503B2 (en) 2019-02-19 2022-06-14 Cilag Gmbh International Staple cartridge retainers with frangible retention features and methods of using same
JP2019122865A (ja) * 2019-05-10 2019-07-25 富士フイルム株式会社 内視鏡光源装置、内視鏡システム、及び内視鏡光源装置の作動方法
USD952144S1 (en) 2019-06-25 2022-05-17 Cilag Gmbh International Surgical staple cartridge retainer with firing system authentication key
USD964564S1 (en) 2019-06-25 2022-09-20 Cilag Gmbh International Surgical staple cartridge retainer with a closure system authentication key
USD950728S1 (en) 2019-06-25 2022-05-03 Cilag Gmbh International Surgical staple cartridge
US10980397B1 (en) * 2020-02-21 2021-04-20 Ambu A/S Video processing device
US11166622B2 (en) 2020-02-21 2021-11-09 Ambu A/S Video processing apparatus
US10835106B1 (en) 2020-02-21 2020-11-17 Ambu A/S Portable monitor
US11109741B1 (en) 2020-02-21 2021-09-07 Ambu A/S Video processing apparatus
US11328390B2 (en) 2020-05-13 2022-05-10 Ambu A/S Method for adaptive denoising and sharpening and visualization systems implementing the method
CN114391792B (zh) * 2021-09-13 2023-02-24 南京诺源医疗器械有限公司 基于窄带成像的肿瘤预测方法、装置及成像内镜
CN115736791B (zh) * 2022-11-28 2024-05-07 北京大学 内窥镜成像装置及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002095635A (ja) * 2000-07-21 2002-04-02 Olympus Optical Co Ltd 内視鏡装置
JP2010094152A (ja) * 2008-10-14 2010-04-30 Fujifilm Corp 電子内視鏡システム
WO2010143692A1 (ja) * 2009-06-10 2010-12-16 オリンパスメディカルシステムズ株式会社 カプセル型内視鏡装置
JP2011010998A (ja) * 2009-07-06 2011-01-20 Fujifilm Corp 内視鏡用照明装置および内視鏡装置
JP2011036361A (ja) * 2009-08-10 2011-02-24 Fujifilm Corp 内視鏡装置
JP2011135983A (ja) 2009-12-28 2011-07-14 Olympus Corp 画像処理装置、電子機器、プログラム及び画像処理方法
JP2011218135A (ja) * 2009-09-30 2011-11-04 Fujifilm Corp 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び血管情報表示方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2319390B1 (en) * 2000-07-21 2016-04-20 Olympus Corporation Endoscope apparatus
JP5460507B2 (ja) * 2009-09-24 2014-04-02 富士フイルム株式会社 内視鏡装置の作動方法及び内視鏡装置
US8668636B2 (en) * 2009-09-30 2014-03-11 Fujifilm Corporation Electronic endoscope system, processor for electronic endoscope, and method of displaying vascular information
JP5389612B2 (ja) * 2009-11-06 2014-01-15 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP2011156339A (ja) * 2010-01-08 2011-08-18 Fujifilm Corp 医療機器及び内視鏡装置
JP5457247B2 (ja) * 2010-03-26 2014-04-02 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP5395725B2 (ja) * 2010-04-05 2014-01-22 富士フイルム株式会社 電子内視鏡システム
JP2012000160A (ja) * 2010-06-14 2012-01-05 Fujifilm Corp 内視鏡装置
JP5496075B2 (ja) * 2010-12-27 2014-05-21 富士フイルム株式会社 内視鏡診断装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002095635A (ja) * 2000-07-21 2002-04-02 Olympus Optical Co Ltd 内視鏡装置
JP2010094152A (ja) * 2008-10-14 2010-04-30 Fujifilm Corp 電子内視鏡システム
WO2010143692A1 (ja) * 2009-06-10 2010-12-16 オリンパスメディカルシステムズ株式会社 カプセル型内視鏡装置
JP2011010998A (ja) * 2009-07-06 2011-01-20 Fujifilm Corp 内視鏡用照明装置および内視鏡装置
JP2011036361A (ja) * 2009-08-10 2011-02-24 Fujifilm Corp 内視鏡装置
JP2011218135A (ja) * 2009-09-30 2011-11-04 Fujifilm Corp 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び血管情報表示方法
JP2011135983A (ja) 2009-12-28 2011-07-14 Olympus Corp 画像処理装置、電子機器、プログラム及び画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2807973A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3127469A1 (en) * 2014-03-31 2017-02-08 Fujifilm Corporation Endoscope system and operation method thereof
EP3127469A4 (en) * 2014-03-31 2017-03-29 Fujifilm Corporation Endoscope system and operation method thereof
WO2017119239A1 (ja) * 2016-01-08 2017-07-13 Hoya株式会社 内視鏡装置
US10925527B2 (en) 2016-01-08 2021-02-23 Hoya Corporation Endoscope apparatus

Also Published As

Publication number Publication date
EP2807973A4 (en) 2016-04-20
CN104023618A (zh) 2014-09-03
JP5815426B2 (ja) 2015-11-17
EP2807973A1 (en) 2014-12-03
JP2013150713A (ja) 2013-08-08
US20140316283A1 (en) 2014-10-23
US9943230B2 (en) 2018-04-17
EP2807973B1 (en) 2019-09-11
CN104023618B (zh) 2016-04-20

Similar Documents

Publication Publication Date Title
JP5815426B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法
US9629527B2 (en) Endoscope system, processor device of endoscope system, and image processing method
JP5911496B2 (ja) 内視鏡システム及びそのプロセッサ装置並びに内視鏡システムの作動方法
JP5274591B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5303012B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
JP5496852B2 (ja) 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び電子内視鏡システムの作動方法
JP5460507B2 (ja) 内視鏡装置の作動方法及び内視鏡装置
JP5887350B2 (ja) 内視鏡システム及びその作動方法
JP5457247B2 (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
US9456738B2 (en) Endoscopic diagnosis system
JP5496075B2 (ja) 内視鏡診断装置
JP5159904B2 (ja) 内視鏡診断装置
JP5485191B2 (ja) 内視鏡装置
JP5667917B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP2012066066A (ja) 電子内視鏡システム及び血管情報取得方法
US9596982B2 (en) Endoscope system and composite image generation method
JP2014221168A (ja) プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
JP2012152460A (ja) 医療システム、医療システムのプロセッサ装置、及び画像生成方法
US9788709B2 (en) Endoscope system and image generation method to generate images associated with irregularities of a subject
JP5677555B2 (ja) 内視鏡装置
JP6277068B2 (ja) 内視鏡用光源装置及び内視鏡システム
JP2015231576A (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法
JP2020142090A (ja) 内視鏡システム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201380004495.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13741638

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2013741638

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE