WO2021181484A1 - 医療用画像処理装置、医療用撮像装置、医療用観察システム、画像処理方法およびプログラム - Google Patents

医療用画像処理装置、医療用撮像装置、医療用観察システム、画像処理方法およびプログラム Download PDF

Info

Publication number
WO2021181484A1
WO2021181484A1 PCT/JP2020/010105 JP2020010105W WO2021181484A1 WO 2021181484 A1 WO2021181484 A1 WO 2021181484A1 JP 2020010105 W JP2020010105 W JP 2020010105W WO 2021181484 A1 WO2021181484 A1 WO 2021181484A1
Authority
WO
WIPO (PCT)
Prior art keywords
component signal
image processing
medical
fluorescence
light
Prior art date
Application number
PCT/JP2020/010105
Other languages
English (en)
French (fr)
Inventor
秀太郎 河野
雄高 小山
弘太郎 小笠原
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2022507019A priority Critical patent/JP7417712B2/ja
Priority to CN202080098157.6A priority patent/CN115243598A/zh
Priority to PCT/JP2020/010105 priority patent/WO2021181484A1/ja
Publication of WO2021181484A1 publication Critical patent/WO2021181484A1/ja
Priority to US17/903,195 priority patent/US20230000329A1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters

Definitions

  • the present disclosure relates to a medical image processing device, a medical imaging device, a medical observation system, an image processing method, and a program that perform image processing on image data generated by imaging a subject.
  • an endoscope there is known a technique for performing fluorescence observation and visible light observation by cutting excitation light on the incident side of an imaging element and providing a filter that transmits a wavelength of fluorescence (for example, Patent Document). 1).
  • a rotating plate having a visible light illumination filter and an excitation light irradiation filter arranged on an optical path of white light irradiated by a lamp is rotated to emit excitation light for fluorescence observation and visible light observation.
  • fluorescence observation and visible light observation are performed by one imaging element.
  • Patent Document 1 a superimposed image in which a fluorescent image is superimposed on a background image is generated based on information on reflected light of excitation light applied to a subject and information on fluorescence emitted by a fluorescent substance. doing. Therefore, in the above-mentioned Patent Document 1, when the wavelength band of fluorescence and the wavelength band of excitation light are close to each other, there is a problem that the visibility of fluorescence deteriorates because the separability of excitation light and fluorescence is poor.
  • the present disclosure has been made in view of the above, and an object of the present disclosure is to provide a medical image processing device, a medical imaging device, a medical observation system, an image processing method, and a program for improving the visibility of fluorescence. do.
  • the present disclosure has been made in view of the above, and in the medical image processing apparatus, the reflected light from the living tissue when the living tissue is irradiated with the narrow band light, and the narrow band light is the living body.
  • Image data generated by imaging at least one of the fluorescence from an observation target that emits fluorescence when the tissue is irradiated is acquired, and a red component signal indicating a red component is obtained based on the acquired image data.
  • a demosaic processing unit that generates an image captured image having a color component signal composed of a green component signal indicating a green component and a blue component signal indicating a blue component, and the red component signal and the green component in the pixels of the captured image.
  • the biological tissue When the biological tissue is irradiated with the fluorescent component signal having a high sensitivity to fluorescence among the signal and the blue component signal, and the narrow band light of the red component signal, the green component signal and the blue component signal. Fluorescence in the captured image based on the calculation unit that calculates the intensity ratio of the reflected light component signal that is highly sensitive to the reflected light from the living tissue and the intensity ratio of the pixels of the captured image calculated by the calculation unit. Based on the determination unit that determines the region and the background region and the determination result determined by the determination unit, the color component signal of the pixel located in the fluorescent region and the color component signal of the pixel located in the background region.
  • Each of the generators includes a generation unit that generates a fluorescent image by performing image processing with different parameters.
  • the observation target is an advanced glycation end product produced by subjecting the living tissue to heat treatment.
  • the fluorescence component signal is the green component signal
  • the reflected light component signal is the blue component signal
  • the observation target is a drug containing a fluorescent substance.
  • the fluorescence component signal is the red component signal
  • the reflected light component signal is the blue component signal
  • the generation unit obtains the gain of the pixel located in the fluorescent region with respect to the color component signal of the pixel located in the background region, and the color component signal of the pixel located in the background region.
  • a gain adjustment process that is larger than the gain for the image is performed as the image process.
  • the determination unit determines the fluorescent region based on the detection unit that detects the brightness of the captured image and the brightness detected by the detection unit.
  • the control unit further includes a control unit for setting a threshold value for determining the background region and the background region, and the determination unit is based on the threshold value set by the control unit and the intensity ratio.
  • the fluorescent component signal and the reflected light component signal of the intensity ratio calculated by the calculation unit are set based on the type information indicating the type of the medical imaging device that can be connected to the medical image processing device.
  • the medical image processing device can be connected to a first medical image sensor or a second medical image sensor, and the first medical image processing device can be connected to the first medical image processing device.
  • the medical image sensor is provided with a pixel portion having a plurality of pixels arranged in a two-dimensional matrix, and one of a red filter, a green filter, and a blue filter on the light receiving surface of each of the plurality of pixels.
  • the second medical image pickup device includes an image pickup device having a color filter, and the second medical image pickup device has a pixel portion having a plurality of pixels arranged in a two-dimensional matrix and a light receiving surface of each of the plurality of pixels.
  • An image sensor including a color filter provided with any one of a red filter, a green filter, and a blue filter, an optical system that forms a subject image on a light receiving surface on the image sensor, and the image sensor and the optical system.
  • a cut filter provided on the optical path with the system is provided, and the cut filter blocks a part of light on the short wavelength side including the wavelength band of the narrow band light, while is longer than the light-shielding wavelength band.
  • the control unit transmits the wavelength band on the wavelength side, and the control unit calculates the calculation unit based on the type information of either the first medical image sensor or the second medical image sensor.
  • the fluorescent component signal and the reflected light component signal of the intensity ratio are set.
  • the control unit may use the medical image processing device as the first medical imaging device or the second medical device based on the type information.
  • the red component signal and the blue component signal are connected to the calculation unit.
  • the green component signal and the blue component signal are used. The strength ratio is calculated.
  • the fluorescence has a wavelength band of 500 nm to 640 nm.
  • the control unit may use the medical image processing device as the first medical imaging device or the second medical device based on the type information.
  • the red component signal and the blue component signal are connected to the calculation unit.
  • the green component signal and the blue component signal are used. The strength ratio is calculated.
  • the narrow band light has a wavelength band of 390 nm to 470 nm, and the cut filter blocks a part of light on the wavelength side shorter than the 470 nm. do.
  • the advanced glycation end product is produced by heat treatment with an energy device.
  • the medical imaging apparatus includes a pixel portion having a plurality of pixels arranged in a two-dimensional matrix, and any of a red filter, a green filter, and a blue filter on the light receiving surface of each of the plurality of pixels.
  • An image pickup element having a color filter provided with one of them, an optical system for forming a subject image on a light receiving surface on the image pickup element, and a cut provided on the optical path between the image pickup element and the optical system.
  • the imaging device includes a filter, and the imaging device includes reflected light from the biological tissue when the biological tissue is irradiated with narrow-band light on the short wavelength side, and terminal saccharified product produced by subjecting the biological tissue to thermal treatment.
  • Image data is generated by imaging at least one of the fluorescence from the light, and the cut filter cuts a part of the light on the short wavelength side including the wavelength band of the narrow band light, while the cut wavelength band is used. It transmits the wavelength band on the long wavelength side.
  • the medical observation system includes the medical image processing device, a light source device capable of irradiating the narrow band light, and a medical imaging device for generating the image data.
  • the medical observation system further includes an insertion portion that can be inserted into the subject and has an optical system that collects the reflected light and the fluorescence, and the insertion portion includes the insertion portion. It is removable from the medical imaging device.
  • the medical observation system further includes an endoscope having an insertion portion having a tip portion that can be inserted into the subject, and the medical imaging device is provided at the tip portion. Being done.
  • the medical observation system rotatably holds a support portion for rotatably supporting the medical imaging device and a base end portion of the support portion on the floor surface. It further includes a movable base part.
  • the image processing method is an observation in which the reflected light from the living tissue when the living tissue is irradiated with the narrow band light and fluorescence is emitted when the narrow band light is irradiated to the living tissue.
  • Image data generated by imaging at least one of the fluorescence from the object is acquired, and based on the acquired image data, a red component signal indicating a red component, a green component signal indicating a green component, and blue
  • a captured image having a color component signal composed of a blue component signal indicating the component of is generated, and the sensitivity to the fluorescence of the red component signal, the green component signal, and the blue component signal in the pixels of the captured image is high.
  • the reflected light component signal having high sensitivity to the reflected light from the biological tissue when the narrow band light is applied to the biological tissue.
  • the intensity ratio of and A fluorescent image is generated by performing image processing of different parameters for each of the color component signal and the color component signal of the pixel located in the background region.
  • the program according to the present disclosure is from an observation target that emits fluorescence when the living tissue is irradiated with the narrow band light, the reflected light from the living tissue, and the narrow band light is irradiated to the living tissue.
  • Image data generated by imaging at least one of the fluorescence of the above is acquired, and based on the acquired image data, a red component signal indicating a red component, a green component signal indicating a green component, and a blue component are used.
  • the intensity ratio is calculated, the fluorescent region and the background region in the captured image are determined based on the intensity ratio of the pixels of the captured image, and the color component signal of the pixel located in the fluorescent region is determined based on the determination result. And, a fluorescent image is generated by performing image processing of parameters different from each other for each of the color component signals of the pixels located in the background region.
  • FIG. 1 is a diagram showing a schematic configuration of an endoscope system according to a first embodiment.
  • FIG. 2 is a block diagram showing a functional configuration of a main part of the endoscope system according to the first embodiment.
  • FIG. 3 is a diagram schematically showing the wavelength characteristics of the light emitted by each of the second light source units according to the first embodiment.
  • FIG. 4 is a diagram schematically showing the configuration of the pixel portion according to the first embodiment.
  • FIG. 5 is a diagram schematically showing the configuration of the color filter according to the first embodiment.
  • FIG. 6 is a diagram schematically showing the sensitivity and wavelength band of each filter according to the first embodiment.
  • FIG. 7A is a diagram schematically showing a signal value of the R pixel of the image pickup device according to the first embodiment.
  • FIG. 7B is a diagram schematically showing a signal value of the G pixel of the image pickup device according to the first embodiment.
  • FIG. 7C is a diagram schematically showing a signal value of the B pixel of the image pickup device according to the first embodiment.
  • FIG. 8 is a flowchart showing an outline of the processing executed by the endoscope system according to the first embodiment.
  • FIG. 9 is a flowchart showing an outline of the drug fluorescence observation mode processing of FIG.
  • FIG. 10 is a diagram schematically illustrating an outline of image processing during drug fluorescence observation mode processing by the image processing unit according to the first embodiment.
  • FIG. 11 is a flowchart showing an outline of the thermal treatment observation mode of FIG. FIG.
  • FIG. 12 is a diagram schematically illustrating an outline of image processing during thermal treatment observation mode processing by the image processing unit according to the first embodiment.
  • FIG. 13 is a flowchart showing an outline of the normal light observation mode processing of FIG.
  • FIG. 14 is a block diagram showing a functional configuration of a main part of the endoscope system according to the second embodiment.
  • FIG. 15A is a diagram schematically showing the transmission characteristics of the cut filter according to the second embodiment.
  • FIG. 15B is a diagram schematically showing another transmission characteristic of the cut filter according to the second embodiment.
  • FIG. 16 is a diagram schematically showing an observation principle in the drug fluorescence observation mode according to the second embodiment.
  • FIG. 17 is a diagram schematically showing an observation principle in the thermal treatment observation mode according to the second embodiment.
  • FIG. 18 is a diagram schematically showing an observation principle in the normal light observation mode according to the second embodiment.
  • FIG. 19 is a flowchart showing an outline of the processing executed by the endoscope system according to the third embodiment.
  • FIG. 20 is a diagram showing a schematic configuration of an endoscope system according to a fourth embodiment.
  • FIG. 21 is a block diagram showing a functional configuration of a main part of the endoscope system according to the fourth embodiment.
  • FIG. 22 is a diagram showing a schematic configuration of the surgical microscope system according to the fifth embodiment.
  • FIG. 1 is a diagram showing a schematic configuration of an endoscope system according to a first embodiment.
  • the endoscope system 1 shown in FIG. 1 is used in the medical field and is a system for observing a living tissue in a subject such as a living body.
  • a rigid endoscope system using the rigid mirror (insertion portion 2) shown in FIG. 1 will be described, but the present invention is not limited to this, and for example, a flexible endoscope is used.
  • It may be an endoscope system equipped with an endoscope, or it may be provided with a medical imaging device for imaging a subject, and a display image based on the image data captured by the medical imaging device is displayed on the display device.
  • a medical microscope system that performs surgery, treatment, and the like.
  • a photosensitive substance such as 5-aminolevulinic acid (hereinafter referred to as "5-ALA") is administered to the observation target in the biological tissue of the subject. It is used when observing PDD (Photodynamic Diagnosis) on a subject.
  • the endoscope system 1 shown in FIG. 1 is used when performing surgery or treatment on a subject using a treatment tool (not shown) such as an electric knife or an energy device capable of heat treatment.
  • the endoscope system 1 shown in FIG. 1 includes an insertion unit 2, a light source device 3, a light guide 4, an endoscope camera head 5 (endoscope imaging device), a first transmission cable 6, and the like.
  • a display device 7, a second transmission cable 8, a control device 9, and a third transmission cable 10 are provided.
  • the insertion portion 2 is hard or at least partially soft and has an elongated shape.
  • the insertion portion 2 is inserted into a subject such as a patient via a trocar.
  • the insertion portion 2 is provided with an optical system such as a lens that forms an observation image inside.
  • the light guide 4 is connected to the light source device 3, and under the control of the control device 9, one end of the light guide 4 is supplied with illumination light to irradiate the subject.
  • the light source device 3 includes one or more light sources such as an LED (Light Emitting Diode) light source, a xenon lamp, and a semiconductor laser element such as an LD (laser Diode), and an FPGA (Field Programmable Gate Array) or CPU (Central Processing Unit). It is realized by using a processor which is a processing device having hardware such as) and a memory which is a temporary storage area used by the processor.
  • the light source device 3 and the control device 9 may be configured to communicate individually as shown in FIG. 1, or may be configured to be integrated.
  • One end of the light guide 4 is detachably connected to the light source device 3, and the other end is detachably connected to the insertion portion 2.
  • the light guide 4 guides the illumination light supplied from the light source device 3 from one end to the other and supplies the illumination light to the insertion portion 2.
  • the eyepiece 21 of the insertion portion 2 is detachably connected to the endoscope camera head 5.
  • the endoscope camera head 5 receives the observation image imaged by the insertion unit 2 and performs photoelectric conversion to generate image data (RAW data), and this image data. Is output to the control device 9 via the first transmission cable 6.
  • the first transmission cable 6 transmits the image data output from the endoscope camera head 5 to the control device 9, and transmits the setting data and power output from the control device 9 to the endoscope camera head 5.
  • the setting data is a control signal, a synchronization signal, a clock signal, or the like that controls the endoscope camera head 5.
  • the display device 7 displays a display image based on the image data processed by the control device 9 and various information related to the endoscope system 1 under the control of the control device 9.
  • the display device 7 is realized by using a display monitor such as a liquid crystal display or an organic EL (Electro Luminescence).
  • One end of the second transmission cable 8 is detachably connected to the display device 7, and the other end is detachably connected to the control device 9.
  • the second transmission cable 8 transmits the image data processed by the control device 9 to the display device 7.
  • the control device 9 is realized by using a processor which is a processing device having hardware such as a GPU (Graphics Processing Unit), an FPGA or a CPU, and a memory which is a temporary storage area used by the processor.
  • the control device 9 passes through each of the first transmission cable 6, the second transmission cable 8 and the third transmission cable 10 according to the program recorded in the memory, and the light source device 3 and the endoscope camera head 5 And the operation of the display device 7 is comprehensively controlled. Further, the control device 9 performs various image processing on the image data input via the first transmission cable 6 and outputs the image data to the second transmission cable 8.
  • One end of the third transmission cable 10 is detachably connected to the light source device 3, and the other end is detachably connected to the control device 9.
  • the third transmission cable 10 transmits the control data from the control device 9 to the light source device 3.
  • FIG. 2 is a block diagram showing a functional configuration of a main part of the endoscope system 1.
  • the insertion portion 2 has an optical system 22 and an illumination optical system 23.
  • the optical system 22 collects light such as reflected light reflected from the subject, return light from the subject, excitation light from the subject, and light emitted by the subject.
  • the optical system 22 is realized by using one or more lenses or the like.
  • the illumination optical system 23 is supplied from the light guide 4 and irradiates the illumination light toward the subject.
  • the illumination optical system 23 is realized by using one or more lenses or the like.
  • the light source device 3 includes a condenser lens 30, a first light source unit 31, a second light source unit 32, and a light source control unit 34.
  • the condenser lens 30 collects the light emitted by each of the first light source unit 31 and the second light source unit 32 and emits the light to the light guide 4.
  • the first light source unit 31 supplies white light to the light guide 4 as illumination light by emitting white light (normal light) which is visible light under the control of the light source control unit 34.
  • the first light source unit 31 is configured by using a collimating lens, a white LED lamp, a drive driver, and the like.
  • the first light source unit 31 may irradiate the visible white light by simultaneously irradiating the red LED lamp, the green LED lamp, and the blue LED lamp.
  • the first light source unit 31 may be configured by using a halogen lamp, a xenon lamp, or the like.
  • the second light source unit 32 emits narrow band light under the control of the light source control unit 34 to supply the narrow band light to the light guide 4 as illumination light.
  • the narrow band light includes at least a part of the wavelength band of 390 nm to 470 nm.
  • the second light source unit 32 is realized by using a collimating lens, a purple LED, a drive driver, and the like.
  • the light source control unit 34 is realized by using a processor which is a processing device having hardware such as FPGA or CPU and a memory which is a temporary storage area used by the processor.
  • the light source control unit 34 controls the light emission timing and the light emission time of each of the first light source unit 31 and the second light source unit 32 based on the control data input from the control device 9.
  • FIG. 3 is a diagram schematically showing the wavelength characteristics of the light emitted by each of the second light source units 32.
  • the horizontal axis represents the wavelength (nm) and the vertical axis represents the wavelength characteristic.
  • FIG. 3 shows the wavelength characteristics of the narrow-band light fold line L V and the second light source unit 32 emits light.
  • the curve L B represents a wavelength band of blue
  • curve L G represents a green wavelength band
  • the curve L R represents the wavelength band of red.
  • the second light source 32 a wavelength band to emit narrow-band light including at least a portion of the 390 nm ⁇ 470 nm.
  • the endoscope camera head 5 includes an optical system 51, a drive unit 52, an image sensor 53, an A / D conversion unit 54, a P / S conversion unit 55, an image pickup recording unit 56, and an image pickup control unit 57. , Equipped with.
  • the optical system 51 forms a subject image focused by the optical system 22 of the insertion unit 2 on the light receiving surface of the image sensor 53.
  • the optical system 51 can change the focal length and the focal position.
  • the optical system 51 is configured by using a plurality of lenses 511.
  • the optical system 51 changes the focal length and the focal position by moving each of the plurality of lenses 511 on the optical axis L1 by the drive unit 52.
  • the drive unit 52 moves a plurality of lenses 511 of the optical system 51 along the optical axis L1 under the control of the image pickup control unit 57.
  • the drive unit 52 is configured by using a motor such as a stepping motor, a DC motor, and a voice coil motor, and a transmission mechanism such as a gear that transmits the rotation of the motor to the optical system 51.
  • the image sensor 53 is realized by using a CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the image sensor 53 is a subject image (light ray) imaged by the optical system 51 under the control of the image pickup control unit 57, receives the subject image that has passed through the cut filter 58, performs photoelectric conversion, and performs an image.
  • Data (RAW data) is generated and output to the A / D conversion unit 54.
  • the image pickup device 53 includes a pixel unit 531 and a color filter 532.
  • FIG. 4 is a diagram schematically showing the configuration of the pixel unit 531.
  • the pixel unit 531 reads an image signal as image data from the pixel P nm in the reading region arbitrarily set as the reading target among the plurality of pixels P nm, and is an A / D conversion unit. Output to 54.
  • FIG. 5 is a diagram schematically showing the configuration of the color filter 532.
  • the color filter 532 is composed of a Bayer array having 2 ⁇ 2 as one unit.
  • the color filter 532 is configured by using a filter R that transmits light in the red wavelength band, two filters G that transmit light in the green wavelength band, and a filter B that transmits light in the blue wavelength band. Will be done.
  • FIG. 6 is a diagram schematically showing the sensitivity and wavelength band of each filter.
  • the horizontal axis represents the wavelength (nm) and the vertical axis represents the transmission characteristic (sensitivity characteristic).
  • curve L B represents the transmission characteristic of the filter B
  • the curve L G represents the transmission characteristic of the filter G
  • the curve L R represents the transmission characteristic of the filter R.
  • the filter B transmits light in a blue wavelength band. Further, as shown by curve L G in FIG. 6, the filter G transmits light in a green wavelength band. Further, as shown by curve L R in FIG. 6, the filter R transmits light in the red wavelength band.
  • R pixel pixel P nm filter R is disposed on the light receiving surface
  • the pixel P nm filter G is disposed on the light receiving surface G pixel
  • the filter B is disposed on the light receiving surface Pixel P nm will be described as B pixel.
  • the image sensor 53 configured in this way, when the subject image formed by the optical system 51 is received, as shown in FIGS. 7A to 7C, the colors of the R pixel, the G pixel, and the B pixel are respectively. Generate signals (red component signal, green component signal and blue component signal).
  • the A / D conversion unit 54 Under the control of the image pickup control unit 57, the A / D conversion unit 54 performs A / D conversion processing on the analog image data input from the image pickup element 53 and outputs the analog image data to the P / S conversion unit 55.
  • the A / D conversion unit 54 is realized by using an A / D conversion circuit or the like.
  • the P / S conversion unit 55 Under the control of the imaging control unit 57, the P / S conversion unit 55 performs parallel / serial conversion of the digital image data input from the A / D conversion unit 54, and the parallel / serial conversion of the digital image data is performed. Is output to the control device 9 via the first transmission cable 6.
  • the P / S conversion unit 55 is realized by using a P / S conversion circuit or the like.
  • an E / O conversion unit that converts image data into an optical signal is provided, and the image data is output to the control device 9 by the optical signal.
  • the image data may be transmitted to the control device 9 by wireless communication such as Wi-Fi (Wireless Fidelity) (registered trademark).
  • the image pickup recording unit 56 records various information regarding the endoscope camera head 5 (for example, the characteristics of the pixel information of the image pickup element 53). Further, the imaging recording unit 56 records various setting data and control parameters transmitted from the control device 9 via the first transmission cable 6.
  • the image pickup recording unit 56 is configured by using a non-volatile memory or a volatile memory.
  • the image pickup control unit 57 is realized by using a TG (Timing Generator), a processor which is a processing device having hardware such as a CPU, and a memory which is a temporary storage area used by the processor.
  • the control device 9 includes an S / P conversion unit 91, a detection unit 92, an image processing unit 93, an input unit 94, a recording unit 95, and a control unit 96.
  • the S / P conversion unit 91 performs serial / parallel conversion on the image data received from the endoscope camera head 5 via the first transmission cable 6 to perform image processing. Output to unit 93.
  • an O / E conversion unit that converts an optical signal into an electric signal may be provided instead of the S / P conversion unit 91.
  • a communication module capable of receiving a wireless signal may be provided instead of the S / P conversion unit 91.
  • the detection unit 92 detects a brightness level from the brightness value of each pixel based on the captured image corresponding to the image data input from the S / P conversion unit 91, and controls this brightness level with the image processing unit 93. Output to each of the parts 96.
  • the detection unit 92 detects a statistical value of the brightness value of each pixel, for example, an average value or a median value as a brightness level of the captured image.
  • the image processing unit 93 Under the control of the control unit 96, the image processing unit 93 performs predetermined image processing on the image data of the parallel data input from the S / P conversion unit 91 and outputs the image data to the display device 7.
  • the predetermined image processing includes gain control processing, demosaic processing, white balance processing, gain adjustment processing, gamma correction processing, format conversion processing, and the like.
  • the image processing unit 93 is realized by using a processor which is a processing device having hardware such as GPU or FPGA and a memory which is a temporary storage area used by the processor. In the first embodiment, the image processing unit 93 functions as a medical image processing device.
  • the image processing unit 93 includes at least a demosaic processing unit 931, a calculation unit 932, a determination unit 933, and a generation unit 934.
  • the demosaic processing unit 931 is from an observation target that emits fluorescence when the biological tissue is irradiated with the narrow-band light on the short wavelength side and the reflected light from the biological tissue or the narrow-band light is irradiated to the biological tissue.
  • Image data generated by imaging at least one of the fluorescence is acquired, and based on the acquired image data, a red component signal indicating a red component, a green component signal indicating a green component, and a blue component are indicated.
  • An captured image having a color component signal composed of a blue component signal is generated.
  • the demosaic processing unit 931 complements the pixel value (color component signal) of each pixel by a well-known demosaic process.
  • the calculation unit 932 includes a fluorescent component signal having a high sensitivity to fluorescence among the red component signal, the green component signal, and the blue component signal, and the red component signal and the green component, based on the captured image.
  • the intensity ratio of the reflected light component signal having high sensitivity to the reflected light from the living tissue when the narrow band light is applied to the living tissue is calculated.
  • the determination unit 933 determines the fluorescence region and the background region in the captured image based on the intensity ratio for each pixel of the captured image calculated by the calculation unit 932. Specifically, the determination unit 933 is based on the threshold value set by the control unit 96 and the intensity ratio for each pixel of the captured image calculated by the calculation unit 932 under the control of the control unit 96 described later. The fluorescence region and the background region in the captured image are determined.
  • the generation unit 934 Based on the determination result determined by the determination unit 933, the generation unit 934 performs image processing with parameters different from each other for the color component signal of the pixel located in the fluorescent region and the color component signal of the pixel located in the background region in the captured image. By doing so, a fluorescent image is generated. Specifically, the generation unit 934 sets the gain for the color component signal of the pixel located in the fluorescent region as the image processing of the fluorescence parameter for the color component signal of the pixel located in the fluorescent region in the background region. Performs gain adjustment processing that is larger than the gain for the color component signal of the position pixel.
  • the generation unit 934 sets the gain for the color component signal of the pixel located in the background region to the fluorescent region as image processing of the background parameter for the color component signal of the pixel located in the background region. Performs gain adjustment processing that is smaller than the gain for the color component signal of the position pixel. Further, the generation unit 934 generates a fluorescence image by performing image processing of different fluorescence parameters and background parameters for each of the fluorescence region and the background region in addition to the gain.
  • the fluorescence parameter and the background parameter include, for example, white balance adjustment processing, contour enhancement processing, contrast enhancement processing, gamma correction processing, hue conversion processing, and the like.
  • the input unit 94 receives inputs for various operations related to the endoscope system 1 and outputs the received operations to the control unit 96.
  • the input unit 94 is configured by using a mouse, a foot switch, a keyboard, a button, a switch, a touch panel, and the like.
  • the recording unit 95 is realized by using a recording medium such as a volatile memory, a non-volatile memory, an SSD (Solid State Drive), an HDD (Hard Disk Drive), or a memory card.
  • the recording unit 95 records data including various parameters necessary for the operation of the endoscope system 1. Further, the recording unit 95 has a program recording unit 951 that records various programs for operating the endoscope system 1.
  • the control unit 96 is realized by using a processor which is a processing device having hardware such as FPGA or CPU and a memory which is a temporary storage area used by the processor.
  • the control unit 96 comprehensively controls each unit constituting the endoscope system 1. Further, the control unit 96 sets a threshold value for the determination unit 933 to determine the fluorescence region and the background region in the captured image based on the brightness level detected by the detection unit 92. Further, the control unit 96 calculates the fluorescence component signal and the reflected light component of the intensity ratio calculated by the calculation unit 932 based on the instruction signal instructing the observation mode that the endoscope system 1 can execute, which is input from the input unit 94. The signal is set in the calculation unit 932.
  • FIG. 8 is a flowchart showing an outline of the processing executed by the endoscope system 1.
  • the image processing unit 93 performs various image processing for developing the image data, but for simplification of the description, only the characteristic image processing in each observation mode will be described.
  • the control unit 96 determines whether or not the endoscope system 1 is set to the drug fluorescence observation mode according to the mode signal indicating the observation mode input from the input unit 94. (Step S1).
  • the control unit 96 determines that the endoscope system 1 is set to the drug fluorescence observation mode (step S1: Yes)
  • the endoscope system 1 proceeds to step S2, which will be described later.
  • the control unit 96 determines that the endoscope system 1 is not set to the drug fluorescence observation mode (step S1: No)
  • the endoscope system 1 shifts to step S4 described later. ..
  • step S2 the endoscope system 1 executes the drug fluorescence observation mode process. After step S2, the endoscope system 1 shifts to step S3 described later.
  • FIG. 9 is a flowchart showing an outline of the drug fluorescence observation mode processing in step S2 of FIG.
  • FIG. 10 is a diagram schematically illustrating an outline of image processing during drug fluorescence observation mode processing by the image processing unit 93. In FIG. 9, a case where PDD observation is performed as drug fluorescence observation will be described.
  • the PDD observation is blue visible light in which the excitation light used in the PDD observation is, for example, a wavelength band of 375 nm to 445 nm (center wavelength 410 nm).
  • the observation target of the subject is treated with a photosensitizer such as 5-aminolevulinic acid (hereinafter referred to as "5-ALA").
  • An operator such as a doctor may have a subject such as a patient take a solution of 5-ALA.
  • 5-ALA is a natural amino acid originally contained in the living body of animals and plants. This 5-ALA is taken up into cells after administration into the body and biosynthesized into protoporphyrin in mitochondria. And in cancer cells, protoporphyrins are excessively accumulated.
  • protoporphyrins that over-accumulate in cancer cells have photoactivity. Therefore, when the protoporphyrin is excited with excitation light (for example, blue visible light in the wavelength band of 375 nm to 445 nm), it emits fluorescence (for example, red fluorescence in the wavelength band of 600 nm to 740 nm).
  • excitation light for example, blue visible light in the wavelength band of 375 nm to 445 nm
  • fluorescence for example, red fluorescence in the wavelength band of 600 nm to 740 nm.
  • the PDD observation is an observation using photodynamic diagnosis, which is a cancer diagnostic method in which cancer cells are fluorescently emitted by using a light-sensitive substance.
  • control unit 96 controls the light source control unit 34 and causes each of the second light source units 32 to emit light to irradiate the subject with narrow-band light (step S21). ).
  • control unit 96 controls the image pickup control unit 57 to cause the image pickup element 53 to take an image of the subject image focused by the optical system 22 and the optical system 51 (step S22).
  • the detection unit 92 determines the brightness of each pixel based on the captured image corresponding to the image data input via the A / D conversion unit 54, the P / S conversion unit 55, and the S / P conversion unit 91.
  • the brightness level is detected from the value (step S23).
  • the detection unit 92 outputs the brightness level to each of the image processing unit 93 and the control unit 96.
  • control unit 96 takes an image based on the color component signal of the intensity ratio calculated by the calculation unit 932 according to the observation mode set in the endoscope system 1 and the brightness level input from the detection unit 92.
  • a threshold value for determining each pixel constituting the image as a fluorescent region and a background region is set (step S24).
  • the demosaic processing unit 931 performs a well-known demosaic processing on the image data (RAW data) input via the A / D conversion unit 54, the P / S conversion unit 55, and the S / P conversion unit 91. (Step S25). Specifically, as shown in FIG. 10, the demosaic processing unit 931 performs a well-known demosaic process on the image data to generate an captured image, and outputs the captured image to the calculation unit 932. In this case, as shown in FIG. 10, each pixel includes an R component signal, a G component signal, and a B component signal.
  • the calculation unit 932 calculates the intensity ratio of each pixel of the captured image input from the demosaic processing unit 931 based on the color component signal set by the control unit 96 (step S26). Specifically, as shown in FIG. 10, the calculation unit 932 includes a fluorescent component having a high sensitivity to fluorescence in PDD observation, and an R component signal and a G component among the R component signal, the G component signal, and the B component signal. Of the signal and the B component signal, the intensity ratio of the reflected light component having high sensitivity to the reflected light reflected by the living tissue when the narrow band light is applied to the living tissue is calculated for each pixel of the captured image. .. More specifically, as shown in pixel P 11 of FIG.
  • the determination unit 933 determines the fluorescence region based on the threshold value set by the control unit 96 and the intensity ratio of each pixel calculated by the calculation unit 932 (step S27). Specifically, the determination unit 933 determines whether or not the intensity ratio is equal to or higher than the threshold value for each pixel of the captured image, and determines that the pixel equal to or higher than the threshold value is the fluorescent region (fluorescent pixel), while the pixel is less than the threshold value. Is determined as a background area (background pixel). More specifically, in the case of the pixel P 11 shown in FIG.
  • the determination unit 933 has an intensity ratio of 0.0 and is less than a threshold value (for example, 0.5 or more), so that the pixel P 11 is used as a background. It is determined as a region, and information (for example, "0") indicating that it is a background region (background pixel) is added to the pixel P 11.
  • the determination unit 933 when the pixel P12 shown in FIG. 10, the intensity ratio is 0.8, because it is above the threshold, determines the pixel P 12 as a fluorescent area (a fluorescent pixels), fluorescence pixel P 12 Information (for example, "1") indicating that it is a region (fluorescent pixel) is added.
  • the generation unit 934 inputs from the demosaic processing unit 931 based on the image processing parameters set by the control unit 96 according to the type of the endoscope camera head 5 and the determination result determined by the determination unit 933. Image processing with different parameters is performed for each pixel of the captured image (step S28). Specifically, the generation unit 934 performs image processing for lowering the gain as a background parameter with respect to the signal value of the pixel determined to be the background region by the determination unit 933. On the other hand, image processing is performed to increase the gain as a fluorescence parameter with respect to the signal value of the pixel determined to be the fluorescence region by the determination unit 933. As a result, the pixel value of the pixel located in the fluorescent region becomes large, and the pixel value of the pixel located in the background region becomes small, so that the fluorescent region can be emphasized.
  • the generation unit 934 performs ⁇ correction processing, color tone conversion processing, white balance processing, format conversion processing, and the like on each pixel of the captured image that has been subjected to image processing of different parameters to perform the drug fluorescent image Q1 (pseudo color). Image) is generated (step S29).
  • the generation unit 934 outputs the drug fluorescence image Q1 to the display device 7 (step S30).
  • an operator such as a doctor can observe the drug fluorescence image Q1 in which the fluorescence region is emphasized from the background region.
  • the control unit 96 determines whether or not a switching signal for switching the observation mode of the endoscope system 1 has been input from the input unit 94 (step S31). When it is determined by the control unit 96 that the switching signal for switching the observation mode of the endoscope system 1 is input from the input unit 94 (step S31: Yes), the endoscope system 1 returns to the main routine of FIG. On the other hand, when it is determined by the control unit 96 that the switching signal for switching the observation mode of the endoscope system 1 is not input from the input unit 94 (step S31: No), the endoscope system 1 is described above. Return to step S21.
  • step S3 the control unit 96 determines whether or not an instruction signal instructing the end of the observation of the subject has been input from the input unit 94.
  • step S3: Yes the endoscope system 1 ends this process.
  • step S3: No the endoscope system 1 is described above. Return to step S1.
  • step S4 the control unit 96 determines whether or not the endoscope system 1 is set to the thermal treatment observation mode according to the mode signal indicating the observation mode input from the input unit 94.
  • the control unit 96 determines that the endoscope system 1 is set to the thermal treatment observation mode (step S4: Yes)
  • the endoscope system 1 shifts to step S5 described later.
  • the control unit 96 determines that the endoscope system 1 is not set to the thermal treatment observation mode (step S4: No)
  • the endoscope system 1 shifts to step S6 described later. ..
  • FIG. 11 is a flowchart showing an outline of the heat treatment observation mode in step S5 of FIG. 8 described above.
  • FIG. 12 is a diagram schematically illustrating an outline of image processing during thermal treatment observation mode processing by the image processing unit 93.
  • minimally invasive treatment using an endoscope, laparoscope, etc. has become widely used in the medical field.
  • endoscopic submucosal dissection (ESD) and endoscopic joint gastroscopy (LECS: Laparoscopy and Endoscopy) Cooperative Surgery are widely performed.
  • ESD endoscopic submucosal dissection
  • LECS endoscopic joint gastroscopy
  • NEWS non-exposed endoscopic wall-inversion surgery
  • a surgeon when performing treatment, for example, as a pretreatment, uses a treatment tool of an energy device such as a high-frequency knife and an electric scalpel to mark a surgical target area. Perform heat treatment and marking treatment by heat treatment.
  • the operator also performs treatments such as excision and coagulation of the biological tissue of the subject using an energy device or the like even in the case of actual treatment.
  • the actual situation is that the surgeon relies on visual inspection, tactile sensation, intuition, etc. to confirm the degree of heat treatment applied to the living tissue by the energy device. For this reason, in treatment using a conventional energy device or the like, it is difficult for the operator to confirm in real time the degree to which heat treatment should be applied during work such as surgery, which is a work item that requires a great deal of skill. .. As a result, the surgeon and others have desired a technique capable of visualizing the cauterized state in the heat-treated area due to the heat treatment (heat treatment) when the living tissue is heat-treated using an energy device.
  • AGEs advanced glycation end products
  • AGEs when AGEs are heat-treated with an energy device, amino acids and reducing sugars in the living tissue are heated to cause a Maillard reaction.
  • the AGEs produced by this heating can be visualized in the state of heat treatment by observing the fluorescence.
  • AGEs are known to emit stronger fluorescence than autofluorescent substances originally present in living tissues.
  • the heat treatment observation mode is an observation method that visualizes the heat treatment area by heat treatment by utilizing the fluorescence characteristics of AGEs generated in the living tissue by heat treatment by an energy device or the like. Therefore, in the thermal treatment observation mode, the living body tissue is irradiated with blue light having a wavelength of around 415 nmm for exciting AGEs from the light source device 3. Thereby, in the thermal treatment observation mode, the thermal treatment image (fluorescent image) obtained by capturing the fluorescence generated from the AGEs (for example, green light having a wavelength of 490 to 625 nm) can be observed.
  • control unit 96 controls the light source control unit 34 and causes the second light source unit 32 to emit light to irradiate the subject with narrow band light (step S51).
  • control unit 96 controls the image pickup control unit 57 to cause the image pickup element 53 to take an image of the subject image focused by the optical system 22 and the optical system 51 (step S52).
  • the detection unit 92 determines the brightness of each pixel based on the captured image corresponding to the image data input via the A / D conversion unit 54, the P / S conversion unit 55, and the S / P conversion unit 91.
  • the brightness level is detected from the value (step S53).
  • the detection unit 92 outputs the brightness level to each of the image processing unit 93 and the control unit 96.
  • control unit 96 sets a threshold value for determining each pixel constituting the captured image as a fluorescence region and a background region based on the brightness level input from the detection unit 92 (step S54).
  • the demosaic processing unit 931 performs a well-known demosaic processing on the image data (RAW data) input via the A / D conversion unit 54, the P / S conversion unit 55, and the S / P conversion unit 91. (Step S55). Specifically, as shown in FIG. 12, the demosaic processing unit 931 performs a well-known demosaic process on the image data to generate an captured image, and outputs the captured image to the calculation unit 932. In this case, as shown in FIG. 12, each pixel includes an R component signal, a G component signal, and a B component signal.
  • the calculation unit 932 calculates the intensity ratio of each pixel of the captured image input from the demosaic processing unit 931 based on the color component signal set by the control unit 96 (step S56). Specifically, as shown in FIG. 12, the calculation unit 932 includes a fluorescent component having a high sensitivity to fluorescence in thermal treatment observation among the R component signal, the G component signal, and the B component signal, and the R component signal, G. Of the component signals and B component signals, the intensity ratio of the reflected light component, which is highly sensitive to the reflected light reflected by the living tissue when the narrow band light is applied to the living tissue, is calculated for each pixel of the captured image. do. More specifically, as shown in pixel P 11 of FIG.
  • the determination unit 933 determines the fluorescence region based on the threshold value set by the control unit 96 and the intensity ratio of each pixel calculated by the calculation unit 932 (step S57). Specifically, the determination unit 933 determines whether or not the intensity ratio is equal to or higher than the threshold value for each pixel of the captured image, and determines that the pixel equal to or higher than the threshold value is the fluorescent region (fluorescent pixel), while the pixel is less than the threshold value. Is determined as a background area (background pixel). More specifically, in the case of the pixel P 11 shown in FIG.
  • the determination unit 933 has an intensity ratio of 0.2 and is less than a threshold value (for example, 0.5 or more), so that the pixel P 11 is used as a background. It is determined as a region, and information (for example, "0") indicating that it is a background region (background pixel) is added to the pixel P 11.
  • the determination unit 933 when the pixel P12 shown in FIG. 12, the intensity ratio is 0.8, because it is above the threshold, determines the pixel P 12 as a fluorescent area (a fluorescent pixels), fluorescence pixel P 12 Information (for example, "1") indicating that it is a region (fluorescent pixel) is added.
  • the generation unit 934 inputs from the demosaic processing unit 931 based on the image processing parameters set by the control unit 96 according to the type of the endoscope camera head 5 and the determination result determined by the determination unit 933. Image processing of parameters different from each other is performed on each pixel of the captured image (step S58). Specifically, the generation unit 934 performs the first image processing of lowering the gain as a background parameter with respect to the signal value of the pixel determined to be the background region by the determination unit 933. On the other hand, the first image processing for increasing the gain as a fluorescence parameter is performed on the signal value of the pixel determined to be the fluorescence region by the determination unit 933. As a result, the pixel value of the pixel located in the fluorescent region becomes large, and the pixel value of the pixel located in the background region becomes small, so that the fluorescent region can be emphasized.
  • the generation unit 934 performs ⁇ correction processing, color tone conversion processing, white balance processing, format conversion processing, and the like on each pixel of the captured image subjected to image processing of different parameters to heat-treated image Q2 (pseudo-color). Image) is generated (step S59).
  • the generation unit 934 outputs the heat treatment image Q2 to the display device 7 (step S60).
  • an operator such as a doctor can observe the heat treatment image Q2 in which the heat treatment area is emphasized from the background area.
  • the control unit 96 determines whether or not a switching signal for switching the observation mode of the endoscope system 1 has been input from the input unit 94 (step S61). When it is determined by the control unit 96 that the switching signal for switching the observation mode of the endoscope system 1 is input from the input unit 94 (step S61: Yes), the endoscope system 1 returns to the main routine of FIG. On the other hand, when it is determined by the control unit 96 that the switching signal for switching the observation mode of the endoscope system 1 is not input from the input unit 94 (step S61: No), the endoscope system 1 is described above. Return to step S51.
  • step S6 the control unit 96 determines whether or not the endoscope system 1 is set to the normal light observation mode according to the mode signal indicating the observation mode input from the input unit 94.
  • step S6: Yes the control unit 96 determines that the endoscope system 1 is set to the normal light observation mode
  • step S7 the endoscope system 1 shifts to step S3.
  • step S7 the endoscope system 1 executes normal light observation mode processing. After step S7, the endoscope system 1 shifts to step S3.
  • FIG. 13 is a flowchart showing an outline of the normal light observation mode processing in step S7 of FIG. 8 described above.
  • control unit 96 controls the light source control unit 34 to cause the first light source unit 31 to emit light, thereby irradiating the subject with white light (step S71). ..
  • control unit 96 controls the image pickup control unit 57 to cause the image pickup element 53 to take an image of the subject image focused by the optical system 22 and the optical system 51 (step S72).
  • control unit 96 causes the demosaic processing unit 931 to perform demosaic processing on the image data input via the A / D conversion unit 54, the P / S conversion unit 55, and the S / P conversion unit 91. (Step S73).
  • the generation unit 934 performs second image processing such as ⁇ correction processing, color tone conversion processing, white balance processing, and format conversion processing on the captured image subjected to demosaic processing by the demosaic processing unit 931 to perform white light.
  • An image is generated (step S74), and this white light image is output to the display device 7 (step S75).
  • the control unit 96 determines whether or not a switching signal for switching the observation mode of the endoscope system 1 has been input from the input unit 94 (step S76).
  • the control unit 96 determines whether or not a switching signal for switching the observation mode of the endoscope system 1 has been input from the input unit 94 (step S76).
  • the endoscope system 1 returns to the main routine of FIG.
  • the control unit 96 determines whether or not a switching signal for switching the observation mode of the endoscope system 1 has been input from the input unit 94 (step S76).
  • the calculation unit 932 calculates and determines the intensity ratio of the fluorescence component signal having high sensitivity to fluorescence and the reflected light component signal having high sensitivity to reflected light for each pixel of the captured image.
  • the unit 933 determines the fluorescence region and the background region of the captured image based on the intensity ratio after the pixel calculated by the calculation unit 932, and the generation unit 934 determines the fluorescence region of the pixel determined by the determination unit 933.
  • a heat-treated image or a drug fluorescence image is generated by performing image processing of different parameters for each of the color component signal and the color component signal of the pixel located in the background region. Can be done.
  • the image processing is a gain adjustment process in which the generation unit 943 makes the gain on the color component signal of the pixel located in the fluorescence region larger than the gain on the color component signal of the pixel located in the background region. Since this is performed to generate a heat treatment image or a drug fluorescence image, the visibility of fluorescence can be improved.
  • control unit 96 sets the threshold value based on the detection result of the detection unit 92, the determination unit 933 distinguishes between the noise contained in the captured image and the emission of fluorescence. be able to.
  • the endoscope camera head 5 is composed of only one image pickup element 53, the cost of the endoscope camera head 5 is reduced, the size and weight of the endoscope camera head 5 are reduced, and the control device 9 is used. The control process can be simplified.
  • the endoscope system according to the second embodiment has a different configuration from the endoscope system 1 according to the first embodiment described above. Specifically, the endoscope system according to the second embodiment further includes a cut filter as an optical element that shields the reflected light and the return light reflected by the narrow band light as the excitation light by the biological tissue.
  • a cut filter as an optical element that shields the reflected light and the return light reflected by the narrow band light as the excitation light by the biological tissue.
  • FIG. 14 is a block diagram showing a functional configuration of a main part of the endoscope system.
  • the endoscope system 1A shown in FIG. 14 includes an endoscope camera head 5A instead of the endoscope camera head 5 according to the first embodiment described above.
  • the endoscope camera head 5A further includes a cut filter 58 in addition to the configuration of the endoscope camera head 5 according to the first embodiment described above.
  • the cut filter 58 is arranged on the optical path between the optical system 51 and the image sensor 53.
  • the cut filter 58 blocks most of the light in the short wavelength band including the narrow band light wavelength band, and transmits the wavelength band on the longer wavelength side than the wavelength band that blocks most of the light.
  • FIG. 15A is a diagram schematically showing the transmission characteristics of the cut filter 58.
  • the horizontal axis represents the wavelength (nm) and the vertical axis represents the transmission characteristic.
  • fold line L F represents the transmission characteristics of the cut filter 58
  • line L V represents a wavelength characteristic of the narrow band light
  • line L NG represents a wavelength characteristic in fluorescence of AGEs
  • the cut filter 58 blocks most of the light in the short wavelength band and transmits the wavelength band on the longer wavelength side than the wavelength band that blocks most of the light. Specifically, the cut filter 58 blocks most of the light in the wavelength band on the short wavelength side, which is less than any wavelength of 430 nm to 470 nm including the wavelength band of narrow band light, and blocks most of the light. It transmits light in a wavelength band on the longer wavelength side than the wavelength band to be used. For example, the cut filter 58 transmits the fluorescence of AGEs and the fluorescence of 5-ALA generated by the thermal treatment as shown in the polygonal line L NG and the polygonal line L PDD.
  • the cut filter 58 may have another transmission characteristic.
  • FIG. 15B is a diagram schematically showing another transmission characteristic of the cut filter 58.
  • the cut filter 58 blocks most of the light in the short wavelength wavelength band, and sets the wavelength band on the longer wavelength side than the wavelength band that blocks most of the light, similar to the transmission characteristics described above. To Penetrate. Specifically, the cut filter 58 blocks most of the light in the wavelength band on the short wavelength side, which is less than any wavelength of 430 nm to 470 nm including the wavelength band of narrow band light, and blocks most of the light. It transmits light in a wavelength band on the longer wavelength side than the wavelength band to be used. For example, the cut filter 58 transmits the fluorescence of AGEs and the fluorescence of 5-ALA generated by the thermal treatment as shown in the polygonal line L NG and the polygonal line L PDD.
  • FIG. 16 is a diagram schematically showing an observation principle in the drug fluorescence observation mode.
  • the light source device 3 emits light from the second light source unit 32 under the control of the control device 9, so that the narrow band light (excitation light 415 nm) is used as a drug (5).
  • the living tissue O1 of the subject to which ALA) has been administered is irradiated.
  • at least the fluorescent WF1 excited by the biological tissue O1 such as the subject is incident on the R pixel.
  • the reflected light and the return light (hereinafter, simply referred to as “reflected light W1”) containing a plurality of reflected components are shielded by the cut filter 58 to reduce the intensity, but are longer than the wavelength band that shields most of them. A part of the component on the wavelength side is incident on the image sensor 53 without reducing the intensity.
  • cut-off filter 58 is a reflected light W1 entering the R pixel, the wavelength band of short wavelength including the wavelength band of the narrowband light Most of the reflected light W1 is shielded from light, and a wavelength band on the longer wavelength side than the wavelength band that shields most of this light is transmitted. Further, as shown in the graph G2 of FIG. 16, the cut filter 58 transmits the fluorescence (fluorescent WF1) generated by the excitation of the biological tissue O1 (drug region). Therefore, the reflected light W1 and the fluorescent WF1 having reduced intensities are incident on each of the R pixel and the B pixel.
  • fluorescence fluorescent WF1
  • the transmission characteristics (sensitivity characteristics) of the R pixel, the G pixel, and the B pixel are different from each other. Specifically, since the B pixel has sensitivity to the reflected light W1 of the narrow band light, the output value corresponding to the received amount of the reflected light W1 becomes a large value. Further, although the R pixel has sensitivity to fluorescence WF1, the output value becomes a small value because the fluorescence is a minute reaction.
  • the image processing unit 93 acquires image data (RAW data) from the image sensor 53 of the endoscope camera head 5A, and each color component signal (pixel value) of the R pixel and the B pixel included in the acquired image data. ) Is subjected to image processing to generate a drug fluorescence image (pseudo-color image).
  • the color component signal of the R pixel includes fluorescence information from the drug.
  • the B pixel contains background information from the biological tissue of the subject. Therefore, the image processing unit 93 performs the same processing as in the first embodiment described above to generate a drug fluorescence image.
  • the image processing unit 93 includes demosaic processing, processing for calculating the intensity ratio for each pixel, processing for determining between the fluorescent region and the background region, color component signals (pixel values) of pixels located in the fluorescent region, and A drug fluorescence image (pseudo-color image) is generated by performing image processing of parameters different from each other for each of the color component signals (pixel values) of the pixels located in the background region. Then, the image processing unit 93 outputs the drug fluorescence image to the display device 7.
  • the fluorescence region is a region in which the fluorescence information is superior to the background information.
  • the background region refers to a region in which the background information is superior to the fluorescence information.
  • the intensity ratio of the reflected light component signal corresponding to the background information and the fluorescence component signal corresponding to the fluorescence information included in the pixels is equal to or higher than a predetermined threshold value (for example, 0.5 or higher). In some cases, it is determined as a fluorescent region, while when the intensity ratio is less than a predetermined threshold value, it is determined as a background region.
  • a predetermined threshold value for example, 0.5 or higher
  • the drug fluorescence observation mode can emphasize and display the fluorescence region of the drug, which is difficult to see with white light (normal light).
  • FIG. 17 is a diagram schematically showing an observation principle in the thermal treatment observation mode.
  • the light source device 3 causes the second light source unit 32 to emit light under the control of the control device 9, so that the narrow band light which is the excitation light (center wavelength 415 nm) is emitted. Is irradiated to the biological tissue O2 (heat treatment area) where the subject has been heat-treated by an energy device or the like. In this case, as shown in the graph G12 of FIG.
  • the reflected light W10 including at least the component of the narrow band light reflected by the biological tissue O2 (heat treatment region) and the return light is While the cut filter 58 shields light from light and reduces the intensity, some of the components on the longer wavelength side than the wavelength band that blocks most of the light are incident on the image pickup element 53 without reducing the intensity.
  • the cut filter 58 is the reflected light W10 incident on the G pixel, and is the reflected light W10 having a short wavelength band including the wavelength band of the narrow band light. Most of the light is blocked, and the wavelength band on the longer wavelength side than the wavelength band that blocks most of the light is transmitted. Further, as shown in the graph G12 of FIG. 17, the cut filter 58 transmits the fluorescence (WF10) autofluorescent by AGEs in the living tissue O1 (heat treatment region). Therefore, the reflected light W10 and the fluorescence (WF10) having reduced intensities are incident on each of the R pixel, the G pixel, and the B pixel.
  • WF10 fluorescence
  • the G pixel has sensitivity to fluorescence, but the output value is small because the fluorescence is a minute reaction.
  • the image processing unit 93 acquires image data (RAW data) from the image sensor 53 of the endoscope camera head 5A, and obtains an image for each signal value of the G pixel and the B pixel included in the acquired image data.
  • the processing is performed to generate a pseudo color image (heat-treated fluorescent image).
  • the signal value of the G pixel includes the fluorescence information emitted from the heat treatment region.
  • the B pixel contains background information from the biological tissue of the subject including the heat treatment region. Therefore, the image processing unit 93 performs the same processing as in the first embodiment described above to generate a heat-treated image.
  • the image processing unit 93 includes demosaic processing, processing for calculating the intensity ratio for each pixel, processing for determining between the fluorescent region and the background region, color component signals (pixel values) of pixels located in the fluorescent region, and Image processing of parameters different from each other is performed on each of the color component signals (pixel values) of the pixels located in the background region to generate a heat-treated image (pseudo-color image). Then, the image processing unit 93 outputs the heat treatment image to the display device 7.
  • the fluorescence region is a region in which the fluorescence information is superior to the background information.
  • the background region refers to a region in which the background information is superior to the fluorescence information.
  • the image processing unit 93 has an intensity ratio of the reflected light component signal corresponding to the background information and the fluorescence component signal corresponding to the fluorescence information included in the pixels equal to or higher than a predetermined threshold value (for example, 0.5 or higher). In some cases, it is determined as a fluorescent region, while when the intensity ratio is less than a predetermined threshold value, it is determined as a background region.
  • a predetermined threshold value for example, 0.5 or higher.
  • the biological tissue O2 heat treatment area of the heat treatment by the energy device or the like can be easily observed.
  • FIG. 18 is a diagram schematically showing the observation principle in the normal light observation mode.
  • the light source device 3 irradiates the living tissue O3 of the subject with white light W3 by causing the first light source unit 31 to emit light under the control of the control device 9.
  • a part of the reflected light and the return light reflected by the living tissue (hereinafter, simply referred to as "reflected light WR30, reflected light WG30, reflected light WB30") is shielded by the cut filter 58, and the rest is shielded by the image pickup element 53.
  • the cut filter 58 blocks reflected light in a short wavelength band including a narrow band light wavelength band. Therefore, as shown in FIG. 18, the component of light in the blue wavelength band incident on the B pixel is smaller than that in the state where the cut filter 58 is not arranged.
  • the image processing unit 93 acquires image data (RAW data) from the image sensor 53 of the endoscope camera head 5A, and signal values of the R pixel, the G pixel, and the B pixel included in the acquired image data. Image processing is performed on the image to generate a white light image. In this case, the image processing unit 93 adjusts the white balance so that the ratios of the red component, the green component, and the blue component are constant because the blue component contained in the image data is smaller than that of the conventional white light observation. Perform white balance adjustment processing.
  • the endoscopic system 1A performs the same processing as in the first embodiment described above, determines the background region and the fluorescence region in each of the drug fluorescence observation mode and the thermal treatment observation mode, and determines the background region and the fluorescence region.
  • a drug fluorescence image or a heat treatment image in which the fluorescence region is emphasized is generated from the background region and displayed on the display device 7.
  • the same effect as that of the first embodiment described above is obtained, and the cut filter 58 as an optical element is provided, so that the reflected light and the return light reflected by the living tissue are affected. It is possible to prevent the fluorescence from the heat treatment area from being buried.
  • the endoscope system according to the third embodiment has the same configuration as the endoscope system according to the first and second embodiments described above, and the processing to be executed is different. Specifically, in the above-described first and second embodiments, the intensity ratio of the color component signal calculated by the control unit to the calculation unit is set according to the observation mode set according to the mode signal input from the input unit. However, in the third embodiment, the intensity ratio of the color component signal calculated by the control unit to the calculation unit is set according to the type of the endoscope camera head connected to the control device.
  • the processing executed by the endoscope system according to the third embodiment will be described.
  • the same components as those of the endoscope system according to the first embodiment described above are designated by the same reference numerals, and detailed description thereof will be omitted.
  • FIG. 19 is a flowchart showing an outline of the processing executed by the endoscope system according to the third embodiment.
  • either the endoscope camera head 5 according to the above-described first embodiment or the endoscope camera head 5A according to the above-mentioned second embodiment is connected. That is, in the third embodiment, the endoscope camera head 5 functions as the first medical image pickup device, and the endoscope camera head 5A functions as the second medical image pickup device. Further, in the following, when referring to either one of the endoscopic camera head 5 and the endoscopic camera head 5A, it is simply referred to as an endoscopic camera head.
  • control unit 96 acquires type information indicating the type of the endoscope camera head recorded in the image pickup recording unit 56 of the endoscope camera head connected to the control device 9 ( Step S101).
  • the control unit 96 can perform the drug fluorescence observation mode by the endoscope camera head connected to the control device 9 based on the type information acquired in step S101 (first). (Step S101).
  • the endoscopic camera head connected to the control device 9 is the endoscopic camera head 5 (first medical imaging device) capable of performing the drug fluorescence observation mode (step).
  • step S101: Yes the endoscope system 1 proceeds to step S102, which will be described later.
  • step S101 it is determined that the endoscopic camera head connected to the control device 9 by the control unit 96 is not the endoscopic camera head 5 (first medical imaging device) capable of performing the drug fluorescence observation mode. If (step S101: No), the endoscope system 1 shifts to step S104, which will be described later.
  • Step S102 and step S103 correspond to each of step S2 and step S3 in FIG. 8 described above.
  • step S104 the endoscope camera head 5A (second medical imaging) capable of performing the thermal treatment observation mode by the endoscope camera head connected to the control device 9 based on the type information acquired in step S101. Judge whether or not it is a device).
  • the endoscope system 1 proceeds to step S105, which will be described later.
  • the endoscopic camera head connected to the control device 9 by the control unit 96 is not the endoscopic camera head 5A (second medical imaging device) capable of performing the thermal treatment observation mode. If this is the case (step S104: No), the endoscope system 1 proceeds to step S106, which will be described later.
  • Steps S105 to S107 correspond to each of steps S105 to S107 in FIG. 8 described above.
  • the sex can be improved.
  • the endoscope system includes a rigid mirror, but in the fourth embodiment, an endoscope system including a flexible endoscope will be described.
  • the endoscope system according to the fourth embodiment will be described.
  • the same components as those of the endoscope system 1 according to the first embodiment described above are designated by the same reference numerals, and detailed description thereof will be omitted.
  • FIG. 20 is a diagram showing a schematic configuration of an endoscope system according to a fourth embodiment.
  • FIG. 21 is a block diagram showing a functional configuration of a main part of the endoscope system according to the fourth embodiment.
  • the endoscope system 100 shown in FIGS. 20 and 21 images the inside of a subject by inserting it into a subject such as a patient, and the display device 7 displays a display image based on the captured image data.
  • a surgeon such as a doctor inspects the presence or absence and the state of each of the bleeding site, the tumor site, and the abnormal region in which the abnormal site is shown.
  • a surgeon such as a doctor inserts a treatment tool such as an energy device into the body of the subject via the treatment tool channel of the endoscope to treat the subject.
  • the endoscope system 100 includes an endoscope 102 in addition to the light source device 3, the display device 7, and the control device 9 described above.
  • Endoscope configuration The configuration of the endoscope 102 will be described.
  • the endoscope 102 generates image data by imaging the inside of the subject, and outputs the generated image data to the control device 9.
  • the endoscope 102 includes an operation unit 122 and a universal code 123.
  • the insertion portion 121 has an elongated shape with flexibility.
  • the insertion portion 121 is connected to a tip portion 124 having a built-in imaging device described later, a bendable bending portion 125 composed of a plurality of bending pieces, and a base end side of the bending portion 125, and has a flexible length. It has an elliptical flexible tube portion 126 and.
  • the tip portion 124 is configured by using glass fiber or the like.
  • the tip portion 124 includes a light guide 241 forming a light guide path for light supplied from the light source device 3, an illumination lens 242 provided at the tip of the light guide 241, and an image pickup device 243.
  • the image pickup device 243 includes an optical system 244 for condensing light, the image pickup device 53 of the first embodiment described above, a cut filter 58, an A / D conversion unit 54, a P / S conversion unit 55, an image pickup recording unit 56, and an image pickup. It includes a control unit 57.
  • the imaging device 243 functions as a medical imaging device.
  • the universal cord 123 has at least a built-in light guide 241 and a condensing cable that bundles one or a plurality of cables.
  • the collective cable is a signal line for transmitting and receiving signals between the endoscope 102, the light source device 3 and the control device 9, and is for transmitting and receiving a signal line for transmitting and receiving setting data and an captured image (image data).
  • the universal cord 123 has a connector portion 127 that can be attached to and detached from the light source device 3. In the connector portion 127, a coil-shaped coil cable 127a extends, and a connector portion 128 that can be attached to and detached from the control device 9 is provided at the extending end of the coil cable 127a.
  • the endoscope system 100 configured in this way performs the same processing as the endoscope system 1 according to the first embodiment described above.
  • the same effect as that of the first embodiment described above is obtained, and narrow-band light observation and fluorescence observation generated by thermal treatment with an energy device or the like are performed with only one image sensor 53. Therefore, the diameter of the insertion portion 121 can be reduced.
  • FIG. 22 is a diagram showing a schematic configuration of the surgical microscope system according to the fifth embodiment.
  • the surgical microscope system 300 shown in FIG. 22 includes a microscope device 310, which is a medical imaging device acquired by capturing an image for observing a subject, and a display device 7. It is also possible to integrally configure the display device 7 and the microscope device 310.
  • the microscope device 310 is supported by a microscope unit 312 that magnifies and images a minute part of a subject, and a support unit 313 that includes an arm that is connected to the base end portion of the microscope unit 312 and rotatably supports the microscope unit 312. It has a base portion 314 that rotatably holds the base end portion of the portion 313 and can move on the floor surface.
  • the base unit 314 includes a light source device 3 that generates white light, narrow band light, and the like that irradiate the subject from the microscope device 310, and a control device 9 that controls the operation of the surgical microscope system 300.
  • Each of the light source device 3 and the control device 9 has at least the same configuration as that of the first embodiment described above.
  • the light source device 3 includes a condenser lens 30, a first light source unit 31, a second light source unit 32, and a light source control unit 34.
  • the control device 9 includes an S / P conversion unit 91, an image processing unit 93, an input unit 94, a recording unit 95, and a control unit 96.
  • the base portion 314 may not be movably provided on the floor surface, but may be fixed to the ceiling, wall surface, or the like to support the support portion 313.
  • the microscope unit 312 has, for example, a columnar shape and has the above-mentioned medical imaging device inside the microscope unit 312.
  • the medical imaging device has the same configuration as the endoscopic camera head 5 according to the first embodiment described above.
  • the microscope unit 312 includes an optical system 51, a drive unit 52, an image sensor 53, an A / D conversion unit 54, a P / S conversion unit 55, an image pickup recording unit 56, and an image pickup control unit 57.
  • a cut filter 58 and the like are provided.
  • a switch for receiving an input of an operation instruction of the microscope device 310 is provided on the side surface of the microscope unit 312.
  • a cover glass that protects the inside is provided on the opening surface at the lower end of the microscope unit 312 (not shown).
  • the shape of the microscope unit 312 is preferably a shape that is elongated in the observation direction so that the user can easily grasp and change the viewing direction. Therefore, the shape of the microscope unit 312 may be a shape other than a columnar shape, for example, a polygonal columnar shape.
  • the same effect as that of the first embodiment described above can be obtained in the surgical microscope system 300, and the microscope unit 312 can be miniaturized.
  • Various inventions can be formed by appropriately combining a plurality of components disclosed in the medical observation systems according to the first to fourth embodiments of the present disclosure described above. For example, some components may be deleted from all the components described in the medical observation system according to the embodiment of the present disclosure described above. Further, the components described in the medical observation system according to the embodiment of the present disclosure described above may be appropriately combined.
  • the above-mentioned "part” can be read as “means” or "circuit".
  • the control unit can be read as a control means or a control circuit.

Abstract

蛍光の視認性を向上させる医療用画像処理装置、医療用撮像装置、医療用観察システム、画像処理方法およびプログラムを提供する。医療用画像処理装置は、撮像画像の画素における、蛍光成分信号と、反射光成分信号と、の強度比を算出する算出部(932)と、算出部(932)が算出した撮像画像の画素の強度比に基づいて、撮像画像における蛍光領域と背景領域とを判定する判定部(933)と、判定部(933)が判定した判定結果に基づいて、蛍光領域に位置する画素の色成分信号および背景領域に位置する画素の色成分信号の各々に対して互いに異なるパラメータの画像処理を行うことによって蛍光画像を生成する生成部(934)と、を備える。

Description

医療用画像処理装置、医療用撮像装置、医療用観察システム、画像処理方法およびプログラム
 本開示は、被検体を撮像することによって生成された画像データに対して画像処理を行う医療用画像処理装置、医療用撮像装置、医療用観察システム、画像処理方法およびプログラムに関する。
 従来、内視鏡において、撮像素子の入射側に励起光をカットし、蛍光の波長を透過するフィルタを設けることによって、蛍光観察と可視光観察とを行う技術が知られている(例えば特許文献1参照)。この技術では、ランプが照射する白色光の光路上に配置した可視光照明フィルタと励起光照射用フィルタとを有する回転板を回転させて、蛍光観察のために照射する励起光と、可視光観察のために照射する白色光とを切り替えて照射することによって、蛍光観察と可視光観察とを1つの撮像素子で行う。
特開2006-20727号公報
 ところで、上述した特許文献1では、被検体に照射された励起光の反射光の情報と、蛍光物質が発光する蛍光の情報と、に基づいて、背景画像に蛍光画像を重畳した重畳画像を生成している。このため、上述した特許文献1では、蛍光の波長帯域と励起光の波長帯域とが近い場合において、励起光と蛍光の分離性が悪いため蛍光の視認性が悪化するという問題点があった。
 本開示は、上記に鑑みてなされたものであって、蛍光の視認性を向上させる医療用画像処理装置、医療用撮像装置、医療用観察システム、画像処理方法およびプログラムを提供することを目的とする。
 本開示は、上記に鑑みてなされたものであって、医療用画像処理装置は、生体組織に対して狭帯域光を照射した場合の前記生体組織からの反射光、前記狭帯域光が前記生体組織に照射されることで蛍光を発する観察対象からの蛍光の少なくとも一方を撮像することによって生成された画像データを取得して、取得した前記画像データに基づいて、赤色の成分を示す赤色成分信号、緑色の成分を示す緑色成分信号および青色の成分を示す青色成分信号から成る色成分信号を有する撮像画像を生成するデモザイク処理部と、前記撮像画像の画素における、前記赤色成分信号、前記緑色成分信号および前記青色成分信号のうち前記蛍光への感度が高い蛍光成分信号と、前記赤色成分信号、前記緑色成分信号および前記青色成分信号のうち前記狭帯域光が前記生体組織に照射された際に前記生体組織からの反射光に感度が高い反射光成分信号と、の強度比を算出する算出部と、前記算出部が算出した前記撮像画像の画素の強度比に基づいて、前記撮像画像における蛍光領域と背景領域とを判定する判定部と、前記判定部が判定した判定結果に基づいて、前記蛍光領域に位置する画素の前記色成分信号および前記背景領域に位置する画素の前記色成分信号の各々に対して互いに異なるパラメータの画像処理を行うことによって蛍光画像を生成する生成部と、を備える。
 また、本開示に係る医療用画像処理装置は、上記開示において、前記観察対象は、前記生体組織に熱処置を施すことによって生じる終末糖化産物である。
 また、本開示に係る医療用画像処理装置は、上記開示において、前記蛍光成分信号は、前記緑色成分信号であり、前記反射光成分信号は、前記青色成分信号である。
 また、本開示に係る医療用画像処理装置は、上記開示において、前記観察対象は、蛍光物質を含む薬剤である。
 また、本開示に係る医療用画像処理装置は、上記開示において、前記蛍光成分信号は、前記赤色成分信号であり、前記反射光成分信号は、前記青色成分信号である。
 また、本開示に係る医療用画像処理装置は、上記開示において、前記生成部は、前記蛍光領域に位置する画素の前記色成分信号に対するゲインを、前記背景領域に位置する画素の前記色成分信号に対するゲインより大きくしたゲイン調整処理を前記画像処理として行う。
 また、本開示に係る医療用画像処理装置は、上記開示において、前記撮像画像の明るさを検出する検出部と、前記検出部が検出した前記明るさに基づいて、前記判定部が前記蛍光領域と前記背景領域とを判定するための閾値を設定する制御部と、をさらに備え、前記判定部は、前記制御部が設定した前記閾値と前記強度比とに基づいて、前記制御部は、当該医療用画像処理装置に接続可能な医療用撮像装置の種別を示す種別情報に基づいて、前記算出部が算出する前記強度比の前記蛍光成分信号および前記反射光成分信号を設定する。
 また、本開示に係る医療用画像処理装置は、上記開示において、当該医療用画像処理装置は、第1の医療用撮像装置または第2の医療用撮像装置を接続可能であり、前記第1の医療用撮像装置は、2次元マトリクス状に配置されてなる複数の画素を有する画素部と、前記複数の画素の各々の受光面に赤色フィルタ、緑色フィルタおよび青色フィルタのいずれか一つが設けられてなるカラーフィルタと、を有する撮像素子を備え、前記第2の医療用撮像装置は、2次元マトリクス状に配置されてなる複数の画素を有する画素部と、前記複数の画素の各々の受光面に赤色フィルタ、緑色フィルタおよび青色フィルタのいずれか一つが設けられてなるカラーフィルタと、を有する撮像素子と、前記撮像素子に受光面に被写体像を結像する光学系と、前記撮像素子と前記光学系との光路上に設けられたカットフィルタと、を備え、前記カットフィルタは、前記狭帯域光の波長帯域を含む短波長側の一部の光を遮光する一方、前記遮光する波長帯域より長波長側の波長帯域を透過し、前記制御部は、前記第1の医療用撮像装置および前記第2の医療用撮像装置のいずれか一方の前記種別情報に基づいて、前記算出部が算出する前記強度比の前記蛍光成分信号および前記反射光成分信号を設定する。
 また、本開示に係る医療用画像処理装置は、上記開示において、前記制御部は、前記種別情報に基づいて、当該医療用画像処理装置に前記第1の医療用撮像装置または前記第2の医療用撮像装置が接続されたか否かを判断し、当該医療用画像処理装置に前記第1の医療用撮像装置が接続されたと判断した場合、前記算出部に前記赤色成分信号と、前記青色成分信号と、を用いて、前記強度比を算出させ、当該医療用画像処理装置に前記第2の医療用撮像装置が接続されたと判断した場合、前記緑色成分信号と、前記青色成分信号と、を用いて、前記強度比を算出させる。
 また、本開示に係る医療用画像処理装置は、上記開示において、前記蛍光は、波長帯域が500nm~640nmである。
 また、本開示に係る医療用画像処理装置は、上記開示において、前記制御部は、前記種別情報に基づいて、当該医療用画像処理装置に前記第1の医療用撮像装置または前記第2の医療用撮像装置が接続されたか否かを判断し、当該医療用画像処理装置に前記第1の医療用撮像装置が接続されたと判断した場合、前記算出部に前記赤色成分信号と、前記青色成分信号と、を用いて、前記強度比を算出させ、当該医療用画像処理装置に前記第2の医療用撮像装置が接続されたと判断した場合、前記緑色成分信号と、前記青色成分信号と、を用いて、前記強度比を算出させる。
 また、本開示に係る医療用画像処理装置は、上記開示において、前記狭帯域光は、波長帯域が390nm~470nmであり、前記カットフィルタは、前記470nmより短波長側の一部の光を遮光する。
 また、本開示に係る医療用画像処理装置は、上記開示において、前記終末糖化産物は、エネルギーデバイスによる熱処置によって生成される。
 また、本開示に係る医療用撮像装置は、2次元マトリクス状に配置されてなる複数の画素を有する画素部と、前記複数の画素の各々の受光面に赤色フィルタ、緑色フィルタおよび青色フィルタのいずれか一つが設けられてなるカラーフィルタと、を有する撮像素子と、前記撮像素子に受光面に被写体像を結像する光学系と、前記撮像素子と前記光学系との光路上に設けられたカットフィルタと、を備え、前記撮像素子は、生体組織に対して短波長側の狭帯域光を照射した場合の前記生体組織からの反射光および前記生体組織に熱処置を施すことによって生じる終末糖化産物からの蛍光の少なくとも一方を撮像することによって画像データを生成し、前記カットフィルタは、前記狭帯域光の波長帯域を含む短波長側の一部の光をカットする一方、前記カットする波長帯域より長波長側の波長帯域を透過する。
 また、本開示に係る医療用観察システムは、上記の医療用画像処理装置と、前記狭帯域光を照射可能な光源装置と、前記画像データを生成する医療用撮像装置と、を備える。
 また、本開示に係る医療用観察システムは、上記開示において、被検体内に挿入可能であり、前記反射光および前記蛍光を集光する光学系を有する挿入部をさらに備え、前記挿入部は、前記医療用撮像装置に対して着脱自在である。
 また、本開示に係る医療用観察システムは、上記開示において、被検体内に挿入可能な先端部を有する挿入部を有する内視鏡をさらに備え、前記医療用撮像装置は、前記先端部に設けられてなる。
 また、本開示に係る医療用観察システムは、上記開示において、前記医療用撮像装置を回転可能に支持する支持部と、前記支持部の基端部を回動可能に保持し、床面上を移動可能なベース部と、をさらに備える。
 また、本開示に係る画像処理方法は、生体組織に対して狭帯域光を照射した場合の前記生体組織からの反射光、前記狭帯域光が前記生体組織に照射されることで蛍光を発する観察対象からの蛍光の少なくとも一方を撮像することによって生成された画像データを取得して、取得した前記画像データに基づいて、赤色の成分を示す赤色成分信号、緑色の成分を示す緑色成分信号および青色の成分を示す青色成分信号から成る色成分信号を有する撮像画像を生成し、前記撮像画像の画素における、前記赤色成分信号、前記緑色成分信号および前記青色成分信号のうち前記蛍光への感度が高い蛍光成分信号と、前記赤色成分信号、前記緑色成分信号および前記青色成分信号のうち前記狭帯域光が前記生体組織に照射された際に前記生体組織からの反射光に感度が高い反射光成分信号と、の強度比を算出し、前記撮像画像の画素の強度比に基づいて、前記撮像画像における蛍光領域と背景領域とを判定し、判定結果に基づいて、前記蛍光領域に位置する画素の前記色成分信号および前記背景領域に位置する画素の前記色成分信号の各々に対して互いに異なるパラメータの画像処理を行うことによって蛍光画像を生成する。
 また、本開示に係るプログラムは、生体組織に対して狭帯域光を照射した場合の前記生体組織からの反射光、前記狭帯域光が前記生体組織に照射されることで蛍光を発する観察対象からの蛍光の少なくとも一方を撮像することによって生成された画像データを取得して、取得した前記画像データに基づいて、赤色の成分を示す赤色成分信号、緑色の成分を示す緑色成分信号および青色の成分を示す青色成分信号から成る色成分信号有する撮像画像を生成し、前記撮像画像の画素における、前記赤色成分信号、前記緑色成分信号および前記青色成分信号のうち前記蛍光への感度が高い蛍光成分信号と、前記赤色成分信号、前記緑色成分信号および前記青色成分信号のうち前記狭帯域光が前記生体組織に照射された際に前記生体組織からの反射光に感度が高い反射光成分信号と、の強度比を算出し、前記撮像画像の画素の強度比に基づいて、前記撮像画像における蛍光領域と背景領域とを判定し、判定結果に基づいて、前記蛍光領域に位置する画素の前記色成分信号および前記背景領域に位置する画素の前記色成分信号の各々に対して互いに異なるパラメータの画像処理を行うことによって蛍光画像を生成させる。
 本開示によれば、蛍光の視認性を向上させることができるという効果を奏する。
図1は、実施の形態1に係る内視鏡システムの概略構成を示す図である。 図2は、実施の形態1に係る内視鏡システムの要部の機能構成を示すブロック図である。 図3は、実施の形態1に係る第2の光源部の各々が発光する光の波長特性を模式的に示す図である。 図4は、実施の形態1に係る画素部の構成を模式的に示す図である。 図5は、実施の形態1に係るカラーフィルタの構成を模式的に示す図である。 図6は、実施の形態1に係る各フィルタの感度と波長帯域を模式的に示す図である。 図7Aは、実施の形態1に係る撮像素子のR画素の信号値を模式的に示す図である。 図7Bは、実施の形態1に係る撮像素子のG画素の信号値を模式的に示す図である。 図7Cは、実施の形態1に係る撮像素子のB画素の信号値を模式的に示す図である。 図8は、実施の形態1に係る内視鏡システムが実行する処理の概要を示すフローチャートである。 図9は、図8の薬剤蛍光観察モード処理の概要を示すフローチャートである。 図10は、実施の形態1に係る画像処理部による薬剤蛍光観察モード処理時における画像処理の概要を模式的に説明する図である。 図11は、図8の熱処置観察モードの概要を示すフローチャートである。 図12は、実施の形態1に係る画像処理部による熱処置観察モード処理時における画像処理の概要を模式的に説明する図である。 図13は、図8の通常光観察モード処理の概要を示すフローチャートである。 図14は、実施の形態2に係る内視鏡システムの要部の機能構成を示すブロック図である。 図15Aは、実施の形態2に係るカットフィルタの透過特性を模式的に示す図である。 図15Bは、実施の形態2に係るカットフィルタの別の透過特性を模式的に示す図である。 図16は、実施の形態2に係る薬剤蛍光観察モード時における観察原理を模式的に示す図である。 図17は、実施の形態2に係る熱処置観察モード時における観察原理を模式的に示す図である。 図18は、実施の形態2に係る通常光観察モード時における観察原理を模式的に示す図である。 図19は、実施の形態3に係る内視鏡システムが実行する処理の概要を示すフローチャートである。 図20は、実施の形態4に係る内視鏡システムの概略構成を示す図である。 図21は、実施の形態4に係る内視鏡システムの要部の機能構成を示すブロック図である。 図22は、実施の形態5に係る手術用顕微鏡システムの概略構成を示す図である。
 以下、本開示を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものでない。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本開示は、各図で例示された形状、大きさ、および位置関係のみに限定されるものでない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。さらにまた、本開示に係る医療用観察システムの一例として、硬性鏡および医療用撮像装置を備える内視鏡システムについて説明する。
(実施の形態1)
 〔内視鏡システムの構成〕
 図1は、実施の形態1に係る内視鏡システムの概略構成を示す図である。図1に示す内視鏡システム1は、医療分野に用いられ、生体等の被検体内の生体組織を観察するシステムである。なお、実施の形態1では、内視鏡システム1として、図1に示す硬性鏡(挿入部2)を用いた硬性内視鏡システムについて説明するが、これに限定されることなく、例えば軟性の内視鏡を備えた内視鏡システムであってもよいし、被検体を撮像する医療用撮像装置を備え、この医療用撮像装置によって撮像された画像データに基づく表示画像を表示装置に表示させながら手術や処置等を行う医療用顕微鏡システムであっても適用することができる。
 また、図1に示す内視鏡システム1は、被検体の生体組織における観察対象に、5-アミノレブリン酸(以下、「5-ALA」という)等の光感受性物質が投与等の処置が施された被検体に対してPDD(Photodynamic Diagnosis)観察を行う際に用いられる。さらに、図1に示す内視鏡システム1は、熱処置が可能な電気メスやエネルギーデバイス等の処置具(図示せず)を用いて被検体の手術や処置を行う際に用いられる。
 図1に示す内視鏡システム1は、挿入部2と、光源装置3と、ライトガイド4と、内視鏡カメラヘッド5(内視鏡用撮像装置)と、第1の伝送ケーブル6と、表示装置7と、第2の伝送ケーブル8と、制御装置9と、第3の伝送ケーブル10と、を備える。
 挿入部2は、硬質または少なくとも一部が軟性で細長形状を有する。挿入部2は、トロッカーを経由して患者等の被検体内に挿入される。挿入部2は、内部に観察像を結像するレンズ等の光学系が設けられている。
 光源装置3は、ライトガイド4の一端が接続され、制御装置9による制御のもと、ライトガイド4の一端に被検体内に照射する照明光を供給する。光源装置3は、LED(Light Emitting Diode)光源、キセノンランプおよびLD(laser Diode)等の半導体レーザ素子のいずれかの1つ以上の光源と、FPGA(Field Programmable Gate Array)やCPU(Central Processing Unit)等のハードウェアを有する処理装置であるプロセッサと、プロセッサが使用する一時的な記憶域であるメモリを用いて実現される。なお、光源装置3および制御装置9は、図1に示すように個別に通信する構成をしてもよいし、一体化した構成であってもよい。
 ライトガイド4は、一端が光源装置3に着脱自在に接続され、かつ、他端が挿入部2に着脱自在に接続される。ライトガイド4は、光源装置3から供給された照明光を一端から端に導光し、挿入部2へ供給する。
 内視鏡カメラヘッド5は、挿入部2の接眼部21が着脱自在に接続される。内視鏡カメラヘッド5は、制御装置9による制御のもと、挿入部2によって結像された観察像を受光して光電変換を行うことによって画像データ(RAWデータ)を生成し、この画像データを第1の伝送ケーブル6を経由して制御装置9へ出力する。
 第1の伝送ケーブル6は、一端がビデオコネクタ61を経由して制御装置9に着脱自在に接続され、他端がカメラヘッドコネクタ62を経由して内視鏡カメラヘッド5に着脱自在に接続される。第1の伝送ケーブル6は、内視鏡カメラヘッド5から出力される画像データを制御装置9へ伝送し、かつ、制御装置9から出力される設定データおよび電力等を内視鏡カメラヘッド5へ伝送する。ここで、設定データとは、内視鏡カメラヘッド5を制御する制御信号、同期信号およびクロック信号等である。
 表示装置7は、制御装置9による制御のもと、制御装置9において画像処理が施された画像データに基づく表示画像および内視鏡システム1に関する各種情報を表示する。表示装置7は、液晶または有機EL(Electro Luminescence)等の表示モニタを用いて実現される。
 第2の伝送ケーブル8は、一端が表示装置7に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。第2の伝送ケーブル8は、制御装置9において画像処理が施された画像データを表示装置7へ伝送する。
 制御装置9は、GPU(Graphics Processing Unit)、FPGAまたはCPU等のハードウェアを有する処理装置であるプロセッサと、プロセッサが使用する一時的な記憶域であるメモリを用いて実現される。制御装置9は、メモリに記録されたプログラムに従って、第1の伝送ケーブル6、第2の伝送ケーブル8および第3の伝送ケーブル10の各々を経由して、光源装置3、内視鏡カメラヘッド5および表示装置7の動作を統括的に制御する。また、制御装置9は、第1の伝送ケーブル6を経由して入力された画像データに対して各種の画像処理を行って第2の伝送ケーブル8へ出力する。
 第3の伝送ケーブル10は、一端が光源装置3に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。第3の伝送ケーブル10は、制御装置9からの制御データを光源装置3へ伝送する。
 〔内視鏡システムの要部の機能構成〕
 次に、上述した内視鏡システム1の要部の機能構成について説明する。図2は、内視鏡システム1の要部の機能構成を示すブロック図である。
 〔挿入部の構成〕
 まず、挿入部2の構成について説明する。挿入部2は、光学系22と、照明光学系23と、を有する。
 光学系22は、被写体から反射された反射光、被写体からの戻り光、被写体からの励起光および被写体が発光した発光等の光を集光する。光学系22は、1または複数のレンズ等を用いて実現される。
 照明光学系23は、ライトガイド4から供給されて照明光を被写体に向けて照射する。照明光学系23は、1または複数のレンズ等を用いて実現される。
 〔光源装置の構成〕
 次に、光源装置3の構成について説明する。光源装置3は、集光レンズ30と、第1の光源部31と、第2の光源部32と、光源制御部34と、を備える。
 集光レンズ30は、第1の光源部31、第2の光源部32の各々が発光した光を集光してライトガイド4へ出射する。
 第1の光源部31は、光源制御部34による制御のもと、可視光である白色光(通常光)を発光することによってライトガイド4へ白色光を照明光として供給する。第1の光源部31は、コリメートレンズ、白色LEDランプおよび駆動ドライバ等を用いて構成される。なお、第1の光源部31は、赤色LEDランプ、緑色LEDランプおよび青色LEDランプを用いて同時に照射することによって可視光の白色光を照射してもよい。もちろん、第1の光源部31は、ハロゲンランプやキセノンランプ等を用いて構成されてもよい。
 第2の光源部32は、光源制御部34による制御のもと、狭帯域光を発光することによってライトガイド4へ狭帯域光を照明光として供給する。ここで、狭帯域光は、波長帯域が390nm~470nmの少なくとも一部を含む。第2の光源部32は、コリメートレンズ、紫色LEDおよび駆動ドライバ等を用いて実現される。
 光源制御部34は、FPGAまたはCPU等のハードウェアを有する処理装置であるプロセッサと、プロセッサが使用する一時的な記憶域であるメモリを用いて実現される。光源制御部34は、制御装置9から入力される制御データに基づいて、第1の光源部31および第2の光源部32の各々の発光タイミングおよび発光時間等を制御する。
 ここで、第2の光源部32の各々が発光する光の波長特性について説明する。図3は、第2の光源部32の各々が発光する光の波長特性を模式的に示す図である。図3において、横軸が波長(nm)を示し、縦軸が波長特性を示す。また、図3において、折れ線Lが第2の光源部32が発光する狭帯域光の波長特性を示す。また、図3において、曲線Lが青色の波長帯域を示し、曲線Lが緑色の波長帯域を示し、曲線Lが赤色の波長帯域を示す。
 図3の折れ線Lに示すように、第2の光源部32は、波長帯域が390nm~470nmの少なくとも一部を含む狭帯域光を発光する。
 〔内視鏡カメラヘッドの構成〕
 図2に戻り、内視鏡システム1の構成の説明を続ける。
 次に、内視鏡カメラヘッド5の構成について説明する。内視鏡カメラヘッド5は、光学系51と、駆動部52と、撮像素子53と、A/D変換部54と、P/S変換部55と、撮像記録部56と、撮像制御部57と、を備える。
 光学系51は、挿入部2の光学系22が集光した被写体像を撮像素子53の受光面に結像する。光学系51は、焦点距離および焦点位置を変更可能である。光学系51は、複数のレンズ511を用いて構成される。光学系51は、駆動部52によって複数のレンズ511の各々が光軸L1上を移動することによって、焦点距離および焦点位置を変更する。
 駆動部52は、撮像制御部57による制御のもと、光学系51の複数のレンズ511を光軸L1上に沿って移動させる。駆動部52は、ステッピングモータ、DCモータおよびボイスコイルモータ等のモータと、光学系51にモータの回転を伝達するギア等の伝達機構と、を用いて構成される。
 撮像素子53は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)のイメージセンサを用いて実現される。撮像素子53は、撮像制御部57による制御のもと、光学系51によって結像された被写体像(光線)であって、カットフィルタ58を経由した被写体像を受光し、光電変換を行って画像データ(RAWデータ)を生成してA/D変換部54へ出力する。撮像素子53は、画素部531と、カラーフィルタ532と、を有する。
 図4は、画素部531の構成を模式的に示す図である。図4に示すように、画素部531は、光量に応じた電荷を蓄積するフォトダイオード等の複数の画素Pnm(n=1以上の整数,m=1以上の整数)が二次元マトリクス状に配置されてなる。画素部531は、撮像制御部57による制御のもと、複数の画素Pnmのうち読み出し対象として任意に設定された読み出し領域の画素Pnmから画像信号を画像データとして読み出してA/D変換部54へ出力する。
 図5は、カラーフィルタ532の構成を模式的に示す図である。図5に示すように、カラーフィルタ532は、2×2を1つのユニットとするベイヤー配列で構成される。カラーフィルタ532は、赤色の波長帯域の光を透過するフィルタRと、緑色の波長帯域の光を透過する2つのフィルタGと、青色の波長帯域の光を透過するフィルタBと、を用いて構成される。
 図6は、各フィルタの感度と波長帯域を模式的に示す図である。図6において、横軸が波長(nm)を示し、縦軸が透過特性(感度特性)を示す。また、図6において、曲線LがフィルタBの透過特性を示し、曲線LがフィルタGの透過特性を示し、曲線LがフィルタRの透過特性を示す。
 図6の曲線Lに示すように、フィルタBは、青色の波長帯域の光を透過する。また、図6の曲線Lが示すように、フィルタGは、緑色の波長帯域の光を透過する。さらに、図6の曲線Lが示すように、フィルタRは、赤色の波長帯域の光を透過する。なお、以下においては、フィルタRが受光面に配置されてなる画素PnmをR画素、フィルタGが受光面に配置されてなる画素PnmをG画素、フィルタBが受光面に配置されてなる画素PnmをB画素として表記して説明する。
 このように構成された撮像素子53によれば、光学系51によって結像された被写体像を受光した場合、図7A~図7Cに示すように、R画素、G画素およびB画素の各々の色信号(赤色成分信号、緑色成分信号および青色成分信号)を生成する。
 A/D変換部54は、撮像制御部57による制御のもと、撮像素子53から入力されたアナログの画像データに対してA/D変換処理を行ってP/S変換部55へ出力する。A/D変換部54は、A/D変換回路等を用いて実現される。
 P/S変換部55は、撮像制御部57による制御のもと、A/D変換部54から入力されたデジタルの画像データをパラレル/シリアル変換を行い、このパラレル/シリアル変換を行った画像データを、第1の伝送ケーブル6を経由して制御装置9へ出力する。P/S変換部55は、P/S変換回路等を用いて実現される。なお、実施の形態1では、P/S変換部55に換えて、画像データを光信号に変換するE/O変換部を設け、光信号によって制御装置9へ画像データを出力するようにしてもよいし、例えばWi-Fi(Wireless Fidelity)(登録商標)等の無線通信によって画像データを制御装置9へ送信するようにしてもよい。
 撮像記録部56は、内視鏡カメラヘッド5に関する各種情報(例えば撮像素子53の画素情報の特性)を記録する。また、撮像記録部56は、第1の伝送ケーブル6を経由して制御装置9から伝送されてくる各種設定データおよび制御用のパラメータを記録する。撮像記録部56は、不揮発性メモリや揮発性メモリを用いて構成される。
 撮像制御部57は、第1の伝送ケーブル6を経由して制御装置9から受信した設定データに基づいて、駆動部52、撮像素子53、A/D変換部54およびP/S変換部55の各々の動作を制御する。撮像制御部57は、TG(Timing Generator)と、CPU等のハードウェアを有する処理装置であるプロセッサと、プロセッサが使用する一時的な記憶域であるメモリを用いて実現される。
 〔制御装置の構成〕
 次に、制御装置9の構成について説明する。
 制御装置9は、S/P変換部91と、検出部92と、画像処理部93と、入力部94と、記録部95と、制御部96と、を備える。
 S/P変換部91は、制御部96による制御のもと、第1の伝送ケーブル6を経由して内視鏡カメラヘッド5から受信した画像データに対してシリアル/パラレル変換を行って画像処理部93へ出力する。なお、内視鏡カメラヘッド5が光信号で画像データを出力する場合、S/P変換部91に換えて、光信号を電気信号に変換するO/E変換部を設けてもよい。また、内視鏡カメラヘッド5が無線通信によって画像データを送信する場合、S/P変換部91に換えて、無線信号を受信可能な通信モジュールを設けてもよい。
 検出部92は、S/P変換部91から入力された画像データに対応する撮像画像に基づいて、各画素の輝度値から明るさレベルを検出し、この明るさレベルを画像処理部93および制御部96の各々へ出力する。例えば、検出部92は、各画素の輝度値の統計値、例えば平均値または中央値を撮像画像の明るさレベルとして検出する。
 画像処理部93は、制御部96による制御のもと、S/P変換部91から入力されたパラレルデータの画像データに所定の画像処理を施して表示装置7へ出力する。ここで、所定の画像処理とは、ゲインコントロール処理、デモザイク処理、ホワイトバランス処理、ゲイン調整処理、γ補正処理およびフォーマット変換処理等である。画像処理部93は、GPUまたはFPGA等のハードウェアを有する処理装置であるプロセッサと、プロセッサが使用する一時的な記憶域であるメモリを用いて実現される。なお、実施の形態1では、画像処理部93が医療用画像処理装置として機能する。
 ここで、画像処理部93の詳細な構成について説明する。画像処理部93は、少なくとも、デモザイク処理部931と、算出部932と、判定部933と、生成部934と、を有する。
 デモザイク処理部931は、生体組織に対して短波長側の狭帯域光を照射した場合の前記生体組織からの反射光、狭帯域光が生体組織に照射されることで蛍光を発する観察対象からの蛍光の少なくとも一方を撮像することによって生成された画像データを取得して、取得した画像データに基づいて、赤色の成分を示す赤色成分信号、緑色の成分を示す緑色成分信号および青色の成分を示す青色成分信号から成る色成分信号を有する撮像画像を生成する。具体的には、デモザイク処理部931は、周知のデモザイク処理によって各画素の画素値(色成分信号)を補完する。
 算出部932は、制御部96の制御のもと、撮像画像に基づいて、赤色成分信号、緑色成分信号および青色成分信号のうち蛍光への感度が高い蛍光成分信号と、赤色成分信号、緑色成分信号および青色成分信号のうち狭帯域光が生体組織に照射された際に生体組織からの反射光に感度が高い反射光成分信号と、の強度比を算出する。
 判定部933は、算出部932が算出した撮像画像の画素毎の強度比に基づいて、撮像画像における蛍光領域と背景領域とを判定する。具体的には、判定部933は、後述する制御部96の制御のもと、制御部96が設定した閾値と、算出部932が算出した撮像画像の画素毎の強度比と、に基づいて、撮像画像における蛍光領域と背景領域とを判定する。
 生成部934は、判定部933が判定した判定結果に基づいて、撮像画像における蛍光領域に位置する画素の色成分信号と背景領域に位置する画素の色成分信号とを互いに異なるパラメータの画像処理を行うことによって蛍光画像を生成する。具体的には、生成部934は、蛍光領域に位置する画素の色成分信号に対しては、蛍光用パラメータの画像処理として、蛍光領域に位置する画素の色成分信号に対するゲインを、背景領域に位置する画素の色成分信号に対するゲインより大きくしたゲイン調整処理を行う。これに対して、生成部934は、背景領域に位置する画素の色成分信号に対しては、背景用パラメータの画像処理として、背景領域に位置する画素の色成分信号に対するゲインを、蛍光領域に位置する画素の色成分信号に対するゲインより小さくしたゲイン調整処理を行う。さらに、生成部934は、ゲイン以外に、蛍光領域および背景領域の各々に対して互いに異なる蛍光用パラメータおよび背景用パラメータの画像処理を施して蛍光画像を生成する。ここで、蛍光用パラメータおよび背景用パラメータとしては、例えばホワイトバランス調整処理、輪郭強調処理、コントラスト強調処理および、γ補正処理および色相変換処理等が含まれる。
 入力部94は、内視鏡システム1に関する各種操作の入力を受け付け、受け付けた操作を制御部96へ出力する。入力部94は、マウス、フットスイッチ、キーボード、ボタン、スイッチおよびタッチパネル等を用いて構成される。
 記録部95は、揮発性メモリ、不揮発性メモリ、SSD(Solid State Drive)およびHDD(Hard Disk Drive)等やメモリカード等の記録媒体を用いて実現される。記録部95は、内視鏡システム1の動作に必要な各種パラメータ等を含むデータを記録する。また、記録部95は、内視鏡システム1を動作させるための各種プログラムを記録するプログラム記録部951を有する。
 制御部96は、FPGAまたはCPU等のハードウェアを有する処理装置であるプロセッサと、プロセッサが使用する一時的な記憶域であるメモリを用いて実現される。制御部96は、内視鏡システム1を構成する各部を統括的に制御する。また、制御部96は、検出部92が検出した明るさレベルに基づいて、判定部933が撮像画像における蛍光領域と背景領域とを判定するための閾値を設定する。さらに、制御部96は、入力部94から入力される内視鏡システム1が実行可能な観察モードを指示する指示信号に基づいて、算出部932が算出する強度比の蛍光成分信号および反射光成分信号を算出部932に設定する。
 〔内視鏡システムの処理〕
 次に、内視鏡システム1が実行する処理について説明する。図8は、内視鏡システム1が実行する処理の概要を示すフローチャートである。なお、以下においては、画像処理部93は、画像データを現像するための種々の画像処理を行うが、説明を簡略化するため、各観察モードにおける特徴的な画像処理のみを記載する。
 図8に示すように、まず、制御部96は、入力部94から入力される観察モードを示すモード信号に応じて内視鏡システム1が薬剤蛍光観察モードに設定されているか否かを判断する(ステップS1)。制御部96によって内視鏡システム1が薬剤蛍光観察モードに設定されていると判断された場合(ステップS1:Yes)、内視鏡システム1は、後述するステップS2へ移行する。これに対して、制御部96によって内視鏡システム1が薬剤蛍光観察モードに設定されていないと判断された場合(ステップS1:No)、内視鏡システム1は、後述するステップS4へ移行する。
 ステップS2において、内視鏡システム1は、薬剤蛍光観察モード処理を実行する。ステップS2の後、内視鏡システム1は、後述するステップS3へ移行する。
 〔薬剤蛍光観察モード処理〕
 図9は、図8のステップS2における薬剤蛍光観察モード処理の概要を示すフローチャートである。図10は、画像処理部93による薬剤蛍光観察モード処理時における画像処理の概要を模式的に説明する図である。図9においては、薬剤蛍光観察として、PDD観察を行う場合について説明する。
 PDD観察は、PDD観察において用いられる励起光が例えば375nm~445nmの波長帯域(中心波長410nm)の青色の可視光である。また、被検体の観察対象には、5-アミノレブリン酸(以下、「5-ALA」という)等の光感受性物質が投与等の処置が施されている。なお、医者等の術者は、患者等の被検体に、5-ALAの溶解液を服用させていてもよい。5-ALAは、元来、動植物の生体内に含まれる天然アミノ酸である。この5-ALAは、体内投与後に細胞内に取り込まれ、ミトコンドリア内でプロトポルフィリンに生合成される。そして、癌細胞では、プロトポルフィリンが過剰に集積する。また、癌細胞に過剰集積するプロトポルフィリンは、光活性を有する。このため、プロトポルフィリンは、励起光(例えば375nm~445nmの波長帯域の青色可視光)で励起すると、蛍光(例えば600nm~740nmの波長帯域の赤色蛍光)を発光する。このように、PDD観察は、光感受性物質を用いて癌細胞を蛍光発光させる癌診断法である光線力学診断を用いた観察である。
 図9に示すように、まず、制御部96は、光源制御部34を制御し、第2の光源部32の各々を発光させることによって、被検体に向けて狭帯域光を照射させる(ステップS21)。
 続いて、制御部96は、撮像制御部57を制御することによって、光学系22および光学系51が集光した被写体像を撮像素子53に撮像させる(ステップS22)。
 続いて、検出部92は、A/D変換部54、P/S変換部55およびS/P変換部91を経由して入力された画像データに対応する撮像画像に基づいて、各画素の輝度値から明るさレベルを検出する(ステップS23)。この場合、検出部92は、明るさレベルを画像処理部93および制御部96の各々へ出力する。
 続いて、制御部96は、内視鏡システム1に設定された観察モードに応じた算出部932が算出する強度比の色成分信号および検出部92から入力された明るさレベルに基づいて、撮像画像を構成する各画素を蛍光領域および背景領域に判定するための閾値を設定する(ステップS24)。
 その後、デモザイク処理部931は、A/D変換部54、P/S変換部55およびS/P変換部91を経由して入力された画像データ(RAWデータ)に対して、周知のデモザイク処理を行う(ステップS25)。具体的には、図10に示すように、デモザイク処理部931は、画像データに対して周知のデモザイク処理を行って撮像画像を生成し、この撮像画像を算出部932へ出力する。この場合、図10に示すように、各画素には、R成分信号、G成分信号、B成分信号が含まれる。例えば、画素P11は、R成分信号が0(R=0)、G成分信号が0(G=0)、B成分信号が100(B=100)を含む。また、画素P12は、R成分信号が80(R=80)、G成分信号が0(G=0)、B成分信号が100(B=100)を含む。
 続いて、算出部932は、制御部96で設定された色成分信号に基づいて、デモザイク処理部931から入力された撮像画像の各画素の強度比を算出する(ステップS26)。具体的には、図10に示すように、算出部932は、R成分信号、G成分信号およびB成分信号のうち、PDD観察における蛍光への感度が高い蛍光成分と、R成分信号、G成分信号およびB成分信号のうち、狭帯域光が生体組織に照射された際に、この生体組織において反射した反射光に感度が高い反射光成分と、の強度比を撮像画像の各画素に算出する。より具体的には、図10の画素P11に示すように、算出部932は、薬剤蛍光観察モードの場合、R成分信号の値(R=0)に対してB成分信号の値(B=100)で除算した値(R/B=0.0)を強度比として算出する。また、図10の画素P12に示すように、算出部932は、R成分信号の値(R=80)に対してB成分信号の値(B=100)で除算した値(R/B=0.8)を強度比として算出する。
 その後、判定部933は、制御部96が設定した閾値と、算出部932が算出した各画素の強度比と、に基づいて、蛍光領域を判定する(ステップS27)。具体的には、判定部933は、撮像画像の画素毎に、強度比が閾値以上か否かを判定し、閾値以上の画素を蛍光領域(蛍光画素)と判定する一方、閾値未満である画素を背景領域(背景画素)として判定する。より具体的には、判定部933は、図10に示す画素P11の場合、強度比が0.0であり、閾値(例えば0.5以上とする)未満であるため、画素P11を背景領域として判定し、画素P11に背景領域(背景画素)であることを示す情報(例えば「0」)を付加する。また、判定部933は、図10に示す画素P12の場合、強度比が0.8であり、閾値以上であるため、画素P12を蛍光領域(蛍光画素)として判定し、画素P12に蛍光領域(蛍光画素)であることを示す情報(例えば「1」)を付加する。
 続いて、生成部934は、制御部96が内視鏡カメラヘッド5の種別に応じて設定した画像処理パラメータと、判定部933が判定した判定結果と、に基づいて、デモザイク処理部931から入力された撮像画像の各画素に対して異なるパラメータの画像処理を行う(ステップS28)。具体的には、生成部934は、判定部933によって背景領域と判定された画素の信号値に対して背景用パラメータとしてのゲインを下げる画像処理を行う。これに対して、判定部933によって蛍光領域と判定された画素の信号値に対して蛍光用パラメータとしてのゲインを上げる画像処理を行う。これにより、蛍光領域に位置する画素の画素値は、大きくなり、背景領域に位置する画素の画素値が小さくするため、蛍光領域を強調することができる。
 その後、生成部934は、互いに異なるパラメータの画像処理を施した撮像画像の各画素に対してγ補正処理、色調変換処理、ホワイトバランス処理およびフォーマット変換処理等を行って薬剤蛍光画像Q1(疑似カラー画像)を生成する(ステップS29)。
 続いて、生成部934は、薬剤蛍光画像Q1を表示装置7へ出力する(ステップS30)。これにより、医者等の術者は、背景領域から蛍光領域が強調された薬剤蛍光画像Q1を観察することができる。
 制御部96は、入力部94から内視鏡システム1の観察モードを切り替える切替信号が入力されたか否かを判断する(ステップS31)。制御部96によって入力部94から内視鏡システム1の観察モードを切り替える切替信号が入力されたと判断された場合(ステップS31:Yes)、内視鏡システム1は、図8のメインルーチンへ戻る。これに対して、制御部96によって入力部94から内視鏡システム1の観察モードを切り替える切替信号が入力されていないと判断された場合(ステップS31:No)、内視鏡システム1は、上述したステップS21へ戻る。
 図8に戻り、ステップS3以降の説明を続ける。
 ステップS3において、制御部96は、入力部94から被検体の観察の終了を指示する指示信号が入力されたか否かを判断する。制御部96によって入力部94から被検体の観察の終了を指示する指示信号が入力されたと判断された場合(ステップS3:Yes)、内視鏡システム1は、本処理を終了する。これに対して、制御部96によって入力部94から被検体の観察の終了を指示する指示信号が入力されていないと判断された場合(ステップS3:No)、内視鏡システム1は、上述したステップS1へ戻る。
 ステップS4において、制御部96は、入力部94から入力される観察モードを示すモード信号に応じて内視鏡システム1が熱処置観察モードに設定されているか否かを判断する。制御部96によって内視鏡システム1が熱処置観察モードに設定されていると判断された場合(ステップS4:Yes)、内視鏡システム1は、後述するステップS5へ移行する。これに対して、制御部96によって内視鏡システム1が熱処置観察モードに設定されていないと判断された場合(ステップS4:No)、内視鏡システム1は、後述するステップS6へ移行する。
 〔熱処置観察モード処理〕
 図11は、上述した図8のステップS5における熱処置観察モードの概要を示すフローチャートである。図12は、画像処理部93による熱処置観察モード処理時における画像処理の概要を模式的に説明する図である。
 近年、医療分野では、内視鏡および腹腔鏡等を用いた低侵襲治療が広く行われるようになっている。例えば、内視鏡および腹腔鏡等を用いた低侵襲治療としては、内視鏡的粘膜下層剥離術(ESD:Endoscopic Submucosal Dissection)、腹腔鏡内視鏡合同胃局所切除術(LECS:Laparoscopy and Endoscopy Cooperative Surgery)、非穿孔式内視鏡的胃壁内反切除術(NEWS:Non-exposed Endoscopic Wall-inversion Surgery)等が広く行われている。
 これらの低侵襲治療では、処置を行う場合、例えば、前処置として手術対象領域のマーキング等のために、医者等の術者が高周波ナイフおよび電気メス等のエネルギーデバイスの処置具を用いて生体組織に対する熱処置や熱処置によるマーキング処置を行う。また、術者は、実際の処置の場合にも、エネルギーデバイス等を用いて被検体の生体組織の切除および凝固等の処置を行う。
 エネルギーデバイスによって生体組織に加えられる熱処置の度合いは、術者が目視や触覚および勘等に頼って確認を行っているのが実情である。このため、従来のエネルギーデバイス等を用いた治療では、術者が手術等の作業中に熱処置を加えるべき度合い等をリアルタイムで確認することが難しく、非常に熟練を要する作業項目となっていた。この結果、術者等は、エネルギーデバイスを用いて生体組織に熱処置を施した場合、熱処置(熱処置)による熱処置領域への焼灼状態を可視化することができる技術を望んでいた。
 ところで、アミノ酸と、還元糖と、を加熱した場合、糖化反応(メイラード反応)が生じる。このメイラード反応の結果生じる最終産物は、総じて終末糖化産物(AGEs:Advanced glycation end products)と呼ばれる。AGEsの特徴としては、蛍光特性を有する物質が含まれることが知られている。
 つまり、AGEsは、生体組織をエネルギーデバイスで熱処置した場合、生体組織中のアミノ酸と還元糖が加熱されて、メイラード反応が生じることによって生成される。この加熱により生成されたAGEsは、蛍光観察することにより熱処置の状態の可視化が可能となる。さらに、AGEsは、生体組織内に元来存在する自家蛍光物質よりも、強い蛍光を発するが知られている。
 即ち、熱処置観察モードは、エネルギーデバイス等により熱処置されることで生体組織中に発生したAGEsの蛍光特性を利用して、熱処置による熱処置領域を可視化する観察手法である。このため、熱処置観察モードは、光源装置3からAGEsを励起させるための波長415nmm近傍の青色光を生体組織に照射する。これにより、熱処置観察モードは、AGEsから発生する蛍光(例えば、波長490~625nmの緑色光)を撮像した熱処置画像(蛍光画像)を観察することができる。
 図11に示すように、まず、制御部96は、光源制御部34を制御し、第2の光源部32を発光させることによって、被検体に向けて狭帯域光を照射させる(ステップS51)。
 続いて、制御部96は、撮像制御部57を制御することによって、光学系22および光学系51が集光した被写体像を撮像素子53に撮像させる(ステップS52)。
 続いて、検出部92は、A/D変換部54、P/S変換部55およびS/P変換部91を経由して入力された画像データに対応する撮像画像に基づいて、各画素の輝度値から明るさレベルを検出する(ステップS53)。この場合、検出部92は、明るさレベルを画像処理部93および制御部96の各々へ出力する。
 続いて、制御部96は、検出部92から入力された明るさレベルに基づいて、撮像画像を構成する各画素を蛍光領域および背景領域に判定するための閾値を設定する(ステップS54)。
 その後、デモザイク処理部931は、A/D変換部54、P/S変換部55およびS/P変換部91を経由して入力された画像データ(RAWデータ)に対して、周知のデモザイク処理を行う(ステップS55)。具体的には、図12に示すように、デモザイク処理部931は、画像データに対して周知のデモザイク処理を行って撮像画像を生成し、この撮像画像を算出部932へ出力する。この場合、図12に示すように、各画素には、R成分信号、G成分信号、B成分信号が含まれる。例えば、画素P11は、R成分信号が0(R=0)、G成分信号が20(G=20)、B成分信号が100(B=100)を含む。また、画素P12は、R成分信号が0(R=0)、G成分信号が80(G=80)、B成分信号が100(B=100)を含む。
 続いて、算出部932は、制御部96で設定された色成分信号に基づいて、デモザイク処理部931から入力された撮像画像の各画素の強度比を算出する(ステップS56)。具体的には、図12に示すように、算出部932は、R成分信号、G成分信号およびB成分信号のうち、熱処置観察における蛍光への感度が高い蛍光成分と、R成分信号、G成分信号およびB成分信号のうち、狭帯域光が生体組織に照射された際に、この生体組織において反射した反射光に感度が高い反射光成分と、の強度比を撮像画像の各画素に算出する。より具体的には、図12の画素P11に示すように、算出部932は、熱処置観察モードの場合、G成分信号の値(G=20)に対してB成分信号の値(B=100)で除算した値(G/B=0.2)を強度比として算出する。また、図12の画素P12に示すように、算出部932は、G成分信号の値(G=80)に対してB成分信号の値(B=100)で除算した値(G/B=0.8)を強度比として算出する。
 その後、判定部933は、制御部96が設定した閾値と、算出部932が算出した各画素の強度比と、に基づいて、蛍光領域を判定する(ステップS57)。具体的には、判定部933は、撮像画像の画素毎に、強度比が閾値以上か否かを判定し、閾値以上の画素を蛍光領域(蛍光画素)と判定する一方、閾値未満である画素を背景領域(背景画素)として判定する。より具体的には、判定部933は、図12に示す画素P11の場合、強度比が0.2であり、閾値(例えば0.5以上とする)未満であるため、画素P11を背景領域として判定し、画素P11に背景領域(背景画素)であることを示す情報(例えば「0」)を付加する。また、判定部933は、図12に示す画素P12の場合、強度比が0.8であり、閾値以上であるため、画素P12を蛍光領域(蛍光画素)として判定し、画素P12に蛍光領域(蛍光画素)であることを示す情報(例えば「1」)を付加する。
 続いて、生成部934は、制御部96が内視鏡カメラヘッド5の種別に応じて設定した画像処理パラメータと、判定部933が判定した判定結果と、に基づいて、デモザイク処理部931から入力された撮像画像の各画素に対して互いに異なるパラメータの画像処理を行う(ステップS58)。具体的には、生成部934は、判定部933によって背景領域と判定された画素の信号値に対して背景用パラメータとしてのゲインを下げる第1の画像処理を行う。これに対して、判定部933によって蛍光領域と判定された画素の信号値に対して蛍光用パラメータとしてのゲインを上げる第1の画像処理を行う。これにより、蛍光領域に位置する画素の画素値は、大きくなり、背景領域に位置する画素の画素値が小さくするため、蛍光領域を強調することができる。
 その後、生成部934は、互いに異なるパラメータの画像処理を施した撮像画像の各画素に対してγ補正処理、色調変換処理、ホワイトバランス処理およびフォーマット変換処理等を行って熱処置画像Q2(疑似カラー画像)を生成する(ステップS59)。
 続いて、生成部934は、熱処置画像Q2を表示装置7へ出力する(ステップS60)。これにより、医者等の術者は、背景領域から熱処置領域が強調された熱処置画像Q2を観察することができる。
 制御部96は、入力部94から内視鏡システム1の観察モードを切り替える切替信号が入力されたか否かを判断する(ステップS61)。制御部96によって入力部94から内視鏡システム1の観察モードを切り替える切替信号が入力されたと判断された場合(ステップS61:Yes)、内視鏡システム1は、図8のメインルーチンへ戻る。これに対して、制御部96によって入力部94から内視鏡システム1の観察モードを切り替える切替信号が入力されていないと判断された場合(ステップS61:No)、内視鏡システム1は、上述したステップS51へ戻る。
 図8に戻り、ステップS6以降の説明を続ける。
 ステップS6において、制御部96は、入力部94から入力される観察モードを示すモード信号に応じて内視鏡システム1が通常光観察モードに設定されているか否かを判断する。制御部96によって内視鏡システム1が通常光観察モードに設定されていると判断された場合(ステップS6:Yes)、内視鏡システム1は、後述するステップS7へ移行する。これに対して、制御部96によって内視鏡システム1が通常光観察モードに設定されていないと判断された場合(ステップS6:No)、内視鏡システム1は、ステップS3へ移行する。
 S7において、内視鏡システム1は、通常光観察モード処理を実行する。ステップS7の後、内視鏡システム1は、ステップS3へ移行する。
 〔通常光観察モード処理〕
 図13は、上述した図8のステップS7の通常光観察モード処理の概要を示すフローチャートである。
 図13に示すように、まず、制御部96は、光源制御部34を制御することによって、第1の光源部31を発光させることによって、被検体に向けて白色光を照射させる(ステップS71)。
 続いて、制御部96は、撮像制御部57を制御することによって、光学系22および光学系51が集光した被写体像を撮像素子53に撮像させる(ステップS72)。
 その後、制御部96は、デモザイク処理部931に、A/D変換部54、P/S変換部55およびS/P変換部91を経由して入力された画像データに対してデモザイク処理を実行させる(ステップS73)。
 続いて、生成部934は、デモザイク処理部931がデモザイク処理を行った撮像画像に対してγ補正処理、色調変換処理、ホワイトバランス処理およびフォーマット変換処理等の第2の画像処理を行って白色光画像を生成し(ステップS74)、この白色光画像を表示装置7へ出力する(ステップS75)。
 続いて、制御部96は、入力部94から内視鏡システム1の観察モードを切り替える切替信号が入力されたか否かを判断する(ステップS76)。制御部96によって入力部94から内視鏡システム1の観察モードを切り替える切替信号が入力されたと判断された場合(ステップS76:Yes)、内視鏡システム1は、図8のメインルーチンへ戻る。これに対して、制御部96によって入力部94から内視鏡システム1の観察モードを切り替える切替信号が入力されていないと判断された場合(ステップS76:No)、内視鏡システム1は、上述したステップS71へ戻る。
 以上説明した実施の形態1によれば、算出部932が撮像画像の画素毎に蛍光への感度が高い蛍光成分信号と反射光に感度が高い反射光成分信号との強度比を算出し、判定部933が算出部932によって算出された画素後の強度比に基づいて、撮像画像の蛍光領域と背景領域とを判定し、生成部934が判定部933によって判定された蛍光領域に位置する画素の色成分信号および背景領域に位置する画素の色成分信号の各々に対して互いに異なるパラメータの画像処理を行ってことによって熱処置画像または薬剤蛍光画像を生成するため、蛍光の視認性を向上させることができる。
 また、実施の形態1によれば、生成部943が蛍光領域に位置する画素の色成分信号に対するゲインを、背景領域に位置する画素の色成分信号に対するゲインより大きくしたゲイン調整処理を画像処理として行って熱処置画像または薬剤蛍光画像を生成するため、蛍光の視認性を向上させることができる。
 また、実施の形態1によれば、制御部96が検出部92の検出結果に基づいて、閾値を設定するため、判定部933が撮像画像に含まれるノイズと蛍光の発光とを区別して判定することができる。
 また、実施の形態1によれば、内視鏡カメラヘッド5を一つの撮像素子53のみで構成しているため、内視鏡カメラヘッド5の抵コスト化、小型化軽量化および制御装置9の制御処理の簡素化を図ることができる。
(実施の形態2)
 次に、実施の形態2について説明する。実施の形態2に係る内視鏡システムは、上述した実施の形態1に係る内視鏡システム1と構成が異なる。具体的には、実施の形態2に係る内視鏡システムは、励起光としての狭帯域光が生体組織で反射した反射光および戻り光を遮光する光学素子としてのカットフィルタをさらに備える。以下においては、実施の形態2に係る内視鏡システムの構成を説明する。なお、上述した実施の形態1に係る内視鏡システム1と同一の構成には同一の符号を付して詳細な説明を省略する。
 〔内視鏡システムの要部の機能構成〕
 図14は、内視鏡システムの要部の機能構成を示すブロック図である。図14に示す内視鏡システム1Aは、上述した実施の形態1に係る内視鏡カメラヘッド5に代えて、内視鏡カメラヘッド5Aを備える。
 〔内視鏡カメラヘッドの構成〕
 内視鏡カメラヘッド5Aは、上述した実施の形態1に係る内視鏡カメラヘッド5の構成に加えて、カットフィルタ58をさらに備える。
 カットフィルタ58は、光学系51と撮像素子53との光路上に配置される。カットフィルタ58は、狭帯域光の波長帯域を含む短波長の波長帯域の光の大部分を遮光し、この大部分を遮光する波長帯域より長波長側の波長帯域を透過する。
 図15Aは、カットフィルタ58の透過特性を模式的に示す図である。図15Aにおいて、横軸は波長(nm)を示す、縦軸が透過特性を示す。また、図15Aにおいて、折れ線Lがカットフィルタ58の透過特性を示し、折れ線Lが狭帯域光の波長特性を示し、折れ線LNGがAGEsの蛍光における波長特性を示し、折れ線LPDDが5-ALAの蛍光における波長特性を示す。
 図15Aに示すように、カットフィルタ58は、短波長の波長帯域の光の大部分を遮光し、この大部分を遮光する波長帯域より長波長側の波長帯域を透過する。具体的には、カットフィルタ58は、狭帯域光の波長帯域を含む430nm~470nmのいずれかの波長未満の短波長側の波長帯域の大部分の光を遮光し、かつ、この大部分を遮光する波長帯域より長波長側の波長帯域の光を透過する。例えば、カットフィルタ58は、折れ線LNGおよび折れ線LPDDに示すように、熱処置によって生じたAGEsの蛍光および5-ALAの蛍光を透過する。
 なお、カットフィルタ58は、別の透過特性を有してもよい。図15Bは、カットフィルタ58の別の透過特性を模式的に示す図である。
 図15Bに示すように、カットフィルタ58は、上述した透過特性と同様に、短波長の波長帯域の光の大部分を遮光し、この大部分を遮光する波長帯域より長波長側の波長帯域を透過する。具体的には、カットフィルタ58は、狭帯域光の波長帯域を含む430nm~470nmのいずれかの波長未満の短波長側の波長帯域の大部分の光を遮光し、かつ、この大部分を遮光する波長帯域より長波長側の波長帯域の光を透過する。例えば、カットフィルタ58は、折れ線LNGおよび折れ線LPDDに示すように、熱処置によって生じたAGEsの蛍光および5-ALAの蛍光を透過する。
 〔各観察モードの概要〕
 次に、内視鏡システム1Aが実行する各観察モードの概要について説明する。なお、以下においては、薬剤蛍光観察モード、熱処置観察モードおよび通常光観察モードの順に説明する。
 〔薬剤蛍光観察モードの概要〕
 まず、薬剤蛍光観察モードについて説明する。図16は、薬剤蛍光観察モード時における観察原理を模式的に示す図である。
 図16のグラフG1に示すように、まず、光源装置3は、制御装置9による制御のもと、第2の光源部32を発光させることによって、狭帯域光(励起光415nm)を薬剤(5-ALA)が投与された被検体の生体組織O1に照射させる。この場合、少なくとも被検体等の生体組織O1で励起された蛍光WF1は、R画素に入射する。さらに、反射された複数の成分を含む反射光および戻り光(以下、単に「反射光W1」という)は、カットフィルタ58によって遮光され強度が低下する一方、この大部分を遮光する波長帯域より長波長側の成分の一部は強度を落とさず撮像素子53に入射する。
 より具体的には、図16のグラフG2の折れ線Lに示すように、カットフィルタ58は、R画素に入射する反射光W1であって、狭帯域光の波長帯域を含む短波長の波長帯域の反射光W1の大部分を遮光し、この大部分を遮光する波長帯域より長波長側の波長帯域を透過する。さらに、図16のグラフG2に示すように、カットフィルタ58は、生体組織O1(薬剤領域)が励起されることで発生した蛍光(蛍光WF1)を透過する。このため、R画素およびB画素の各々には、強度が低下した反射光W1および蛍光WF1が入射する。
 続いて、図16の透過特性の表G3に示すように、R画素、G画素およびB画素の各々は、透過特性(感度特性)が互いに異なる。具体的には、B画素は、狭帯域光の反射光W1に感度を有するため、反射光W1の受光量に対応する出力値が大きな値となる。さらに、R画素は、蛍光WF1に感度を有するが、蛍光が微小な反応のため、出力値が小さい値となる。
 その後、画像処理部93は、内視鏡カメラヘッド5Aの撮像素子53から画像データ(RAWデータ)を取得し、取得した画像データに含まれるR画素およびB画素の各々の色成分信号(画素値)に対して画像処理を行って薬剤蛍光画像(疑似カラー画像)を生成する。この場合において、R画素の色成分信号には、薬剤からの蛍光情報が含まれる。また、B画素には、被検体の生体組織からの背景情報が含まれる。このため、画像処理部93は、上述した実施の形態1と同様の処理を行って薬剤蛍光画像を生成する。具体的には、画像処理部93は、デモザイク処理、画素毎の強度比を算出する処理、蛍光領域と背景領域とを判定する処理、蛍光領域に位置する画素の色成分信号(画素値)および背景領域に位置する画素の色成分信号(画素値)の各々に対して互いに異なるパラメータの画像処理を行って薬剤蛍光画像(疑似カラー画像)を生成する。そして、画像処理部93は、薬剤蛍光画像を表示装置7へ出力する。ここで、蛍光領域とは、背景情報に比べて蛍光情報が優位な領域である。また、背景領域とは、蛍光情報に比べて背景情報が優位な領域を指す。具体的には、画像処理部93は、画素に含まれる背景情報に相当する反射光成分信号と蛍光情報に相当する蛍光成分信号との強度比が所定の閾値以上(例えば0.5以上)である場合、蛍光領域と判定する一方、強度比が所定の閾値未満である場合、背景領域として判定する。
 このように薬剤蛍光観察モードは、白色光(通常光)で視認が難しい薬剤の蛍光領域を強調して表示することができる。
 〔熱処置観察モードの概要〕
 次に、熱処置観察モードについて説明する。図17は、熱処置観察モード時における観察原理を模式的に示す図である。
 図17のグラフG11に示すように、まず、光源装置3は、制御装置9による制御のもと、第2の光源部32を発光させることによって、励起光(中心波長415nm)である狭帯域光をエネルギーデバイス等により被検体に対して熱処置が施された生体組織O2(熱処置領域)に照射する。この場合、図17のグラフG12に示すように、少なくとも生体組織O2(熱処置領域)で反射された狭帯域光の成分および戻り光を含む反射光(以下、単に「反射光W10」という)は、カットフィルタ58によって遮光され強度が低下する一方、この大部分を遮光する波長帯域より長波長側の成分の一部は強度を落とさず撮像素子53に入射する。
 より具体的には、図17のグラフG12に示すように、カットフィルタ58は、G画素に入射する反射光W10であって、狭帯域光の波長帯域を含む短波長の波長帯域の反射光W10の大部分を遮光し、この大部分を遮光する波長帯域より長波長側の波長帯域を透過する。さらに、図17のグラフG12に示すように、カットフィルタ58は、生体組織O1(熱処置領域)におけるAGEsが自家発光した蛍光(WF10)を透過する。このため、R画素、G画素およびB画素の各々には、強度が低下した反射光W10および蛍光(WF10)が入射する。
 また、図17のグラフG12における蛍光特性の折れ線LNGに示すように、G画素は、蛍光に感度を有するが、蛍光が微小な反応のため、出力値が小さい値となる。
 その後、画像処理部93は、内視鏡カメラヘッド5Aの撮像素子53から画像データ(RAWデータ)を取得し、取得した画像データに含まれるG画素およびB画素の各々の信号値に対して画像処理を行って疑似カラー画像(熱処置蛍光画像)を生成する。この場合において、G画素の信号値には、熱処置領域から発せられた蛍光情報が含まれる。また、B画素には、熱処置領域を含む被検体の生体組織からの背景情報が含まれる。このため、画像処理部93は、上述した実施の形態1と同様の処理を行って熱処置画像を生成する。具体的には、画像処理部93は、デモザイク処理、画素毎の強度比を算出する処理、蛍光領域と背景領域とを判定する処理、蛍光領域に位置する画素の色成分信号(画素値)および背景領域に位置する画素の色成分信号(画素値)の各々に対して互いに異なるパラメータの画像処理を行って熱処置画像(疑似カラー画像)を生成する。そして、画像処理部93は、熱処置画像を表示装置7へ出力する。ここで、蛍光領域とは、背景情報に比べて蛍光情報が優位な領域である。また、背景領域とは、蛍光情報に比べて背景情報が優位な領域を指す。具体的には、画像処理部93は、画素に含まれる背景情報に相当する反射光成分信号と蛍光情報に相当する蛍光成分信号との強度比が所定の閾値以上(例えば0.5 以上)である場合、蛍光領域と判定する一方、強度比が所定の閾値未満である場合、背景領域として判定する。
 このように熱処置観察モードは、エネルギーデバイス等による熱処置の生体組織O2(熱処置領域)を容易に観察することができる。
 〔通常光観察モードの概要〕
 次に、通常光観察モードについて説明する。図18は、通常光観察モード時における観察原理を模式的に示す図である。
 図18に示すように、まず、光源装置3は、制御装置9による制御のもと、第1の光源部31を発光させることによって、白色光W3を被検体の生体組織O3に照射する。この場合、生体組織で反射された反射光および戻り光(以下、単に「反射光WR30、反射光WG30,反射光WB30」という)は、一部がカットフィルタ58に遮光され、残りが撮像素子53に入射する。具体的には、図18に示すように、カットフィルタ58は、狭帯域光の波長帯域を含む短波長の波長帯域の反射光を遮光する。このため、図18に示すように、B画素に入射する青色の波長帯域の光の成分が、カットフィルタ58を配置していない状態と比べて小さくなる。
 続いて、画像処理部93は、内視鏡カメラヘッド5Aの撮像素子53から画像データ(RAWデータ)を取得し、取得した画像データに含まれるR画素、G画素およびB画素の各々の信号値に対して画像処理を行って白色光画像を生成する。この場合において、画像処理部93は、画像データに含まれる青色成分が従来の白色光観察と比べて小さいため、赤色成分、緑色成分および青色成分の比率が一定となるようにホワイトバランスを調整するホワイトバランス調整処理を行う。
 このように通常光観察モードは、カットフィルタ58を配置している場合であっても、自然な白色画像を観察することができる。
 即ち、内視鏡システム1Aは、上述した実施の形態1と同様の処理を行い、薬剤蛍光観察モードおよび熱処置観察モードの各々で背景領域と蛍光領域とを判定し、背景領域および蛍光領域の各々で互いに異なる画像処理パラメータを施すことによって、背景領域から蛍光領域を強調した薬剤蛍光画像または熱処置画像を生成して表示装置7に表示させる。
 以上説明した実施の形態2によれば、上述した実施の形態1と同様の効果を奏し、かつ、光学素子としてのカットフィルタ58を設けたので、生体組織で反射した反射光および戻り光に、熱処置領域からの蛍光が埋もれてしまうことを防止することができる。
(実施の形態3)
 次に、実施の形態3について説明する。実施の形態3に係る内視鏡システムは、上述した実施の形態1,2に係る内視鏡システムと同様の構成を有し、実行する処理が異なる。具体的には、上述した実施の形態1,2では、入力部から入力されるモード信号に応じて設定される観察モードに応じて制御部が算出部に算出させる色成分信号の強度比を設定していたが、実施の形態3では、制御装置に接続される内視鏡カメラヘッドの種別に応じて制御部が算出部に算出させる色成分信号の強度比を設定する。以下においては、実施の形態3に係る内視鏡システムが実行する処理について説明する。なお、上述した実施の形態1に係る内視鏡システムと同一の構成には同一の符号を付して詳細な説明を省略する。
 〔内視鏡システムの処理〕
 図19は、実施の形態3に係る内視鏡システムが実行する処理の概要を示すフローチャートである。なお、図19では、上述した実施の形態1に係る内視鏡カメラヘッド5または上述した実施の形態2に係る内視鏡カメラヘッド5Aのいずれか一方が接続される。即ち、実施の形態3では、内視鏡カメラヘッド5が第1の医療用撮像装置として機能し、内視鏡カメラヘッド5Aが第2の医療用撮像装置として機能する。さらに、以下においては、内視鏡カメラヘッド5および内視鏡カメラヘッド5Aのいずれか一方を指す場合、単に内視鏡カメラヘッドと表現する。
 図19に示すように、まず、制御部96は、制御装置9に接続された内視鏡カメラヘッドの撮像記録部56に記録された内視鏡カメラヘッドの種別を示す種別情報を取得する(ステップS101)。
 続いて、制御部96は、ステップS101で取得した種別情報に基づいて、制御装置9に接続された内視鏡カメラヘッドが薬剤蛍光観察モードを行うことができる内視鏡カメラヘッド5(第1の医療用撮像装置)であるか否かを判断する(ステップS101)。制御部96によって制御装置9に接続された内視鏡カメラヘッドが薬剤蛍光観察モードを行うことができる内視鏡カメラヘッド5(第1の医療用撮像装置)であると判断された場合(ステップS101:Yes)、内視鏡システム1は、後述するステップS102へ移行する。これに対して、制御部96によって制御装置9に接続された内視鏡カメラヘッドが薬剤蛍光観察モードを行うことができる内視鏡カメラヘッド5(第1の医療用撮像装置)でないと判断された場合(ステップS101:No)、内視鏡システム1は、後述するステップS104へ移行する。
 ステップS102およびステップS103は、上述した図8のステップS2およびステップS3それぞれに対応する。
 ステップS104において、ステップS101で取得した種別情報に基づいて、制御装置9に接続された内視鏡カメラヘッドが熱処置観察モードを行うことができる内視鏡カメラヘッド5A(第2の医療用撮像装置)であるか否かを判断する。制御部96によって制御装置9に接続された内視鏡カメラヘッドが熱処置観察モードを行うことができる内視鏡カメラヘッド5A(第2の医療用撮像装置)であると判断された場合(ステップS104:Yes)、内視鏡システム1は、後述するステップS105へ移行する。これに対して、制御部96によって制御装置9に接続された内視鏡カメラヘッドが熱処置観察モードを行うことができる内視鏡カメラヘッド5A(第2の医療用撮像装置)でないと判断された場合(ステップS104:No)、内視鏡システム1は、後述するステップS106へ移行する。
 ステップS105~ステップS107は、上述した図8のステップS105~ステップS107それぞれに対応する。
 以上説明した実施の形態3によれば、制御部96が制御装置9に接続される内視鏡カメラヘッドの種別を示す識別情報に基づいて、算出部932が算出する強度比の色成分信号を設定するため、制御装置9に接続される内視鏡カメラヘッドで行う観察モードに応じたパラメータの画像処理を行うことができ、かつ、上述した実施の形態1,2と同様に、蛍光の視認性を向上させることができる。
(実施の形態4)
 次に、実施の形態3について説明する。上述した実施の形態1~3では、硬性鏡を備える内視鏡システムであったが、実施の形態4では、軟性の内視鏡を備える内視鏡システムについて説明する。以下においては、実施の形態4に係る内視鏡システムについて説明する。なお、実施の形態4では、上述した実施の形態1に係る内視鏡システム1と同一の構成には同一の符号を付して詳細な説明を省略する。
 〔内視鏡システムの構成〕
 図20は、実施の形態4に係る内視鏡システムの概略構成を示す図である。図21は、実施の形態4に係る内視鏡システムの要部の機能構成を示すブロック図である。
 図20および図21に示す内視鏡システム100は、患者等の被検体内に挿入することによって被検体の体内を撮像し、この撮像した画像データに基づく表示画像を表示装置7が表示する。医者等の術者は、表示装置7が表示する表示画像の観察を行うことによって、検査対象部位である出血部位、腫瘍部位および異常部位が写る異常領域の各々の有無や状態を検査する。さらに、医者等の術者は、内視鏡の処置具チャンネルを経由してエネルギーデバイス等の処置具を被検体の体内に挿入して被検体の処置を行う。内視鏡システム100は、上述した光源装置3、表示装置7および制御装置9に加えて、内視鏡102を備える。
 〔内視鏡の構成〕
 内視鏡102の構成について説明する。内視鏡102は、被検体の体内を撮像することによって画像データを生成し、この生成した画像データを制御装置9へ出力する。内視鏡102は、操作部122と、ユニバーサルコード123と、を備える。
 挿入部121は、可撓性を有する細長形状をなす。挿入部121は、後述する撮像装置を内蔵した先端部124と、複数の湾曲駒によって構成された湾曲自在な湾曲部125と、湾曲部125の基端側に接続され、可撓性を有する長尺状の可撓管部126と、を有する。
 先端部124は、グラスファイバ等を用いて構成される。先端部124は、光源装置3から供給された光の導光路をなすライトガイド241と、ライトガイド241の先端に設けられた照明レンズ242と、撮像装置243と、を有する。
 撮像装置243は、集光用の光学系244と、上述した実施の形態1の撮像素子53と、カットフィルタ58、A/D変換部54、P/S変換部55、撮像記録部56、撮像制御部57と、を備える。なお、実施の形態3では、撮像装置243が医療用撮像装置として機能する。
 ユニバーサルコード123は、ライトガイド241と、1または複数のケーブルをまとめた集光ケーブルと、を少なくとも内蔵している。集合ケーブルは、内視鏡102および光源装置3と制御装置9との間で信号を送受信する信号線であって、設定データを送受信するための信号線、撮像画像(画像データ)を送受信するための信号線、撮像素子53を駆動するための駆動用のタイミング信号を送受信するための信号線等を含む。ユニバーサルコード123は、光源装置3に着脱自在なコネクタ部127を有する。コネクタ部127は、コイル状のコイルケーブル127aが延設し、コイルケーブル127aの延出端に制御装置9に着脱自在なコネクタ部128を有する。
 このように構成された内視鏡システム100は、上述した実施の形態1に係る内視鏡システム1と同様の処理を行う。
 以上説明した実施の形態4によれば、上述した実施の形態1と同様の効果を有するうえ、1つの撮像素子53のみで狭帯域光観察とエネルギーデバイス等による熱処置によって生じる蛍光観察とを行うことができるため、挿入部121の細径化を図ることができる。
(実施の形態5)
 次に、実施の形態5について説明する。上述した実施の形態1~4では、内視鏡システムであったが、実施の形態5では、手術用顕微鏡システムに適用した場合について説明する。なお、実施の形態5では、上述した実施の形態1に係る内視鏡システム1と同一の構成には同一の符号を付して詳細な説明は省略する。
 〔手術用顕微鏡システムの構成〕
 図22は、実施の形態5に係る手術用顕微鏡システムの概略構成を示す図である。図22に示す手術用顕微鏡システム300は、被写体を観察するための画像を撮像することによって取得する医療用撮像装置である顕微鏡装置310と、表示装置7と、を備える。なお、表示装置7と顕微鏡装置310とを一体に構成することも可能である。
 顕微鏡装置310は、被写体の微小部位を拡大して撮像する顕微鏡部312と、顕微鏡部312の基端部に接続し、顕微鏡部312を回動可能に支持するアームを含む支持部313と、支持部313の基端部を回動可能に保持し、床面上を移動可能なベース部314と、を有する。ベース部314は、顕微鏡装置310から被写体に照射する白色光、狭帯域光等を生成する光源装置3と、手術用顕微鏡システム300の動作を制御する制御装置9と、を有する。なお、光源装置3および制御装置9の各々は、少なくとも上述した実施の形態1と同様の構成を有する。具体的には、光源装置3は、集光レンズ30と、第1の光源部31と、第2の光源部32と、光源制御部34と、を備える。また、制御装置9は、S/P変換部91と、画像処理部93と、入力部94と、記録部95と、制御部96と、を備える。ベース部314は、床面上に移動可能に設けるのではなく、天井や壁面等に固定して支持部313を支持する構成としてもよい。
 顕微鏡部312は、例えば、円柱状をなして、その内部に上述した医用用撮像装置を有する。具体的には、医療用撮像装置は、上述した実施の形態1に係る内視鏡カメラヘッド5と同様の構成を有する。例えば、顕微鏡部312は、光学系51と、駆動部52と、撮像素子53と、A/D変換部54と、P/S変換部55と、撮像記録部56と、撮像制御部57と、カットフィルタ58と、を備える。また、顕微鏡部312の側面には、顕微鏡装置310の動作指示の入力を受け付けるスイッチが設けられている。顕微鏡部312の下端部の開口面には、内部を保護するカバーガラスが設けられている(図示せず)。
 このように構成された手術用顕微鏡システム300は、術者等のユーザが顕微鏡部312を把持した状態で各種スイッチを操作しながら、顕微鏡部312を移動させたり、ズーム操作を行ったり、照明光を切り替えたりする。なお、顕微鏡部312の形状は、ユーザが把持して視野方向を変更しやすいように、観察方向に細長く延びる形状であれば好ましい。このため、顕微鏡部312の形状は、円柱状以外の形状であってもよく、例えば多角柱状であってもよい。
 以上説明した実施の形態5によれば、手術用顕微鏡システム300においても、上述した実施の形態1と同様の効果を得ることができるうえ、顕微鏡部312の小型化を図ることができる。
(その他の実施の形態)
 上述した本開示の実施の形態1~4に係る医療用観察システムに開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本開示の実施の形態に係る医療用観察システムに記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の実施の形態に係る医療用観察システムで説明した構成要素を適宜組み合わせてもよい。
 また、本開示の実施の形態1~4に係る医療用観察システムでは、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
 なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
 以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
 1,1A,100 内視鏡システム
 2,121 挿入部
 3 光源装置
 4,241 ライトガイド
 5,5A 内視鏡カメラヘッド
 6 第1の伝送ケーブル
 7 表示装置
 8 第2の伝送ケーブル
 9 制御装置
 10 第3の伝送ケーブル
 21 接眼部
 22 光学系
 23 照明光学系
 30 集光レンズ
 31 第1の光源部
 32 第2の光源部
 34 光源制御部
 51 光学系
 52 駆動部
 53 撮像素子
 54 A/D変換部
 55 P/S変換部
 56 撮像記録部
 57 撮像制御部
 58,58A,58C カットフィルタ
 61 ビデオコネクタ
 62 カメラヘッドコネクタ
 91 S/P変換部
 92 検出部
 93 画像処理部
 94 入力部
 95 記録部
 96 制御部
 102 内視鏡
 122 操作部
 123 ユニバーサルコード
 124 先端部
 125 湾曲部
 126 可撓管部
 127,128 コネクタ部
 127a コイルケーブル
 242 照明レンズ
 243 撮像装置
 244 光学系
 300 手術用顕微鏡システム
 310 顕微鏡装置
 312 顕微鏡部
 313 支持部
 314 ベース部
 511 レンズ
 531 画素部
 532 カラーフィルタ
 541,542 透過部
 931 デモザイク処理部
 932 算出部
 933 判定部
 934 生成部
 951 プログラム記録部

Claims (20)

  1.  生体組織に対して狭帯域光を照射した場合の前記生体組織からの反射光、前記狭帯域光が前記生体組織に照射されることで蛍光を発する観察対象からの蛍光の少なくとも一方を撮像することによって生成された画像データを取得して、取得した前記画像データに基づいて、赤色の成分を示す赤色成分信号、緑色の成分を示す緑色成分信号および青色の成分を示す青色成分信号から成る色成分信号を有する撮像画像を生成するデモザイク処理部と、
    前記撮像画像の画素における、前記赤色成分信号、前記緑色成分信号および前記青色成分信号のうち前記蛍光への感度が高い蛍光成分信号と、前記赤色成分信号、前記緑色成分信号および前記青色成分信号のうち前記狭帯域光が前記生体組織に照射された際に前記生体組織からの反射光に感度が高い反射光成分信号と、の強度比を算出する算出部と、
    前記算出部が算出した前記撮像画像の画素の強度比に基づいて、前記撮像画像における蛍光領域と背景領域とを判定する判定部と、
    前記判定部が判定した判定結果に基づいて、前記蛍光領域に位置する画素の前記色成分信号および前記背景領域に位置する画素の前記色成分信号の各々に対して互いに異なるパラメータの画像処理を行うことによって蛍光画像を生成する生成部と、
    を備える、
     医療用画像処理装置。
  2.  請求項1に記載の医療用画像処理装置であって、
     前記観察対象は、
     前記生体組織に熱処置を施すことによって生じる終末糖化産物である、
     医療用画像処理装置。
  3.  請求項1または2に記載の医療用画像処理装置であって、
     前記蛍光成分信号は、
     前記緑色成分信号であり、
     前記反射光成分信号は、
     前記青色成分信号である、
     医療用画像処理装置。
  4.  請求項1に記載の医療用画像処理装置であって、
     前記観察対象は、
     蛍光物質を含む薬剤である、
     医療用画像処理装置。
  5.  請求項1または4に記載の医療用画像処理装置であって、
     前記蛍光成分信号は、
     前記赤色成分信号であり、
     前記反射光成分信号は、
     前記青色成分信号である、
     医療用画像処理装置。
  6.  請求項1~5のいずれか一つに記載の医療用画像処理装置であって、
     前記生成部は、
     前記蛍光領域に位置する画素の前記色成分信号に対するゲインを、前記背景領域に位置する画素の前記色成分信号に対するゲインより大きくしたゲイン調整処理を前記画像処理として行う、
     医療用画像処理装置。
  7.  請求項1~6のいずれか一つに記載の医療用画像処理装置であって、
     前記撮像画像の明るさを検出する検出部と、
     前記検出部が検出した前記明るさに基づいて、前記判定部が前記蛍光領域と前記背景領域とを判定するための閾値を設定する制御部と、
     をさらに備え、
     前記判定部は、
     前記制御部が設定した前記閾値と前記強度比とに基づいて、前記蛍光領域と前記背景領域とを判定する、
     医療用画像処理装置。
  8.  請求項7に記載の医療用画像処理装置であって、
     前記制御部は、
     当該医療用画像処理装置に接続可能な医療用撮像装置の種別を示す種別情報に基づいて、前記算出部が算出する前記強度比の前記蛍光成分信号および前記反射光成分信号を設定する、
     医療用画像処理装置。
  9.  請求項8に記載の医療用画像処理装置であって、
     当該医療用画像処理装置は、
     第1の医療用撮像装置または第2の医療用撮像装置を接続可能であり、
     前記第1の医療用撮像装置は、
     2次元マトリクス状に配置されてなる複数の画素を有する画素部と、前記複数の画素の各々の受光面に赤色フィルタ、緑色フィルタおよび青色フィルタのいずれか一つが設けられてなるカラーフィルタと、を有する撮像素子を備え、
     前記第2の医療用撮像装置は、
     2次元マトリクス状に配置されてなる複数の画素を有する画素部と、前記複数の画素の各々の受光面に赤色フィルタ、緑色フィルタおよび青色フィルタのいずれか一つが設けられてなるカラーフィルタと、を有する撮像素子と、
     前記撮像素子に受光面に被写体像を結像する光学系と、
     前記撮像素子と前記光学系との光路上に設けられたカットフィルタと、
     を備え、
     前記カットフィルタは、
     前記狭帯域光の波長帯域を含む短波長側の一部の光を遮光する一方、前記遮光する波長帯域より長波長側の波長帯域を透過し、
     前記制御部は、
     前記第1の医療用撮像装置および前記第2の医療用撮像装置のいずれか一方の前記種別情報に基づいて、前記算出部が算出する前記強度比の前記蛍光成分信号および前記反射光成分信号を設定する、
     医療用画像処理装置。
  10.  請求項9に記載の医療用画像処理装置であって、
     前記制御部は、
     前記種別情報に基づいて、当該医療用画像処理装置に前記第1の医療用撮像装置または前記第2の医療用撮像装置が接続されたか否かを判断し、
     当該医療用画像処理装置に前記第1の医療用撮像装置が接続されたと判断した場合、前記算出部に前記赤色成分信号と、前記青色成分信号と、を用いて、前記強度比を算出させ、
     当該医療用画像処理装置に前記第2の医療用撮像装置が接続されたと判断した場合、前記緑色成分信号と、前記青色成分信号と、を用いて、前記強度比を算出させる、
     医療用画像処理装置。
  11.  請求項10に記載の医療用画像処理装置であって、
     前記蛍光は、
     波長帯域が500nm~640nmである、
     医療用画像処理装置。
  12.  請求項11に記載の医療用画像処理装置であって、
     前記狭帯域光は、
     波長帯域が390nm~470nmであり、
     前記カットフィルタは、
     前記470nmより短波長側の一部の光を遮光する、
     医療用画像処理装置。
  13.  請求項2に記載の医療用画像処理装置であって、
     前記終末糖化産物は、
     エネルギーデバイスによる熱処置によって生成される、
     医療用画像処理装置。
  14.  2次元マトリクス状に配置されてなる複数の画素を有する画素部と、前記複数の画素の各々の受光面に赤色フィルタ、緑色フィルタおよび青色フィルタのいずれか一つが設けられてなるカラーフィルタと、を有する撮像素子と、
     前記撮像素子に受光面に被写体像を結像する光学系と、
     前記撮像素子と前記光学系との光路上に設けられたカットフィルタと、
     を備え、
     前記撮像素子は、
     生体組織に対して短波長側の狭帯域光を照射した場合の前記生体組織からの反射光および前記生体組織に熱処置を施すことによって生じる終末糖化産物からの蛍光の少なくとも一方を撮像することによって画像データを生成し、
     前記カットフィルタは、
     前記狭帯域光の波長帯域を含む短波長側の一部の光をカットする一方、前記カットする波長帯域より長波長側の波長帯域を透過する、
     医療用撮像装置。
  15.  請求項1~13のいずれか一つに記載の医療用画像処理装置と、
     前記狭帯域光を照射可能な光源装置と、
     前記画像データを生成する医療用撮像装置と、
     を備える、
     医療用観察システム。
  16.  請求項15に記載の医療用観察システムであって、
     被検体内に挿入可能であり、前記反射光および前記蛍光を集光する光学系を有する挿入部をさらに備え、
     前記挿入部は、
     前記医療用撮像装置に対して着脱自在である、
     医療用観察システム。
  17.  請求項15に記載の医療用観察システムであって、
     被検体内に挿入可能な先端部を有する挿入部を有する内視鏡をさらに備え、
     前記医療用撮像装置は、
     前記先端部に設けられてなる、
     医療用観察システム。
  18.  請求項15に記載の医療用観察システムであって、
     前記医療用撮像装置を回動可能に支持する支持部と、
     前記支持部の基端部を回動可能に保持し、床面上を移動可能なベース部と、
     をさらに備える、
     医療用観察システム。
  19.  生体組織に対して狭帯域光を照射した場合の前記生体組織からの反射光、前記狭帯域光が前記生体組織に照射されることで蛍光を発する観察対象からの蛍光の少なくとも一方を撮像することによって生成された画像データを取得して、取得した前記画像データに基づいて、赤色の成分を示す赤色成分信号、緑色の成分を示す緑色成分信号および青色の成分を示す青色成分信号から成る色成分信号を有する撮像画像を生成し、
     前記撮像画像の画素における、前記赤色成分信号、前記緑色成分信号および前記青色成分信号のうち前記蛍光への感度が高い蛍光成分信号と、前記赤色成分信号、前記緑色成分信号および前記青色成分信号のうち前記狭帯域光が前記生体組織に照射された際に前記生体組織からの反射光に感度が高い反射光成分信号と、の強度比を算出し、
     前記撮像画像の画素の強度比に基づいて、前記撮像画像における蛍光領域と背景領域とを判定し、
     判定結果に基づいて、前記蛍光領域に位置する画素の前記色成分信号および前記背景領域に位置する画素の前記色成分信号の各々に対して互いに異なるパラメータの画像処理を行うことによって蛍光画像を生成する、
     画像処理方法。
  20.  医療用画像処理装置が実行するプログラムであって、
     生体組織に対して狭帯域光を照射した場合の前記生体組織からの反射光、前記狭帯域光が前記生体組織に照射されることで蛍光を発する観察対象からの蛍光の少なくとも一方を撮像することによって生成された画像データを取得して、前記画像データに基づいて、赤色の成分を示す赤色成分信号、緑色の成分を示す緑色成分信号および青色の成分を示す青色成分信号から成る色成分信号を有する撮像画像を生成し、
     前記撮像画像の画素における、前記赤色成分信号、前記緑色成分信号および前記青色成分信号のうち前記蛍光への感度が高い蛍光成分信号と、前記赤色成分信号、前記緑色成分信号および前記青色成分信号のうち前記狭帯域光が前記生体組織に照射された際に前記生体組織からの反射光に感度が高い反射光成分信号と、の強度比を算出し、
     前記撮像画像の画素の強度比に基づいて、前記撮像画像における蛍光領域と背景領域とを判定し、
     判定結果に基づいて、前記蛍光領域に位置する画素の前記色成分信号および前記背景領域に位置する画素の前記色成分信号の各々に対して互いに異なるパラメータの画像処理を行うことによって蛍光画像を生成させる、
     プログラム。
PCT/JP2020/010105 2020-03-09 2020-03-09 医療用画像処理装置、医療用撮像装置、医療用観察システム、画像処理方法およびプログラム WO2021181484A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022507019A JP7417712B2 (ja) 2020-03-09 2020-03-09 医療用画像処理装置、医療用撮像装置、医療用観察システム、医療用画像処理装置の作動方法およびプログラム
CN202080098157.6A CN115243598A (zh) 2020-03-09 2020-03-09 医疗用图像处理装置、医疗用拍摄装置、医疗用观察系统、图像处理方法和程序
PCT/JP2020/010105 WO2021181484A1 (ja) 2020-03-09 2020-03-09 医療用画像処理装置、医療用撮像装置、医療用観察システム、画像処理方法およびプログラム
US17/903,195 US20230000329A1 (en) 2020-03-09 2022-09-06 Medical image processing device, medical imaging device, medical observation system, image processing method, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/010105 WO2021181484A1 (ja) 2020-03-09 2020-03-09 医療用画像処理装置、医療用撮像装置、医療用観察システム、画像処理方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/903,195 Continuation US20230000329A1 (en) 2020-03-09 2022-09-06 Medical image processing device, medical imaging device, medical observation system, image processing method, and computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2021181484A1 true WO2021181484A1 (ja) 2021-09-16

Family

ID=77671284

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/010105 WO2021181484A1 (ja) 2020-03-09 2020-03-09 医療用画像処理装置、医療用撮像装置、医療用観察システム、画像処理方法およびプログラム

Country Status (4)

Country Link
US (1) US20230000329A1 (ja)
JP (1) JP7417712B2 (ja)
CN (1) CN115243598A (ja)
WO (1) WO2021181484A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07155292A (ja) * 1993-12-03 1995-06-20 Olympus Optical Co Ltd 蛍光観察装置
JP2003000528A (ja) * 2001-06-27 2003-01-07 Fuji Photo Film Co Ltd 蛍光診断画像生成方法および装置
US20030078477A1 (en) * 2001-10-18 2003-04-24 Korea Electrotechnology Research Institute Fluorescence endoscope apparatus and method for imaging tissue within a body using the same
JP2018126174A (ja) * 2015-06-17 2018-08-16 オリンパス株式会社 内視鏡装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019213569A1 (en) 2018-05-04 2019-11-07 Corning Incorporated High isostatic strength honeycomb structures and extrusion dies therefor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07155292A (ja) * 1993-12-03 1995-06-20 Olympus Optical Co Ltd 蛍光観察装置
JP2003000528A (ja) * 2001-06-27 2003-01-07 Fuji Photo Film Co Ltd 蛍光診断画像生成方法および装置
US20030078477A1 (en) * 2001-10-18 2003-04-24 Korea Electrotechnology Research Institute Fluorescence endoscope apparatus and method for imaging tissue within a body using the same
JP2018126174A (ja) * 2015-06-17 2018-08-16 オリンパス株式会社 内視鏡装置

Also Published As

Publication number Publication date
JP7417712B2 (ja) 2024-01-18
US20230000329A1 (en) 2023-01-05
CN115243598A (zh) 2022-10-25
JPWO2021181484A1 (ja) 2021-09-16

Similar Documents

Publication Publication Date Title
JP5331904B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP5496852B2 (ja) 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び電子内視鏡システムの作動方法
JP5325725B2 (ja) 内視鏡装置
JP5426620B2 (ja) 内視鏡システムおよび内視鏡システムの作動方法
JP6435275B2 (ja) 内視鏡装置
JP5329593B2 (ja) 生体情報取得システムおよび生体情報取得システムの作動方法
JP6196900B2 (ja) 内視鏡装置
JP5283545B2 (ja) 内視鏡システムおよび内視鏡用プロセッサ装置
JP2010172673A (ja) 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
JP6230409B2 (ja) 内視鏡装置
JP5289120B2 (ja) 内視鏡システムおよび内視鏡用プロセッサ装置
JP7328432B2 (ja) 医療用制御装置、医療用観察システム、制御装置及び観察システム
JP5539840B2 (ja) 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び電子内視鏡システムの作動方法
JP5766773B2 (ja) 内視鏡システムおよび内視鏡システムの作動方法
JP2012081048A (ja) 電子内視鏡システム、電子内視鏡、及び励起光照射方法
US20230000330A1 (en) Medical observation system, medical imaging device and imaging method
WO2021181484A1 (ja) 医療用画像処理装置、医療用撮像装置、医療用観察システム、画像処理方法およびプログラム
JP7224963B2 (ja) 医療用制御装置及び医療用観察システム
JP2012100733A (ja) 内視鏡診断装置
WO2022070275A1 (ja) 支援装置、内視鏡システム、支援方法およびプログラム
US20230347169A1 (en) Phototherapy device, phototherapy method, and computer-readable recording medium
WO2022208629A1 (ja) 蛍光観察装置、光免疫治療システムおよび蛍光内視鏡
US20240115874A1 (en) Endoscope system and phototherapy method
WO2023248306A1 (ja) 画像処理装置、光治療システム、画像処理方法、画像処理プログラムおよび光治療方法
JP2021132695A (ja) 医療用画像処理装置、医療用観察システムおよび画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20924124

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022507019

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20924124

Country of ref document: EP

Kind code of ref document: A1