WO2024166330A1 - 医療用装置、医療用システム、医療用装置の作動方法およびプログラム - Google Patents

医療用装置、医療用システム、医療用装置の作動方法およびプログラム Download PDF

Info

Publication number
WO2024166330A1
WO2024166330A1 PCT/JP2023/004457 JP2023004457W WO2024166330A1 WO 2024166330 A1 WO2024166330 A1 WO 2024166330A1 JP 2023004457 W JP2023004457 W JP 2023004457W WO 2024166330 A1 WO2024166330 A1 WO 2024166330A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
blood vessel
medical device
light
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/004457
Other languages
English (en)
French (fr)
Inventor
恭央 谷上
裕介 大塚
典子 黒田
隆昭 五十嵐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to CN202380093397.0A priority Critical patent/CN120641024A/zh
Priority to PCT/JP2023/004457 priority patent/WO2024166330A1/ja
Publication of WO2024166330A1 publication Critical patent/WO2024166330A1/ja
Priority to US19/291,961 priority patent/US20250352029A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0627—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for variable illumination angles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Definitions

  • the present disclosure relates to a medical device, a medical system, and a method and program for operating a medical device.
  • ESD endoscopic submucosal dissection
  • the present disclosure has been made in consideration of the above, and aims to provide a medical device, a medical system, a method of operating a medical device, and a program that can confirm the state of coagulation degeneration in blood vessels.
  • the medical device disclosed herein is a medical device equipped with a processor, and the processor acquires a display image in which the vascular region of the blood vessels in the subject is identified and a fluorescence image that overlaps with at least a portion of the field of view of the display image, identifies thermal denaturation information in the vascular region based on the display image and the fluorescence image, and outputs the thermal denaturation information.
  • the processor generates a composite image by combining the thermal denaturation information with the vascular region of the display image, and outputs the composite image.
  • the processor outputs the thermal denaturation information by superimposing it on the vascular region of the display image.
  • the processor acquires an imaging signal capturing the fluorescence emitted from the thermally denatured region, and generates the fluorescence image based on the imaging signal.
  • the fluorescence is emitted from advanced glycation end products produced by subjecting biological tissue to thermal treatment.
  • the processor identifies the thermal denaturation information based on the signal values of each pixel that constitutes the fluorescence image.
  • the processor identifies areas with a low level of thermal coagulation as the thermal denaturation information based on the signal values of each pixel constituting the fluorescence image.
  • the processor determines whether the signal value is smaller than a predetermined value for each pixel constituting the fluorescence image, and identifies the area of pixels where the signal value is smaller than the predetermined value as the area where the thermal coagulation level is low.
  • the processor identifies the thermal coagulation level in the vascular region.
  • the processor outputs the area where the thermal coagulation level is lower than a predetermined value in a manner that makes it possible to distinguish the area where the thermal coagulation level is higher than or equal to the predetermined value.
  • the display image is an image in which the vascular region is identified from features in a white light image.
  • the display image is an image in which the vascular region is identified from the feature amount in the special light image.
  • the display image is an image in which the vascular region is identified from features in a white light image.
  • the display image is an image in which the vascular region is identified from the feature amount in the special light image.
  • the processor generates the display image based on a white light image and a blood vessel recognition image in the same field of view as the white light image.
  • the processor in the above disclosure acquires an image for blood vessel recognition, and generates the display image by superimposing a blood vessel area identified from the image for blood vessel recognition on a white light image.
  • the blood vessel recognition image is an image acquired using narrowband light determined based on the absorbance of blood.
  • the blood vessel recognition image is a narrowband light observation image.
  • the blood vessel recognition image is a red light observation image.
  • the medical system is a medical system including a light source device, an imaging device, and a medical device, the light source device having a light source that emits excitation light that excites advanced glycation endproducts produced by applying heat treatment to biological tissue, the imaging device having an imaging element that generates an imaging signal by capturing fluorescence emitted by the excitation light, and the medical device having a processor, the processor acquiring from the imaging element a display image in which a vascular region of a blood vessel in a subject is identified and a fluorescent image that overlaps at least a portion of the field of view of the display image, identifying thermal denaturation information in the vascular region based on the display image and the fluorescent image, and outputting the thermal denaturation information.
  • the light source device having a light source that emits excitation light that excites advanced glycation endproducts produced by applying heat treatment to biological tissue
  • the imaging device having an imaging element that generates an imaging signal by capturing fluorescence emitted by the excitation light
  • the method of operating a medical device is a method of operating a medical device including a processor, in which the processor acquires a display image in which a vascular region of a blood vessel in a subject is identified and a fluorescence image that overlaps with at least a portion of the field of view of the display image, identifies thermal denaturation information in the vascular region based on the display image and the fluorescence image, and outputs the thermal denaturation information.
  • the program according to the present disclosure is a program executed by a medical device having a processor, and causes the processor to acquire a display image in which the vascular region of a blood vessel in a subject is identified and a fluorescence image that overlaps with at least a portion of the field of view of the display image, identify thermal denaturation information in the vascular region based on the display image and the fluorescence image, and output the thermal denaturation information.
  • the present disclosure has the effect of making it possible to confirm the state of coagulation degeneration in blood vessels.
  • FIG. 1 is a diagram showing a schematic configuration of an endoscope system according to an embodiment.
  • FIG. 2 is a block diagram showing a functional configuration of a main part of an endoscope system according to an embodiment.
  • FIG. 3 is a diagram illustrating a schematic diagram of wavelength characteristics of excitation light emitted by a light source unit according to one embodiment.
  • FIG. 4 is a diagram illustrating a schematic configuration of a pixel unit according to an embodiment.
  • FIG. 5 is a diagram illustrating a schematic configuration of a color filter according to an embodiment.
  • FIG. 6 is a diagram illustrating the sensitivity and wavelength band of each filter according to one embodiment.
  • FIG. 7A is a diagram illustrating signal values of R pixels of an image sensor according to one embodiment.
  • FIG. 7B is a diagram illustrating signal values of G pixels of an image sensor according to one embodiment.
  • FIG. 7C is a diagram illustrating a signal value of a B pixel of an image sensor according to one embodiment.
  • FIG. 8 is a diagram illustrating a schematic configuration of a cut filter according to an embodiment.
  • FIG. 9 is a diagram illustrating a transmission characteristic of a cut filter according to an embodiment.
  • FIG. 10 is a flowchart showing an outline of the process executed by the control device according to the embodiment.
  • FIG. 11 is a diagram illustrating an example of a white light image generated by a generating unit according to an embodiment.
  • FIG. 12 is a diagram illustrating a detection result in which a detection unit according to one embodiment detects a blood vessel region in a white light image.
  • FIG. 12 is a diagram illustrating a detection result in which a detection unit according to one embodiment detects a blood vessel region in a white light image.
  • FIG. 13 is a diagram showing a schematic diagram of the correspondence relationship between the signal value of a fluorescence image, the degree of thermal denaturation, and the thermal coagulation level of a blood vessel according to one embodiment.
  • FIG. 14 is a diagram illustrating an example of a composite image generated by a composition unit according to an embodiment.
  • FIG. 1 is a diagram showing a schematic configuration of an endoscope system according to an embodiment.
  • the endoscope system 1 shown in FIG. 1 is used in the medical field and is a system for observing and treating biological tissue in a subject such as a living body.
  • a rigid endoscope system using a rigid endoscope (insertion unit 2) shown in FIG. 1 will be described as the endoscope system 1, but the present invention is not limited to this, and may be an endoscope system equipped with a flexible endoscope, for example.
  • the endoscope system 1 may be applied to a medical microscope or a medical surgery robot system that includes a medical imaging device that images a subject and performs surgery or processing while displaying an observation image based on an imaging signal (image data) captured by the medical imaging device on a display device.
  • minimally invasive treatments using endoscopes, laparoscopes, etc. have become widespread in the medical field.
  • endoscopic submucosal dissection (ESD), laparoscopy and endoscopic cooperative surgery (LECS), non-exposed endoscopic wall-inversion surgery (NEWS), transurethral resection of the bladder tumor (TUR-bt), etc. are widely performed as minimally invasive treatments using an endoscope and a laparoscope.
  • ESD endoscopic submucosal dissection
  • LECS laparoscopy and endoscopic cooperative surgery
  • NEWS non-exposed endoscopic wall-inversion surgery
  • TUR-bt transurethral resection of the bladder tumor
  • a surgeon when performing treatment, for example, in order to mark the area to be operated on as a pretreatment, a surgeon such as a doctor performs a marking treatment by cauterization or heat treatment on a characteristic area (pathogenic area) having a lesion on the biological tissue using a treatment tool of an energy device that emits energy such as high frequency, ultrasound, or microwave.
  • the surgeon also performs treatments such as ablation and coagulation of the biological tissue of the subject using an energy device, etc.
  • the endoscope system 1 shown in Fig. 1 is used when performing surgery or treatment on a subject using a treatment tool (not shown) such as an energy device capable of thermal treatment.
  • the endoscope system 1 shown in Fig. 1 is used for endoscopic submucosal dissection (ESD).
  • the endoscope system 1 shown in FIG. 1 includes an insertion section 2, a light source device 3, a light guide 4, an endoscope camera head 5 (an endoscopic imaging device), a first transmission cable 6, a display device 7, a second transmission cable 8, a control device 9, a third transmission cable 10, a perfusion device 11, and a fourth transmission cable 12.
  • the insertion section 2 is hard or at least partially soft and has an elongated shape.
  • the insertion section 2 is inserted into a subject such as a patient via a trocar.
  • the insertion section 2 is provided with an optical system such as a lens that forms an observation image inside.
  • the light source device 3 is connected to one end of the light guide 4, and under the control of the control device 9, supplies illumination light to one end of the light guide 4 to be irradiated into the subject.
  • the light source device 3 is realized using one or more light sources, such as an LED (Light Emitting Diode) light source, a xenon lamp, or a semiconductor laser element such as an LD (laser diode), a processor which is a processing device having hardware such as an FPGA (Field Programmable Gate Array) or a CPU (Central Processing Unit), and a memory which is a temporary storage area used by the processor.
  • the light source device 3 and the control device 9 may be configured to communicate individually as shown in FIG. 1, or may be integrated.
  • One end of the light guide 4 is detachably connected to the light source device 3, and the other end is detachably connected to the insertion section 2.
  • the light guide 4 guides the illumination light supplied from the light source device 3 from one end to the other, and supplies it to the insertion section 2.
  • the endoscopic camera head 5 is detachably connected to the eyepiece 21 of the insertion section 2. Under the control of the control device 9, the endoscopic camera head 5 receives the observation image formed by the insertion section 2 and performs photoelectric conversion to generate an imaging signal (RAW data), and outputs this imaging signal to the control device 9 via the first transmission cable 6.
  • RAW data an imaging signal
  • the first transmission cable 6 transmits the imaging signal output from the endoscopic camera head 5 to the control device 9, and also transmits setting data, power, etc. output from the control device 9 to the endoscopic camera head 5.
  • the setting data refers to a control signal, synchronization signal, clock signal, etc. that controls the endoscopic camera head 5.
  • the display device 7 displays an observation image based on an imaging signal that has been subjected to image processing in the control device 9, and various information related to the endoscope system 1.
  • the display device 7 is realized using a display monitor such as a liquid crystal or organic EL (Electro Luminescence) display.
  • the second transmission cable 8 transmits the imaging signal that has been subjected to image processing in the control device 9 to the display device 7.
  • the control device 9 is realized using a processor, which is a processing device having hardware such as a GPU (Graphics Processing Unit), FPGA, or CPU, and a memory, which is a temporary storage area used by the processor.
  • the control device 9 comprehensively controls the operation of the light source device 3, the endoscopic camera head 5, and the display device 7 via each of the first transmission cable 6, the second transmission cable 8, and the third transmission cable 10 according to a program recorded in the memory.
  • the control device 9 also performs various image processing on the imaging signal input via the first transmission cable 6 and outputs the result to the second transmission cable 8.
  • the third transmission cable 10 has one end detachably connected to the light source device 3 and the other end detachably connected to the control device 9.
  • the third transmission cable 10 transmits control data from the control device 9 to the light source device 3.
  • Fig. 2 is a block diagram showing the functional configuration of the main parts of the endoscope system 1.
  • the insertion portion 2 has an optical system 22 and an illumination optical system 23.
  • the optical system 22 forms an image of the subject by collecting light such as reflected light from the subject, return light from the subject, excitation light from the subject, and fluorescence emitted from a thermally denatured region that has been thermally denatured by a thermal treatment such as an energy device.
  • the optical system 22 is realized using one or more lenses, etc.
  • the illumination optical system 23 irradiates the subject with illumination light supplied from the light guide 4.
  • the illumination optical system 23 is realized using one or more lenses, etc.
  • the light source device 3 includes a condenser lens 30, a first light source unit 31, a third light source unit 33, and a light source control unit .
  • the focusing lens 30 focuses the light emitted by each of the first light source unit 31 and the third light source unit 33 and emits the light to the light guide 4.
  • the first light source unit 31 emits visible white light (normal light) under the control of the light source control unit 34, thereby supplying white light as illumination light to the light guide 4.
  • the first light source unit 31 is configured using a collimator lens, a white LED lamp, a driving driver, etc.
  • the first light source unit 31 may supply visible white light by simultaneously emitting light using a red LED lamp, a green LED lamp, and a blue LED lamp.
  • the first light source unit 31 may also be configured using a halogen lamp, a xenon lamp, etc.
  • the second light source unit 32 emits first narrowband light having a predetermined wavelength band under the control of the light source control unit 34, thereby supplying the first narrowband light as illumination light to the light guide 4.
  • the first narrowband light has a wavelength band of 530 nm to 550 nm (with a central wavelength of 540 nm).
  • the second light source unit 32 is configured using a green LED lamp, a collimating lens, a transmission filter that transmits light of 530 nm to 550 nm, a driver, etc.
  • the third light source unit 33 emits a second narrowband light having a wavelength band different from that of the first narrowband light under the control of the light source control unit 34, thereby supplying the second narrowband light as illumination light to the light guide 4.
  • the second narrowband light has a wavelength band of 400 nm to 430 nm (center wavelength 415 nm).
  • the third light source unit 33 is realized using a collimating lens, a semiconductor laser such as a violet LD (laser diode), and a driving driver.
  • the second narrowband light functions as an excitation light that excites advanced glycation end products generated by applying heat treatment to biological tissue by an energy device or the like.
  • AGEs are characterized by the inclusion of substances with fluorescent properties.
  • AGEs are generated by heating amino acids and reducing sugars in the biological tissue, which causes the Maillard reaction.
  • the AGEs generated by this heating can be visualized in the state of heat treatment by fluorescent observation.
  • AGEs emit stronger fluorescence than the autofluorescent substances that are originally present in biological tissue.
  • the fluorescent properties of AGEs generated in biological tissue by heat treatment with an energy device or the like are utilized to visualize the thermally denatured region caused by the heat treatment.
  • the biological tissue is irradiated with blue excitation light with a wavelength of about 415 nm from the third light source unit 33 to excite AGEs.
  • a fluorescent image thermalally denatured image
  • an image signal capturing the fluorescence (e.g., green light with a wavelength of 490 to 625 nm) emitted from the thermally denatured region generated by AGEs.
  • the light source control unit 34 is realized using a processor having hardware such as an FPGA or a CPU, and a memory that is a temporary storage area used by the processor.
  • the light source control unit 34 controls the light emission timing and light emission time of each of the first light source unit 31 and the third light source unit 33 based on control data input from the control device 9.
  • Fig. 3 is a diagram showing a schematic diagram of the wavelength characteristics of the light emitted by each of the second light source unit 32 and the third light source unit 33.
  • the horizontal axis indicates the wavelength (nm), and the vertical axis indicates the wavelength characteristics.
  • the broken line L NG indicates the wavelength characteristics of the first narrowband light emitted by the second light source unit 32
  • the broken line L V indicates the wavelength characteristics of the second narrowband light (excitation light) emitted by the third light source unit 33.
  • the curve L B indicates the blue wavelength band
  • the curve L G indicates the green wavelength band
  • the curve L R indicates the red wavelength band.
  • the second light source unit 32 emits narrowband light having a center wavelength (peak wavelength) of 540 nm and a wavelength band of 530 nm to 550 nm
  • the third light source unit 33 emits excitation light having a center wavelength (peak wavelength) of 415 nm and a wavelength band of 400 nm to 430 nm.
  • the second light source unit 32 and the third light source unit 33 each emit a first narrowband light and a second narrowband light (excitation light) of mutually different wavelength bands.
  • the first narrowband light is used for layer discrimination in biological tissue. Specifically, the first narrowband light increases the difference between the absorbance of the mucosal layer, which is the subject, and the absorbance of the muscle layer, which is the subject, to a degree that makes it possible to distinguish the two subjects. For this reason, in the second image for layer discrimination acquired by irradiating the first narrowband light for layer discrimination, the area in which the mucosal layer is imaged has a smaller pixel value (brightness value) and is darker than the area in which the muscle layer is imaged. That is, in one embodiment 1, by using the second image for layer discrimination to generate a display image, it is possible to achieve a display mode in which the mucosal layer and the muscle layer can be easily distinguished.
  • the second narrowband light is light for layer discrimination in biological tissue that is different from the first narrowband light.
  • the second narrowband light increases the difference in absorbance between the muscle layer, which is the subject, and the fat layer, which is the subject, to a degree that makes it possible to distinguish between the two subjects. Therefore, in the second light image for layer discrimination obtained by irradiating the second narrowband light for layer discrimination, the area in which the muscle layer is imaged has a smaller pixel value (brightness value) and is darker than the area in which the fat layer is imaged. In other words, by using the second image for layer discrimination to generate a display image, it becomes possible to easily distinguish between the muscle layer and the fat layer.
  • Both the mucosal layer (biological mucosa) and the muscular layer are subjects that contain a large amount of myoglobin.
  • the concentration of myoglobin contained is relatively high in the mucosal layer and relatively low in the muscular layer.
  • the difference in the absorption characteristics between the mucosal layer and the muscular layer is caused by the difference in the concentration of myoglobin contained in each of the mucosal layer (biological mucosa) and the muscular layer.
  • the difference in absorbance between the mucosal layer and the muscular layer is greatest near the wavelength at which the absorbance of the biological mucosa is at its maximum.
  • the first narrowband light for layer discrimination is light that shows a greater difference between the mucosal layer and the muscular layer than light that has a peak wavelength in another wavelength band.
  • the second narrowband light has a lower absorbance in fat than in muscle layer
  • the pixel value (brightness value) of the area in which the muscle layer is imaged is smaller than the pixel value (brightness value) of the area in which the fat layer is imaged.
  • the second narrowband light for layer discrimination is light corresponding to a wavelength at which the absorbance of the muscle layer is at a maximum value, it is light in which the difference between the muscle layer and fat layer appears large. In other words, the difference between the pixel value (brightness value) of the muscle layer area and the pixel value (brightness value) of the fat layer area in the second image for layer discrimination becomes large enough to be distinguished.
  • the light source device 3 irradiates the biological tissue with each of the first narrowband light and the second narrowband light.
  • the endoscopic camera head 5 which will be described later, can identify each of the mucosal layer, muscle layer, and fat layer that make up the biological tissue by capturing an image of the return light from the biological tissue, and can obtain an image in which the blood vessel region can be identified.
  • the endoscopic camera head 5 includes an optical system 51, a drive unit 52, an image sensor 53, a cut filter 54, an A/D conversion unit 55, a P/S conversion unit 56, an image capture recording unit 57, and an image capture control unit 58.
  • the optical system 51 forms an image of the subject collected by the optical system 22 of the insertion part 2 on the light receiving surface of the image sensor 53.
  • the optical system 51 is capable of changing the focal length and focal position.
  • the optical system 51 is configured using a plurality of lenses 511.
  • the optical system 51 changes the focal length and focal position by moving each of the plurality of lenses 511 on the optical axis L1 using the drive part 52.
  • the driving unit 52 moves the multiple lenses 511 of the optical system 51 along the optical axis L1 under the control of the imaging control unit 58.
  • the driving unit 52 is configured using a motor such as a stepping motor, a DC motor, or a voice coil motor, and a transmission mechanism such as a gear that transmits the rotation of the motor to the optical system 51.
  • the imaging element 53 is realized by using a CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor) image sensor having multiple pixels arranged in a two-dimensional matrix. Under the control of the imaging control unit 58, the imaging element 53 receives the subject image (light rays) formed by the optical system 51 through the cut filter 54, performs photoelectric conversion to generate an imaging signal (RAW data), and outputs it to the A/D conversion unit 55.
  • the imaging element 53 has a pixel unit 531 and a color filter 532.
  • Fig. 4 is a diagram showing a schematic configuration of the pixel unit 531.
  • the imaging control unit 58 the pixel unit 531 reads out image signals as image data from pixels Pnm in a readout region arbitrarily set as a readout target among the plurality of pixels Pnm , and outputs the image signals to the A/D conversion unit 55.
  • FIG. 5 is a diagram showing a schematic configuration of color filter 532.
  • color filter 532 is configured in a Bayer array with 2 ⁇ 2 as one unit.
  • Color filter 532 is configured using a filter R that transmits light in the red wavelength band, two filters G that transmit light in the green wavelength band, and a filter B that transmits light in the blue wavelength band.
  • Fig. 6 is a diagram showing the sensitivity and wavelength band of each filter.
  • the horizontal axis indicates wavelength (nm) and the vertical axis indicates transmission characteristics (sensitivity characteristics).
  • the curve L- B indicates the transmission characteristics of filter B
  • the curve L- G indicates the transmission characteristics of filter G
  • the curve L- R indicates the transmission characteristics of filter R.
  • the filter B transmits light in the blue wavelength band.
  • the filter G transmits light in the green wavelength band.
  • the filter R transmits light in the red wavelength band.
  • the pixel P- nm having the filter R disposed on the light receiving surface is referred to as the R pixel
  • the pixel P -nm having the filter G disposed on the light receiving surface is referred to as the G pixel
  • the pixel P -nm having the filter B disposed on the light receiving surface is referred to as the B pixel.
  • the image sensor 53 configured in this manner receives the subject image formed by the optical system 51, it generates color signals (R signal, G signal, and B signal) for the R pixel, G pixel, and B pixel, respectively, as shown in Figures 7A to 7C.
  • the cut filter 54 is disposed on the optical axis L1 between the optical system 51 and the image sensor 53.
  • the cut filter 54 is provided on the light receiving surface side (incident surface side) of the G pixel provided with the filter G that transmits at least the green wavelength band of the color filter 532.
  • the cut filter 54 blocks light in a short wavelength band including the wavelength band of the excitation light and transmits a wavelength band longer than the wavelength band of the excitation light.
  • Fig. 8 is a diagram showing a schematic configuration of the cut filter 54. As shown in Fig. 8, the filter F11 constituting the cut filter 54 is disposed at the position where the filter G11 (see Fig. 5) is disposed, on the light receiving surface side directly above the filter G11 .
  • Fig. 9 is a diagram showing a schematic diagram of the transmission characteristic of the cut filter 54.
  • the horizontal axis represents wavelength (nm) and the vertical axis represents the transmission characteristic.
  • the broken line L F represents the transmission characteristic of the cut filter 54
  • the broken line L NG represents the wavelength characteristic of the fluorescent light
  • the broken line L V represents the wavelength characteristic of the excitation light.
  • the cut filter 54 blocks the wavelength band of the excitation light and transmits the wavelength band on the longer wavelength side of the wavelength band of the excitation light. Specifically, the cut filter 54 blocks light in the wavelength band on the shorter wavelength side of 400 nm to less than 430 nm, which includes the wavelength band of the excitation light, and transmits light in the wavelength band on the longer wavelength side of 400 nm to 430 nm, which includes the excitation light.
  • the A/D conversion unit 55 under the control of the imaging control unit 58, performs A/D conversion processing on the analog imaging signal input from the imaging element 53 and outputs the result to the P/S conversion unit 56.
  • the A/D conversion unit 55 is realized using an A/D conversion circuit or the like.
  • the P/S conversion unit 56 performs parallel/serial conversion on the digital imaging signal input from the A/D conversion unit 55 under the control of the imaging control unit 58, and outputs the parallel/serial converted imaging signal to the control device 9 via the first transmission cable 6.
  • the P/S conversion unit 56 is realized using a P/S conversion circuit or the like. Note that in one embodiment, instead of the P/S conversion unit 56, an E/O conversion unit that converts the imaging signal into an optical signal may be provided, and the imaging signal may be output to the control device 9 by the optical signal, or the imaging signal may be transmitted to the control device 9 by wireless communication such as Wi-Fi (Wireless Fidelity) (registered trademark).
  • Wi-Fi Wireless Fidelity
  • the imaging and recording unit 57 records various information related to the endoscopic camera head 5 (e.g., pixel information of the imaging element 53, characteristics of the cut filter 54).
  • the imaging and recording unit 57 also records various setting data and control parameters transmitted from the control device 9 via the first transmission cable 6.
  • the imaging and recording unit 57 is configured using a non-volatile memory and a volatile memory.
  • the imaging control unit 58 controls the operation of each of the drive unit 52, the imaging element 53, the A/D conversion unit 55, and the P/S conversion unit 56 based on the setting data received from the control device 9 via the first transmission cable 6.
  • the imaging control unit 58 is realized using a TG (Timing Generator), a processor having hardware such as an ASIC (Application Specific Integrated Circuit) or a CPU, and a memory that is a temporary storage area used by the processor.
  • the control device 9 includes an S/P conversion unit 91 , an image processing unit 92 , an input unit 93 , a recording unit 94 , and a control unit 95 .
  • the S/P conversion unit 91 Under the control of the control unit 95, the S/P conversion unit 91 performs serial/parallel conversion on the image data received from the endoscopic camera head 5 via the first transmission cable 6 and outputs the converted data to the image processing unit 92. If the endoscopic camera head 5 outputs an imaging signal as an optical signal, the S/P conversion unit 91 may be replaced by an O/E conversion unit that converts the optical signal into an electrical signal. If the endoscopic camera head 5 transmits an imaging signal via wireless communication, the S/P conversion unit 91 may be replaced by a communication module capable of receiving wireless signals.
  • the image processing unit 92 Under the control of the control unit 95, the image processing unit 92 performs a predetermined image processing on the imaging signal of the parallel data input from the S/P conversion unit 91 and outputs the result to the display device 7.
  • the predetermined image processing includes demosaic processing, white balance processing, gain adjustment processing, gamma correction processing, and format conversion processing.
  • the image processing unit 92 is realized using a processor, which is a processing device having hardware such as a GPU or FPGA, and a memory, which is a temporary storage area used by the processor.
  • the image processing unit 92 has an acquisition unit 921, a generation unit 922, a detection unit 923, an identification unit 924, a synthesis unit 925, and a display control unit 926.
  • the acquisition unit 921 acquires an imaging signal generated by the endoscopic camera head 5 capturing an image via the insertion unit 2. Specifically, the acquisition unit 921 acquires from the endoscopic camera head 5, via the S/P conversion unit 91, an imaging signal generated by the imaging element 53 of the endoscopic camera head 5 capturing an image when the light source device 3 irradiates the biological tissue with white light, narrowband light, or excitation light.
  • the generating unit 922 generates a white light image, a special light image for blood vessel recognition, and a fluorescent image based on the imaging signal acquired by the acquiring unit 921. Specifically, the generating unit 922 performs demosaic processing, white balance processing, gain adjustment processing, gamma correction processing, and the like on the imaging signal acquired by the acquiring unit 921 to generate a white image. More specifically, when the light source device 3 irradiates white light toward living tissue, the generating unit 922 performs demosaic processing, and the like on the imaging signal acquired by the acquiring unit 921 to generate a white light image.
  • the generating unit 922 performs image processing on the signal values of the G pixels and B pixels included in the imaging signal acquired by the acquiring unit 921 to generate an image for blood vessel recognition, which is a pseudo-color image (a narrowband image that is one of the special light images). Furthermore, when the light source device 3 irradiates excitation light toward living tissue, the generating unit 922 performs demosaic processing, and the like on the imaging signal acquired by the acquiring unit 921 to generate a fluorescent image.
  • the detection unit 923 detects the blood vessel region in the white light image based on the white light image and the blood vessel recognition image generated by the generation unit 922. Specifically, the detection unit 923 detects the blood vessel region in the white light image based on the feature amount of the blood vessel recognition image generated by the generation unit 922. For example, the detection unit 923 performs a binarization process or edge extraction process, etc., of a well-known technology, on the blood vessel recognition image to extract feature amounts, and detects the blood vessel region in the white light image based on the extracted feature amounts.
  • the detection unit 923 detects the blood vessel region in the white light image by performing a binarization process, etc., based on the feature amount of the blood vessel recognition image, but is not limited to this, and the blood vessel region in the white image may be detected using a trained model that has trained multiple blood vessel recognition images by machine learning such as deep learning.
  • the trained model learns, as input parameters, a plurality of images for blood vessel recognition and training data (learning data) that includes annotations such as pixel addresses that specify the positions of blood vessel regions included in each of the plurality of images for blood vessel recognition, and detects and outputs the position of the blood vessel region in the white light image as an output parameter (learning result). That is, the detection unit 923 may be configured to input the white light image and the image for blood vessel recognition as input parameters using the trained model described above, and output the position of the blood vessel region in the white light image as an output parameter.
  • the identification unit 924 identifies thermal denaturation information in the blood vessel region of the white light image based on the blood vessel region of the white light image detected by the detection unit 923 and the fluorescence image generated by the generation unit 922. Specifically, the identification unit 924 identifies thermal denaturation information based on the signal values of each pixel in the region of the fluorescence image that corresponds to the blood vessel region of the white light image.
  • the synthesis unit 925 generates a synthesis image by synthesizing the thermal denaturation information identified by the identification unit 924 with the blood vessel region of the white light image detected by the detection unit 923.
  • the display control unit 926 Under the control of the control unit 96, the display control unit 926 outputs various information related to the endoscope system 1 to the display device 7. The display control unit 926 also outputs the composite image generated by the composition unit 925 to the display device 7.
  • the input unit 93 receives inputs of various operations related to the endoscope system 1 and outputs the received operations to the control unit 95.
  • the input unit 93 is configured using a mouse, a foot switch, a keyboard, buttons, switches, a touch panel, etc.
  • the recording unit 94 is realized using a recording medium such as a volatile memory, a non-volatile memory, an SSD (Solid State Drive), an HDD (Hard Disk Drive), a memory card, etc.
  • the recording unit 94 records data including various parameters necessary for the operation of the endoscope system 1.
  • the recording unit 94 also has a program recording unit 941 that records various programs for operating the endoscope system 1.
  • the control unit 95 is realized using a processor having hardware such as an FPGA or CPU, and a memory that is a temporary storage area used by the processor.
  • the control unit 95 comprehensively controls each component that constitutes the endoscope system 1. Specifically, the control unit 95 reads out a program recorded in the program recording unit 941 into the working area of the memory and executes it, and controls each component through the execution of the program by the processor, thereby allowing the hardware and software to work together to realize a functional module that meets a specified purpose.
  • FIG 10 is a flow chart showing an outline of the process executed by the control device 9.
  • control unit 96 causes the first light source unit 31 of the light source device 3 to emit light and supply white light to the insertion unit 2, thereby irradiating the white light toward the biological tissue (step S101).
  • control unit 96 causes the imaging element 53 of the endoscopic camera head 5 to capture images of the return light from the biological tissue and the reflected light from the biological tissue (step S102).
  • the acquisition unit 921 acquires the imaging signal generated by the imaging element 53 of the endoscopic camera head 5 (step S103).
  • FIG. 11 is a diagram showing an example of a white light image generated by the generating unit 922.
  • the generating unit 922 performs demosaic processing, white balance processing, gain adjustment processing, gamma correction processing, etc. on the imaging signal acquired by the acquiring unit 921 to generate a white light image P1 including a vascular region B1 of blood vessels in the biological tissue within the subject.
  • control unit 96 causes each of the second light source unit 32 and the third light source unit 33 of the light source device 3 to emit light and supply narrowband light (first narrowband light and second narrowband light) to the insertion unit 2, thereby irradiating narrowband light for recognizing blood vessels in biological tissue (step S105).
  • control unit 96 causes the imaging element 53 of the endoscopic camera head 5 to capture images of the return light from the biological tissue and the reflected light from the biological tissue (step S106).
  • the acquisition unit 921 acquires an imaging signal from the imaging element 53 of the endoscopic camera head 5 (step S107).
  • the generating unit 922 generates an image for blood vessel recognition based on the imaging signal acquired by the acquiring unit 921 (step S108). Specifically, the generating unit 922 performs image processing on the signal values of each of the G pixels and B pixels included in the imaging signal acquired by the acquiring unit 921 to generate an image for blood vessel recognition, which is a pseudo-color image (narrowband image).
  • the signal value of the G pixel includes information on the mucous membrane deep layer of the subject.
  • the signal value of the B pixel includes information on the mucous membrane surface layer of the subject.
  • the generating unit 922 performs image processing such as gain control processing, pixel complementation processing, and mucous membrane enhancement processing on the signal values of each of the G pixels and B pixels included in the imaging signal to generate an image for blood vessel recognition, which is a pseudo-color image.
  • the image for blood vessel recognition is an image generated using only the signal values of the G pixels and the B pixels.
  • the generating unit 922 deletes the signal values of the R pixels included in the imaging signal acquired by the acquiring unit 921 without using them in generating the image for blood vessel recognition.
  • FIG. 12 is a diagram showing a schematic diagram of the detection result of the detection unit 923 detecting the blood vessel region in the white light image.
  • the detection unit 923 detects the blood vessel region B1 in the white light image P1 based on the feature amount of the blood vessel recognition image generated by the generation unit 922.
  • the detection unit 923 performs a binarization process or an edge extraction process using a well-known technique on the blood vessel recognition image to extract the feature amount, and detects the blood vessel region B1 in the white light image P1 based on the extracted feature amount.
  • the detection unit 923 detects the region of the pixel address of the white light image P1 corresponding to the pixel address of the blood vessel region B1 detected in the blood vessel recognition image as the blood vessel region B1 of the white light image P1.
  • control unit 96 causes the third light source unit 33 of the light source device 3 to emit light and supply excitation light to the insertion unit 2, thereby irradiating the biological tissue with excitation light to cause the thermally denatured area to emit light (step S110).
  • control unit 96 causes the imaging element 53 of the endoscopic camera head 5 to capture an image of the light emitted from the biological tissue (step S111).
  • the acquisition unit 921 acquires an imaging signal from the imaging element 53 of the endoscopic camera head 5 (step S112).
  • the generating unit 922 generates a fluorescent image based on the imaging signal acquired by the acquiring unit 921 (step S113).
  • the identification unit 924 identifies thermal denaturation information in the vascular region of the white light image based on the vascular region B1 of the white light image P1 detected by the detection unit 923 and the fluorescent image generated by the generation unit 922 (step S114). Specifically, the identification unit 924 identifies thermal denaturation information based on the signal values of each pixel in the region of the fluorescent image corresponding to the vascular region B1 of the white light image P1.
  • the identification unit 924 identifies an area with a low level of thermal coagulation as thermal denaturation information based on the signal value of each pixel in the area of the fluorescence image corresponding to the blood vessel region B1 of the white light image P1. Specifically, the identification unit 924 determines whether the signal value is smaller than a predetermined value for each pixel in the area of the fluorescence image corresponding to the blood vessel region B1 of the white light image P1.
  • the identification unit 924 then identifies the area of pixels whose signal value is smaller than the predetermined value in the area of the fluorescence image corresponding to the blood vessel region B1 of the white light image P1 as an area with a low level of thermal coagulation. In contrast, the identification unit 924 identifies the area of pixels whose signal value is not smaller than the predetermined value in the area of the fluorescence image corresponding to the blood vessel region B1 of the white light image P1, that is, the area of pixels whose signal value is equal to or greater than the predetermined value, as an area with a high level of thermal coagulation.
  • the synthesis unit 925 generates a synthetic image by synthesizing the thermal denaturation information identified by the identification unit 924 with the blood vessel region B1 of the white light image P1 detected by the detection unit 923 (step S115).
  • FIG. 14 is a diagram showing an example of a synthetic image generated by the synthesis unit 925.
  • the synthesis unit 925 generates a synthetic image P2 by synthesizing the thermal denaturation information D1, D2 identified by the identification unit 924 with the blood vessel region B1 of the white light image P1 detected by the detection unit 923.
  • the synthesis unit 925 synthesizes the contour of the blood vessel region B1 of the white light image P1 detected by the detection unit 923 with the synthetic image P2.
  • the thermal denaturation information D1 is a region where the thermal coagulation level is higher than a predetermined value as determined by the identification unit 924. Furthermore, the thermal denaturation information D2 is a region where the thermal coagulation level is lower than a predetermined value as determined by the identification unit 924.
  • the thermal denaturation information D1 and D2 are represented by different hatching to distinguish them from each other. That is, the synthesis unit 925 synthesizes the thermal denaturation information D1 and the thermal denaturation information D2 in different colors so that they can be distinguished in the blood vessel region B1 of the white light image P1 detected by the detection unit 923, thereby generating a synthetic image P2.
  • the display control unit 926 outputs the composite image P2 generated by the composition unit 925 to the display device 7 (step S116). This allows the surgeon to intuitively grasp the thermal coagulation level of the vascular region B1 without relying on his or her own empirical rules.
  • control unit 96 determines whether or not an end signal to end the observation of the subject by the endoscopic system 1 has been input from the input unit 93 (step S117). If the control unit 96 determines that an end signal to end the observation of the subject by the endoscopic system 1 has been input from the input unit 93 (step S117: Yes), the endoscopic system 1 ends this process. On the other hand, if the control unit 96 determines that an end signal to end the observation of the subject by the endoscopic system 1 has not been input from the input unit 93 (step S117: No), the endoscopic system 1 returns to the above-mentioned step S101.
  • the display control unit 926 outputs the thermal denaturation information of the blood vessel region B1 of the white light image P1 identified by the identification unit 924 to the display device 7, so that the surgeon can grasp the state of coagulation denaturation in the blood vessel.
  • the display control unit 926 outputs the composite image P2 generated by the composition unit 925 to the display device 7, allowing the surgeon to intuitively grasp the state of coagulation degeneration in the blood vessels.
  • the identification unit 924 identifies thermal alteration information based on the signal values of each pixel that constitutes the fluorescent image, making it possible to accurately identify the area in which thermal alteration is occurring.
  • the identification unit 924 identifies pixel regions in the region of the fluorescence image corresponding to the vascular region B1 of the white light image P1, in which the signal value is smaller than a predetermined value, as regions with a low level of thermal coagulation, making it possible to distinguish and identify regions with a high level of thermal coagulation from regions with a low level of thermal coagulation.
  • the identification unit 924 identifies the thermal coagulation level in the vascular region B1 of the white light image P1, so that the state of thermal denaturation for the vascular region most desired by the surgeon can be presented.
  • the display control unit 926 may superimpose the thermal denaturation information on the blood vessel region B1 of the white light image P1 identified by the identification unit 924 and output the information to the display device 7.
  • the detection unit 923 may identify a blood vessel region from a feature amount of the white light image generated by the generation unit 922. For example, the detection unit 923 may extract a feature amount by performing a binarization process or an edge extraction process using a well-known technique on a specific component of the white light image, such as the signal value of a G pixel, and detect a blood vessel region in the white light image based on the extracted feature amount.
  • narrowband imaging is used as the special light observation, in which narrowband light including a first narrowband light (530 nm to 550 nm) and a second narrowband light (400 nm to 430 nm) is irradiated onto biological tissue.
  • red light observation RDI: Red Dichromatic Imaging
  • the detection unit 923 detects the blood vessel area from the blood vessel recognition image of the red light observation image. This makes it possible to easily detect blood vessels in deep areas such as mucous membranes.
  • Various inventions can be formed by appropriately combining a plurality of components disclosed in the endoscope system according to the embodiment of the present disclosure described above. For example, some components may be deleted from all the components described in the endoscope system according to the embodiment of the present disclosure described above. Furthermore, the components described in the endoscope system according to the embodiment of the present disclosure described above may be appropriately combined.
  • the components are connected to each other by wires, but they may be connected wirelessly via a network.
  • the functions of the image processing unit 92 provided in the endoscope system i.e., the functional modules of the acquisition unit 921, generation unit 922, detection unit 923, identification unit 924, synthesis unit 925, and display control unit 926, may be provided in a server or the like that can be connected via a network.
  • a server may be provided for each functional module.
  • transurethral bladder tumor resection an example of use in transurethral bladder tumor resection has been described, but the present disclosure is not limited to this, and can be applied to various procedures, such as resecting lesions using an energy device, etc.
  • the "unit” described above can be read as “means” or “circuit.”
  • the control unit can be read as control means or control circuit.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)

Abstract

血管への凝固変性の状態を確認することができる、医療用装置、医療用システム、医療用装置の作動方法、プログラムを提供する。医療用装置は、プロセッサを備え、プロセッサは、被検体における血管の血管領域が特定された表示用画像と、少なくとも表示用画像の視野領域の一部と重なる蛍光画像と、を取得し、表示用画像と、蛍光画像と、に基づいて、血管領域における熱変性情報を特定し、熱変性情報を出力する。

Description

医療用装置、医療用システム、医療用装置の作動方法およびプログラム
　本開示は、医療用装置、医療用システム、医療用装置の作動方法およびプログラムに関する。
　従来、医療分野では、エネルギーデバイス等を用いた生体組織等の被検体への焼灼状態を可視化する技術が知られている（例えば特許文献１を参照）。この技術では、被検体に励起光を照射し、この励起光を受けて被写体の熱侵襲領域から発生した蛍光を撮像して取得された撮像信号に基づいて生成された蛍光画像データを含む画像および情報を表示することによって焼灼状態を術者等のユーザに可視化させる。
国際公開第２０２０／０５４７２３号
　ところで、早期胃癌の治療法として、内視鏡的粘膜下層剥離術（endoscopic　submucosal　dissection：ＥＳＤ）が広く普及している。このＥＳＤによる粘膜下層の剥離の際に、術者は、剥離領域に存在する血管に対して、エネルギーデバイス、例えば止血鉗子によってＰｒｅ－ｃｏａｇｕｌａｔｉｏｎによる凝固変性により予防止血を行う。
　しかしながら、術者は、Ｐｒｅ－ｃｏａｇｕｌａｔｉｏｎの対象となる血管への凝固変性の状態を自身の経験則に従って判断していたため、血管への凝固変性の状態を確認することができる技術を所望していた。
　本開示は、上記に鑑みてなされたものであって、血管への凝固変性の状態を確認することができる、医療用装置、医療用システム、医療用装置の作動方法、プログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本開示に係る医療用装置は、プロセッサを備える医療用装置であって、前記プロセッサは、被検体における血管の血管領域が特定された表示用画像と、少なくとも前記表示用画像の視野領域の一部と重なる蛍光画像と、を取得し、前記表示用画像と、前記蛍光画像と、に基づいて、前記血管領域における熱変性情報を特定し、前記熱変性情報を出力する。
　また、本開示に係る医療用装置は、上記開示において、前記プロセッサは、前記表示用画像の前記血管領域に、前記熱変性情報を合成した合成画像を生成し、前記合成画像を出力する。
　また、本開示に係る医療用装置は、上記開示において、前記プロセッサは、前記表示用画像の前記血管領域に、前記熱変性情報を重畳して出力する。
　また、本開示に係る医療用装置は、上記開示において、前記プロセッサは、熱変性領域から発せられる蛍光を撮像した撮像信号を取得し、前記撮像信号に基づいて、前記蛍光画像を生成する。
　また、本開示に係る医療用装置は、上記開示において、前記蛍光は、生体組織に熱処置を施すことによって生じる終末糖化産物から発せられる。
　また、本開示に係る医療用装置は、上記開示において、前記プロセッサは、前記蛍光画像を構成する各画素の信号値に基づいて、前記熱変性情報を特定する。
　また、本開示に係る医療用装置は、上記開示において、前記プロセッサは、前記蛍光画像を構成する各画素の信号値に基づいて、前記熱変性情報として熱凝固レベルが低い領域を特定する。
　また、本開示に係る医療用装置は、上記開示において、前記プロセッサは、前記蛍光画像を構成する画素毎に、前記信号値が所定値より小さいか否かを判定し、前記信号値が所定値より小さい画素の領域を、前記熱凝固レベルが低い領域として特定する。
　また、本開示に係る医療用装置は、上記開示において、前記プロセッサは、前記血管領域における前記熱凝固レベルを特定する。
　また、本開示に係る医療用装置は、上記開示において、前記プロセッサは、前記熱凝固レベルが所定値より低い領域を、前記熱凝固レベルが所定値以上の高い領域と比して識別可能に出力する。
　また、本開示に係る医療用装置は、上記開示において、前記表示用画像は、白色光画像における特徴量から前記血管領域が特定された画像である。
　また、本開示に係る医療用装置は、上記開示において、前記表示用画像は、特殊光画像における特徴量から前記血管領域が特定された画像である。
　また、本開示に係る医療用装置は、上記開示において、前記表示用画像は、白色光画像における特徴量から前記血管領域が特定された画像である。
　また、本開示に係る医療用装置は、上記開示において、前記表示用画像は、特殊光画像における特徴量から前記血管領域が特定された画像である。
　また、本開示に係る医療用装置は、上記開示において、前記プロセッサは、白色光画像と、前記白色光画像と同じ視野領域の血管認識用画像と、に基づいて、前記表示用画像を生成する。
　また、本開示に係る医療用装置は、上記開示において前記プロセッサは、血管認識用画像を取得し、前記血管認識用画像から特定された血管領域を、白色光画像に重畳して前記表示用画像を生成する。
　また、本開示に係る医療用装置は、上記開示において、前記血管認識用画像は、血液の吸光度に基づいて決定された狭帯域光により取得された画像である。
　また、本開示に係る医療用装置は、上記開示において、記血管認識用画像は、狭帯域光観察画像である。
　また、本開示に係る医療用装置は、上記開示において、記血管認識用画像は、赤色光観察画像である。
　また、本開示に係る医療用システムは、光源装置と、撮像装置と、医療用装置と、を備える医療用システムであって、前記光源装置は、生体組織に熱処置を施すことによって生じる終末糖化産物を励起させる励起光を発光する光源を有し、前記撮像装置は、前記励起光によって発光する蛍光を撮像することによって撮像信号を生成する撮像素子を有し、前記医療用装置は、プロセッサを有し、前記プロセッサは、前記撮像素子から、被検体における血管の血管領域が特定された表示用画像と、少なくとも前記表示用画像の視野領域の一部と重なる蛍光画像と、を取得し、前記表示用画像と、前記蛍光画像と、に基づいて、前記血管領域における熱変性情報を特定し、前記熱変性情報を出力する。
　また、本開示に係る医療用装置の作動方法は、プロセッサを備える医療用装置の作動方法であって、前記プロセッサが、被検体における血管の血管領域が特定された表示用画像と、少なくとも前記表示用画像の視野領域の一部と重なる蛍光画像と、を取得し、前記表示用画像と、前記蛍光画像と、に基づいて、前記血管領域における熱変性情報を特定し、前記熱変性情報を出力する。
　また、本開示に係るプログラムは、プロセッサを備える医療用装置が実行するプログラムであって、前記プロセッサに、被検体における血管の血管領域が特定された表示用画像と、少なくとも前記表示用画像の視野領域の一部と重なる蛍光画像と、を取得し、前記表示用画像と、前記蛍光画像と、に基づいて、前記血管領域における熱変性情報を特定し、前記熱変性情報を出力する、ことを実行させる。
　本開示によれば、血管への凝固変性の状態を確認することができるという効果を奏する。
図１は、一実施の形態に係る内視鏡システムの概略構成を示す図である。 図２は、一実施の形態に係る内視鏡システムの要部の機能構成を示すブロック図である。 図３は、一実施の形態に係る光源部が発光する励起光の波長特性を模式的に示す図である。 図４は、一実施の形態に係る画素部の構成を模式的に示す図である。 図５は、一実施の形態に係るカラーフィルタの構成を模式的に示す図である。 図６は、一実施の形態に係る各フィルタの感度と波長帯域を模式的に示す図である。 図７Ａは、一実施の形態に係る撮像素子のＲ画素の信号値を模式的に示す図である。 図７Ｂは、一実施の形態に係る撮像素子のＧ画素の信号値を模式的に示す図である。 図７Ｃは、一実施の形態に係る撮像素子のＢ画素の信号値を模式的に示す図である。 図８は、一実施の形態に係るカットフィルタの構成を模式的に示す図である。 図９は、一実施の形態に係るカットフィルタの透過特性を模式的に示す図である。 図１０は、一実施の形態に係る制御装置が実行する処理の概要を示すフローチャートである。 図１１は、一実施の形態に係る生成部が生成する白色光画像の一例を示す図である。 図１２は、一実施の形態に係る検出部が白色光画像における血管領域を検出した検出結果を模式的に示す図である。 図１３は、一実施の形態に係る蛍光画像の信号値、熱変性程度および血管の熱凝固レベルの対応関係を模式的に示す図である。 図１４は、一実施の形態に係る合成部が生成する合成画像の一例を示す図である。
　以下、本開示を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものでない。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本開示は、各図で例示された形状、大きさ、および位置関係のみに限定されるものでない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。さらにまた、本開示に係る内視鏡システムの一例として、硬性鏡および医療用撮像装置を備える内視鏡システムについて説明する。
　〔内視鏡システムの構成〕
　図１は、一実施の形態に係る内視鏡システムの概略構成を示す図である。図１に示す内視鏡システム１は、医療分野に用いられ、生体等の被検体内の生体組織を観察および処置するシステムである。なお、一実施の形態では、内視鏡システム１として、図１に示す硬性鏡（挿入部２）を用いた硬性内視鏡システムについて説明するが、これに限定されることなく、例えば軟性の内視鏡を備えた内視鏡システムであってもよい。さらに、内視鏡システム１として、被検体を撮像する医療用撮像装置を備え、この医療用撮像装置によって撮像された撮像信号（画像データ）に基づく観察画像を表示装置に表示させながら手術や処理等を行う医療用顕微鏡または医療用手術ロボットシステム等のものであっても適用することができる。また、近年、医療分野では、内視鏡および腹腔鏡等を用いた低侵襲治療が広く行われるようになっている。例えば、内視鏡および腹腔鏡等を用いた低侵襲治療としては、内視鏡的粘膜下層剥離術（ＥＳＤ：Endoscopic　Submucosal　Dissection）、腹腔鏡内視鏡合同胃局所切除術（ＬＥＣＳ：Laparoscopy　and　Endoscopy　Cooperative　Surgery）、非穿孔式内視鏡的胃壁内反切除術（ＮＥＷＳ：Non-exposed　Endoscopic　Wall-inversion　Surgery）、経尿道的膀胱腫瘍切除術（ＴＵＲ―ｂｔ：transurethral　resection　of　the　bladder　tumor）等が広く行われている。これらの低侵襲治療では、処置を行う場合、例えば、前処置として手術対象領域のマーキング等のために、医者等の術者が高周波、超音波、マイクロ波等のエネルギーを発するエネルギーデバイスの処置具を用いて生体組織に対して病変部を有する特徴領域（病原領域）に対して焼灼による切除や熱処置によるマーキング処置等を行う。また、術者は、実際の処置の場合にも、エネルギーデバイス等を用いて被検体の生体組織の切除および凝固等の処置を行う。このため、図１に示す内視鏡システム１は、熱処置が可能なエネルギーデバイス等の処置具（図示せず）を用いて被検体の手術または処理を行う際に用いられる。具体的には、図１に示す内視鏡システム１は、内視鏡的粘膜下層剥離術（ＥＳＤ）に用いられる。
　図１に示す内視鏡システム１は、挿入部２と、光源装置３と、ライトガイド４と、内視鏡カメラヘッド５（内視鏡用撮像装置）と、第１の伝送ケーブル６と、表示装置７と、第２の伝送ケーブル８と、制御装置９と、第３の伝送ケーブル１０と、灌流装置１１と、第４の伝送ケーブル１２と、を備える。
　挿入部２は、硬質または少なくとも一部が軟性で細長形状を有する。挿入部２は、トロッカーを経由して患者等の被検体内に挿入される。挿入部２は、内部に観察像を結像するレンズ等の光学系が設けられている。
　光源装置３は、ライトガイド４の一端が接続され、制御装置９による制御のもと、ライトガイド４の一端に被検体内に照射する照明光を供給する。光源装置３は、ＬＥＤ（Light　Emitting　Diode）光源、キセノンランプおよびＬＤ（laser　Diode）等の半導体レーザ素子のいずれかの１つ以上の光源と、ＦＰＧＡ（Field　Programmable　Gate　Array）やＣＰＵ（Central　Processing　Unit）等のハードウェアを有する処理装置であるプロセッサと、プロセッサが使用する一時的な記憶域であるメモリを用いて実現される。なお、光源装置３および制御装置９は、図１に示すように個別に通信する構成をしてもよいし、一体化した構成であってもよい。
　ライトガイド４は、一端が光源装置３に着脱自在に接続され、かつ、他端が挿入部２に着脱自在に接続される。ライトガイド４は、光源装置３から供給された照明光を一端から端に導光し、挿入部２へ供給する。
　内視鏡カメラヘッド５は、挿入部２の接眼部２１が着脱自在に接続される。内視鏡カメラヘッド５は、制御装置９による制御のもと、挿入部２によって結像された観察像を受光して光電変換を行うことによって撮像信号（ＲＡＷデータ）を生成し、この撮像信号を第１の伝送ケーブル６を経由して制御装置９へ出力する。
　第１の伝送ケーブル６は、一端がビデオコネクタ６１を経由して制御装置９に着脱自在に接続され、他端がカメラヘッドコネクタ６２を経由して内視鏡カメラヘッド５に着脱自在に接続される。第１の伝送ケーブル６は、内視鏡カメラヘッド５から出力される撮像信号を制御装置９へ伝送し、かつ、制御装置９から出力される設定データおよび電力等を内視鏡カメラヘッド５へ伝送する。ここで、設定データとは、内視鏡カメラヘッド５を制御する制御信号、同期信号およびクロック信号等である。
　表示装置７は、制御装置９による制御のもと、制御装置９において画像処理が施された撮像信号に基づく観察画像および内視鏡システム１に関する各種情報を表示する。表示装置７は、液晶または有機ＥＬ（Electro　Luminescence）等の表示モニタを用いて実現される。
　第２の伝送ケーブル８は、一端が表示装置７に着脱自在に接続され、他端が制御装置９に着脱自在に接続される。第２の伝送ケーブル８は、制御装置９において画像処理が施された撮像信号を表示装置７へ伝送する。
　制御装置９は、ＧＰＵ（Graphics　Processing　Unit）、ＦＰＧＡまたはＣＰＵ等のハードウェアを有する処理装置であるプロセッサと、プロセッサが使用する一時的な記憶域であるメモリと、を用いて実現される。制御装置９は、メモリに記録されたプログラムに従って、第１の伝送ケーブル６、第２の伝送ケーブル８および第３の伝送ケーブル１０の各々を経由して、光源装置３、内視鏡カメラヘッド５および表示装置７の動作を統括的に制御する。また、制御装置９は、第１の伝送ケーブル６を経由して入力された撮像信号に対して各種の画像処理を行って第２の伝送ケーブル８へ出力する。
　第３の伝送ケーブル１０は、一端が光源装置３に着脱自在に接続され、他端が制御装置９に着脱自在に接続される。第３の伝送ケーブル１０は、制御装置９からの制御データを光源装置３へ伝送する。
　〔内視鏡システムの要部の機能構成〕
　次に、上述した内視鏡システム１の要部の機能構成について説明する。図２は、内視鏡システム１の要部の機能構成を示すブロック図である。
　〔挿入部の構成〕
　まず、挿入部２の構成について説明する。挿入部２は、光学系２２と、照明光学系２３と、を有する。
　光学系２２は、被写体から反射された反射光、被写体からの戻り光、被写体からの励起光およびエネルギーデバイス等の熱処置によって熱変性した熱変性領域から発せられた蛍光等の光を集光することによって被写体像を結像する。光学系２２は、１または複数のレンズ等を用いて実現される。
　照明光学系２３は、ライトガイド４から供給されて照明光を被写体に向けて照射する。照明光学系２３は、１または複数のレンズ等を用いて実現される。
　〔光源装置の構成〕
　次に、光源装置３の構成について説明する。光源装置３は、集光レンズ３０と、第１の光源部３１と、第３の光源部３３と、光源制御部３４と、を備える。
　集光レンズ３０は、第１の光源部３１および第３の光源部３３の各々が発光した光を集光してライトガイド４へ出射する。
　第１の光源部３１は、光源制御部３４による制御のもと、可視光である白色光（通常光）を発光することによってライトガイド４へ照明光としての白色光を供給する。第１の光源部３１は、コリメートレンズ、白色ＬＥＤランプおよび駆動ドライバ等を用いて構成される。なお、第１の光源部３１は、赤色ＬＥＤランプ、緑色ＬＥＤランプおよび青色ＬＥＤランプを用いて同時に発光することによって可視光の白色光を供給してもよい。もちろん、第１の光源部３１は、ハロゲンランプやキセノンランプ等を用いて構成されてもよい。
　第２の光源部３２は、光源制御部３４による制御のもと、所定の波長帯域を有する第１の狭帯域光を発光することによってライトガイド４へ照明光として第１の狭帯域光を供給する。ここで、第１の狭帯域光は、波長帯域が５３０ｎｍ～５５０ｎｍ（中心波長が５４０ｎｍ）である。第２の光源部３２は、緑色ＬＥＤランプ、コリメートレンズ、５３０ｎｍ～５５０ｎｍの光を透過させる透過フィルタおよび駆動ドライバ等を用いて構成される。
　第３の光源部３３は、光源制御部３４による制御のもと、第１の狭帯域光と異なる波長帯域の第２の狭帯域光を発光することによってライトガイド４へ照明光として第２の狭帯域光を供給する。ここで、第２の狭帯域光は、波長帯域が４００ｎｍ～４３０ｎｍ（中心波長が４１５ｎｍ）である。第３の光源部３３は、コリメートレンズ、紫色ＬＤ（laser　Diode）等の半導体レーザおよび駆動ドライバ等を用いて実現される。なお、一実施の形態では、第２の狭帯域光がエネルギーデバイス等によって生体組織に熱処置が施されることによって生じる終末糖化産物を励起させる励起光として機能する。ところで、アミノ酸と、還元糖と、を加熱した場合、糖化反応（メイラード反応）が生じる。このメイラード反応の結果生じる最終産物は、総じて終末糖化産物（ＡＧＥｓ：Advanced　glycation　end　products）と呼ばれる。ＡＧＥｓの特徴としては、蛍光特性を有する物質が含まれることが知られている。つまり、ＡＧＥｓは、生体組織をエネルギーデバイスで熱処置した場合、生体組織中のアミノ酸と還元糖が加熱されて、メイラード反応が生じることによって生成される。この加熱により生成されたＡＧＥｓは、蛍光観察することにより熱処置の状態の可視化が可能となる。さらに、ＡＧＥｓは、生体組織内に元来存在する自家蛍光物質よりも、強い蛍光を発するが知られている。即ち、一実施の形態では、エネルギーデバイス等により熱処置されることで生体組織中に発生したＡＧＥｓの蛍光特性を利用して、熱処置による熱変性領域を可視化する。このため、一実施の形態では、第３の光源部３３からＡＧＥｓを励起させるための波長４１５ｎｍｍ近傍の青色光の励起光を生体組織に照射する。これにより、一実施の形態は、ＡＧＥｓから発生する熱変性領域から発せられる蛍光（例えば、波長４９０～６２５ｎｍの緑色光）を撮像した撮像信号に基づいて、蛍光画像（熱変性画像）を観察することができる。
　光源制御部３４は、ＦＰＧＡまたはＣＰＵ等のハードウェアを有するプロセッサと、プロセッサが使用する一時的な記憶域であるメモリと、を用いて実現される。光源制御部３４は、制御装置９から入力される制御データに基づいて、第１の光源部３１および第３の光源部３３の各々の発光タイミングおよび発光時間等を制御する。
　ここで、第２の光源部３２および第３の光源部３３の各々が発光する光の波長特性について説明する。図３は、第２の光源部３２および第３の光源部３３の各々が発光する光の波長特性を模式的に示す図である。図３において、横軸が波長（ｎｍ）を示し、縦軸が波長特性を示す。また、図３において、折れ線ＬＮＧが第２の光源部３２が発光する第１の狭帯域光の波長特性を示し、折れ線ＬＶが第３の光源部３３が発光する第２の狭帯域光（励起光）の波長特性を示す。また、図３において、曲線ＬＢが青色の波長帯域を示し、曲線ＬＧが緑色の波長帯域を示し、曲線ＬＲが赤色の波長帯域を示す。
　図３の折れ線ＬＮＧに示すように、第２の光源部３２は、中心波長（ピーク波長）が５４０ｎｍであり、波長帯域５３０ｎｍ～５５０ｎｍである狭帯域光を発光する。また、第３の光源部３３は、中心波長（ピーク波長）が４１５ｎｍであり、波長帯域が４００ｎｍ～４３０ｎｍである励起光を発光する。
　このように、第２の光源部３２および第３の光源部３３の各々は、互いに異なる波長帯域の第１の狭帯域光および第２の狭帯域光（励起光）を発光する。
　また、第１の狭帯域光は、生体組織における層判別用の光となす。具体的には、第１の狭帯域光は、被写体である粘膜層の吸光度と被写体である筋層の吸光度との差が、２つの被写体を識別可能な程度に大きくなる。このため、層判別用の第１の狭帯域光の照射により取得される層判別用の第２の画像のうち、粘膜層を撮像した領域は、筋層を撮像した領域に比べて画素値（輝度値）が小さく、暗くなる。即ち、一実施の形態１では、層判別用の第２の画像を表示画像の生成に用いることによって、粘膜層と筋層とを識別が容易な表示態様とすることが可能になる。
　また、第２の狭帯域光（励起光）は、第１の狭帯域光と異なる生体組織における層判別用の光となす。具体的には、第２の狭帯域光は、被写体である筋層の吸光度と被写体である脂肪層の吸光度の差が、２つの被写体を識別可能な程度に大きくなる。このため、層判別用の第２の狭帯域光の照射により取得される層判別用の第２の光画像のうち、筋層を撮像した領域は、脂肪層を撮像した領域に比べて画素値（輝度値）が小さく、暗くなる。即ち、層判別用の第２の画像を表示画像の生成に用いることによって、筋層と脂肪層とを識別が容易な態様とすることが可能になる。
　粘膜層（生体粘膜）および筋層は、いずれもミオグロビンを多く含む被写体である。ただし、含まれるミオグロビンの濃度は、粘膜層が相対的に高く、筋層が相対的に低い。粘膜層と筋層との吸光特性に差異が生じる原因は、粘膜層（生体粘膜）および筋層の各々に含まれるミオグロビン濃度の差に起因する。そして、粘膜層と筋層との吸光度の差は、生体粘膜の吸光度が最大値となる波長の近傍において最大となる。即ち、層判別用の第１の狭帯域光とは、他の波長帯域にピーク波長を有する光に比べて、粘膜層と筋層との差が大きく現れる光となる。
　また、第２の狭帯域光は、筋層の吸光度に比べて脂肪の吸光度が低いため、層判別用の第２の狭帯域光の照射によって撮像される第２の画像において、筋層が撮像される領域の画素値（輝度値）が、脂肪層が撮像される領域の画素値（輝度値）に比べて小さくなる。特に、層判別用の第２の狭帯域光は、筋層の吸光度が極大値となる波長に対応する光であるため、筋層と脂肪層との差が大きく現れる光となる。即ち、層判別用の第２の画像における筋層領域の画素値（輝度値）と、脂肪層領域の画素値（輝度値）との差が、識別可能な程度に大きくなる。
　このように光源装置３は、第１の狭帯域光および第２の狭帯域光の各々を生体組織に照射する。これにより、後述する内視鏡カメラヘッド５は、生体組織からの戻り光を撮像することによって生体組織を構成する粘膜層、筋層および脂肪層の各々を識別可能であり、血管領域を特定可能な画像を得ることができる。
　〔内視鏡カメラヘッドの構成〕
　図２に戻り、内視鏡システム１の構成の説明を続ける。
　次に、内視鏡カメラヘッド５の構成について説明する。内視鏡カメラヘッド５は、光学系５１と、駆動部５２と、撮像素子５３と、カットフィルタ５４と、Ａ／Ｄ変換部５５と、Ｐ／Ｓ変換部５６と、撮像記録部５７と、撮像制御部５８と、を備える。
　光学系５１は、挿入部２の光学系２２が集光した被写体像を撮像素子５３の受光面に結像する。光学系５１は、焦点距離および焦点位置を変更可能である。光学系５１は、複数のレンズ５１１を用いて構成される。光学系５１は、駆動部５２によって複数のレンズ５１１の各々が光軸Ｌ１上を移動することによって、焦点距離および焦点位置を変更する。
　駆動部５２は、撮像制御部５８による制御のもと、光学系５１の複数のレンズ５１１を光軸Ｌ１上に沿って移動させる。駆動部５２は、ステッピングモータ、ＤＣモータおよびボイスコイルモータ等のモータと、光学系５１にモータの回転を伝達するギア等の伝達機構と、を用いて構成される。
　撮像素子５３は、２次元マトリクス状に配置されてなる複数の画素を有するＣＣＤ（Charge　Coupled　Device）またはＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）のイメージセンサを用いて実現される。撮像素子５３は、撮像制御部５８による制御のもと、光学系５１によって結像された被写体像（光線）であって、カットフィルタ５４を経由した被写体像を受光し、光電変換を行って撮像信号（ＲＡＷデータ）を生成してＡ／Ｄ変換部５５へ出力する。撮像素子５３は、画素部５３１と、カラーフィルタ５３２と、を有する。
　図４は、画素部５３１の構成を模式的に示す図である。図４に示すように、画素部５３１は、光量に応じた電荷を蓄積するフォトダイオード等の複数の画素Ｐｎｍ（ｎ＝１以上の整数，ｍ＝１以上の整数）が２次元マトリクス状に配置されてなる。画素部５３１は、撮像制御部５８による制御のもと、複数の画素Ｐｎｍのうち読み出し対象として任意に設定された読み出し領域の画素Ｐｎｍから画像信号を画像データとして読み出してＡ／Ｄ変換部５５へ出力する。
　図５は、カラーフィルタ５３２の構成を模式的に示す図である。図５に示すように、カラーフィルタ５３２は、２×２を１つのユニットとするベイヤー配列で構成される。カラーフィルタ５３２は、赤色の波長帯域の光を透過するフィルタＲと、緑色の波長帯域の光を透過する２つのフィルタＧと、青色の波長帯域の光を透過するフィルタＢと、を用いて構成される。
　図６は、各フィルタの感度と波長帯域を模式的に示す図である。図６において、横軸が波長（ｎｍ）を示し、縦軸が透過特性（感度特性）を示す。また、図６において、曲線ＬＢがフィルタＢの透過特性を示し、曲線ＬＧがフィルタＧの透過特性を示し、曲線ＬＲがフィルタＲの透過特性を示す。
　図６の曲線ＬＢに示すように、フィルタＢは、青色の波長帯域の光を透過する。また、図６の曲線ＬＧが示すように、フィルタＧは、緑色の波長帯域の光を透過する。さらに、図６の曲線ＬＲが示すように、フィルタＲは、赤色の波長帯域の光を透過する。なお、以下においては、フィルタＲが受光面に配置されてなる画素ＰｎｍをＲ画素、フィルタＧが受光面に配置されてなる画素ＰｎｍをＧ画素、フィルタＢが受光面に配置されてなる画素ＰｎｍをＢ画素として表記して説明する。
　このように構成された撮像素子５３によれば、光学系５１によって結像された被写体像を受光した場合、図７Ａ～図７Ｃに示すように、Ｒ画素、Ｇ画素およびＢ画素の各々の色信号（Ｒ信号、Ｇ信号およびＢ信号）を生成する。
　図２に戻り、内視鏡システム１の構成の説明を続ける。
　カットフィルタ５４は、光学系５１と撮像素子５３との光軸Ｌ１上に配置される。カットフィルタ５４は、少なくともカラーフィルタ５３２の緑色の波長帯域を透過するフィルタＧが設けられたＧ画素の受光面側（入射面側）に設けられる。カットフィルタ５４は、励起光の波長帯域を含む短波長の波長帯域の光を遮光し、励起光の波長帯域より長波長側の波長帯域を透過する。
　図８は、カットフィルタ５４の構成を模式的に示す図である。図８に示すように、カットフィルタ５４を構成するフィルタＦ１１は、フィルタＧ１１（図５を参照）が配置された位置であって、フィルタＧ１１の直上の受光面側に配置されてなる。
　図９は、カットフィルタ５４の透過特性を模式的に示す図である。図８において、横軸は波長（ｎｍ）を示す、縦軸が透過特性を示す。また、図８において、折れ線ＬＦがカットフィルタ５４の透過特性を示し、折れ線ＬＮＧが蛍光の波長特性を示し、折れ線ＬＶが励起光の波長特性を示す。
　図９に示すように、カットフィルタ５４は、励起光の波長帯域を遮光し、励起光の波長帯域から長波長側の波長帯域を透過する。具体的には、カットフィルタ５４は、励起光の波長帯域を含む４００ｎｍ～４３０ｎｍ未満の短波長側の波長帯域の光を遮光し、かつ、励起光を含む４００ｎｍ～４３０ｎｍより長波長側の波長帯域の光を透過する。
　図２に戻り、内視鏡カメラヘッド５の構成の説明を続ける。
　Ａ／Ｄ変換部５５は、撮像制御部５８による制御のもと、撮像素子５３から入力されたアナログの撮像信号に対してＡ／Ｄ変換処理を行ってＰ／Ｓ変換部５６へ出力する。Ａ／Ｄ変換部５５は、Ａ／Ｄ変換回路等を用いて実現される。
　Ｐ／Ｓ変換部５６は、撮像制御部５８による制御のもと、Ａ／Ｄ変換部５５から入力されたデジタルの撮像信号をパラレル／シリアル変換を行い、このパラレル／シリアル変換を行った撮像信号を、第１の伝送ケーブル６を経由して制御装置９へ出力する。Ｐ／Ｓ変換部５６は、Ｐ／Ｓ変換回路等を用いて実現される。なお、一実施の形態では、Ｐ／Ｓ変換部５６に換えて、撮像信号を光信号に変換するＥ／Ｏ変換部を設け、光信号によって制御装置９へ撮像信号を出力するようにしてもよいし、例えばＷｉ-Ｆｉ（Wireless　Fidelity）（登録商標）等の無線通信によって撮像信号を制御装置９へ送信するようにしてもよい。
　撮像記録部５７は、内視鏡カメラヘッド５に関する各種情報（例えば撮像素子５３の画素情報、カットフィルタ５４の特性）を記録する。また、撮像記録部５７は、第１の伝送ケーブル６を経由して制御装置９から伝送されてくる各種設定データおよび制御用のパラメータを記録する。撮像記録部５７は、不揮発性メモリや揮発性メモリを用いて構成される。
　撮像制御部５８は、第１の伝送ケーブル６を経由して制御装置９から受信した設定データに基づいて、駆動部５２、撮像素子５３、Ａ／Ｄ変換部５５およびＰ／Ｓ変換部５６の各々の動作を制御する。撮像制御部５８は、ＴＧ（Timing　Generator）と、ＡＳＩＣ（Application　Specific　Integrated　Circuit）またはＣＰＵ等のハードウェアを有するプロセッサと、プロセッサが使用する一時的な記憶域であるメモリと、を用いて実現される。
　〔制御装置の構成〕
　次に、制御装置９の構成について説明する。
　制御装置９は、Ｓ／Ｐ変換部９１と、画像処理部９２と、入力部９３と、記録部９４と、制御部９５と、を備える。
　Ｓ／Ｐ変換部９１は、制御部９５による制御のもと、第１の伝送ケーブル６を経由して内視鏡カメラヘッド５から受信した画像データに対してシリアル／パラレル変換を行って画像処理部９２へ出力する。なお、内視鏡カメラヘッド５が光信号で撮像信号を出力する場合、Ｓ／Ｐ変換部９１に換えて、光信号を電気信号に変換するＯ／Ｅ変換部を設けてもよい。また、内視鏡カメラヘッド５が無線通信によって撮像信号を送信する場合、Ｓ／Ｐ変換部９１に換えて、無線信号を受信可能な通信モジュールを設けてもよい。
　画像処理部９２は、制御部９５による制御のもと、Ｓ／Ｐ変換部９１から入力されたパラレルデータの撮像信号に所定の画像処理を施して表示装置７へ出力する。ここで、所定の画像処理とは、デモザイク処理、ホワイトバランス処理、ゲイン調整処理、γ補正処理およびフォーマット変換処理等である。画像処理部９２は、ＧＰＵまたはＦＰＧＡ等のハードウェアを有する処理装置であるプロセッサと、プロセッサが使用する一時的な記憶域であるメモリを用いて実現される。具体的には、画像処理部９２は、取得部９２１と、生成部９２２と、検出部９２３と、特定部９２４と、合成部９２５と、表示制御部９２６と、を有する。
　取得部９２１は、内視鏡カメラヘッド５が挿入部２を介して撮像して生成した撮像信号を取得する。具体的には、取得部９２１は、光源装置３が白色光、狭帯域光および励起光のいずれかを生体組織に向けて照射した際に、内視鏡カメラヘッド５の撮像素子５３が撮像することによって生成した撮像信号を、Ｓ／Ｐ変換部９１を経由して内視鏡カメラヘッド５から取得する。
　生成部９２２は、取得部９２１が取得した撮像信号に基づいて、白色光画像、特殊光画像の血管認識用画像および蛍光画像を生成する。具体的には、生成部９２２は、取得部９２１が取得した撮像信号に対して、デモザイク処理、ホワイトバランス処理、ゲイン調整処理およびγ補正処理等を行って白色画像を生成する。より具体的には、生成部９２２は、光源装置３が白色光を生体組織に向けて照射した場合、取得部９２１が取得した撮像信号に対して、デモザイク処理等を行うことによって白色光画像を生成する。また、生成部９２２は、光源装置３が狭帯域光を生体組織に向けて照射した場合、取得部９２１が取得した撮像信号に含まれるＧ画素およびＢ画素の各々の信号値に対して画像処理を行って疑似カラー画像（特殊光画像の一つである狭帯域画像）である血管認識用画像を生成する。さらに、生成部９２２は、光源装置３が励起光を生体組織に向けて照射した場合、取得部９２１が取得した撮像信号に対して、デモザイク処理等を行うことによって蛍光画像を生成する。
　検出部９２３は、生成部９２２が生成した白色光画像と血管認識用画像と、に基づいて、白色光画像における血管領域を検出する。具体的には、検出部９２３は、生成部９２２が生成した血管認識用画像の特徴量に基づいて、白色光画像における血管領域を検出する。例えば、検出部９２３は、血管認識用画像に対して、周知技術の二値化処理またはエッジ抽出処理等を行って特徴量を抽出し、この抽出した特徴量に基づいて、白色光画像における血管領域を検出する。検出部９２３は、血管認識用画像の特徴量に基づいて、二値化処理等を行うことによって白色光画像における血管領域を検出しているが、これに限定されることなく、例えばディープラーニング（Deep　Learning）等の機械学習で複数の血管認識用画像を学習した学習済モデルを用いて白色画像における血管領域を検出してもよい。この場合、学習済モデルは、入力パラメータとして、複数の血管認識用画像と、この複数の血管認識用画像の各々に含まれる血管領域に対して画素アドレス等の位置指定を行ったアノテーション（Annotation）等を施した訓練データ（学習データ）を学習し、出力パラメータ（学習結果）として、白色光画像における血管領域の位置を検出して出力する。即ち、検出部９２３は、上述した学習済モデルを用いて、入力パラメータとして、白色光画像および血管認識用画像を入力し、出力パラメータとして白色光画像における血管領域の位置を出力するように構成してもよい。
　特定部９２４は、検出部９２３が検出した白色光画像の血管領域と、生成部９２２が生成した蛍光画像と、に基づいて、白色光画像の血管領域における熱変性情報を特定する。具体的には、特定部９２４は、白色光画像の血管領域に対応する蛍光画像の領域の各画素の信号値に基づいて、熱変性情報を特定する。
　合成部９２５は、特定部９２４が特定した熱変性情報を、検出部９２３が検出した白色光画像の血管領域に合成した合成画像を生成する。
　表示制御部９２６は、制御部９６の制御のもと、内視鏡システム１に関する各種の情報を表示装置７へ出力する。また、表示制御部９２６は、合成部９２５が生成した合成画像を表示装置７へ出力する。
　入力部９３は、内視鏡システム１に関する各種操作の入力を受け付け、受け付けた操作を制御部９５へ出力する。入力部９３は、マウス、フットスイッチ、キーボード、ボタン、スイッチおよびタッチパネル等を用いて構成される。
　記録部９４は、揮発性メモリ、不揮発性メモリ、ＳＳＤ（Solid　State　Drive）およびＨＤＤ（Hard　Disk　Drive）等やメモリカード等の記録媒体を用いて実現される。記録部９４は、内視鏡システム１の動作に必要な各種パラメータ等を含むデータを記録する。また、記録部９４は、内視鏡システム１を動作させるための各種プログラムを記録するプログラム記録部９４１を有する。
　制御部９５は、ＦＰＧＡまたはＣＰＵ等のハードウェアを有するプロセッサと、プロセッサが使用する一時的な記憶域であるメモリと、を用いて実現される。制御部９５は、内視鏡システム１を構成する各部を統括的に制御する。具体的には、制御部９５は、プログラム記録部９４１に記録されたプログラムをメモリの作業領域に読み出して実行し、プロセッサによるプログラムの実行を通じて各構成部等を制御することによって、ハードウェアとソフトウェアとが協働し、所定の目的に合致した機能モジュールを実現する。
　〔制御装置の処理〕
　次に、制御装置９が実行する処理について説明する。図１０は、制御装置９が実行する処理の概要を示すフローチャートである。
　まず、図１０に示すように、制御部９６は、光源装置３の第１の光源部３１を発光させて白色光を挿入部２に供給することによって生体組織に向けて白色光を照射させる（ステップＳ１０１）。
　続いて、制御部９６は、内視鏡カメラヘッド５の撮像素子５３に生体組織からの戻り光および生体組織からの反射光を撮像させる（ステップＳ１０２）。
　その後、取得部９２１は、内視鏡カメラヘッド５の撮像素子５３が撮像して生成した撮像信号を取得する（ステップＳ１０３）。
　続いて、生成部９２２は、取得部９２１が取得した撮像信号に基づいて、被検体内の白色光画像を生成する（ステップＳ１０４）。図１１は、生成部９２２が生成する白色光画像の一例を示す図である。図１１に示すように、生成部９２２は、取得部９２１が取得した撮像信号に対して、デモザイク処理、ホワイトバランス処理、ゲイン調整処理およびγ補正処理等を行って被検体内の生体組織における血管の血管領域Ｂ１を含む白色光画像Ｐ１を生成する。
　その後、制御部９６は、光源装置３の第２の光源部３２および第３の光源部３３の各々を発光させて狭帯域光（第１の狭帯域光および第２の狭帯域光）を挿入部２に供給することによって生体組織における血管認識するための狭帯域光を照射させる（ステップＳ１０５）。
　続いて、制御部９６は、内視鏡カメラヘッド５の撮像素子５３に生体組織からの戻り光および生体組織からの反射光を撮像させる（ステップＳ１０６）。
　その後、取得部９２１は、内視鏡カメラヘッド５の撮像素子５３から撮像信号を取得する（ステップＳ１０７）。
　続いて、生成部９２２は、取得部９２１が取得した撮像信号に基づいて、血管認識用画像を生成する（ステップＳ１０８）。具体的には、生成部９２２は、取得部９２１が取得した撮像信号に含まれるＧ画素およびＢ画素の各々の信号値に対して画像処理を行って疑似カラー画像（狭帯域画像）である血管認識用画像を生成する。この場合において、Ｇ画素の信号値には、被検体の粘膜深層情報が含まれる。また、Ｂ画素の信号値には、被検体の粘膜表層情報が含まれる。このため、生成部９２２は、撮像信号に含まれるＧ画素およびＢ画素の各々の信号値に対して、ゲインコントロール処理、画素補完処理および粘膜強調処理等の画像処理を行って疑似カラー画像である血管認識用画像を生成する。ここで、血管認識用画像とは、Ｇ画素の信号値およびＢ画素の信号値のみを用いて生成した画像である。なお、生成部９２２は、取得部９２１が取得した撮像信号に含まれるＲ画素の信号値を、血管認識用画像の生成に用いることなく、削除する。
　その後、検出部９２３は、生成部９２２が生成した白色光画像と血管認識用画像と、に基づいて、白色光画像における血管領域を検出する（ステップＳ１０９）。図１２は、検出部９２３が白色光画像における血管領域を検出した検出結果を模式的に示す図である。図１２に示すように、検出部９２３は、生成部９２２が生成した血管認識用画像の特徴量に基づいて、白色光画像Ｐ１における血管領域Ｂ１を検出する。例えば、検出部９２３は、血管認識用画像に対して、周知技術の二値化処理またはエッジ抽出処理等を行って特徴量を抽出し、この抽出した特徴量に基づいて、白色光画像Ｐ１における血管領域Ｂ１を検出する。この場合、検出部９２３は、血管認識用画像において検出した血管領域Ｂ１の画素アドレスに対応する白色光画像Ｐ１の画素アドレスの領域を、白色光画像Ｐ１の血管領域Ｂ１として検出する。
　続いて、制御部９６は、光源装置３の第３の光源部３３を発光させて励起光を挿入部２に供給することによって生体組織に向けて熱変性領域を発光させるための励起光を照射させる（ステップＳ１１０）。
　その後、制御部９６は、内視鏡カメラヘッド５の撮像素子５３に生体組織からの発光を撮像させる（ステップＳ１１１）。
　続いて、取得部９２１は、内視鏡カメラヘッド５の撮像素子５３から撮像信号を取得する（ステップＳ１１２）。
　その後、生成部９２２は、取得部９２１が取得した撮像信号に基づいて、蛍光画像を生成する（ステップＳ１１３）。
　続いて、特定部９２４は、検出部９２３が検出した白色光画像Ｐ１の血管領域Ｂ１と、生成部９２２が生成した蛍光画像と、に基づいて、白色光画像の血管領域における熱変性情報を特定する（ステップＳ１１４）。具体的には、特定部９２４は、白色光画像Ｐ１の血管領域Ｂ１に対応する蛍光画像の領域の各画素の信号値に基づいて、熱変性情報を特定する。
　図１３は、蛍光画像の信号値、熱変性程度および血管の熱凝固レベルの対応関係を模式的に示す図である。図１３に示すように、特定部９２４は、白色光画像Ｐ１の血管領域Ｂ１に対応する蛍光画像の領域の各画素の信号値に基づいて、熱変性情報として熱凝固レベルが低い領域を特定する。具体的には、特定部９２４は、白色光画像Ｐ１の血管領域Ｂ１に対応する蛍光画像の領域の画素毎に、信号値が所定値より小さいか否かを判定する。そして、特定部９２４は、白色光画像Ｐ１の血管領域Ｂ１に対応する蛍光画像の領域における信号値が所定値より小さい画素の領域を、熱凝固レベルが低い領域として特定する。これに対して、特定部９２４は、白色光画像Ｐ１の血管領域Ｂ１に対応する蛍光画像の領域における信号値が所定値より小さくない画素の領域、即ち、信号値が所定値以上の画素の領域を熱凝固レベルが高い領域として特定する。
　その後、合成部９２５は、特定部９２４が特定した熱変性情報を、検出部９２３が検出した白色光画像Ｐ１の血管領域Ｂ１に合成した合成画像を生成する（ステップＳ１１５）。図１４は、合成部９２５が生成する合成画像の一例を示す図である。図１４に示すように、合成部９２５は、特定部９２４が特定した熱変性情報Ｄ１，Ｄ２を、検出部９２３が検出した白色光画像Ｐ１の血管領域Ｂ１に合成した合成画像Ｐ２を生成する。この場合、合成部９２５は、検出部９２３が検出した白色光画像Ｐ１の血管領域Ｂ１の輪郭を合成画像Ｐ２に合成する。ここで、熱変性情報Ｄ１は、特定部９２４によって熱凝固レベルが所定値以上の高い領域である。さらに、熱変性情報Ｄ２は、特定部９２４によって熱凝固レベルが所定値より低い領域である。なお、図１４では、熱変性情報Ｄ１，Ｄ２を区別するため、異なるハッチングで表現している。即ち、合成部９２５は、熱変性情報Ｄ１および熱変性情報Ｄ２を互いに異なる色で検出部９２３が検出した白色光画像Ｐ１の血管領域Ｂ１に識別可能なように合成して合成画像Ｐ２を生成する。
　続いて、表示制御部９２６は、合成部９２５が生成した合成画像Ｐ２を表示装置７へ出力する（ステップＳ１１６）。これにより、術者は、血管領域Ｂ１の熱凝固レベルを自身の経験則に頼ることなく、直感的に把握することができる。
　その後、制御部９６は、入力部９３から内視鏡システム１による被検体の観察を終了する終了信号が入力されたか否かを判定する（ステップＳ１１７）。制御部９６によって入力部９３から内視鏡システム１による被検体の観察を終了する終了信号が入力されたと判定された場合（ステップＳ１１７：Ｙｅｓ）、内視鏡システム１は、本処理を終了する。これに対して、制御部９６によって入力部９３から内視鏡システム１による被検体の観察を終了する終了信号が入力されていないと判定された場合（ステップＳ１１７：Ｎｏ）、内視鏡システム１は、上述したステップＳ１０１へ戻る。
　以上説明した一実施の形態によれば、表示制御部９２６が特定部９２４によって特定された白色光画像Ｐ１の血管領域Ｂ１における熱変性情報を表示装置７へ出力するため、術者が血管への凝固変性の状態を把握することができる。
　また、一実施の形態によれば、表示制御部９２６が合成部９２５によって生成された合成画像Ｐ２を表示装置７へ出力するため、術者が血管への凝固変性の状態を直感的に把握することができる。
　また、一実施の形態によれば、特定部９２４が蛍光画像を構成する各画素の信号値に基づいて、熱変成情報を特定するため、熱変性が生じている領域を精度よく特定することができる。
　また、一実施の形態によれば、特定部９２４が白色光画像Ｐ１の血管領域Ｂ１に対応する蛍光画像の領域における信号値が所定値より小さい画素の領域を、熱凝固レベルが低い領域として特定するため、熱凝固レベルが高い領域と熱凝固レベルが低い領域とを識別して特定することができる。
　また、一実施の形態によれば、特定部９２４が白色光画像Ｐ１の血管領域Ｂ１における熱凝固レベルを特定するため、術者が最も所望する血管領域に対する熱変性の状態を提示することができる。
　なお、一実施の形態では、表示制御部９２６が特定部９２４によって特定された白色光画像Ｐ１の血管領域Ｂ１に、熱変性情報を重畳して表示装置７へ出力してもよい。
　また、一実施の形態では、検出部９２３は、生成部９２２が生成した白色光画像の特徴量から血管領域を特定してもよい。例えば、検出部９２３は、白色光画像に対して、特定成分、例えばＧ画素の信号値に対して、周知技術の二値化処理またはエッジ抽出処理等を行って特徴量を抽出し、この抽出した特徴量に基づいて、白色光画像における血管領域を検出してもよい。
　また、一実施の形態では、特殊光観察として、第１の狭帯域光（５３０ｎｍ～５５０ｎｍ）と第２の狭帯域光（４００ｎｍ～４３０ｎｍ）を含む狭帯域光を生体組織に照射する狭帯域光観察（ＮＢＩ）を用いていたが、これに限定されることなく、例えば他の特殊光観察であっても適用することができる。例えば、特殊光観察として、緑色の波長帯域の光と、琥珀色の波長帯域の光および赤色の波長帯域の光を含む特殊光を生体組織に照射し、粘膜等の深い部分にある血管および出血部分を把握可能な赤色光観察（ＲＤＩ：Red　Dichromatic　Imaging）であっても適用することができる。この場合、検出部９２３は、赤色光観察画像の血管認識用画像から血管領域を検出する。これにより、粘膜等の深い部分にある血管を容易に検出することができる。
（その他の実施の形態）
　上述した本開示の一実施の形態に係る内視鏡システムに開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本開示の一実施の形態に係る内視鏡システムに記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の一実施の形態に係る内視鏡システムで説明した構成要素を適宜組み合わせてもよい。
　また、本開示の一実施の形態に係る内視鏡システムでは、互いに有線によって接続されていたが、ネットワークを経由して無線によって接続してもよい。
　また、本開示の一実施の形態では、内視鏡システムが備える画像処理部９２の機能、即ち、取得部９２１と、生成部９２２と、検出部９２３と、特定部９２４と、合成部９２５と、表示制御部９２６の機能モジュールを、ネットワークで接続可能なサーバ等に設けてもよい。もちろん、機能モジュール毎にサーバを設けてもよい。
　また、本開示の一実施の形態では、経尿道的膀胱腫瘍切除術に用いられる例について説明したが、これに限定されることなく、例えばエネルギーデバイス等により病変を切除する種々の施術に適用することができる。
　また、本開示の一実施の形態に係る内視鏡システムでは、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
　なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
　以上、本願の一実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
１　内視鏡システム
２　挿入部
３　光源装置
４　ライトガイド
５　内視鏡カメラヘッド
６　第１の伝送ケーブル
７　表示装置
８　第２の伝送ケーブル
９　制御装置
１０　第３の伝送ケーブル
１１　医療用装置
１２　第４の伝送ケーブル
２１　接眼部
２２　光学系
２３　照明光学系
３０　集光レンズ
３１　第１の光源部
３２　第２の光源部
３３　光源制御部
５１　光学系
５２　駆動部
５３　撮像素子
５４　カットフィルタ
５５　Ａ／Ｄ変換部
５６　Ｐ／Ｓ変換部
５７　撮像記録部
５８　撮像制御部
６１　ビデオコネクタ
６２　カメラヘッドコネクタ
９１　Ｓ／Ｐ変換部
９２　画像処理部
９３　入力部
９４　記録部
９５　出力部
９６　制御部
１１１　通信Ｉ／Ｆ
１１３ａ　プログラム記録部
５１１　レンズ
５３１　画素部
５３２　カラーフィルタ
９２１　取得部
９２２　生成部
９２３　検出部
９２４　特定部
９２５　合成部
９２６　表示制御部

Claims (20)

  1. 　プロセッサを備える医療用装置であって、
    　前記プロセッサは、
    　被検体における血管の血管領域が特定された表示用画像と、少なくとも前記表示用画像の視野領域の一部と重なる蛍光画像と、を取得し、
    　前記表示用画像と、前記蛍光画像と、に基づいて、前記血管領域における熱変性情報を特定し、
    　前記熱変性情報を出力する、
    　医療用装置。
  2. 　請求項１に記載の医療用装置であって、
    　前記プロセッサは、
    　前記表示用画像の前記血管領域に、前記熱変性情報を合成した合成画像を生成し、
    　前記合成画像を出力する、
    　医療用装置。
  3. 　請求項１に記載の医療用装置であって、
    　前記プロセッサは、
    　前記表示用画像の前記血管領域に、前記熱変性情報を重畳して出力する、
    　医療用装置。
  4. 　請求項１に記載の医療用装置であって、
    　前記プロセッサは、
    　熱変性領域から発せられる蛍光を撮像した撮像信号を取得し、
    　前記撮像信号に基づいて、前記蛍光画像を生成する、
    　医療用装置。
  5. 　請求項４に記載の医療用装置であって、
    　前記蛍光は、
    　生体組織に熱処置を施すことによって生じる終末糖化産物から発せられる、
    　医療用装置。
  6. 　請求項１に記載の医療用装置であって、
    　前記プロセッサは、
    　前記蛍光画像を構成する各画素の信号値に基づいて、前記熱変性情報を特定する、
    　医療用装置。
  7. 　請求項６に記載の医療用装置であって、
    　前記プロセッサは、
    　前記蛍光画像を構成する各画素の信号値に基づいて、前記熱変性情報として熱凝固レベルが低い領域を特定する、
    　医療用装置。
  8. 　請求項７に記載の医療用装置であって、
    　前記プロセッサは、
    　前記蛍光画像を構成する画素毎に、前記信号値が所定値より小さいか否かを判定し、
    　前記信号値が所定値より小さい画素の領域を、前記熱凝固レベルが低い領域として特定する、
    　医療用装置。
  9. 　請求項８に記載の医療用装置であって、
    　前記プロセッサは、
    　前記血管領域における前記熱凝固レベルを特定する、
    　医療用装置。
  10. 　請求項９に記載の医療用装置であって、
    　前記プロセッサは、
    　前記熱凝固レベルが所定値より低い領域を、前記熱凝固レベルが所定値以上の高い領域と比して識別可能に出力する、
    　医療用装置。
  11. 　請求項１に記載の医療用装置であって、
    　前記表示用画像は、
    　白色光画像における特徴量から前記血管領域が特定された画像である、
    　医療用装置。
  12. 　請求項１に記載の医療用装置であって、
    　前記表示用画像は、
    　特殊光画像における特徴量から前記血管領域が特定された画像である、
    　医療用装置。
  13. 　請求項１に記載の医療用装置であって、
    　前記プロセッサは、
    　白色光画像と、前記白色光画像と同じ視野領域の血管認識用画像と、に基づいて、前記表示用画像を生成する、
    　医療用装置。
  14. 　請求項１に記載の医療用装置であって、
    　前記プロセッサは、
    　血管認識用画像を取得し、
    　前記血管認識用画像から特定された血管領域を、白色光画像に重畳して前記表示用画像を生成する、
    　医療用装置。
  15. 　請求項１４に記載の医療用装置であって、
    　前記血管認識用画像は、
    　血液の吸光度に基づいて決定された狭帯域光により取得された画像である、
    　医療用装置。
  16. 　請求項１５に記載の医療用装置であって、
    　前記血管認識用画像は、
    　狭帯域光観察画像である、
    　医療用装置。
  17. 　請求項１５に記載の医療用装置であって、
    　前記血管認識用画像は、
    　赤色光観察画像である、
    　医療用装置。
  18. 　光源装置と、撮像装置と、医療用装置と、を備える医療用システムであって、
    　前記光源装置は、
    　生体組織に熱処置を施すことによって生じる終末糖化産物を励起させる励起光を発光する光源を有し、
    　前記撮像装置は、
    　前記励起光によって発光する蛍光を撮像することによって撮像信号を生成する撮像素子を有し、
    　前記医療用装置は、
    　プロセッサを有し、
    　前記プロセッサは、
    　前記撮像素子から、被検体における血管の血管領域が特定された表示用画像と、少なくとも前記表示用画像の視野領域の一部と重なる蛍光画像と、を取得し、
    　前記表示用画像と、前記蛍光画像と、に基づいて、前記血管領域における熱変性情報を特定し、
    　前記熱変性情報を出力する、
    　医療用システム。
  19. 　プロセッサを備える医療用装置の作動方法であって、
    　前記プロセッサが、
    　被検体における血管の血管領域が特定された表示用画像と、少なくとも前記表示用画像の視野領域の一部と重なる蛍光画像と、を取得し、
    　前記表示用画像と、前記蛍光画像と、に基づいて、前記血管領域における熱変性情報を特定し、
    　前記熱変性情報を出力する、
    　医療用装置の作動方法。
  20. 　プロセッサを備える医療用装置が実行するプログラムであって、
    　前記プロセッサに、
    　被検体における血管の血管領域が特定された表示用画像と、少なくとも前記表示用画像の視野領域の一部と重なる蛍光画像と、を取得し、
    　前記表示用画像と、前記蛍光画像と、に基づいて、前記血管領域における熱変性情報を特定し、
    　前記熱変性情報を出力する、
    　ことを実行させる、
    　プログラム。
     
PCT/JP2023/004457 2023-02-09 2023-02-09 医療用装置、医療用システム、医療用装置の作動方法およびプログラム Ceased WO2024166330A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202380093397.0A CN120641024A (zh) 2023-02-09 2023-02-09 医疗用装置、医疗用系统、医疗用装置的工作方法以及程序
PCT/JP2023/004457 WO2024166330A1 (ja) 2023-02-09 2023-02-09 医療用装置、医療用システム、医療用装置の作動方法およびプログラム
US19/291,961 US20250352029A1 (en) 2023-02-09 2025-08-06 Medical device, medical system, operation method of medical device, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/004457 WO2024166330A1 (ja) 2023-02-09 2023-02-09 医療用装置、医療用システム、医療用装置の作動方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US19/291,961 Continuation US20250352029A1 (en) 2023-02-09 2025-08-06 Medical device, medical system, operation method of medical device, and computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2024166330A1 true WO2024166330A1 (ja) 2024-08-15

Family

ID=92262192

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/004457 Ceased WO2024166330A1 (ja) 2023-02-09 2023-02-09 医療用装置、医療用システム、医療用装置の作動方法およびプログラム

Country Status (3)

Country Link
US (1) US20250352029A1 (ja)
CN (1) CN120641024A (ja)
WO (1) WO2024166330A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020054723A1 (ja) * 2018-09-10 2020-03-19 オリンパス株式会社 熱侵襲観察装置，内視鏡システム，熱侵襲観察システム，熱侵襲観察方法
WO2021176737A1 (ja) * 2020-03-06 2021-09-10 オリンパス株式会社 医療用観察システムおよび医療用撮像装置
JP2022180108A (ja) * 2021-05-24 2022-12-06 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020054723A1 (ja) * 2018-09-10 2020-03-19 オリンパス株式会社 熱侵襲観察装置，内視鏡システム，熱侵襲観察システム，熱侵襲観察方法
WO2021176737A1 (ja) * 2020-03-06 2021-09-10 オリンパス株式会社 医療用観察システムおよび医療用撮像装置
JP2022180108A (ja) * 2021-05-24 2022-12-06 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法

Also Published As

Publication number Publication date
CN120641024A (zh) 2025-09-12
US20250352029A1 (en) 2025-11-20

Similar Documents

Publication Publication Date Title
JP5329593B2 (ja) 生体情報取得システムおよび生体情報取得システムの作動方法
US20230000330A1 (en) Medical observation system, medical imaging device and imaging method
US20230248209A1 (en) Assistant device, endoscopic system, assistant method, and computer-readable recording medium
JPWO2019235195A1 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP6230409B2 (ja) 内視鏡装置
US12121219B2 (en) Medical image processing device, medical imaging device, medical observation system, image processing method, and computer-readable recording medium
WO2024166330A1 (ja) 医療用装置、医療用システム、医療用装置の作動方法およびプログラム
US20250352032A1 (en) Medical device, medical system, learning device, method of operating medical device, and computer-readable recording medium
US20250359729A1 (en) Medical device, medical system, learning device, operation method of medical device, and computer-readable recording medium
US20250352028A1 (en) Medical device, medical system, learning device, method of operating medical device, and computer-readable recording medium
US20250352026A1 (en) Medical device, medical system, operation method of medical device, and computer-readable recording medium
US20250356490A1 (en) Assistance device, operation method of assistance device, computer-readable recording medium, medical system, and learning device
US20250352049A1 (en) Medical device, medical system, method of operating medical device, and computer-readable recording medium
US20250359741A1 (en) Medical device, medical system, medical device operation method, and computer-readable recording medium
WO2024166304A1 (ja) 画像処理装置、医療システム、画像処理装置の作動方法、及び学習装置
WO2024166311A1 (ja) 画像処理装置、医療システム、画像処理装置の作動方法、及び学習装置
US20250359728A1 (en) Control device, medical system, operation method of medical device, and computer-readable recording medium
US20180146845A1 (en) Marking method and resecting method
WO2024166309A1 (ja) 医療用装置、内視鏡システム、制御方法、制御プログラム、及び学習装置
WO2024166325A1 (ja) 医療用装置、内視鏡システム、制御方法、制御プログラム、及び学習装置
WO2024166306A1 (ja) 医療用装置、内視鏡システム、制御方法、制御プログラム、及び学習装置
WO2024166312A1 (ja) 医療用装置、内視鏡システム、制御方法、及び制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23921161

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202380093397.0

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 202380093397.0

Country of ref document: CN

122 Ep: pct application non-entry in european phase

Ref document number: 23921161

Country of ref document: EP

Kind code of ref document: A1