WO2024166329A1 - 支援装置、支援装置の作動方法、支援装置の作動プログラム、医療システム、及び学習装置 - Google Patents

支援装置、支援装置の作動方法、支援装置の作動プログラム、医療システム、及び学習装置 Download PDF

Info

Publication number
WO2024166329A1
WO2024166329A1 PCT/JP2023/004456 JP2023004456W WO2024166329A1 WO 2024166329 A1 WO2024166329 A1 WO 2024166329A1 JP 2023004456 W JP2023004456 W JP 2023004456W WO 2024166329 A1 WO2024166329 A1 WO 2024166329A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
light
blood vessel
distance
narrowband light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/004456
Other languages
English (en)
French (fr)
Inventor
恭央 谷上
裕介 大塚
典子 黒田
隆昭 五十嵐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to CN202380093519.6A priority Critical patent/CN120659571A/zh
Priority to JP2024576022A priority patent/JPWO2024166329A1/ja
Priority to PCT/JP2023/004456 priority patent/WO2024166329A1/ja
Publication of WO2024166329A1 publication Critical patent/WO2024166329A1/ja
Priority to US19/287,946 priority patent/US20250356490A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20041—Distance transform
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Definitions

  • the present invention relates to an assistance device, an operation method for an assistance device, an operation program for an assistance device, a medical system, and a learning device.
  • ESD endoscopic submucosal dissection
  • ESD involves using energy devices such as high-frequency knives to remove diseased tissue and perform thermal treatments such as coagulation.
  • the present invention has been made in consideration of the above, and aims to provide an assistance device that can easily recognize the distance between the area where heat treatment has been applied and the blood vessel, an operation method for the assistance device, an operation program for the assistance device, a medical system, and a learning device.
  • an assistance device includes a thermally denatured region extraction unit that extracts a thermally denatured region from a fluorescence image obtained by irradiating excitation light onto biological tissue and capturing the fluorescence, a vascular region extraction unit that extracts a vascular region from a narrowband light observation image obtained by irradiating narrowband light of a wavelength determined according to the absorption rate of hemoglobin onto biological tissue, and an output unit that outputs information according to the distance between the thermally denatured region and the vascular region.
  • the excitation light has a wavelength that excites the substance contained in the thermally denatured region.
  • the narrowband light is amber light.
  • the narrowband light is blue-violet light.
  • the narrowband light is green light.
  • the support device includes a calculation unit that calculates the distance between the thermally altered region and the blood vessel region.
  • the support device includes an adjustment unit that aligns the fluorescence image and the narrowband light observation image.
  • the adjustment unit extracts feature information from a first reference image captured by irradiating a reference light, which is narrowband light of a different wavelength than the narrowband light, under the imaging conditions under which the fluorescent image was captured, and a second reference image captured by irradiating the reference light under the imaging conditions under which the narrowband light observation image was captured, and aligns the fluorescent image and the narrowband light observation image based on the feature information.
  • the vascular region extraction unit extracts a deep vascular region from a first narrowband light observation image captured by irradiating amber light as the narrowband light, extracts a mid-layer vascular region from a second narrowband light observation image captured by irradiating green light as the narrowband light, and extracts a superficial vascular region from a third narrowband light observation image captured by irradiating blue-violet light as the narrowband light.
  • the output unit outputs information corresponding to two or more of the distance between the thermally denatured region and the deep vascular region, the distance between the thermally denatured region and the middle vascular region, or the distance between the thermally denatured region and the superficial vascular region.
  • the output unit outputs information corresponding to one distance selected from the distance between the thermally denatured region and the deep vascular region, the distance between the thermally denatured region and the middle vascular region, or the distance between the thermally denatured region and the superficial vascular region.
  • the thermally altered region extraction unit extracts pixels regarded as the thermally altered region in the fluorescence image
  • the blood vessel region extraction unit extracts pixels regarded as the blood vessel region in the narrowband light observation image
  • the calculation unit calculates the shortest distance between the pixels regarded as the thermally altered region and the pixels regarded as the blood vessel region.
  • the calculation unit calculates the depth of the thermally altered region from the fluorescence image, extracts the depth of the vascular region from the narrowband light observation image, and calculates the distance in the depth direction between the thermally altered region and the vascular region.
  • the output unit superimposes information corresponding to the distance between the thermally altered region and the vascular region on the display image.
  • the output unit outputs a display control signal that causes a display device to display the distance between the thermally denatured region and the blood vessel region.
  • the output unit outputs information notifying the user that the distance between the thermally altered region and the blood vessel region is equal to or less than a threshold value.
  • a method of operating the support device includes a thermally altered region extraction unit extracting a thermally altered region from a fluorescence image obtained by irradiating excitation light onto biological tissue and capturing fluorescence, a blood vessel region extraction unit extracting a blood vessel region from a narrowband light observation image obtained by irradiating narrowband light having a wavelength determined according to the absorption rate of hemoglobin onto biological tissue, and an output unit outputting information according to the distance between the thermally altered region and the blood vessel region.
  • the operating program of the support device causes the support device to extract a thermally altered region from a fluorescence image obtained by irradiating excitation light onto biological tissue and capturing the fluorescence, extract a blood vessel region from a narrowband light observation image obtained by irradiating narrowband light of a wavelength determined according to the absorption rate of hemoglobin onto biological tissue, and output information according to the distance between the thermally altered region and the blood vessel region.
  • a medical system includes a light source device that irradiates biological tissue with excitation light and also irradiates the biological tissue with narrowband light having a wavelength determined according to the absorption rate of hemoglobin; an endoscope that generates a first imaging signal obtained by irradiating the biological tissue with the excitation light and capturing fluorescence, and a second imaging signal obtained by irradiating the biological tissue with the narrowband light; and an image processing device that generates a fluorescent image from the first imaging signal and generates a narrowband light observation image from the second imaging signal, the image processing device having a thermally denatured region extraction unit that extracts a thermally denatured region from the fluorescent image, a vascular region extraction unit that extracts a vascular region from the narrowband light observation image, and an output unit that outputs information according to the distance between the thermally denatured region and the vascular region.
  • a learning device has a learning unit that generates a trained model by machine learning using teacher data in which input data are a fluorescence image obtained by irradiating excitation light onto biological tissue and capturing fluorescence, and a narrowband light observation image obtained by irradiating biological tissue with narrowband light having a wavelength determined according to the absorption rate of hemoglobin, and output data is information corresponding to the distance between a thermally denatured region extracted from the fluorescence image and a blood vessel region extracted from the narrowband light observation image.
  • the present invention provides an assistance device that can easily recognize the distance between the area where heat treatment has been applied and the blood vessel, an operation method for the assistance device, an operation program for the assistance device, a medical system, and a learning device.
  • FIG. 1 is a diagram illustrating a schematic diagram of an overall configuration of an endoscope system according to an embodiment.
  • FIG. 2 is a block diagram showing a functional configuration of a main part of an endoscope system according to an embodiment.
  • FIG. 3 is a diagram showing an example of a biological tissue of a subject.
  • FIG. 4 is a flowchart showing an outline of the process executed by the control device.
  • FIG. 5 is a diagram showing an example of a narrow band light observation image.
  • FIG. 6 is a diagram showing an example of a fluorescent image.
  • FIG. 7 is a diagram showing an image in which a narrow band light observation image and a fluorescent image are superimposed.
  • FIG. 8 is a diagram showing an example of biological tissue of a subject.
  • an endoscopic system having an endoscope with a flexible insertion section will be described, but the present disclosure is not limited to this and can also be applied to, for example, rigid endoscopes and surgical robots. Furthermore, the present disclosure is not limited to this embodiment. Furthermore, in describing the drawings, identical parts are denoted by the same reference numerals. Furthermore, it should be noted that the drawings are schematic, and the relationship between the thickness and width of each component, the ratio of each component, etc., differ from reality. Furthermore, the drawings include parts with different dimensions and ratios.
  • FIG. 1 is a diagram showing a schematic diagram of an overall configuration of an endoscope system according to an embodiment.
  • the endoscope system 1 shown in Fig. 1 captures images of the inside of a subject's body by inserting an insertion portion of an endoscope into a body cavity or lumen of a subject such as a patient, and displays a display image based on the captured image signal on a display device.
  • the endoscope system 1 includes an endoscope 2, a light source device 3, a control device 4, and a display device 5.
  • the endoscope 2 generates an imaging signal (RAW data) by imaging the inside of the subject's body, and outputs the generated imaging signal to the control device 4. Specifically, the endoscope 2 generates a first imaging signal by irradiating excitation light and imaging fluorescence, and a second imaging signal by irradiating narrowband light and imaging.
  • the endoscope 2 includes an insertion section 21, an operation section 22, and a universal cord 23.
  • the insertion section 21 is inserted into the subject.
  • the insertion section 21 has a flexible, elongated shape.
  • the insertion section 21 has a tip section 24 that incorporates an imaging element (described later), a freely bendable bending section 25 composed of multiple bending pieces, and a long, flexible flexible tube section 26 that is connected to the base end side of the bending section 25.
  • the tip 24 is made of glass fiber or the like.
  • the tip 24 forms a light guide path for the illumination light supplied from the control device 4 via the universal cord 23 and the operation unit 22, and also generates an image signal capturing the return light of the illumination light and outputs it to the control device 4.
  • the operation unit 22 has a bending knob 221 for bending the bending portion 25 in the up-down and left-right directions, a treatment tool insertion portion 222 for inserting a treatment tool, and a plurality of switches 223 which are an operation input portion for inputting, in addition to the control device 4, operation instruction signals for peripheral devices such as an air supply means, a water supply means, and a gas supply means, a pre-freeze signal for instructing the endoscope system 1 to take still images, or a switching signal for switching the observation mode of the endoscope system 1.
  • the treatment tool inserted from the treatment tool insertion portion 222 passes through a treatment tool channel (not shown) in the tip portion 24 and emerges from an opening (not shown).
  • the universal cord 23 incorporates at least a light guide and a light collecting cable consisting of one or more cables.
  • the collecting cable is a signal line for transmitting and receiving signals between the endoscope 2 and the control device 4, and includes a signal line for transmitting and receiving an imaging signal (RAW data) and a signal line for transmitting and receiving a timing signal (synchronization signal and clock signal) for driving the imaging element described below.
  • the universal cord 23 has a connector section 27 that is detachable from the control device 4, and a connector section 28 at the extended end of the coiled cable 27a that is detachable from the control device 4.
  • the light source device 3 irradiates the biological tissue with excitation light and also irradiates the biological tissue with narrowband light having a wavelength determined according to the absorption rate of hemoglobin.
  • the light source device 3 is connected to one end of the light guide of the endoscope 2, and supplies illumination light to be irradiated into the subject to the one end of the light guide under the control of the control device 4.
  • the light source device 3 is realized using one or more light sources, such as a light emitting diode (LED) light source, a xenon lamp, and a semiconductor laser element such as a laser diode (LD), a processor that is a processing device having hardware such as a field programmable gate array (FPGA) or a central processing unit (CPU), and a memory that is a temporary storage area used by the processor.
  • the light source device 3 and the control device 4 may be configured to communicate individually as shown in FIG. 1, or may be integrated.
  • the control device 4 controls each component of the endoscope system 1.
  • the control device 4 supplies illumination light for the endoscope 2 to irradiate the subject.
  • the control device 4 also performs various types of image processing on the imaging signal input from the endoscope 2 and outputs the signal to the display device 5.
  • the display device 5 under the control of the control device 4, displays an image based on a video signal input from the control device 4.
  • the display device 5 is realized using a display panel such as an organic EL (Electro Luminescence) panel or a liquid crystal panel.
  • Fig. 2 is a block diagram showing the functional configuration of the main parts of the endoscope system 1.
  • the endoscope 2 includes an illumination optical system 201, an imaging optical system 202, a cut filter 203, an imaging element 204, an A/D conversion unit 205, a P/S conversion unit 206, an imaging recording unit 207, and an imaging control unit 208.
  • Each of the illumination optical system 201, the imaging optical system 202, the cut filter 203, the imaging element 204, the A/D conversion unit 205, the P/S conversion unit 206, the imaging recording unit 207, and the imaging control unit 208 is disposed within the tip portion 24.
  • the illumination optical system 201 irradiates the subject (biological tissue) with illumination light supplied from a light guide 231 formed of an optical fiber or the like.
  • the illumination optical system 201 is realized using one or more lenses or the like.
  • the imaging optical system 202 focuses light such as reflected light from the subject, return light from the subject, and fluorescence emitted by the subject, to form an image of the subject (light rays) on the light receiving surface of the image sensor 204.
  • the imaging optical system 202 is realized using one or more lenses, etc.
  • the cut filter 203 is disposed on the optical axis O1 between the imaging optical system 202 and the imaging element 204.
  • the cut filter 203 blocks light in the wavelength band of the excitation light reflected or returned from the subject, which is supplied from the control device 4 described later, and transmits light in a wavelength band longer than the wavelength band of the excitation light.
  • the cut filter 203 also transmits light in the wavelength band of the narrowband light reflected or returned from the subject, which is supplied from the control device 4 described later.
  • the imaging element 204 Under the control of the imaging control unit 208, the imaging element 204 receives the subject image (light rays) formed by the imaging optical system 202 and transmitted through the cut filter 203, performs photoelectric conversion to generate an imaging signal (RAW data), and outputs it to the A/D conversion unit 205.
  • the imaging element 204 is realized using a CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor) image sensor in which one of the color filters constituting a Bayer array (RGGB) is arranged on each of a plurality of pixels arranged in a two-dimensional matrix.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the A/D conversion unit 205 Under the control of the imaging control unit 208, the A/D conversion unit 205 performs A/D conversion processing on the analog imaging signal input from the imaging element 204 and outputs the result to the P/S conversion unit 206.
  • the A/D conversion unit 205 is realized using an A/D conversion circuit, etc.
  • the P/S conversion unit 206 performs parallel/serial conversion on the digital imaging signal input from the A/D conversion unit 205 under the control of the imaging control unit 208, and outputs the parallel/serial converted imaging signal to the control device 4 via the first transmission cable 232.
  • the P/S conversion unit 206 is realized using a P/S conversion circuit or the like. Note that in the first embodiment, instead of the P/S conversion unit 206, an E/O conversion unit that converts the imaging signal into an optical signal may be provided, and the imaging signal may be output to the control device 4 by the optical signal, or the imaging signal may be transmitted to the control device 4 by wireless communication such as Wi-Fi (Wireless Fidelity) (registered trademark).
  • Wi-Fi Wireless Fidelity
  • the imaging and recording unit 207 records various information related to the endoscope 2 (e.g., pixel information of the imaging element 204, characteristics of the cut filter 203).
  • the imaging and recording unit 207 also records various setting data and control parameters transmitted from the control device 4 via the second transmission cable 233.
  • the imaging and recording unit 207 is configured using a non-volatile memory and a volatile memory.
  • the imaging control unit 208 controls the operation of the imaging element 204, the A/D conversion unit 205, and the P/S conversion unit 206 based on the setting data received from the control device 4 via the second transmission cable 233.
  • the imaging control unit 208 is realized using a TG (Timing Generator), a processor which is a processing device having hardware such as a CPU, and a memory which is a temporary storage area used by the processor.
  • the light source device 3 includes a condenser lens 30 , a first light source unit 31 , a second light source unit 32 , and a light source control unit 33 .
  • the focusing lens 30 focuses the light emitted by each of the first light source unit 31 and the second light source unit 32 and emits the light to the light guide 231.
  • the focusing lens 30 is composed of one or more lenses.
  • the first light source unit 31 emits narrowband light under the control of the light source control unit 33 to supply narrowband light to the light guide 231.
  • the narrowband light is, for example, amber light having a peak wavelength in the wavelength band of 580 nm to 620 nm, but may also be blue-violet light having a peak wavelength in the wavelength band of 390 nm to 430 nm, or green light having a peak wavelength in the wavelength band of 500 nm to 550 nm, and may include light of two or more wavelength bands.
  • the first light source unit 31 is configured using a collimating lens, an LED (Light Emitting Diode) or an LD (Laser Diode), a driver, etc.
  • the second light source unit 32 emits excitation light having a predetermined wavelength band under the control of the light source control unit 33, thereby supplying narrowband light as illumination light to the light guide 231.
  • the excitation light has a wavelength that excites substances such as advanced glycation end products (AGEs) contained in the thermally denatured region, and has a wavelength band of, for example, 400 nm to 430 nm (center wavelength 415 nm).
  • the thermally denatured region is a region in which biological tissue is denatured by heat as a result of thermal treatment performed by an energy device such as a high-frequency knife.
  • the excitation light irradiated by the second light source unit 32 is blocked by the cut filter 203, and the fluorescence (wavelength 540 nm) generated from the AGEs passes through the cut filter 203, so that a fluorescent image can be captured.
  • the second light source unit 32 is realized using a collimating lens, a semiconductor laser such as a violet LD (Laser Diode), a driver, etc.
  • the light source control unit 33 is configured using a processor, which is a processing device having hardware such as an FPGA (Field-Programmable Gate Array) or a CPU (Central Processing Unit), and a memory, which is a temporary storage area used by the processor.
  • the light source control unit 33 controls the light emission timing, light emission intensity, light emission time, etc. of each of the first light source unit 31 and the second light source unit 32 based on control data input from the control unit 405.
  • the control device 4 includes an S/P conversion unit 401 , an image processing unit 402 , an input unit 403 , a recording unit 404 , and a control unit 405 .
  • the S/P conversion unit 401 performs serial/parallel conversion on the imaging signal received from the endoscope 2 via the first transmission cable 232 and outputs it to the image processing unit 402.
  • the endoscope 2 outputs the imaging signal as an optical signal
  • an O/E conversion unit that converts the optical signal into an electrical signal may be provided instead of the S/P conversion unit 401.
  • a communication module capable of receiving wireless signals may be provided instead of the S/P conversion unit 401.
  • the image processing unit 402 is realized by using a processor having hardware such as a CPU, a GPU (Graphics Processing Unit) or an FPGA, and a memory that is a temporary storage area used by the processor. Under the control of the control unit 405, the image processing unit 402 performs a predetermined image processing on the imaging signal input from the S/P conversion unit 401 and outputs the result to the display device 5. In one embodiment, the image processing unit 402 functions as a support device and an image processing device. The image processing unit 402 generates a fluorescent image from the first imaging signal and generates a narrowband light observation image from the second imaging signal.
  • the image processing unit 402 has an image generation unit 402a, a thermal denaturation region extraction unit 402b, a blood vessel region extraction unit 402c, an adjustment unit 402d, a calculation unit 402e, and an output unit 402f.
  • the image generating unit 402a generates a fluorescence image from a first imaging signal obtained by capturing fluorescence by irradiating excitation light from the second light source unit 32.
  • the image generating unit 402a also generates a narrowband light observation image from a second imaging signal obtained by irradiating narrowband light from the first light source unit 31.
  • the thermally altered region extraction unit 402b extracts a thermally altered region from a fluorescence image captured by irradiating excitation light onto biological tissue.
  • the thermally altered region extraction unit 402b extracts, as a thermally altered region, a region whose brightness is equal to or exceeds a threshold value due to fluorescence generated by AGEs from a fluorescence image captured by irradiating excitation light onto biological tissue.
  • the blood vessel region extraction unit 402c extracts blood vessel regions from narrowband light observation images captured by irradiating biological tissue with narrowband light of a wavelength determined according to the absorption rate of hemoglobin. For example, amber light has a higher absorption rate in hemoglobin than red light, has a longer wavelength than green light, and reaches deeper, making it easier to observe deep blood vessels than with normal light. In the narrowband light observation image captured by irradiating amber light, the blood vessel region extraction unit 402c extracts, as deep blood vessel regions, regions where the brightness of the amber light is below a threshold due to absorption by hemoglobin.
  • the adjustment unit 402d aligns the fluorescent image and the narrowband light observation image.
  • the adjustment unit 402d aligns the positions of feature points in the fluorescent image (characteristic points of the image, such as the edge of a lesion or a bleeding point) and feature points in the narrowband light observation image so that their positions correspond to each other.
  • the adjustment unit 402d may also extract feature information from a first reference image captured by irradiating a reference light, which is narrowband light with a wavelength different from the narrowband light, under the imaging conditions under which the fluorescent image was captured, and a second reference image captured by irradiating a reference light under the imaging conditions under which the narrowband light observation image was captured, and align the fluorescent image and the narrowband light observation image based on the feature information.
  • the wavelength of the reference light is not particularly limited.
  • the feature information is, for example, position information of the feature points.
  • the calculation unit 402e calculates the distance between the thermally denatured region and the blood vessel region.
  • the output unit 402f outputs information according to the distance between the thermally denatured region and the blood vessel region.
  • the output unit 402f outputs, for example, a display control signal superimposed on a display image that causes the display device 5 to display the distance between the thermally denatured region and the blood vessel region.
  • the output unit 402f may also output information notifying that the distance between the thermally denatured region and the blood vessel region is equal to or less than a threshold value. For example, when the distance between the thermally denatured region and the blood vessel region is equal to or less than a threshold value, the output unit 402f may output a display control signal that notifies by superimposing a warning using a color or mark on a display image that is displayed on the display device 5.
  • the input unit 403 receives inputs of various operations related to the endoscope system 1 and outputs the received operations to the control unit 405.
  • the input unit 403 is configured using a mouse, a foot switch, a keyboard, buttons, switches, a touch panel, etc.
  • the recording unit 404 is realized using a recording medium such as a volatile memory, a non-volatile memory, an SSD (Solid State Drive), an HDD (Hard Disk Drive), or a memory card.
  • the recording unit 404 records data including various parameters necessary for the operation of the endoscope system 1.
  • the recording unit 404 also has a program recording unit 404a that records various programs for operating the endoscope system 1.
  • the control unit 405 is realized using a processor having hardware such as an FPGA or a CPU, and a memory that is a temporary storage area used by the processor.
  • the control unit 405 comprehensively controls each part that constitutes the endoscope system 1.
  • FIG. 3 is a diagram showing an example of a biological tissue of a subject.
  • the subject has a blood vessel region A1.
  • a thermal treatment such as lesion resection is performed on a surface S of the biological tissue of the subject by an energy device, the resection surface is denatured by heat, and a thermally denatured region A2 is formed.
  • the control device 4 causes the display device 5 to display a distance L1 between the blood vessel region A1 and the thermally denatured region A2 in the horizontal direction (the direction along the surface S) will be described.
  • FIG. 4 is a flowchart showing an outline of the processing executed by the control device.
  • the image generating unit 402a generates a narrowband light observation image from a second imaging signal captured by irradiating narrowband light from the first light source unit 31 onto biological tissue (step S1).
  • FIG. 5 is a diagram showing an example of a narrowband light observation image. As shown in FIG. 5, the vascular region extraction unit 402c extracts pixels that are deemed to be a hatched vascular region B1 in the narrowband light observation image I1. The vascular region extraction unit 402c extracts pixels in the narrowband light observation image I1 whose brightness is below a threshold due to absorption by hemoglobin as the vascular region B1.
  • the image generating unit 402a generates a fluorescence image from the first imaging signal obtained by irradiating the biological tissue with excitation light from the second light source unit 32 and capturing the fluorescence (step S3).
  • the thermally altered region extraction unit 402b extracts the thermally altered region from the fluorescence image obtained by irradiating the biological tissue with excitation light and capturing the fluorescence (step S4).
  • FIG. 6 is a diagram showing an example of a fluorescence image. As shown in FIG. 6, the thermally altered region extraction unit 402b extracts pixels that are deemed to be the thermally altered region B2, which is hatched, in the fluorescence image I2. The thermally altered region extraction unit 402b extracts pixels in the fluorescence image I2 whose brightness is equal to or exceeds a threshold value due to fluorescence from AGEs as the thermally altered region B2.
  • FIG. 7 is a diagram showing an image in which the narrowband light observation image and the fluorescence image are superimposed. As shown in FIG. 7, the adjustment unit 402d generates a superimposed image I3 in which the narrowband light observation image I1 and the fluorescence image I2 are superimposed such that the positions of the feature points in the narrowband light observation image I1 and the feature points in the fluorescence image I2 overlap.
  • the calculation unit 402e calculates the distance between the thermally denatured region B2 and the blood vessel region B1 (step S6).
  • the distance L2 corresponds to the size of one pixel in the superimposed image I3.
  • the calculation unit 402e calculates the distance L1 using the distance L2. In other words, the calculation unit 402e estimates the actual distance between the thermally denatured region and the blood vessels of the subject from the distance L1 between the blood vessel region B1 and the thermally denatured region B2 in the superimposed image I3.
  • the output unit 402f outputs information according to the distance between the thermally denatured region B2 and the blood vessel region B1 (step S7).
  • the output unit 402f outputs, for example, a display control signal that causes the display device 5 to display the distance between the thermally denatured region B2 and the blood vessel region B1.
  • information according to the distance between the thermally altered region B2 and the blood vessel region B1 is output based on the narrowband light observation image I1 and the fluorescence image I2, so the surgeon can easily recognize the distance between the region that has been subjected to thermal treatment and the blood vessel.
  • FIG. 8 is a diagram showing an example of a biological tissue of a subject. As shown in Fig. 8, a blood vessel region A11 is present deep inside the subject. When a thermal treatment such as lesion resection is performed on the surface S of the biological tissue of the subject by an energy device, the resection surface is denatured by heat, and a thermally denatured region A12 is formed. At this time, the control device 4 may cause the display device 5 to display the depthwise distance L11 between the blood vessel region A11 and the thermally denatured region A12.
  • the depthwise direction means a direction perpendicular to the surface S of the biological tissue.
  • the calculation unit 402e calculates the depth of the thermally altered region A12 from the fluorescent image. Since there is a correlation between the depth of the thermally altered region A12 and the brightness of the fluorescent image, the calculation unit 402e can estimate the depth of the thermally altered region A12 from the brightness of the fluorescent image based on the correlation obtained in advance by measurement.
  • the calculation unit 402e also extracts the depth of the vascular region A11 from the narrowband light observation image.
  • the calculation unit 402e extracts the deep vascular region from a first narrowband light observation image captured by irradiating amber light as the narrowband light, extracts the mid-layer vascular region from a second narrowband light observation image captured by irradiating green light as the narrowband light, and extracts the superficial vascular region from a third narrowband light observation image captured by irradiating blue-violet light as the narrowband light.
  • the calculation unit 402e can then estimate the depth of the vascular region A11 from the deep to superficial vascular regions.
  • the calculation unit 402e calculates the distance in the depth direction between the thermally altered region A12 and the blood vessel region A11.
  • the output unit 402f outputs information according to the distance L11 between the thermally denatured region A12 and the blood vessel region A11.
  • the output unit 402f outputs, for example, a display control signal that causes the display device 5 to display the distance L11 in the depth direction between the thermally denatured region A12 and the blood vessel region A11.
  • information corresponding to the depthwise distance L11 between the thermally altered area A12 and the blood vessel area A11 is output based on the narrowband light observation image and the fluorescence image, so the surgeon can easily recognize the distance between the area that has been subjected to thermal treatment and the blood vessel.
  • the adjustment unit 402d may extract feature information from a first reference image captured by irradiating reference light, which is narrowband light with a wavelength different from the narrowband light, under the imaging conditions under which the fluorescent image was captured, and a second reference image captured by irradiating reference light under the imaging conditions under which the narrowband light observation image was captured, and align the fluorescent image and narrowband light observation image based on the feature information.
  • the wavelength of the reference light is not particularly limited.
  • the feature information is, for example, position information of a feature point.
  • the vascular region extraction unit 402c may also extract a deep vascular region from a first narrowband light observation image captured by irradiating amber light as the narrowband light, extract a mid-layer vascular region from a second narrowband light observation image captured by irradiating green light as the narrowband light, and extract a superficial vascular region from a third narrowband light observation image captured by irradiating blue-violet light as the narrowband light.
  • the output unit 402f outputs information corresponding to two or more of the distance between the thermally denatured region and the deep vascular region, the distance between the thermally denatured region and the middle vascular region, or the distance between the thermally denatured region and the superficial vascular region.
  • the surgeon can recognize the distance between the thermally denatured region and the vascular region in two or more layers selected from the deep to superficial layers.
  • the output unit 402f may also output information corresponding to one distance selected from the distance between the thermally denatured region and the deep vascular region, the distance between the thermally denatured region and the mid-layer vascular region, or the distance between the thermally denatured region and the superficial vascular region. As a result, the surgeon can recognize the distance between the thermally denatured region and the vascular region in one selected layer from the deep to superficial layers.
  • the control unit 405 may also have a function as a learning unit of a learning device.
  • the control unit 405 may generate a trained model by machine learning using teacher data in which a fluorescent image obtained by irradiating excitation light to a biological tissue and capturing fluorescence and a narrowband light observation image obtained by irradiating a biological tissue with narrowband light having a wavelength determined according to the absorption rate of hemoglobin are input data, and information corresponding to the distance between the thermally denatured region extracted from the fluorescent image and the blood vessel region extracted from the narrowband light observation image is output data.
  • the trained model is composed of a neural network in which each layer has one or more nodes.
  • the type of machine learning is not particularly limited, but it is sufficient that, for example, teacher data and training data in which fluorescent images and narrowband light observation images of multiple subjects are associated with the distance between the thermally denatured region and the blood vessel region calculated from the multiple fluorescent images and narrowband light observation images are prepared, and the teacher data and training data are input into a calculation model based on a multilayer neural network for training.
  • a machine learning technique for example, a technique based on a deep neural network (DNN), which is a multi-layer neural network such as a convolutional neural network (CNN) or a 3D-CNN, may be used.
  • DNN deep neural network
  • CNN convolutional neural network
  • 3D-CNN 3D-CNN
  • a technique based on a recurrent neural network (RNN) or long short-term memory units (LSTM), which is an extension of an RNN may also be used.
  • RNN recurrent neural network
  • LSTM long short-term memory units
  • a learning unit of a learning device different from the control device 4 may execute these functions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Plasma & Fusion (AREA)
  • Otolaryngology (AREA)
  • Endoscopes (AREA)

Abstract

支援装置は、励起光を生体組織に照射して蛍光を撮像した蛍光画像から熱変性領域を抽出する熱変性領域抽出部と、ヘモグロビンの吸収率に応じて定めた波長の狭帯域光を生体組織に照射して撮像した狭帯域光観察画像から血管領域を抽出する血管領域抽出部と、前記熱変性領域と前記血管領域との距離に応じた情報を出力する出力部と、を備える。これにより、熱処置が施された領域と血管との距離を容易に認識することができる支援装置を提供する。

Description

支援装置、支援装置の作動方法、支援装置の作動プログラム、医療システム、及び学習装置
　本発明は、支援装置、支援装置の作動方法、支援装置の作動プログラム、医療システム、及び学習装置に関する。
　近年、医療分野では、内視鏡及び腹腔鏡等を用いた低侵襲治療が広く行われるようになっている。例えば、内視鏡及び腹腔鏡等を用いた低侵襲治療としては、内視鏡的粘膜下層剥離術（ＥＳＤ：Ｅｎｄｏｓｃｏｐｉｃ　Ｓｕｂｍｕｃｏｓａｌ　Ｄｉｓｓｅｃｔｉｏｎ）が広く行われている。
　ＥＳＤでは、高周波ナイフ等のエネルギーデバイスを用いて病変組織の切除及び凝固等の熱処置を行う。
　また、内視鏡を用いた手術において、血管の位置を推定する技術が知られている（例えば、特許文献１参照）。
特開２０１２－１３０５０６号公報
　しかしながら、エネルギーデバイスによって熱処置が施された領域は、術者が目視や触覚及び勘等に頼って確認を行っているのが実情である。このため、熱処置が施された領域と血管との距離を認識可能とする技術が求められていた。
　本発明は、上記に鑑みてなされたものであって、熱処置が施された領域と血管との距離を容易に認識することができる支援装置、支援装置の作動方法、支援装置の作動プログラム、医療システム、及び学習装置を提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明の一態様に係る支援装置は、励起光を生体組織に照射して蛍光を撮像した蛍光画像から熱変性領域を抽出する熱変性領域抽出部と、ヘモグロビンの吸収率に応じて定めた波長の狭帯域光を生体組織に照射して撮像した狭帯域光観察画像から血管領域を抽出する血管領域抽出部と、前記熱変性領域と前記血管領域との距離に応じた情報を出力する出力部と、を備える。
　また、本発明の一態様に係る支援装置は、前記励起光は、前記熱変性領域が含有する物質を励起する波長である。
　また、本発明の一態様に係る支援装置は、前記狭帯域光は、琥珀色光である。
　また、本発明の一態様に係る支援装置は、前記狭帯域光は、青紫光である。
　また、本発明の一態様に係る支援装置は、前記狭帯域光は、緑色光である。
　また、本発明の一態様に係る支援装置は、前記熱変性領域と前記血管領域との距離を算出する算出部を備える。
　また、本発明の一態様に係る支援装置は、前記蛍光画像と前記狭帯域光観察画像との位置合わせを行う調整部を備える。
　また、本発明の一態様に係る支援装置は、前記調整部は、前記蛍光画像を撮像した撮像条件のもと、前記狭帯域光とは異なる波長の狭帯域光である基準光を照射して撮像した第１基準画像と、前記狭帯域光観察画像を撮像した撮像条件のもと、前記基準光を照射して撮像した第２基準画像と、における特徴情報を抽出し、前記特徴情報に基づいて、前記蛍光画像と前記狭帯域光観察画像との位置合わせを行う。
　また、本発明の一態様に係る支援装置は、前記血管領域抽出部は、前記狭帯域光として琥珀色光を照射して撮像した第１狭帯域光観察画像から深層血管領域を抽出し、前記狭帯域光として緑色光を照射して撮像した第２狭帯域光観察画像から中層血管領域を抽出し、前記狭帯域光として青紫光を照射して撮像した第３狭帯域光観察画像から表層血管領域を抽出する。
　また、本発明の一態様に係る支援装置は、前記出力部は、前記熱変性領域と前記深層血管領域との距離、前記熱変性領域と前記中層血管領域との距離、又は、前記熱変性領域と前記表層血管領域との距離のうち、いずれか２つ以上の距離に応じた情報を出力する。
　また、本発明の一態様に係る支援装置は、前記出力部は、前記熱変性領域と前記深層血管領域との距離、前記熱変性領域と前記中層血管領域との距離、又は、前記熱変性領域と前記表層血管領域との距離から選択された１つの距離に応じた情報を出力する。
　また、本発明の一態様に係る支援装置は、前記熱変性領域抽出部は、前記蛍光画像において前記熱変性領域とみなす画素を抽出し、前記血管領域抽出部は、前記狭帯域光観察画像において前記血管領域とみなす画素を抽出し、前記算出部は、前記熱変性領域とみなされた画素と前記血管領域とみなされた画素との間の最短距離を算出する。
　また、本発明の一態様に係る支援装置は、前記算出部は、前記蛍光画像から前記熱変性領域の深度を算出し、前記狭帯域光観察画像から前記血管領域の深度を抽出し、前記熱変性領域と前記血管領域との深度方向における距離を算出する。
　また、本発明の一態様に係る支援装置は、前記出力部は、前記熱変性領域と前記血管領域との距離に応じた情報を表示画像上に重畳する。
　また、本発明の一態様に係る支援装置は、前記出力部は、前記熱変性領域と前記血管領域との距離を表示装置に表示させる表示制御信号を出力する。
　また、本発明の一態様に係る支援装置は、前記出力部は、前記熱変性領域と前記血管領域との距離が閾値以下であることを報知する情報を出力する。
　また、本発明の一態様に係る支援装置の作動方法は、熱変性領域抽出部が、励起光を生体組織に照射して蛍光を撮像した蛍光画像から熱変性領域を抽出し、血管領域抽出部が、ヘモグロビンの吸収率に応じて定めた波長の狭帯域光を生体組織に照射して撮像した狭帯域光観察画像から血管領域を抽出し、出力部が、前記熱変性領域と前記血管領域との距離に応じた情報を出力することを含む。
　また、本発明の一態様に係る支援装置の作動プログラムは、励起光を生体組織に照射して蛍光を撮像した蛍光画像から熱変性領域を抽出し、ヘモグロビンの吸収率に応じて定めた波長の狭帯域光を生体組織に照射して撮像した狭帯域光観察画像から血管領域を抽出し、前記熱変性領域と前記血管領域との距離に応じた情報を出力することを支援装置に実行させる。
　また、本発明の一態様に係る医療システムは、励起光を生体組織に照射するとともに、ヘモグロビンの吸収率に応じて定めた波長の狭帯域光を生体組織に照射する光源装置と、前記励起光を生体組織に照射して蛍光を撮像した第１撮像信号、及び前記狭帯域光を生体組織に照射して撮像した第２撮像信号を生成する内視鏡と、前記第１撮像信号から蛍光画像を生成し、前記第２撮像信号から狭帯域光観察画像を生成する画像処理装置と、を備え、前記画像処理装置は、前記蛍光画像から熱変性領域を抽出する熱変性領域抽出部と、前記狭帯域光観察画像から血管領域を抽出する血管領域抽出部と、前記熱変性領域と前記血管領域との距離に応じた情報を出力する出力部と、を有する。
　また、本発明の一態様に係る学習装置は、励起光を生体組織に照射して蛍光を撮像した蛍光画像と、ヘモグロビンの吸収率に応じて定めた波長の狭帯域光を生体組織に照射して撮像した狭帯域光観察画像と、を入力データとし、前記蛍光画像から抽出した熱変性領域と前記狭帯域光観察画像から抽出した血管領域との距離に応じた情報を出力データとする教師データを用いて機械学習することにより学習済みモデルを生成する学習部を備える。
　本発明によれば、熱処置が施された領域と血管との距離を容易に認識することができる支援装置、支援装置の作動方法、支援装置の作動プログラム、医療システム、及び学習装置を実現することができる。
図１は、一実施の形態に係る内視鏡システムの全体構成を模式的に示す図である。 図２は、一実施の形態に係る内視鏡システムの要部の機能構成を示すブロック図である。 図３は、被検体の生体組織の一例を示す図である。 図４は、制御装置が実行する処理の概要を示すフローチャートである。 図５は、狭帯域光観察画像の一例を示す図である。 図６は、蛍光画像の一例を示す図である。 図７は、狭帯域光観察画像と蛍光画像とを重畳した画像を示す図である。 図８は、被検体の生体組織の一例を示す図である。
　以下、本開示を実施するための形態（以下、「実施の形態」という）として、挿入部が軟性の内視鏡を有する内視鏡システムについて説明するが、これに限定されることなく、例えば硬性鏡及び手術ロボット等であっても適用することができる。また、この実施の形態により、本開示が限定されるものでない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。さらにまた、図面は、模式的なものであり、各部材の厚みと幅との関係、各部材の比率等は、現実と異なることに留意する必要がある。また、図面の相互間においても、互いの寸法や比率が異なる部分が含まれる。
　〔内視鏡システムの構成〕
　図１は、一実施の形態に係る内視鏡システムの全体構成を模式的に示す図である。図１に示す内視鏡システム１は、患者等の被検体の体腔や管腔内へ内視鏡の挿入部を挿入することによって被検体の体内を撮像し、この撮像した撮像信号に基づく表示画像を表示装置に表示する。内視鏡システム１は、内視鏡２と、光源装置３と、制御装置４と、表示装置５と、を備える。
　〔内視鏡の構成〕
　まず、内視鏡２の構成について説明する。
　内視鏡２は、被検体の体内を撮像した撮像信号（ＲＡＷデータ）を生成し、この生成した撮像信号を制御装置４へ出力する。具体的には、内視鏡２は、励起光を照射して蛍光を撮像した第１撮像信号、及び狭帯域光を照射して撮像した第２撮像信号を生成する。内視鏡２は、挿入部２１と、操作部２２と、ユニバーサルコード２３と、を備える。
　挿入部２１は、被検体内に挿入される。挿入部２１は、可撓性を有する細長形状をなす。挿入部２１は、後述する撮像素子を内蔵した先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端側に接続され、可撓性を有する長尺状の可撓管部２６と、を有する。
　先端部２４は、グラスファイバ等を用いて構成される。先端部２４は、ユニバーサルコード２３及び操作部２２を経由して制御装置４から供給された照明光の導光路をなし、かつ、照明光の戻り光を撮像した撮像信号を生成して制御装置４へ出力する。
　操作部２２は、湾曲部２５を上下方向及び左右方向に湾曲させる湾曲ノブ２２１と、体処置具を挿入する処置具挿入部２２２と、制御装置４に加えて、送気手段、送水手段、送ガス手段等の周辺機器の操作指示信号や内視鏡システム１に静止画撮影を指示するプリフリーズ信号又は内視鏡システム１の観察モードを切り替える切替信号を入力する操作入力部である複数のスイッチ２２３と、を有する。処置具挿入部２２２から挿入される処置具は、先端部２４の処置具チャンネル（図示せず）を経由して開口部（図示せず）から表出する。
　ユニバーサルコード２３は、ライトガイドと、１又は複数のケーブルをまとめた集光ケーブルと、を少なくとも内蔵している。集合ケーブルは、内視鏡２及び制御装置４の間で信号を送受信する信号線であって、撮像信号（ＲＡＷデータ）を送受信するための信号線及び後述する撮像素子を駆動するための駆動用のタイミング信号（同期信号及びクロック信号）を送受信するための信号線老を含む。ユニバーサルコード２３は、制御装置４に着脱自在なコネクタ部２７と、コイル状のコイルケーブル２７ａが延設し、コイルケーブル２７ａの延出端に制御装置４に着脱自在なコネクタ部２８と、を有する。
　〔光源装置の構成〕
　次に、光源装置の構成について説明する。
　光源装置３は、励起光を生体組織に照射するとともに、ヘモグロビンの吸収率に応じて定めた波長の狭帯域光を生体組織に照射する。光源装置３は、内視鏡２のライトガイドの一端が接続され、制御装置４による制御のもと、ライトガイドの一端に被検体内に照射する照明光を供給する。光源装置３は、ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）光源、キセノンランプ及びＬＤ（ｌａｓｅｒ　Ｄｉｏｄｅ）等の半導体レーザ素子のいずれかの１つ以上の光源と、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）やＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等のハードウェアを有する処理装置であるプロセッサと、プロセッサが使用する一時的な記憶域であるメモリを用いて実現される。なお、光源装置３及び制御装置４は、図１に示すように個別に通信する構成をしてもよいし、一体化した構成であってもよい。
　〔制御装置の構成〕
　次に、制御装置４の構成について説明する。
　制御装置４は、内視鏡システム１の各部を制御する。制御装置４は、内視鏡２が被検体に照射するための照明光を供給する。また、制御装置４は、内視鏡２から入力された撮像信号に対して、各種の画像処理を行って表示装置５へ出力する。
　〔表示装置の構成〕
　次に、表示装置５の構成について説明する。
　表示装置５は、制御装置４の制御のもと、制御装置４から入力された映像信号に基づく表示画像を表示する。表示装置５は、有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）や液晶等の表示パネルを用いて実現される。
　〔内視鏡システムの要部の機能構成〕
　次に、上述した内視鏡システム１の要部の機能構成について説明する。図２は、内視鏡システム１の要部の機能構成を示すブロック図である。
　〔内視鏡の構成〕
　まず、内視鏡２の構成について説明する。
　内視鏡２は、照明光学系２０１と、撮像光学系２０２と、カットフィルタ２０３と、撮像素子２０４と、Ａ／Ｄ変換部２０５と、Ｐ／Ｓ変換部２０６と、撮像記録部２０７と、撮像制御部２０８と、を備える。なお、照明光学系２０１、撮像光学系２０２、カットフィルタ２０３、撮像素子２０４、Ａ／Ｄ変換部２０５、Ｐ／Ｓ変換部２０６、撮像記録部２０７及び撮像制御部２０８の各々は、先端部２４内に配置されてなる。
　照明光学系２０１は、光ファイバ等によって形成されてなるライトガイド２３１から供給された照明光を被検体（生体組織）に向けて照射する。照明光学系２０１は、１又は複数のレンズ等を用いて実現される。
　撮像光学系２０２は、被検体から反射された反射光、被検体からの戻り光、被検体が発光した蛍光等の光を集光することによって被写体像（光線）を撮像素子２０４の受光面上に結像する。撮像光学系２０２は、１又は複数のレンズ等を用いて実現される。
　カットフィルタ２０３は、撮像光学系２０２と撮像素子２０４との光軸Ｏ１上に配置される。カットフィルタ２０３は、後述する制御装置４から供給された励起光であって、被検体からの励起光の反射光又は戻り光の波長帯域の光を遮光し、励起光の波長帯域より長波長側の波長帯域の光を透過する。また、カットフィルタ２０３は、後述する制御装置４から供給された狭帯域光であって、被検体からの狭帯域光の反射光又は戻り光の波長帯域の光を透過する。
　撮像素子２０４は、撮像制御部２０８の制御のもと、撮像光学系２０２によって結像された被写体像（光線）であって、カットフィルタ２０３を透過した被写体像（光線）を受光し、光電変換を行って撮像信号（ＲＡＷデータ）を生成してＡ／Ｄ変換部２０５へ出力する。撮像素子２０４は、２次元マトリクス状に配置されてなる複数の画素の各々に、ベイヤー配列（ＲＧＧＢ）を構成するカラーフィルタのいずれか１つが配置されてなるＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）のイメージセンサを用いて実現される。
　Ａ／Ｄ変換部２０５は、撮像制御部２０８による制御のもと、撮像素子２０４から入力されたアナログの撮像信号に対してＡ／Ｄ変換処理を行ってＰ／Ｓ変換部２０６へ出力する。Ａ／Ｄ変換部２０５は、Ａ／Ｄ変換回路等を用いて実現される。
　Ｐ／Ｓ変換部２０６は、撮像制御部２０８による制御のもと、Ａ／Ｄ変換部２０５から入力されたデジタルの撮像信号をパラレル／シリアル変換を行い、このパラレル／シリアル変換を行った撮像信号を、第１の伝送ケーブル２３２を経由して制御装置４へ出力する。Ｐ／Ｓ変換部２０６は、Ｐ／Ｓ変換回路等を用いて実現される。なお、実施の形態１では、Ｐ／Ｓ変換部２０６に換えて、撮像信号を光信号に変換するＥ／Ｏ変換部を設け、光信号によって制御装置４へ撮像信号を出力するようにしてもよいし、例えばＷｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）（登録商標）等の無線通信によって撮像信号を制御装置４へ送信するようにしてもよい。
　撮像記録部２０７は、内視鏡２に関する各種情報（例えば撮像素子２０４の画素情報、カットフィルタ２０３の特性）を記録する。また、撮像記録部２０７は、第２の伝送ケーブル２３３を経由して制御装置４から伝送されてくる各種設定データ及び制御用のパラメータを記録する。撮像記録部２０７は、不揮発性メモリや揮発性メモリを用いて構成される。
　撮像制御部２０８は、第２の伝送ケーブル２３３を経由して制御装置４から受信した設定データに基づいて、撮像素子２０４、Ａ／Ｄ変換部２０５及びＰ／Ｓ変換部２０６の各々の動作を制御する。撮像制御部２０８は、ＴＧ（Ｔｉｍｉｎｇ　Ｇｅｎｅｒａｔｏｒ）と、ＣＰＵ等のハードウェアを有する処理装置であるプロセッサと、プロセッサが使用する一時的な記憶域であるメモリを用いて実現される。
　〔光源装置の構成〕
　次に、光源装置３の構成について説明する。
　光源装置３は、集光レンズ３０と、第１の光源部３１と、第２の光源部３２と、光源制御部３３と、を備える。
　集光レンズ３０は、第１の光源部３１及び第２の光源部３２の各々が発光した光を集光してライトガイド２３１へ出射する。集光レンズ３０は、１又は複数のレンズを用いて構成される。
　第１の光源部３１は、光源制御部３３による制御のもと、狭帯域光を発光することによってライトガイド２３１へ狭帯域光を供給する。狭帯域光は、例えば、５８０ｎｍ以上６２０ｎｍ以下の波長帯域にピーク波長を有する琥珀色光であるが、３９０ｎｍ以上４３０ｎｍ以下の波長帯域にピーク波長を有する青紫光、又は５００ｎｍ以上５５０ｎｍ以下の波長帯域にピーク波長を有する緑色光であってもよく、２以上の波長帯域の光を含んでいてもよい。第１の光源部３１は、コリメートレンズ、ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）又はＬＤ（Ｌａｓｅｒ　Ｄｉｏｄｅ）及び駆動ドライバ等を用いて構成される。
　第２の光源部３２は、光源制御部３３による制御のもと、所定の波長帯域を有する励起光を発光することによってライトガイド２３１へ狭帯域光を照明光として供給する。ここで、励起光は、熱変性領域が含有する終末糖化産物（ＡＧＥｓ：Ａｄｖａｎｃｅｄ　Ｇｌｙｃａｔｉｏｎ　Ｅｎｄ　Ｐｒｏｄｕｃｔｓ）等の物質を励起する波長であり、例えば波長帯域が４００ｎｍ以上４３０ｎｍ以下（中心波長が４１５ｎｍ）である。熱変性領域は、高周波ナイフ等のエネルギーデバイスによって熱処置が施されることにより、生体組織が熱により変性した領域である。第２の光源部３２が照射した励起光は、カットフィルタ２０３に遮断され、ＡＧＥｓから発生する蛍光（波長５４０ｎｍ）は、カットフィルタ２０３を透過するため、蛍光画像を撮像することができる。第２の光源部３２は、コリメートレンズ、紫色ＬＤ（Ｌａｓｅｒ　Ｄｉｏｄｅ）等の半導体レーザ及び駆動ドライバ等を用いて実現される。
　光源制御部３３は、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）又はＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等のハードウェアを有する処理装置であるプロセッサと、プロセッサが使用する一時的な記憶域であるメモリと、を用いて構成される。光源制御部３３は、制御部４０５から入力される制御データに基づいて、第１の光源部３１及び第２の光源部３２の各々の発光タイミング、発光強度及び発光時間等を制御する。
〔制御装置の構成〕
　次に、制御装置４の構成について説明する。
　制御装置４は、Ｓ／Ｐ変換部４０１と、画像処理部４０２と、入力部４０３と、記録部４０４と、制御部４０５と、を備える。
　Ｓ／Ｐ変換部４０１は、制御部４０５による制御のもと、第１の伝送ケーブル２３２を経由して内視鏡２から受信した撮像信号に対してシリアル／パラレル変換を行って画像処理部４０２へ出力する。なお、内視鏡２が光信号で撮像信号を出力する場合、Ｓ／Ｐ変換部４０１に換えて、光信号を電気信号に変換するＯ／Ｅ変換部を設けてもよい。また、内視鏡２が無線通信によって撮像信号を送信する場合、Ｓ／Ｐ変換部４０１に換えて、無線信号を受信可能な通信モジュールを設けてもよい。
　画像処理部４０２は、ＣＰＵ、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）又はＦＰＧＡ等のハードウェアを有するプロセッサと、プロセッサが使用する一時的な記憶域であるメモリと、を用いて実現される。画像処理部４０２は、制御部４０５による制御のもと、Ｓ／Ｐ変換部４０１から入力された撮像信号に所定の画像処理を施して表示装置５へ出力する。なお、一実施の形態では、画像処理部４０２が支援装置及び画像処理装置として機能する。画像処理部４０２は、第１撮像信号から蛍光画像を生成し、第２撮像信号から狭帯域光観察画像を生成する。画像処理部４０２は、画像生成部４０２ａと、熱変性領域抽出部４０２ｂと、血管領域抽出部４０２ｃと、調整部４０２ｄと、算出部４０２ｅと、出力部４０２ｆと、を有する。
　画像生成部４０２ａは、第２の光源部３２から励起光を照射して蛍光を撮像した第１撮像信号から蛍光画像を生成する。また、画像生成部４０２ａは、第１の光源部３１から狭帯域光を照射して撮像した第２撮像信号から狭帯域光観察画像を生成する。
　熱変性領域抽出部４０２ｂは、励起光を生体組織に照射して蛍光を撮像した蛍光画像から熱変性領域を抽出する。熱変性領域抽出部４０２ｂは、励起光を生体組織に照射して撮像した蛍光画像において、ＡＧＥｓが発生する蛍光により輝度が閾値以上の領域を熱変性領域として抽出する。
　血管領域抽出部４０２ｃは、ヘモグロビンの吸収率に応じて定めた波長の狭帯域光を生体組織に照射して撮像した狭帯域光観察画像から血管領域を抽出する。例えば、琥珀色光は、赤色光よりもヘモグロビンの吸収率が高く、かつ緑色光よりも波長が長く、深部まで光が届くため、通常光での観察よりも、深層血管を観察しやすくすることができる。血管領域抽出部４０２ｃは、琥珀色光を照射して撮像した狭帯域光観察画像において、ヘモグロビンによる吸収により琥珀色光の輝度が閾値以下の領域を深層の血管領域として抽出する。
　調整部４０２ｄは、蛍光画像と狭帯域光観察画像との位置合わせを行う。調整部４０２ｄは、蛍光画像における特徴点（画像の特徴的な点、例えば病変の端部や出血点）と狭帯域光観察画像における特徴点との位置を対応させるように位置合わせを行う。また、調整部４０２ｄは、蛍光画像を撮像した撮像条件のもと、狭帯域光とは異なる波長の狭帯域光である基準光を照射して撮像した第１基準画像と、狭帯域光観察画像を撮像した撮像条件のもと、基準光を照射して撮像した第２基準画像と、における特徴情報を抽出し、特徴情報に基づいて、蛍光画像と狭帯域光観察画像との位置合わせを行ってもよい。基準光の波長は、特に限定されない。また、特徴情報は、例えば特徴点の位置情報である。
　算出部４０２ｅは、熱変性領域と血管領域との距離を算出する。
　出力部４０２ｆは、熱変性領域と血管領域との距離に応じた情報を出力する。出力部４０２ｆは、例えば熱変性領域と血管領域との距離を表示装置５に表示させる表示画像上に重畳した表示制御信号を出力する。また、出力部４０２ｆは、熱変性領域と血管領域との距離が閾値以下であることを報知する情報を出力してもよい。出力部４０２ｆは、例えば熱変性領域と血管領域との距離が閾値以下である場合、色やマークによる警告を表示装置５に表示させる表示画像上に重畳して報知する表示制御信号を出力してもよい。
　入力部４０３は、内視鏡システム１に関する各種操作の入力を受け付け、受け付けた操作を制御部４０５へ出力する。入力部４０３は、マウス、フットスイッチ、キーボード、ボタン、スイッチ及びタッチパネル等を用いて構成される。
　記録部４０４は、揮発性メモリ、不揮発性メモリ、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）及びＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等やメモリカード等の記録媒体を用いて実現される。記録部４０４は、内視鏡システム１の動作に必要な各種パラメータ等を含むデータを記録する。また、記録部４０４は、内視鏡システム１を動作させるための各種プログラムを記録するプログラム記録部４０４ａを有する。
　制御部４０５は、ＦＰＧＡ又はＣＰＵ等のハードウェアを有するプロセッサと、プロセッサが使用する一時的な記憶域であるメモリと、を用いて実現される。制御部４０５は、内視鏡システム１を構成する各部を統括的に制御する。
　〔制御装置の処理〕
　次に、制御装置４が実行する処理について説明する。
　図３は、被検体の生体組織の一例を示す図である。図３に示すように、被検体には血管領域Ａ１がある。また、被検体の生体組織の表面Ｓに対して、エネルギーデバイスにより病変切除等の熱処置を施すと、切除面が熱により変性し、熱変性領域Ａ２が形成される。このとき、制御装置４が、血管領域Ａ１と熱変性領域Ａ２との水平方向（表面Ｓに沿った方向）の距離Ｌ１を表示装置５に表示させる処理を説明する。
　図４は、制御装置が実行する処理の概要を示すフローチャートである。図４に示すように、まず、画像生成部４０２ａは、第１の光源部３１から狭帯域光を生体組織に照射して撮像した第２撮像信号から狭帯域光観察画像を生成する（ステップＳ１）。
　続いて、血管領域抽出部４０２ｃは、画像生成部４０２ａが生成した狭帯域光観察画像から血管領域を抽出する（ステップＳ２）。図５は、狭帯域光観察画像の一例を示す図である。図５に示すように、血管領域抽出部４０２ｃは、狭帯域光観察画像Ｉ１においてハッチングを施した血管領域Ｂ１とみなす画素を抽出する。血管領域抽出部４０２ｃは、狭帯域光観察画像Ｉ１において、ヘモグロビンによる吸収により輝度が閾値以下の画素を血管領域Ｂ１として抽出する。
　その後、画像生成部４０２ａは、第２の光源部３２から励起光を生体組織に照射して蛍光を撮像した第１撮像信号から蛍光画像を生成する（ステップＳ３）。
　さらに、熱変性領域抽出部４０２ｂは、励起光を生体組織に照射して蛍光を撮像した蛍光画像から熱変性領域を抽出する（ステップＳ４）。図６は、蛍光画像の一例を示す図である。図６に示すように、熱変性領域抽出部４０２ｂは、蛍光画像Ｉ２においてハッチングを施した熱変性領域Ｂ２とみなす画素を抽出する。熱変性領域抽出部４０２ｂは、蛍光画像Ｉ２において、ＡＧＥｓによる蛍光により輝度が閾値以上の画素を熱変性領域Ｂ２として抽出する。
　続いて、調整部４０２ｄは、狭帯域光観察画像Ｉ１と蛍光画像Ｉ２との位置合わせを行う（ステップＳ５）。図７は、狭帯域光観察画像と蛍光画像とを重畳した画像を示す図である。図７に示すように、調整部４０２ｄは、狭帯域光観察画像Ｉ１における特徴点と蛍光画像Ｉ２における特徴点との位置が重なるように、狭帯域光観察画像Ｉ１と蛍光画像Ｉ２とを重ね合わせた重畳画像Ｉ３を生成する。
　さらに、算出部４０２ｅは、熱変性領域Ｂ２と血管領域Ｂ１との距離を算出する（ステップＳ６）。内視鏡２の先端と被検体の生体組織の表面Ｓとの距離を距離センサ等で検出することにより、重畳画像Ｉ３の１画素の大きさに対応する距離Ｌ２を算出することができる。そして、算出部４０２ｅは、血管領域Ｂ１と熱変性領域Ｂ２と距離Ｌ１が２画素分の長さに対応することから、距離Ｌ２を用いて距離Ｌ１を算出する。すなわち、算出部４０２ｅは、重畳画像Ｉ３における血管領域Ｂ１と熱変性領域Ｂ２との距離Ｌ１から被検体の熱変性領域と血管との実際の距離を推定する。
　そして、出力部４０２ｆは、熱変性領域Ｂ２と血管領域Ｂ１との距離に応じた情報を出力する（ステップＳ７）。出力部４０２ｆは、例えば熱変性領域Ｂ２と血管領域Ｂ１との距離を表示装置５に表示させる表示制御信号を出力する。
　以上説明した内視鏡システム１によれば、狭帯域光観察画像Ｉ１と蛍光画像Ｉ２とに基づいて、熱変性領域Ｂ２と血管領域Ｂ１との距離に応じた情報が出力されるため、術者は熱処置が施された領域と血管との距離を容易に認識することができる。
　〔変形例〕
　図８は、被検体の生体組織の一例を示す図である。図８に示すように、被検体の深部には血管領域Ａ１１がある。また、被検体の生体組織の表面Ｓに対して、エネルギーデバイスにより病変切除等の熱処置を施すと、切除面が熱により変性し、熱変性領域Ａ１２が形成される。このとき、制御装置４が、血管領域Ａ１１と熱変性領域Ａ１２との深度方向の距離Ｌ１１を表示装置５に表示させてもよい。なお、深度方向とは、生体組織の表面Ｓに直交する方向を意味する。
　算出部４０２ｅは、蛍光画像から熱変性領域Ａ１２の深度を算出する。なお、熱変性領域Ａ１２の深度と蛍光画像の輝度とには相関関係があるため、算出部４０２ｅは、予め測定により求めた相関関係に基づいて、蛍光画像の輝度から熱変性領域Ａ１２の深度を推定することができる。
　また、算出部４０２ｅは、狭帯域光観察画像から血管領域Ａ１１の深度を抽出する。算出部４０２ｅは、狭帯域光として琥珀色光を照射して撮像した第１狭帯域光観察画像から深層血管領域を抽出し、狭帯域光として緑色光を照射して撮像した第２狭帯域光観察画像から中層血管領域を抽出し、狭帯域光として青紫光を照射して撮像した第３狭帯域光観察画像から表層血管領域を抽出する。そして、算出部４０２ｅは、深層～表層の血管領域から、血管領域Ａ１１の深度を推定することができる。
　そして、算出部４０２ｅは、熱変性領域Ａ１２と血管領域Ａ１１との深度方向における距離を算出する。
　さらに、出力部４０２ｆは、熱変性領域Ａ１２と血管領域Ａ１１との距離Ｌ１１に応じた情報を出力する。出力部４０２ｆは、例えば熱変性領域Ａ１２と血管領域Ａ１１との深度方向における距離Ｌ１１を表示装置５に表示させる表示制御信号を出力する。
　以上説明した変形例によれば、狭帯域光観察画像と蛍光画像とに基づいて、熱変性領域Ａ１２と血管領域Ａ１１との深度方向の距離Ｌ１１に応じた情報が出力されるため、術者は熱処置が施された領域と血管との距離を容易に認識することができる。
　なお、調整部４０２ｄは、蛍光画像を撮像した撮像条件のもと、狭帯域光とは異なる波長の狭帯域光である基準光を照射して撮像した第１基準画像と、狭帯域光観察画像を撮像した撮像条件のもと、基準光を照射して撮像した第２基準画像と、における特徴情報を抽出し、特徴情報に基づいて、蛍光画像と狭帯域光観察画像との位置合わせを行ってもよい。基準光の波長は、特に限定されない。また、特徴情報は、例えば特徴点の位置情報である。基準光を照射して撮像した画像により蛍光画像と狭帯域光観察画像との位置合わせを行うことにより、位置合わせの精度を向上させることができる。
　また、血管領域抽出部４０２ｃは、狭帯域光として琥珀色光を照射して撮像した第１狭帯域光観察画像から深層血管領域を抽出し、狭帯域光として緑色光を照射して撮像した第２狭帯域光観察画像から中層血管領域を抽出し、狭帯域光として青紫光を照射して撮像した第３狭帯域光観察画像から表層血管領域を抽出してもよい。
　このとき、出力部４０２ｆは、熱変性領域と深層血管領域との距離、熱変性領域と中層血管領域との距離、又は、熱変性領域と表層血管領域との距離のうち、いずれか２つ以上の距離に応じた情報を出力する。その結果、術者は、深層～表層のうち、選択した２つ以上の層における熱変性領域と血管領域との距離を認識することができる。
　また、出力部４０２ｆは、熱変性領域と深層血管領域との距離、熱変性領域と中層血管領域との距離、又は、熱変性領域と表層血管領域との距離から選択された１つの距離に応じた情報を出力してもよい。その結果、術者は、深層～表層のうち、選択した１つの層における熱変性領域と血管領域との距離を認識することができる。
　また、制御部４０５は、学習装置の学習部としての機能を有していてもよい。制御部４０５は、励起光を生体組織に照射して蛍光を撮像した蛍光画像と、ヘモグロビンの吸収率に応じて定めた波長の狭帯域光を生体組織に照射して撮像した狭帯域光観察画像と、を入力データとし、蛍光画像から抽出した熱変性領域と狭帯域光観察画像から抽出した血管領域との距離に応じた情報を出力データとする教師データを用いて機械学習することにより学習済みモデルを生成してもよい。ここで、学習済みモデルは、各層が一又は複数のノードを有するニューラルネットワークからなる。また、機械学習の種類は、特に限定されないが、例えば複数の被検体の蛍光画像及び狭帯域光観察画像と、この複数の蛍光画像及び狭帯域光観察画像から算出した熱変性領域と血管領域との距離と、を対応付けた教師データ及び学習用データを用意し、この教師用データ及び学習用データを多層ニューラルネットワークに基づいた計算モデルに入力して学習されるものであればよい。さらに、機械学習の手法としては、例えばＣＮＮ（Convolutional　Neural　Network）、３Ｄ－ＣＮＮ等の多層のニューラルネットワークのＤＮＮ（Deep　Neural　Network）に基づく手法が用いられる。さらにまた、機械学習の手法としては、再帰型ニューラルネットワーク（ＲＮＮ：Recurrent　Neural　Network）やＲＮＮを拡張したＬＳＴＭ（Long　Short-Term　Memory　units）等に基づく手法が用いられてもよい。なお、制御装置４とは異なる学習装置の学習部がこれらの機能を実行してもよい。
　さらなる効果や変形例は、当業者によって容易に導き出すことができる。よって、本発明のより広範な態様は、以上のように表し、かつ記述した特定の詳細及び代表的な実施の形態に限定されるものではない。従って、添付のクレーム及びその均等物によって定義される総括的な発明の概念の精神又は範囲から逸脱することなく、様々な変更が可能である。
　１　内視鏡システム
　２　内視鏡
　３　表示装置
　４　制御装置
　５　レーザ照射装置
　７　表示装置
　２１　挿入部
　２２　操作部
　２３　ユニバーサルコード
　２４　先端部
　２５　湾曲部
　２６　可撓管部
　２７　コネクタ部
　２７ａ　コイルケーブル
　２８　コネクタ部
　３０　集光レンズ
　３１　第１の光源部
　３２　第２の光源部
　３３　光源制御部
　２０１　照明光学系
　２０２　撮像光学系
　２０３　カットフィルタ
　２０４　撮像素子
　２０５　Ａ／Ｄ変換部
　２０６　Ｐ／Ｓ変換部
　２０７　撮像記録部
　２０８　撮像制御部
　２２１　湾曲ノブ
　２２２　処置具挿入部
　２２３　スイッチ
　２３１　ライトガイド
　２３２　第１の伝送ケーブル
　２３３　第２の伝送ケーブル
　４０１　Ｓ／Ｐ変換部
　４０２　画像処理部
　４０２ａ　画像生成部
　４０２ｂ　熱変性領域抽出部
　４０２ｃ　血管領域抽出部
　４０２ｄ　調整部
　４０２ｅ　算出部
　４０２ｆ　出力部
　４０３　入力部
　４０４　記録部
　４０４ａ　プログラム記録部
　４０５　制御部
　Ｉ１　狭帯域光観察画像
　Ｉ２　蛍光画像
　Ｉ３　重畳画像

Claims (20)

  1. 　励起光を生体組織に照射して蛍光を撮像した蛍光画像から熱変性領域を抽出する熱変性領域抽出部と、
    　ヘモグロビンの吸収率に応じて定めた波長の狭帯域光を生体組織に照射して撮像した狭帯域光観察画像から血管領域を抽出する血管領域抽出部と、
    　前記熱変性領域と前記血管領域との距離に応じた情報を出力する出力部と、
    　を備える支援装置。
  2. 　前記励起光は、前記熱変性領域が含有する物質を励起する波長である請求項１に記載の支援装置。
  3. 　前記狭帯域光は、琥珀色光である請求項１に記載の支援装置。
  4. 　前記狭帯域光は、青紫光である請求項１に記載の支援装置。
  5. 　前記狭帯域光は、緑色光である請求項１に記載の支援装置。
  6. 　前記熱変性領域と前記血管領域との距離を算出する算出部を備える請求項１に記載の支援装置。
  7. 　前記蛍光画像と前記狭帯域光観察画像との位置合わせを行う調整部を備える請求項１に記載の支援装置。
  8. 　前記調整部は、前記蛍光画像を撮像した撮像条件のもと、前記狭帯域光とは異なる波長の狭帯域光である基準光を照射して撮像した第１基準画像と、前記狭帯域光観察画像を撮像した撮像条件のもと、前記基準光を照射して撮像した第２基準画像と、における特徴情報を抽出し、前記特徴情報に基づいて、前記蛍光画像と前記狭帯域光観察画像との位置合わせを行う請求項７に記載の支援装置。
  9. 　前記血管領域抽出部は、
    　前記狭帯域光として琥珀色光を照射して撮像した第１狭帯域光観察画像から深層血管領域を抽出し、
    　前記狭帯域光として緑色光を照射して撮像した第２狭帯域光観察画像から中層血管領域を抽出し、
    　前記狭帯域光として青紫光を照射して撮像した第３狭帯域光観察画像から表層血管領域を抽出する請求項８に記載の支援装置。
  10. 　前記出力部は、前記熱変性領域と前記深層血管領域との距離、前記熱変性領域と前記中層血管領域との距離、又は、前記熱変性領域と前記表層血管領域との距離のうち、いずれか２つ以上の距離に応じた情報を出力する請求項９に記載の支援装置。
  11. 　前記出力部は、前記熱変性領域と前記深層血管領域との距離、前記熱変性領域と前記中層血管領域との距離、又は、前記熱変性領域と前記表層血管領域との距離から選択された１つの距離に応じた情報を出力する請求項９に記載の支援装置。
  12. 　前記熱変性領域抽出部は、前記蛍光画像において前記熱変性領域とみなす画素を抽出し、
    　前記血管領域抽出部は、前記狭帯域光観察画像において前記血管領域とみなす画素を抽出し、
    　前記算出部は、前記熱変性領域とみなされた画素と前記血管領域とみなされた画素との間の最短距離を算出する請求項６に記載の支援装置。
  13. 　前記算出部は、
    　前記蛍光画像から前記熱変性領域の深度を算出し、
    　前記狭帯域光観察画像から前記血管領域の深度を抽出し、
    　前記熱変性領域と前記血管領域との深度方向における距離を算出する請求項６に記載の支援装置。
  14. 　前記出力部は、
    　前記熱変性領域と前記血管領域との距離に応じた情報を表示画像上に重畳する請求項１に記載の支援装置。
  15. 　前記出力部は、
    　前記熱変性領域と前記血管領域との距離を表示装置に表示させる表示制御信号を出力する請求項１に記載の支援装置。
  16. 　前記出力部は、
    　前記熱変性領域と前記血管領域との距離が閾値以下であることを報知する情報を出力する請求項１に記載の支援装置。
  17. 　熱変性領域抽出部が、励起光を生体組織に照射して蛍光を撮像した蛍光画像から熱変性領域を抽出し、
    　血管領域抽出部が、ヘモグロビンの吸収率に応じて定めた波長の狭帯域光を生体組織に照射して撮像した狭帯域光観察画像から血管領域を抽出し、
    　出力部が、前記熱変性領域と前記血管領域との距離に応じた情報を出力することを含む支援装置の作動方法。
  18. 　励起光を生体組織に照射して蛍光を撮像した蛍光画像から熱変性領域を抽出し、
    　ヘモグロビンの吸収率に応じて定めた波長の狭帯域光を生体組織に照射して撮像した狭帯域光観察画像から血管領域を抽出し、
    　前記熱変性領域と前記血管領域との距離に応じた情報を出力することを支援装置に実行させる支援装置の作動プログラム。
  19. 　励起光を生体組織に照射するとともに、ヘモグロビンの吸収率に応じて定めた波長の狭帯域光を生体組織に照射する光源装置と、
    　前記励起光を生体組織に照射して蛍光を撮像した第１撮像信号、及び前記狭帯域光を生体組織に照射して撮像した第２撮像信号を生成する内視鏡と、
    　前記第１撮像信号から蛍光画像を生成し、前記第２撮像信号から狭帯域光観察画像を生成する画像処理装置と、
    　を備え、
    　前記画像処理装置は、
    　前記蛍光画像から熱変性領域を抽出する熱変性領域抽出部と、
    　前記狭帯域光観察画像から血管領域を抽出する血管領域抽出部と、
    　前記熱変性領域と前記血管領域との距離に応じた情報を出力する出力部と、
    　を有する医療システム。
  20. 　励起光を生体組織に照射して蛍光を撮像した蛍光画像と、ヘモグロビンの吸収率に応じて定めた波長の狭帯域光を生体組織に照射して撮像した狭帯域光観察画像と、を入力データとし、前記蛍光画像から抽出した熱変性領域と前記狭帯域光観察画像から抽出した血管領域との距離に応じた情報を出力データとする教師データを用いて機械学習することにより学習済みモデルを生成する学習部を備える学習装置。
PCT/JP2023/004456 2023-02-09 2023-02-09 支援装置、支援装置の作動方法、支援装置の作動プログラム、医療システム、及び学習装置 Ceased WO2024166329A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202380093519.6A CN120659571A (zh) 2023-02-09 2023-02-09 辅助装置、辅助装置的工作方法、辅助装置的工作程序、医疗系统以及学习装置
JP2024576022A JPWO2024166329A1 (ja) 2023-02-09 2023-02-09
PCT/JP2023/004456 WO2024166329A1 (ja) 2023-02-09 2023-02-09 支援装置、支援装置の作動方法、支援装置の作動プログラム、医療システム、及び学習装置
US19/287,946 US20250356490A1 (en) 2023-02-09 2025-08-01 Assistance device, operation method of assistance device, computer-readable recording medium, medical system, and learning device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/004456 WO2024166329A1 (ja) 2023-02-09 2023-02-09 支援装置、支援装置の作動方法、支援装置の作動プログラム、医療システム、及び学習装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US19/287,946 Continuation US20250356490A1 (en) 2023-02-09 2025-08-01 Assistance device, operation method of assistance device, computer-readable recording medium, medical system, and learning device

Publications (1)

Publication Number Publication Date
WO2024166329A1 true WO2024166329A1 (ja) 2024-08-15

Family

ID=92262160

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/004456 Ceased WO2024166329A1 (ja) 2023-02-09 2023-02-09 支援装置、支援装置の作動方法、支援装置の作動プログラム、医療システム、及び学習装置

Country Status (4)

Country Link
US (1) US20250356490A1 (ja)
JP (1) JPWO2024166329A1 (ja)
CN (1) CN120659571A (ja)
WO (1) WO2024166329A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012130506A (ja) * 2010-12-21 2012-07-12 Fujifilm Corp 光計測システムおよび光計測方法
WO2021176737A1 (ja) * 2020-03-06 2021-09-10 オリンパス株式会社 医療用観察システムおよび医療用撮像装置
JP2021529633A (ja) * 2018-07-16 2021-11-04 エシコン エルエルシーＥｔｈｉｃｏｎ ＬＬＣ 外科用可視化プラットフォーム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012130506A (ja) * 2010-12-21 2012-07-12 Fujifilm Corp 光計測システムおよび光計測方法
JP2021529633A (ja) * 2018-07-16 2021-11-04 エシコン エルエルシーＥｔｈｉｃｏｎ ＬＬＣ 外科用可視化プラットフォーム
WO2021176737A1 (ja) * 2020-03-06 2021-09-10 オリンパス株式会社 医療用観察システムおよび医療用撮像装置

Also Published As

Publication number Publication date
US20250356490A1 (en) 2025-11-20
JPWO2024166329A1 (ja) 2024-08-15
CN120659571A (zh) 2025-09-16

Similar Documents

Publication Publication Date Title
US12171399B2 (en) Surgical devices, systems, and methods using multi-source imaging
US20230000330A1 (en) Medical observation system, medical imaging device and imaging method
JPWO2018159363A1 (ja) 内視鏡システム及びその作動方法
US20230248209A1 (en) Assistant device, endoscopic system, assistant method, and computer-readable recording medium
US20230102358A1 (en) Surgical devices, systems, and methods using fiducial identification and tracking
US20230092920A1 (en) Systems and methods of analyzing a kidney stone
US20230000329A1 (en) Medical image processing device, medical imaging device, medical observation system, image processing method, and computer-readable recording medium
JP6203088B2 (ja) 生体観察システム
CN115607092A (zh) 内窥镜系统、医疗图像处理装置及其工作方法
US20250356490A1 (en) Assistance device, operation method of assistance device, computer-readable recording medium, medical system, and learning device
US20250352032A1 (en) Medical device, medical system, learning device, method of operating medical device, and computer-readable recording medium
WO2024166304A1 (ja) 画像処理装置、医療システム、画像処理装置の作動方法、及び学習装置
US20250352028A1 (en) Medical device, medical system, learning device, method of operating medical device, and computer-readable recording medium
CN115381379A (zh) 医疗图像处理装置、内窥镜系统及医疗图像处理装置的工作方法
WO2024166311A1 (ja) 画像処理装置、医療システム、画像処理装置の作動方法、及び学習装置
US20250359729A1 (en) Medical device, medical system, learning device, operation method of medical device, and computer-readable recording medium
US20250352026A1 (en) Medical device, medical system, operation method of medical device, and computer-readable recording medium
US20250352029A1 (en) Medical device, medical system, operation method of medical device, and computer-readable recording medium
US20250352049A1 (en) Medical device, medical system, method of operating medical device, and computer-readable recording medium
US20250359741A1 (en) Medical device, medical system, medical device operation method, and computer-readable recording medium
WO2024166325A1 (ja) 医療用装置、内視鏡システム、制御方法、制御プログラム、及び学習装置
US20180146845A1 (en) Marking method and resecting method
WO2024166306A1 (ja) 医療用装置、内視鏡システム、制御方法、制御プログラム、及び学習装置
WO2024166309A1 (ja) 医療用装置、内視鏡システム、制御方法、制御プログラム、及び学習装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23921160

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2024576022

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2024576022

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202380093519.6

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 202380093519.6

Country of ref document: CN