WO2022230040A1 - 光治療装置、光治療方法および光治療プログラム - Google Patents

光治療装置、光治療方法および光治療プログラム Download PDF

Info

Publication number
WO2022230040A1
WO2022230040A1 PCT/JP2021/016734 JP2021016734W WO2022230040A1 WO 2022230040 A1 WO2022230040 A1 WO 2022230040A1 JP 2021016734 W JP2021016734 W JP 2021016734W WO 2022230040 A1 WO2022230040 A1 WO 2022230040A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
image
therapeutic
narrow
band
Prior art date
Application number
PCT/JP2021/016734
Other languages
English (en)
French (fr)
Inventor
和章 村山
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2021/016734 priority Critical patent/WO2022230040A1/ja
Priority to CN202180088716.XA priority patent/CN116723885A/zh
Priority to JP2023516890A priority patent/JPWO2022230040A1/ja
Publication of WO2022230040A1 publication Critical patent/WO2022230040A1/ja
Priority to US18/220,425 priority patent/US20230347170A1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/06Radiation therapy using light
    • A61N5/0613Apparatus adapted for a specific treatment
    • A61N5/062Photodynamic therapy, i.e. excitation of an agent
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00055Operational features of endoscopes provided with output arrangements for alerting the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/06Radiation therapy using light
    • A61N5/0601Apparatus for use inside the body
    • A61N5/0603Apparatus for use inside the body for treatment of body cavities
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/06Radiation therapy using light
    • A61N5/0601Apparatus for use inside the body
    • A61N5/0603Apparatus for use inside the body for treatment of body cavities
    • A61N2005/0609Stomach and/or esophagus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/06Radiation therapy using light
    • A61N2005/0626Monitoring, verifying, controlling systems and methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/06Radiation therapy using light
    • A61N2005/0626Monitoring, verifying, controlling systems and methods
    • A61N2005/0627Dose monitoring systems and methods
    • A61N2005/0628Dose monitoring systems and methods including a radiation sensor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/06Radiation therapy using light
    • A61N2005/0658Radiation therapy using light characterised by the wavelength of light used
    • A61N2005/0659Radiation therapy using light characterised by the wavelength of light used infrared
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/06Radiation therapy using light
    • A61N2005/0658Radiation therapy using light characterised by the wavelength of light used
    • A61N2005/0662Visible light

Definitions

  • the present invention relates to a phototherapy device, a phototherapy method, and a phototherapy program.
  • photoimmunotherapy is used to treat cancer by specifically binding antibody drugs to the proteins of cancer cells and activating the antibody drugs by irradiation with near-infrared light, which is therapeutic light, to destroy cancer cells.
  • Photoimmunotherapy (PIT) research is in progress (see, for example, Patent Document 1).
  • the antibody drug irradiated with near-infrared light absorbs light energy, causes molecular vibration, and generates heat. This heat destroys cancer cells.
  • the antibody drug emits fluorescence when excited. The intensity of this fluorescence is used as an index of therapeutic efficacy.
  • the therapeutic effect is considered to have the following three effects. 1. 1. direct destructive effect on cancer cells; 3. Indirect injury caused by changes in blood flow; Indirect Damage Caused by Immune Activation It is also known that when cancer expands, capillaries increase and the mucosal surface becomes intricately patterned. Due to the indirect injury caused by the change in blood flow described in 2 above, the capillaries on the surface of the mucous membrane and the micropattern of the mucous membrane change around the therapeutic light irradiation site. Therefore, changes in capillaries on the mucosal surface and changes in mucosal micropatterns are important indicators for confirming therapeutic effects.
  • Patent Document 1 evaluates the therapeutic effect based on the amount of decrease in fluorescence, it may not be possible to appropriately evaluate the therapeutic effect.
  • fluorescent reagents attenuate their light intensity over time, so it is difficult to determine whether the attenuation of light intensity is due to the treatment or to changes in the drug over time.
  • the present invention has been made in view of the above, and aims to provide a phototherapy device, a phototherapy method, and a phototherapy program that can appropriately confirm the therapeutic effect.
  • the phototherapy device includes a therapeutic light emitting unit that emits therapeutic light that causes a drug to react, and light in a part of the visible light range.
  • a narrowband light emitting portion emitting narrowband light, an excitation light emitting portion emitting excitation light for exciting the drug, and a narrowband light obtained by the narrowband light irradiated to the irradiation position of the therapeutic light
  • a narrowband light image acquisition unit that acquires an image
  • a fluorescence image acquisition unit that acquires a fluorescence image obtained by the excitation light irradiated to the irradiation position of the therapeutic light
  • the narrowband light image and the fluorescence image includes a display image generation unit that generates a superimposed superimposed image.
  • the phototherapy apparatus further includes an image change calculator that calculates a temporal change in the narrowband light image before and after irradiation with the therapeutic light.
  • the image change calculation unit calculates a temporal change in fluorescence intensity in the fluorescence image before and after irradiation with therapeutic light.
  • the display image generation unit superimposes the narrowband light image and the fluorescence image with brightness or transmittance set for each, generating the superimposed image
  • the image change calculation unit divides the narrowband light image into a plurality of regions and calculates the amount of change in the image in each of the divided regions.
  • the display image generation unit includes a display image in which a superimposed image before irradiation with the therapeutic light and a superimposed image after irradiation with the therapeutic light are arranged. to generate
  • the phototherapy apparatus further includes an estimation unit that estimates the output of the therapeutic light based on the change in the image calculated by the image change calculation unit.
  • the phototherapy apparatus further includes an estimation unit that estimates the irradiation time of the therapeutic light based on the change in the image calculated by the image change calculation unit.
  • the phototherapy method according to the present invention is a phototherapy method for confirming the therapeutic effect by irradiating a therapeutic light that reacts a drug to a treatment site, wherein the irradiation position of the therapeutic light that reacts the drug is irradiated.
  • a narrow-band light image acquisition step of acquiring a narrow-band light image obtained by narrow-band light composed of light in a partial wavelength band of the visible light region; and the drug irradiated to the irradiation position of the therapeutic light.
  • a display image generating step of generating a superimposed image in which the narrowband light image and the fluorescent image are superimposed.
  • the phototherapy program according to the present invention provides a phototherapy device that irradiates a therapeutic light that causes a drug to react to a treatment site and generates information for confirming the therapeutic effect.
  • a fluorescence image acquisition step of acquiring a fluorescence image obtained by excitation light that excites the drug, and a display image generation step of generating a superimposed image in which the narrowband light image and the fluorescence image are superimposed are executed.
  • FIG. 1 is a diagram showing a schematic configuration of an endoscope system according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram showing a schematic configuration of the endoscope system according to Embodiment 1 of the present invention.
  • FIG. 3 is a diagram for explaining the configuration of the distal end of the endoscope according to the first embodiment of the present invention;
  • FIG. 4 is a diagram for explaining an example of the wavelength band of light used as narrowband light.
  • FIG. 7 is a diagram illustrating tissue in a normal state.
  • FIG. 1 is a diagram showing a schematic configuration of an endoscope system according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram showing a schematic configuration of the endoscope system according to
  • FIG. 8A is a diagram (part 1) explaining a tissue containing cancer cells.
  • FIG. 8B is a diagram (part 2) explaining a tissue containing cancer cells.
  • FIG. 8C is a diagram (part 3) explaining a tissue containing cancer cells.
  • FIG. 9 is a diagram for explaining the state of tissue before and after treatment.
  • FIG. 10 is a diagram showing an example of a display screen.
  • FIG. 11 is a block diagram showing a schematic configuration of an endoscope system according to Embodiment 2 of the present invention.
  • FIG. 12 is a flow chart showing an example of processing of the processing device according to the second embodiment of the present invention.
  • FIG. 13A is a diagram (Part 1) in which the structure is extracted for the state of tissue before and after treatment.
  • FIG. 13B is a diagram (part 2) in which the structure is extracted for the state of the tissue before and after treatment.
  • FIG. 14 is a diagram showing an example of a display screen.
  • FIG. 15 is a diagram for explaining treatment effect determination processing according to the third embodiment of the present invention.
  • FIG. 16 is a block diagram showing a schematic configuration of an endoscope system according to Embodiment 4 of the present invention.
  • 17A is a diagram (part 1) for explaining estimation processing according to the fifth embodiment of the present invention
  • FIG. 17B is a diagram (part 2) for explaining estimation processing according to the fifth embodiment of the present invention;
  • FIG. 18A is a diagram (part 1) for explaining estimation processing according to the sixth embodiment of the present invention.
  • FIG. 18B is a diagram (part 2) for explaining estimation processing according to the sixth embodiment of the present invention.
  • FIG. 19 is a block diagram showing a schematic configuration of an endoscope system according to Embodiment 7 of the present invention.
  • FIG. 1 is a diagram showing a schematic configuration of an endoscope system according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram showing a schematic configuration of the endoscope system according to the first embodiment.
  • FIG. 3 is a diagram for explaining the configuration of the distal end of the endoscope according to the first embodiment.
  • An endoscope system 1 shown in FIGS. 1 and 2 includes an endoscope 2 that captures an in-vivo image of a subject by inserting its distal end into the subject, and illumination light emitted from the distal end of the endoscope 2.
  • a light source device 3 that generates a signal
  • a processing device 4 that performs predetermined signal processing on an imaging signal captured by the endoscope 2 and controls the overall operation of the endoscope system 1, and a signal from the processing device 4
  • a display device 5 for displaying an in-vivo image generated by processing and a treatment instrument device 6 are provided.
  • the endoscope 2 includes an insertion section 21 having a flexible and elongated shape, an operation section 22 connected to the proximal end side of the insertion section 21 and receiving input of various operation signals, and an operation section 22 to the insertion section. and a universal cord 23 extending in a direction different from the direction in which 21 extends and containing various cables connected to the light source device 3 and the processing device 4 .
  • the insertion section 21 is a flexible bendable body composed of a distal end section 24 containing an imaging device 244 in which pixels for generating signals by receiving and photoelectrically converting light are arranged two-dimensionally, and a plurality of bending pieces. It has a bending portion 25 and an elongated flexible tubular portion 26 connected to the base end side of the bending portion 25 and having flexibility.
  • the insertion section 21 is inserted into the body cavity of the subject, and the imaging element 244 captures an image of a subject such as living tissue at a position where external light cannot reach.
  • the operation unit 22 includes a bending knob 221 for bending the bending portion 25 in the vertical direction and the horizontal direction, and a treatment for inserting treatment tools such as a therapeutic light irradiation device, a biopsy forceps, an electric scalpel, and an examination probe into the body cavity of the subject. It has an instrument inserting portion 222 and a plurality of switches 223 as an operation input portion for inputting operation instruction signals for peripheral devices such as air supply means, water supply means, and screen display control in addition to the processing device 4 .
  • a treatment instrument inserted from the treatment instrument insertion portion 222 is exposed from the opening via a treatment instrument channel (not shown) of the distal end portion 24 (see FIG. 3).
  • the universal cord 23 incorporates at least a light guide 241 and a collective cable 245 that collects one or more signal lines.
  • the universal cord 23 is branched at the end opposite to the side connected to the operating portion 22 .
  • a connector 231 detachable from the light source device 3 and a connector 232 detachable from the processing device 4 are provided at the branch ends of the universal cord 23 .
  • a part of the light guide 241 extends from the end of the connector 231 .
  • the universal cord 23 propagates the illumination light emitted from the light source device 3 to the distal end portion 24 via the connector 231 (light guide 241 ), the operating portion 22 and the flexible tube portion 26 .
  • the universal cord 23 transmits an image signal captured by the imaging device 244 provided at the distal end portion 24 to the processing device 4 via the connector 232 .
  • the assembly cable 245 includes signal lines for transmitting imaging signals, signal lines for transmitting drive signals for driving the imaging element 244, and information including unique information about the endoscope 2 (imaging element 244). including signal lines for sending and receiving
  • an electric signal is transmitted using a signal line. It may transmit a signal between them.
  • the distal end portion 24 includes a light guide 241 made of glass fiber or the like and forming a light guide path for light emitted by the light source device 3, an illumination lens 242 provided at the distal end of the light guide 241, and an optical system for condensing light. It has a system 243 and an imaging element 244 which is provided at an image forming position of the optical system 243 and receives light condensed by the optical system 243, photoelectrically converts the light into an electric signal, and performs predetermined signal processing.
  • the optical system 243 is configured using one or more lenses.
  • the optical system 243 forms an observation image on the light receiving surface of the imaging device 244 .
  • the optical system 243 may have an optical zoom function that changes the angle of view and a focus function that changes the focus.
  • the imaging element 244 photoelectrically converts the light from the optical system 243 to generate an electric signal (image signal).
  • the imaging element 244 is formed by arranging a plurality of pixels in a matrix, each having a photodiode that accumulates electric charge according to the amount of light and a capacitor that converts the electric charge transferred from the photodiode into a voltage level.
  • the imaging element 244 photoelectrically converts light incident on each pixel through the optical system 243 to generate an electric signal, and sequentially reads out the electric signals generated by the pixels arbitrarily set as readout targets among the plurality of pixels. , are output as image signals.
  • the imaging element 244 is implemented using, for example, a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the endoscope 2 has a memory (not shown) that stores an execution program and a control program for the imaging element 244 to perform various operations, and data including identification information of the endoscope 2 .
  • the identification information includes unique information (ID) of the endoscope 2, model year, spec information, transmission method, and the like.
  • the memory may also temporarily store image data and the like generated by the imaging device 244 .
  • the configuration of the light source device 3 will be described.
  • the light source device 3 includes a light source section 31 , an illumination control section 32 and a light source driver 33 . Under the control of the illumination control unit 32, the light source unit 31 sequentially switches and emits illumination light to a subject (subject).
  • the light source unit 31 is configured using a light source, one or more lenses, etc., and emits light (illumination light) by driving the light source.
  • the light generated by the light source section 31 is emitted from the tip of the tip section 24 toward the subject via the light guide 241 .
  • the light source section 31 has a white light source 311 , a narrow band light source 312 and an excitation light source 313 .
  • Each light source unit, light guide 241 and illumination lens 242 constitute an emission unit.
  • the narrow band light source 312, the light guide 241 and the illumination lens 242 constitute a narrow band light emitting section.
  • the white light source 311 emits light (white light) having a wavelength band in the visible light range.
  • the white light source 311 is implemented using any light source such as an LED light source, a laser light source, a xenon lamp, or a halogen lamp.
  • the narrow-band light source 312 emits light (narrow-band light) having a partial wavelength or a wavelength band in the visible light range.
  • FIG. 4 is a diagram for explaining an example of the wavelength band of light used as narrowband light.
  • the narrow-band light is, for example, light L B in a wavelength band of 390 nm or more and 445 nm or less, or light L G in a wavelength band of 530 nm or more and 550 nm or less, or a combination thereof.
  • Narrowband light includes, for example, light composed of light LB and light LG used for NBI (Narrow Band Imaging) observation. In this embodiment, an example of using light composed of light L B and light L G as narrow-band light will be described.
  • the narrow band light source 312 is implemented using an LED light source, a laser light source, or the like.
  • near-infrared light with a center wavelength of 690 nm (for example, light L P in the wavelength band of 660 nm or more and 710 nm or less shown in FIG. 4) is used.
  • the blood vessels on the mucosal surface layer can be visualized with high contrast.
  • the surface layer of the mucous membrane can be relatively Deep blood vessels can be visualized with high contrast.
  • the excitation light source 313 emits excitation light for exciting an excitation target (for example, an antibody drug in the case of PIT).
  • the excitation light source 313 is implemented using a light source such as an LED light source or a laser light source.
  • a light source such as an LED light source or a laser light source.
  • near-infrared light L P is used to excite the PIT antibody drug.
  • the lighting control unit 32 controls the amount of power supplied to the light source unit 31 based on the control signal (light control signal) from the processing device 4, and also controls the light source to emit light and the driving timing of the light source.
  • the light source driver 33 supplies current to the light source to emit light, thereby causing the light source unit 31 to emit light.
  • the processing device 4 includes an image processing section 41 , a synchronization signal generation section 42 , an input section 43 , a control section 44 and a storage section 45 .
  • the image processing unit 41 receives image data of illumination light of each color imaged by the imaging device 244 from the endoscope 2 .
  • the image processing unit 41 performs A/D conversion to generate a digital imaging signal.
  • image data is received as an optical signal from the endoscope 2, the image processing unit 41 performs photoelectric conversion to generate digital image data.
  • the image processing unit 41 performs predetermined image processing on the image data received from the endoscope 2 to generate an image and outputs the image to the display device 5, or sets an enhancement region determined based on the image. , and to calculate changes in fluorescence intensity over time.
  • the image processor 41 has a white light image generator 411 , a narrowband light image generator 412 , a fluorescence image generator 413 , and a display image generator 414 .
  • the white light image generation unit 411 generates a white light image based on an image formed by white light.
  • the narrowband light image generator 412 generates a narrowband light image based on the image formed by the narrowband light.
  • the optical system 243, the imaging element 244, and the image generation section constitute an image acquisition section.
  • the optical system 243, the imaging device 244, and the narrow-band light image generation unit 412 constitute a narrow-band light image acquisition unit.
  • the fluorescence image generation unit 413 generates a fluorescence image based on an image formed by fluorescence.
  • a display image generation unit 414 generates an image to be displayed on the display device 5 .
  • the image includes an image based on white light or narrowband light, and an image obtained by superimposing a narrowband light image and a fluorescence image.
  • the white light image generation unit 411, the narrowband light image generation unit 412, the fluorescence image generation unit 413, and the display image generation unit 414 generate images by performing predetermined image processing.
  • the predetermined image processing includes synchronization processing, gradation correction processing, color correction processing, and the like.
  • Synchronization processing is processing for synchronizing image data of each color component of RGB.
  • Gradation correction processing is processing for correcting the gradation of image data.
  • Color correction processing is processing for performing color tone correction on image data.
  • the white light image generation unit 411, the narrowband light image generation unit 412, the fluorescence image generation unit 413, and the display image generation unit 414 may perform gain adjustment according to the brightness of the image.
  • the image processing unit 41 is configured using a general-purpose processor such as a CPU (Central Processing Unit) or a dedicated processor such as various arithmetic circuits that execute specific functions such as an ASIC (Application Specific Integrated Circuit). Note that the image processing unit 41 may be configured to have a frame memory that holds the R image data, the G image data and the B image data.
  • a general-purpose processor such as a CPU (Central Processing Unit) or a dedicated processor such as various arithmetic circuits that execute specific functions such as an ASIC (Application Specific Integrated Circuit).
  • the image processing unit 41 may be configured to have a frame memory that holds the R image data, the G image data and the B image data.
  • the synchronization signal generation unit 42 generates a clock signal (synchronization signal) that serves as a reference for the operation of the processing device 4, and transmits the generated synchronization signal to the light source device 3, the image processing unit 41, the control unit 44, and the endoscope 2.
  • the synchronizing signal generated by the synchronizing signal generator 42 includes a horizontal synchronizing signal and a vertical synchronizing signal. Therefore, the light source device 3, the image processing section 41, the control section 44, and the endoscope 2 operate in synchronization with each other by the generated synchronization signal.
  • the input unit 43 is implemented using a keyboard, a mouse, a switch, and a touch panel, and receives inputs of various signals such as operation instruction signals for instructing the operation of the endoscope system 1 .
  • the input unit 43 may include a switch provided in the operation unit 22 or a portable terminal such as an external tablet computer.
  • the control unit 44 performs drive control of each component including the imaging element 244 and the light source device 3, input/output control of information to each component, and the like.
  • the control unit 44 refers to control information data (for example, readout timing) for imaging control stored in the storage unit 45, and performs imaging as a drive signal via a predetermined signal line included in the collective cable 245.
  • a normal observation mode for observing an image obtained by transmitting to the element 244 or by illuminating with white light
  • a narrow-band light observation mode for observing an image obtained by illuminating with narrow-band light
  • calculating the fluorescence intensity of the excitation target Switching to and from the fluorescence observation mode.
  • the control unit 44 is configured using a general-purpose processor such as a CPU or a dedicated processor such as various arithmetic circuits that execute specific functions such as an ASIC.
  • the storage unit 45 stores data including various programs for operating the endoscope system 1 and various parameters necessary for operating the endoscope system 1 .
  • the storage unit 45 also stores identification information of the processing device 4 .
  • the identification information includes unique information (ID) of the processing device 4, model year, specification information, and the like.
  • the storage unit 45 also stores various programs including an image acquisition processing program for executing the image acquisition processing method of the processing device 4 .
  • Various programs can be recorded on computer-readable recording media such as hard disks, flash memories, CD-ROMs, DVD-ROMs, flexible disks, etc., and can be widely distributed.
  • the various programs described above can also be obtained by downloading via a communication network.
  • the communication network here is realized by, for example, an existing public line network, LAN (Local Area Network), WAN (Wide Area Network), etc., and it does not matter whether it is wired or wireless.
  • the storage unit 45 having the above configuration is implemented using a ROM (Read Only Memory) in which various programs etc. are pre-installed, and a RAM, hard disk, etc. for storing calculation parameters, data, etc. for each process.
  • ROM Read Only Memory
  • the display device 5 displays a display image corresponding to the image signal received from the processing device 4 (image processing unit 41) via the video cable.
  • the display device 5 is configured using a monitor such as liquid crystal or organic EL (Electro Luminescence).
  • the treatment instrument device 6 has a treatment instrument operation section 61 and a flexible treatment instrument 62 extending from the treatment instrument operation section 61 .
  • the treatment instrument 62 used for PIT is a therapeutic light emitting section that emits light for treatment (hereinafter referred to as therapeutic light).
  • the treatment instrument operation section 61 controls emission of therapeutic light from the treatment instrument 62 .
  • the treatment instrument operation section 61 has an operation input section 611 .
  • the operation input unit 611 is composed of, for example, switches.
  • the treatment instrument operating section 61 causes the treatment instrument 62 to emit therapeutic light in response to an input to the operation input section 611 (for example, pressing a switch).
  • the light source that emits the therapeutic light may be provided in the treatment instrument 62 or may be provided in the treatment instrument operation section 61 .
  • a light source is implemented using a semiconductor laser, an LED, or the like.
  • therapeutic light is light in a wavelength band of 680 nm or more, for example, light with a central wavelength of 690 nm (for example, light L P shown in FIG. 4).
  • the illumination optical system provided in the treatment instrument 62 may be configured to change the irradiation range of the treatment light.
  • the treatment instrument operation unit 61 under the control of the treatment instrument operation unit 61, it is composed of an optical system capable of changing the focal length, a DMD (Digital Micromirror Device), etc., and changes the spot diameter of the light irradiated to the subject and the shape of the irradiation range. can do.
  • a DMD Digital Micromirror Device
  • FIG. 5 is a diagram showing an example of the flow of treatment using the endoscope according to the first embodiment of the present invention
  • FIG. 5 is a diagram showing an example of implementation of PIT, in which treatment is performed by inserting the insertion portion 21 into the stomach ST.
  • the operator inserts the insertion portion 21 into the stomach ST (see (a) in FIG. 5).
  • the operator causes the light source device 3 to irradiate white light, and searches for the treatment position while observing the white light image inside the stomach ST displayed by the display device 5 .
  • tumors B 1 and B 2 are to be treated as targets of treatment.
  • the antibody drug is administered to the tumors B 1 and B 2 that are the sites to be treated. Administration of the antibody drug may be performed using the endoscope 2, may be performed using other equipment, or may be performed by having the patient swallow the drug.
  • the operator observes the white light image and determines the regions containing the tumors B 1 and B 2 as irradiation regions. Further, if necessary, the irradiation region is irradiated with narrow-band light or excitation light to acquire a narrow-band light image or a fluorescence image.
  • the operator directs the distal end portion 24 toward the tumor B1, protrudes the treatment tool 62 from the distal end of the endoscope 2 , and irradiates the tumor B1 with therapeutic light (see (b) of FIG. 5). Irradiation of the therapeutic light causes the antibody drug bound to the tumor B1 to react, and the tumor B1 is treated.
  • the operator directs the distal end portion 24 toward the tumor B2, protrudes the treatment tool 62 from the distal end of the endoscope 2 , and irradiates the tumor B2 with therapeutic light (see (c) of FIG . 5). Irradiation of the therapeutic light causes the antibody drug bound to the tumor B2 to react, and the tumor B2 is treated.
  • the operator directs the distal end portion 24 toward the tumor B 1 and irradiates the tumor B 1 with narrowband light or excitation light from the distal end of the endoscope 2 (see (d) in FIG. 5).
  • the operator confirms the therapeutic effect on the tumor B1 by acquiring a narrow band light image and a fluorescence image after treatment. Confirmation of the therapeutic effect is determined by the operator, for example, by observing images to be described later.
  • the operator directs the distal end portion 24 toward the tumor B 2 and irradiates the tumor B 2 with narrow band light from the distal end of the endoscope 2 (see FIG. 5(e)).
  • the operator confirms the therapeutic effect on Tumor B2 by acquiring post - treatment narrow-band light images.
  • the operator repeats additional irradiation of therapeutic light and confirmation of therapeutic effects as necessary.
  • FIG. 6 is a flowchart illustrating an example of processing of the processing apparatus according to the first embodiment
  • step S101 drug reaction step
  • a treatment that destroys cancer cells by activating the antibody drug by irradiation with near-infrared light, which is therapeutic light is performed.
  • step S102 narrow-band light image acquisition step.
  • the control unit 44 causes the light source device 3 to emit narrowband light and causes the endoscope 2 to capture an image of the narrowband light.
  • excitation light is emitted from the light source device 3 to detect the fluorescence of the antibody drug (step S103: fluorescence detection step).
  • the endoscope 2 irradiates the subject with the excitation light, and the antibody drug before treatment is excited to emit fluorescence.
  • the processing device 4 acquires an imaging signal (fluorescence image) generated by the second imaging element 244b.
  • an imaging signal fluorescence image generated by the second imaging element 244b.
  • FIG. 7 is a diagram illustrating tissue in a normal state.
  • the microstructure O S is uniformly structureless throughout and the microvessels (illustrated in dashed lines as microvessels M V in FIG. 7) are invisible.
  • FIGS. 8A to 8C are diagrams illustrating tissues containing cancer cells.
  • the tissue containing cancer cells differs from the normal state shown in FIG. 7 in the surface pattern of the fine structure OS and the state of blood vessels.
  • a blood vessel B V surrounds each microstructure (see FIG. 8A)
  • a blood vessel B V surrounds each microstructure. It may have a mesh-like blood vessel pattern (see FIG. 8B), or the microstructure pattern may be unclear and the thickness of the blood vessel B V may be uneven (see FIG. 8C).
  • the antibody drug when the antibody drug is bound to the cancer cell protein, the antibody drug is excited when exposed to excitation light and emits fluorescence (shown hatched in FIG. 8A, etc.). Fluorescence is detected when treatment is incomplete and antibody agent remains bound. On the other hand, when treatment is complete and no antibody drug remains, no fluorescence is detected.
  • FIG. 9 is a diagram for explaining the state of tissue before and after treatment.
  • FIG. 9(a) shows a narrowband light image acquired by NBI observation before treatment.
  • Figures 9(b) and (c) show narrowband light images acquired stepwise by post-treatment NBI observation.
  • the operator irradiates the tissue with therapeutic light from the state shown in (a) of FIG. 9 and confirms the transition to the state shown in (c) of FIG. to decide.
  • fluorescence is detected in a part of the body while the whole body becomes uniformly unstructured, and it is determined that additional therapeutic light is to be irradiated.
  • the display image generation unit 414 generates an image to be displayed on the display device 5 (step S104: display image generation step).
  • the display image generation unit 414 generates a display image including a superimposed image (for example, the image shown in (b) or (c) of FIG. 9) in which the narrowband light image and the fluorescence image acquired in steps S102 and S103 are superimposed. do.
  • the control unit 44 causes the display device 5 to display the display image generated in step S105 (step S105: display step).
  • step S105 display step
  • the operator can confirm the therapeutic effect.
  • the operator refers to the image to confirm the therapeutic effect, determines whether to additionally irradiate the therapeutic light, and determines the portion to be irradiated with the therapeutic light.
  • the operator operates the input unit 43 to input the determination result.
  • FIG. 10 is a diagram showing an example of a display screen.
  • the display device 5 displays, for example, a display image W1 having an image display portion W11 that displays a superimposed image in which a post-treatment narrowband light image and a fluorescence image are superimposed.
  • the image display unit W 11 displays an image in which the post-treatment narrow-band light image acquired in step S102 and the post-treatment fluorescence image acquired in step S103 are superimposed.
  • fluorescence hatchched portion in FIG. 10
  • the operator considers additional irradiation based on the image.
  • step S106 determines whether or not to additionally irradiate the therapeutic light. If the control unit 44 determines that additional irradiation of therapeutic light is unnecessary based on the input determination result (step S106: No), the process ends. On the other hand, when the control unit 44 determines that additional irradiation of therapeutic light is to be performed (step S106: Yes), the process proceeds to step S107.
  • additional irradiation for example, in the illumination optical system, the shape of the irradiation range of light is controlled to match the boundary region, or the operator adjusts the spot diameter to irradiate therapeutic light.
  • the control unit 44 determines whether or not the amount of irradiated light in the region where additional therapeutic light irradiation is performed is within the allowable range (step S107).
  • the allowable range is a preset amount of light, and at least an upper limit value is set. This upper limit is a value set to suppress tissue damage due to excessive irradiation.
  • the control unit 44 determines whether or not the amount of light (accumulated light amount value) that has been applied to the target region specified by the operator or the like exceeds the upper limit value.
  • the amount of light that has been irradiated is calculated, for example, based on the therapeutic light output and the irradiation time input by the operator.
  • step S107: Yes When the control unit 44 determines that the amount of light that has been irradiated is below the allowable range (upper limit) (step S107: Yes), it returns to step S101 and repeats the above-described processing. If the control unit 44 determines that the amount of light that has been irradiated exceeds the allowable range (upper limit) (step S107: No), the process proceeds to step S108.
  • step S108 the control unit 44 outputs an alert to the effect that the irradiation light amount exceeds the allowable range.
  • This alert may be displayed as character information on the display device 5, may be configured to emit sound or light, or may be combined. After displaying on the display device 5, the control unit 44 terminates the process.
  • the display device 5 displays an image in which a narrow-band light image depicting the tissue structure and a fluorescence image depicting the presence or absence of the antibody drug are superimposed, thereby allowing the operator to , to determine whether additional irradiation of therapeutic light is necessary. According to Embodiment 1, it is possible to appropriately confirm the therapeutic effect based on both viewpoints of post-treatment tissue and blood vessel changes and the residual state of the antibody drug.
  • the cumulative light amount of the therapeutic light to the area is compared with the allowable range, and if the cumulative light amount exceeds the allowable range, the cumulative light amount outputs an alert that the value exceeds the allowable range. According to the first embodiment, it is possible to suppress tissue damage due to excessive irradiation of therapeutic light.
  • the imaging device 244 may be configured using a multi-band image sensor to individually acquire light in a plurality of wavelength bands different from each other. For example, scattered light and returned light in a wavelength band of 380 nm to 440 nm and scattered light and returned light in a wavelength band of 530 nm to 550 nm are separately acquired by a multiband image sensor, and each narrow By generating a band light image, it is possible to individually generate blood vessel images with different depths from the mucosal surface layer, and use images of blood vessels and tissues at each depth to calculate image changes with higher accuracy. can be done. Furthermore, even when narrow-band light and excitation light are applied at the same time, a narrow-band light image and a fluorescence image can be acquired separately.
  • FIG. 11 is a block diagram showing a schematic configuration of an endoscope system according to Embodiment 2 of the present invention.
  • An endoscope system 1A according to the second embodiment includes a processing device 4A instead of the processing device 4 of the endoscope system 1 according to the first embodiment. Since the configuration other than the processing device 4A is the same as that of the endoscope system 1, the description is omitted.
  • the processing device 4A includes an image processing unit 41A, a synchronization signal generation unit 42, an input unit 43, a control unit 44, and a storage unit 45.
  • the image processing unit 41A has a white light image generation unit 411, a narrowband light image generation unit 412, a fluorescence image generation unit 413, a display image generation unit 414, and an image change calculation unit 415.
  • the image change calculation unit 415 calculates the temporal change amount of the image. Specifically, the image change calculator 415 calculates temporal changes in the narrowband light images generated by the narrowband light image generator 412 and captured at different times, and/or A temporal change in the fluorescence images generated by the fluorescence image generation unit 413 and captured at different times is calculated.
  • FIG. 12 is a flowchart illustrating an example of processing of the processing device according to the second embodiment.
  • the treatment position is irradiated with narrow-band light from the distal end portion 24 to obtain a narrow-band light image (first narrow-band light image) before treatment (step S201: narrow-band light image obtaining step).
  • the control unit 44 causes the light source device 3 to emit narrow-band light and causes the endoscope 2 to capture an image of the narrow-band light.
  • the narrowband optical image generator 412 After imaging, the narrowband optical image generator 412 generates a narrowband optical image.
  • the treatment position is irradiated with excitation light from the distal end portion 24 to acquire a fluorescence image (first fluorescence image) before treatment (step S202: fluorescence image acquisition step).
  • the control unit 44 causes the light source device 3 to emit excitation light and causes the endoscope 2 to capture an image of fluorescence emitted by the antibody drug.
  • the fluorescence image generation unit 413 generates a fluorescence image. Note that the processing order of steps S201 and S202 may be reversed.
  • step S203 drug reaction step
  • step S204 narrow-band light image acquisition step.
  • the control unit 44 causes the light source device 3 to emit narrowband light and causes the endoscope 2 to capture an image of narrowband light in the same manner as in step S101.
  • step S205 fluorescence image acquisition step.
  • the control unit 44 causes the light source device 3 to emit narrowband light and causes the endoscope 2 to capture an image of narrowband light in the same manner as in step S101. Note that the order of processing in steps S204 and S205 may be reversed.
  • the image change calculation unit 415 calculates temporal changes in the images before and after the treatment (step S206: image change calculation step).
  • the image change calculator 415 compares the narrowband light images before and after the treatment, and calculates values indicating the clarity and uniformity of the surface tissue pattern, the uniformity of the blood vessel thickness, the visibility, etc. as image changes. Note that the image change calculator 415 may calculate the difference in fluorescence intensity before and after treatment as the image change.
  • the image change calculation unit 415 individually calculates changes in the state of either the blood vessel structure or the fine structure OS in the obtained narrow-band optical image.
  • the target of change calculation can be set and can be selected from vascular structure only, fine structure only, and vascular structure and fine structure.
  • the image change calculation unit 415 extracts feature points of an image, compares changes in positions, sizes, and distributions of the feature points to calculate changes.
  • FIG. 13A and 13B are structural extractions from narrowband optical images of tissue conditions before and after treatment.
  • FIG. 13A shows an image when the vascular structure is extracted.
  • FIG. 13B shows an image when the fine structure is extracted.
  • the image change calculator 415 extracts the blood vessel B V from the narrowband light images before and after the treatment, calculates the contrast value of the blood vessel, and then calculates the contrast ratio between the blood vessel B V and its surroundings. After that, the image change calculator 415 calculates the difference in contrast ratio between the narrow band light images before and after the treatment as an image change (see FIG. 13A).
  • the image change calculation unit 415 extracts the fine structure OS of the mucosal surface layer from the narrowband optical images before and after the treatment, and calculates the clarity of the fine structure OS. After that, the image change calculator 415 calculates the difference in clarity between the narrow band light images before and after the treatment as an image change (see FIG. 10B). At this time, in the narrow-band light image, the microstructure after treatment is depicted more clearly than the microstructure before treatment. Note that the image change calculation unit 415 may, for example, extract the fine structure OS and calculate the matching degree of the fine structure OS between images as the change.
  • the image change calculation unit 415 calculates the image change of the narrowband light image and the image change of the fluorescence image (change in fluorescence intensity)
  • the image change calculation unit 415 calculates one value indicating the image change using each image change.
  • each image change may be calculated as an independent value.
  • the display image generation unit 414 generates an image to be displayed on the display device 5 (step S207: display image generation step).
  • the display image generation unit 414 generates an image in which the above-described narrow-band light image and fluorescence image are superimposed, and an image that visually expresses the calculated image change.
  • the control unit 44 causes the display device 5 to display the image generated in step S207 (step S208: display step).
  • step S208 display step
  • the operator can confirm the therapeutic effect.
  • the operator refers to the image to confirm the therapeutic effect, determines whether to additionally irradiate the therapeutic light, and determines the portion to be irradiated with the therapeutic light.
  • the operator operates the input unit 43 to input the judgment result.
  • FIG. 14 is a diagram showing an example of a display screen displaying images showing tissue states before and after treatment.
  • the display device 5 includes, for example, a first image display portion W21 that displays an image before treatment, a second image display portion W22 that displays an image after treatment, and changes in the image before and after treatment (for example, the above-mentioned A display image W2 having an information display portion W23 displaying a contrast value) is displayed.
  • the images displayed on the first image display portion W21 and the second image display portion W22 are images in which the narrow-band light image and the fluorescence image are superimposed.
  • the size of the first image display portion W21 and the second image display portion W22, and the transmittance of each image when the narrow-band light image and the fluorescence image are superimposed can be appropriately set.
  • step S209 determines whether or not to additionally irradiate the treatment light. If the control unit 44 determines that additional irradiation of therapeutic light is unnecessary based on the input determination result (step S209: No), the process ends. On the other hand, when the control unit 44 determines that additional irradiation of therapeutic light is to be performed (step S209: Yes), the process proceeds to step S210.
  • additional irradiation for example, in the illumination optical system, the shape of the irradiation range of light is controlled to match the boundary region, or the operator adjusts the spot diameter to irradiate therapeutic light.
  • the control unit 44 determines whether or not the amount of irradiated light in the region where additional therapeutic light irradiation is performed is within the allowable range (step S210).
  • the allowable range is a preset amount of light, and at least an upper limit value is set. This upper limit is a value set to suppress tissue damage due to excessive irradiation.
  • the control unit 44 determines whether or not the amount of light (accumulated light amount value) that has been applied to the target region specified by the operator or the like exceeds the upper limit value.
  • control unit 44 determines that the amount of light that has been irradiated is below the allowable range (upper limit) (step S210: Yes), it returns to step S203 and repeats the above-described processing.
  • the control unit 44 determines that the amount of light that has been irradiated is below the allowable range (upper limit) (step S210: Yes)
  • the latest narrow-band light image is used as the first narrow-band light image before treatment
  • the narrow-band light image acquired after the drug reaction step is used.
  • the band light image be the second narrow band light image.
  • step S210 determines that the amount of irradiated light exceeds the allowable range (upper limit) (step S210: No).
  • the process proceeds to step S211.
  • step S211 the control unit 44 outputs an alert to the effect that the irradiation light amount exceeds the allowable range.
  • This alert may be displayed as character information on the display device 5, may be configured to emit sound or light, or may be combined. After displaying on the display device 5, the control unit 44 terminates the process.
  • an image obtained by superimposing a narrow-band light image depicting the tissue structure and a fluorescent image depicting the presence or absence of the antibody drug is displayed on the display device 5.
  • the display allows the operator to determine whether additional therapeutic light irradiation is necessary.
  • Embodiment 2 it is possible to appropriately confirm the therapeutic effect based on both viewpoints of changes in tissue and blood vessels after treatment and the remaining state of the antibody drug.
  • the change in the image before and after the treatment is calculated using the narrowband light image and the fluorescence image, and the change is displayed, thereby allowing the operator to determine whether or not additional irradiation of the treatment light is necessary.
  • changes in tissues and blood vessels before and after treatment are calculated at the tissue level based on narrow-band optical images that depict tissues and blood vessels. is calculated as the amount of change, it is possible to appropriately determine the additional irradiation for the treatment area.
  • Embodiment 3 Next, Embodiment 3 will be described with reference to FIG. Since the endoscope system according to the third embodiment is the same as the endoscope system 1A according to the second embodiment, description thereof is omitted. Processing different from that of the second embodiment will be described below.
  • the image change calculation unit 415 divides the image into a plurality of regions and calculates the image change in each region.
  • FIG. 15 is a diagram for explaining treatment effect determination processing according to the third embodiment of the present invention.
  • the image change calculator 415 divides the pre-treatment and post-treatment images into four, and calculates the image change of each region (regions R A to R D ).
  • the tissues in regions RA and RB are in a normal state after treatment, and the tissues in regions RC and RD contain cancer cells and antibody drugs even after treatment. The operator observes the narrow-band image and image changes, and determines whether or not additional irradiation is necessary for each region.
  • an image obtained by superimposing a narrow-band optical image depicting the tissue structure and a fluorescence image depicting the presence or absence of the antibody drug is displayed on the display device 5.
  • the display allows the operator to determine whether additional therapeutic light irradiation is necessary. According to the third embodiment, it is possible to appropriately confirm the therapeutic effect based on both viewpoints of changes in tissue and blood vessels after treatment and the residual state of the antibody drug.
  • the narrow-band light is divided into a plurality of regions, and the image change in each region is calculated.
  • FIG. 16 is a block diagram showing a schematic configuration of an endoscope system according to Embodiment 3 of the present invention.
  • An endoscope system 1B according to the third embodiment includes a processing device 4B instead of the processing device 4A of the endoscope system 1A according to the second embodiment. Since the configuration other than the processing device 4B is the same as that of the endoscope system 1, the description is omitted.
  • the configuration of the processing device 4B will be explained.
  • the processing device 4B includes an image processing section 41B, a synchronization signal generation section 42, an input section 43, a control section 44, and a storage section 45.
  • the image processing unit 41B has a white light image generation unit 411, a narrowband light image generation unit 412, a fluorescence image generation unit 413, a display image generation unit 414, an image change calculation unit 415, and an estimation unit 416. .
  • the estimation unit 416 estimates the therapeutic effect based on the image change calculated by the image change calculation unit 415 .
  • the estimating unit 416 calculates the difference between the contrast values calculated as the image change of the narrowband light images before and after the treatment, compares the difference with a preset threshold value, and estimates the therapeutic effect. .
  • the estimation unit 416 estimates that additional irradiation is necessary if the difference is smaller than the threshold.
  • the estimation unit 416 estimates that the treatment is completed if the difference is equal to or greater than the threshold.
  • This estimation process may be the process of step S209 in FIG. 12, or may be performed as part of the change calculation process in step S206, and the estimation result may be displayed in the display process of step S208.
  • the display image generation unit 414 When the estimation result is displayed in the display process in step S208, the display image generation unit 414 generates an image in which the information displayed in the information display unit W23 is changed to the estimation result in the display image W2 shown in FIG . Note that an image that displays both the estimation result and the information on the image change may be used.
  • an image obtained by superimposing a narrow-band light image depicting the tissue structure and a fluorescent image depicting the presence or absence of the antibody drug is displayed on the display device 5.
  • the display allows the operator to determine whether additional therapeutic light irradiation is necessary. According to the fourth embodiment, it is possible to appropriately confirm the therapeutic effect based on both the post-treatment changes in tissue and blood vessels and the residual state of the antibody drug.
  • the therapeutic effect is estimated from changes in the narrow-band light image, and the estimation result is used by the operator to determine the therapeutic effect from observation of the narrow-band image and image changes. It can be a suitable judgment material when doing.
  • Embodiment 5 will be described with reference to FIGS. 17A and 17B. Since the endoscope system according to the fifth embodiment is the same as the endoscope system 1B according to the fourth embodiment, description thereof will be omitted. Processing different from that of the fourth embodiment will be described below.
  • the image change calculation unit 415 calculates changes in the narrowband light images before and after the treatment, or image changes between the narrowband light image before the treatment and the narrowband light image of the normal tissue acquired in advance. calculate.
  • the estimation unit 416 estimates the therapeutic light output (irradiation intensity) based on the image change calculated by the image change calculation unit 415 .
  • 17A and 17B are diagrams for explaining estimation processing according to the fourth embodiment of the present invention.
  • the estimator 416 estimates the intensity of the therapeutic light based on the magnitude of the image change. For example, in the narrow band image shown in (a) of FIG. 17A , if the image change from normal tissue is large, the estimating unit 416 sets the therapeutic light output to the maximum value P MAX ((b) of FIG. 17A reference). In addition, in the narrowband image shown in (a) of FIG.
  • the estimating unit 416 sets the therapeutic light output to a value smaller than the maximum value P MAX ( See (b) in FIG. 17B). At this time, a threshold associated with the output value is set in advance for the image change.
  • This estimation processing is performed before the drug reaction step in step S203 of FIG. 12 or after it is determined in step S209 that additional irradiation is to be performed (step S209: Yes).
  • the display image generation unit 414 When displaying the estimation result, the display image generation unit 414 generates an image for displaying information indicating the output of the therapeutic light as the estimation result in the information display unit W23 in the display image W2 shown in FIG . Note that an image that displays both the estimation result and the information on the image change may be used.
  • the operator observes the narrow-band image and image changes refers to the estimated therapeutic light output value, and determines whether or not additional irradiation is necessary for each region and determines the therapeutic light output (energy).
  • an image obtained by superimposing a narrow-band light image depicting the tissue structure and a fluorescence image depicting the presence or absence of the antibody drug is displayed on the display device 5.
  • the display allows the operator to determine whether additional therapeutic light irradiation is necessary. According to the fifth embodiment, it is possible to appropriately confirm the therapeutic effect based on both the post-treatment changes in tissue and blood vessels and the residual state of the antibody drug.
  • the output of therapeutic light is estimated based on the narrow-band light image, and the estimation result is a suitable material for the operator to make a judgment when irradiating the therapeutic light. can be.
  • Embodiment 6 will be described with reference to FIGS. 18A and 18B. Since the endoscope system according to the sixth embodiment is the same as the endoscope system 1B according to the fourth embodiment, description thereof will be omitted. Processing different from that of the fourth embodiment will be described below.
  • the image change calculation unit 415 calculates changes in the narrowband light images before and after treatment, or image changes between the narrowband light image before treatment and a narrowband light image of normal tissue acquired in advance. calculate.
  • the estimating unit 416 estimates the necessary irradiation intensity of therapeutic light based on the image change calculated by the image change calculating unit 415 .
  • 18A and 18B are diagrams for explaining estimation processing according to the fifth embodiment of the present invention.
  • the estimation unit 416 estimates the therapeutic light irradiation time based on the magnitude of the image change. At this time, it is assumed that the therapeutic light has a preset output. For example, in the narrow-band image shown in (a) of FIG. 18A , if the image change from normal tissue is large, the estimation unit 416 sets the irradiation time, for example, 70 minutes, according to the magnitude of the image change. In addition, in the narrow band image shown in (a) of FIG.
  • the estimation unit 416 sets, for example, 15 minutes. At this time, a threshold associated with the irradiation time is set in advance with respect to the image change. This estimation processing is performed before the drug reaction step in step S203 of FIG. 12 or after it is determined in step S209 that additional irradiation is to be performed (step S209: Yes).
  • the display image generation unit 414 causes the information display unit W23 in the display image W2 shown in FIG . 14 to display information indicating the irradiation time of the treatment light as the estimation result (for example, (b) and FIG. 18B (b)).
  • the display image generation unit 414 causes the information display unit W23 in the display image W2 shown in FIG . 14 to display information indicating the irradiation time of the treatment light as the estimation result (for example, (b) and FIG. 18B (b)).
  • an image that displays both the estimation result and the information on the image change may be used.
  • the operator observes the narrow-band image and image changes refers to the estimated irradiation time of the therapeutic light, and judges whether or not additional irradiation is necessary for each region and the irradiation time of the therapeutic light.
  • a change in tissue before and after treatment is calculated using a narrow-band light image, and information based on the change is displayed, thereby providing the operator with therapeutic light. to judge whether additional irradiation is necessary.
  • changes in tissues and blood vessels before and after treatment are calculated at the tissue level based on narrow-band optical images that depict tissues and blood vessels. can be irradiated with light.
  • the irradiation time of the therapeutic light is estimated based on the narrow-band light image, and the estimation result is used by the operator to make a suitable judgment when irradiating the therapeutic light.
  • the sixth embodiment may be combined with the fifth embodiment to output an estimation result obtained by combining the therapeutic light output and the irradiation time.
  • the estimation unit 416 prepares in advance a narrow-band light image for comparison associated with the therapeutic light output and irradiation time, and the narrow-band light image for comparison is prepared in advance. and the feature amount of the narrow-band light image to be processed may be compared to estimate the therapeutic light output and irradiation time.
  • FIG. 19 is a block diagram showing a schematic configuration of an endoscope system according to Embodiment 7 of the present invention.
  • An endoscope system 1C according to the seventh embodiment has the same configuration as the endoscope system 1B according to the fourth embodiment.
  • the processing device 4 ⁇ /b>B is electrically connected to the treatment instrument device 6 , and the controller 44 controls emission of therapeutic light from the treatment instrument 62 .
  • the processing device 4B executes processing according to the flow of FIG. 12 when performing PIT.
  • the control unit 44 controls the irradiation range, irradiation timing, and irradiation time of the therapeutic light. Specifically, the control unit 44 sets, for example, the light intensity (output value) and the irradiation time corresponding to the preset irradiation light amount for the irradiation range set by the operator.
  • the control unit 44 starts irradiation control of the treatment light with the pressing of the switch of the operation input unit 611 as a trigger.
  • control unit 44 when performing additional irradiation, sets the shape of the irradiation range of the therapeutic light emitted from the treatment instrument 62 according to the boundary region of the target, and presses the switch of the operation input unit 611 as a trigger. Irradiation control of therapeutic light is started. Further, in Embodiment 7, the control unit 44 performs control to alternately emit the narrowband light and the treatment light according to the flowchart of FIG. 12 . The narrowband light and therapeutic light may be emitted simultaneously.
  • a change in tissue before and after treatment is calculated using a narrow-band light image, and information based on the change is displayed, thereby providing the operator with therapeutic light. to judge whether additional irradiation is necessary.
  • changes in tissues and blood vessels before and after treatment are calculated based on narrow-band optical images in which tissues and blood vessels are visualized, and the treatment effect is calculated at the tissue level. can be irradiated with light.
  • the treatment light irradiation process is controlled by the control unit 44, so that the burden on the operator can be reduced.
  • the light source device 3 is separate from the processing device 4 in the first to seventh embodiments described above, the light source device 3 and the processing device 4 may be integrated. Further, in Embodiments 1 to 7, examples in which therapeutic light is emitted from a treatment tool have been described, but the light source device 3 may emit therapeutic light.
  • the excitation light and the treatment light may be in the same wavelength band (same center wavelength) or different wavelength bands (center wavelength).
  • the treatment light (excitation light) may be emitted from the treatment tool 62 or the excitation light source, and either the excitation light source or the treatment tool 62 may be omitted.
  • exciting the PIT antibody drug for example, near-infrared light L P with a central wavelength of 690 nm is used.
  • the endoscope system according to the present invention is the endoscope system 1 using the flexible endoscope 2 whose observation target is biological tissue in the subject.
  • the camera head is connected to the eyepiece of an optical endoscope such as a rigid endoscope, an industrial endoscope that observes the properties of materials, a fiberscope, or an optical viewing tube. It can also be applied to the endoscope system used.
  • the phototherapy device, phototherapy method, and phototherapy program according to the present invention are useful for appropriately confirming therapeutic effects.
  • Reference Signs List 1 1A to 1C endoscope system 2 endoscope 3 light source device 4, 4A, 4B processing device 5 display device 6 treatment instrument device 21 insertion section 22 operation section 23 universal cord 24 tip section 25 bending section 26 flexible tube section 31 light source section 32 illumination control section 33 light source driver 41, 41A, 41B image processing section 42 synchronization signal generation section 43 input section 44 control section 45 storage section 61 treatment instrument operation section 62 treatment instrument 241 light guide 242 illumination lens 243 optical system 244 Imaging element 311 White light source 312 Narrow band light source 411 White light image generator 412 Narrow band light image generator 413 Fluorescence image generator 414 Display image generator 415 Image change calculator 416 Estimator

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Abstract

本発明の光治療装置は、薬剤を反応させる治療光を出射する治療光出射部と、可視光域の一部の波長帯域の光からなる狭帯域光を出射する狭帯域光出射部と、薬剤を励起する励起光を出射する励起光出射部と、治療光の照射位置に照射された狭帯域光によって得られる狭帯域光画像を取得する狭帯域光画像取得部と、治療光の照射位置に照射された励起光によって得られる蛍光画像を取得する蛍光画像取得部と、狭帯域光画像と蛍光画像とを重ね合わせた重ね合わせ画像を生成する表示画像生成部と、を備える。

Description

光治療装置、光治療方法および光治療プログラム
 本発明は、光治療装置、光治療方法および光治療プログラムに関する。
 近年、抗体薬剤を癌細胞のタンパク質に特異的に結合させ、治療光である近赤外光の照射によって抗体薬剤を活性化させて癌細胞を破壊することによって癌の治療を行う光免疫療法(Photoimmunotherapy:PIT)の研究が進められている(例えば、特許文献1を参照)。近赤外光が照射された抗体薬剤は、光エネルギーを吸収して分子振動し、発熱する。この熱によって、癌細胞が破壊される。この際、抗体薬剤は、励起されることによって蛍光を発する。この蛍光の強度は、治療効果の指標として用いられる。
 ここで、治療効果には、以下の三つの作用があると考えられている。
 1.癌細胞への直接傷害作用
 2.血流変化に起因する間接傷害作用
 3.免疫活性化に起因する間接障害作用
 また、癌が拡大すると、毛細血管が増え粘膜表面が込み入った模様に変わることが知られている。上記2の血流変化に起因する間接傷害作用によって、治療光照射部位周辺では、粘膜表層の毛細血管と粘膜微細模様とが変化する。そのため、粘膜表層の毛細血管および粘膜微細模様の変化は、治療効果を確認するのに重要な指標となる。
特開2017-71654号公報
 しかしながら、特許文献1は、蛍光の減少量で治療効果を評価しているため、治療効果を適切に評価できない場合があった。一般に、蛍光試薬は時間経過とともに光強度が減衰するため、光強度の減衰が、治療に起因するものか、または薬剤の経時変化に起因するものかを判断することが難しい。
 本発明は、上記に鑑みてなされたものであって、適切に治療効果を確認することができる光治療装置、光治療方法および光治療プログラムを提供することを目的とする。
 上述した課題を解決し、目的を達成するために、本発明にかかる光治療装置は、薬剤を反応させる治療光を出射する治療光出射部と、可視光域の一部の波長帯域の光からなる狭帯域光を出射する狭帯域光出射部と、前記薬剤を励起する励起光を出射する励起光出射部と、前記治療光の照射位置に照射された前記狭帯域光によって得られる狭帯域光画像を取得する狭帯域光画像取得部と、前記治療光の照射位置に照射された前記励起光によって得られる蛍光画像を取得する蛍光画像取得部と、前記狭帯域光画像と前記蛍光画像とを重ね合わせた重ね合わせ画像を生成する表示画像生成部と、を備える。
 また、本発明にかかる光治療装置は、上記発明において、前記治療光の照射前後の前記狭帯域光画像の時間的な変化を算出する画像変化算出部、をさらに備える。
 また、本発明にかかる光治療装置は、上記発明において、前記画像変化算出部は、治療光の照射前後の前記蛍光画像における蛍光強度の時間的な変化を算出する。
 また、本発明にかかる光治療装置は、上記発明において、前記表示画像生成部は、前記狭帯域光画像および前記蛍光画像を、それぞれに対して設定された明るさまたは透過率で重ね合わせることによって前記重ね合わせ画像を生成する。
 また、本発明にかかる光治療装置は、上記発明において、前記画像変化算出部は、前記狭帯域光画像を複数の領域に分割し、該分割したそれぞれの領域における画像の変化量を算出する。
 また、本発明にかかる光治療装置は、上記発明において、前記表示画像生成部は、前記治療光の照射前の重ね合わせ画像と、前記治療光の照射後の重ね合わせ画像とを並べた表示画像を生成する。
 また、本発明にかかる光治療装置は、上記発明において、前記画像変化算出部が算出した画像の変化に基づいて、前記治療光の出力を推定する推定部、をさらに備える。
 また、本発明にかかる光治療装置は、上記発明において、前記画像変化算出部が算出した画像の変化に基づいて、前記治療光の照射時間を推定する推定部、をさらに備える。
 また、本発明にかかる光治療方法は、薬剤を反応させる治療光を、治療部位に照射して治療効果を確認するための光治療方法であって、薬剤を反応させる治療光の照射位置に照射された、可視光域の一部の波長帯域の光からなる狭帯域光によって得られる狭帯域光画像を取得する狭帯域光画像取得ステップと、前記治療光の照射位置に照射された、前記薬剤を励起する励起光によって得られる蛍光画像を取得する蛍光画像取得ステップと、前記狭帯域光画像と前記蛍光画像とを重ね合わせた重ね合わせ画像を生成する表示画像生成ステップと、を含む。
 また、本発明にかかる光治療プログラムは、薬剤を反応させる治療光を、治療部位に照射して治療効果を確認するため情報を生成する光治療装置に、薬剤を反応させる治療光の照射位置に照射された、可視光域の一部の波長帯域の光からなる狭帯域光によって得られる狭帯域光画像を取得する狭帯域光画像取得ステップと、前記治療光の照射位置に照射された、前記薬剤を励起する励起光によって得られる蛍光画像を取得する蛍光画像取得ステップと、前記狭帯域光画像と前記蛍光画像とを重ね合わせた重ね合わせ画像を生成する表示画像生成ステップと、を実行させる。
 本発明によれば、適切に治療効果を確認することができるという効果を奏する。
図1は、本発明の実施の形態1にかかる内視鏡システムの概略構成を示す図である。 図2は、本発明の実施の形態1にかかる内視鏡システムの概略構成を示すブロック図である。 図3は、本発明の実施の形態1にかかる内視鏡の先端構成を説明する図である。 図4は、狭帯域光として用いる光の波長帯域の一例について説明するための図である。 図5は、本発明の実施の形態1にかかる内視鏡を用いた治療の流れの一例を示す図である。 図6は、本発明の実施の形態1にかかる処理装置の処理の一例を示すフローチャートである。 図7は、正常な状態の組織について説明する図である。 図8Aは、癌細胞を含む状態の組織について説明する図(その1)である。 図8Bは、癌細胞を含む状態の組織について説明する図(その2)である。 図8Cは、癌細胞を含む状態の組織について説明する図(その3)である。 図9は、治療前と治療後との組織の状態について説明する図である。 図10は、表示画面の一例を示す図である。 図11は、本発明の実施の形態2にかかる内視鏡システムの概略構成を示すブロック図である。 図12は、本発明の実施の形態2にかかる処理装置の処理の一例を示すフローチャートである。 図13Aは、治療前と治療後との組織の状態について、構造を抽出した図(その1)である。 図13Bは、治療前と治療後との組織の状態について、構造を抽出した図(その2)である。 図14は、表示画面の一例を示す図である。 図15は、本発明の実施の形態3にかかる治療効果の判定処理について説明するための図である。 図16は、本発明の実施の形態4にかかる内視鏡システムの概略構成を示すブロック図である。 図17Aは、本発明の実施の形態5にかかる推定処理について説明するための図(その1)である。 図17Bは、本発明の実施の形態5にかかる推定処理について説明するための図(その2)である。 図18Aは、本発明の実施の形態6にかかる推定処理について説明するための図(その1)である。 図18Bは、本発明の実施の形態6にかかる推定処理について説明するための図(その2)である。 図19は、本発明の実施の形態7にかかる内視鏡システムの概略構成を示すブロック図である。
 以下、本発明を実施するための形態(以下、「実施の形態」という)を説明する。実施の形態では、本発明に係る光治療装置を含むシステムの一例として、患者等の被検体内の画像を撮像して表示する医療用の内視鏡システムについて説明する。また、この実施の形態によって、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
(実施の形態1)
 図1は、本発明の実施の形態1に係る内視鏡システムの概略構成を示す図である。図2は、本実施の形態1に係る内視鏡システムの概略構成を示すブロック図である。図3は、本実施の形態1にかかる内視鏡の先端構成を説明する図である。
 図1および図2に示す内視鏡システム1は、被検体内に先端部を挿入することによって被検体の体内画像を撮像する内視鏡2と、内視鏡2の先端から出射する照明光を発生する光源装置3と、内視鏡2が撮像した撮像信号に所定の信号処理を施すとともに、内視鏡システム1全体の動作を統括的に制御する処理装置4と、処理装置4の信号処理によって生成された体内画像を表示する表示装置5と、処置具装置6とを備える。
 内視鏡2は、可撓性を有する細長形状をなす挿入部21と、挿入部21の基端側に接続され、各種の操作信号の入力を受け付ける操作部22と、操作部22から挿入部21が延びる方向と異なる方向に延び、光源装置3および処理装置4に接続する各種ケーブルを内蔵するユニバーサルコード23と、を備える。
 挿入部21は、光を受光して光電変換することによって信号を生成する画素が2次元状に配列された撮像素子244を内蔵した先端部24と、複数の湾曲駒によって構成された湾曲自在な湾曲部25と、湾曲部25の基端側に接続され、可撓性を有する長尺状の可撓管部26と、を有する。挿入部21は、被検体の体腔内に挿入され、外光の届かない位置にある生体組織などの被写体を撮像素子244によって撮像する。
 操作部22は、湾曲部25を上下方向および左右方向に湾曲させる湾曲ノブ221と、被検体の体腔内に治療光照射装置、生検鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部222と、処理装置4に加えて、送気手段、送水手段、画面表示制御等の周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ223と、を有する。処置具挿入部222から挿入される処置具は、先端部24の処置具チャンネル(図示せず)を経由して開口部から表出する(図3参照)。
 ユニバーサルコード23は、ライトガイド241と、一または複数の信号線をまとめた集合ケーブル245と、を少なくとも内蔵している。ユニバーサルコード23は、操作部22に接続する側と反対側の端部において分岐している。ユニバーサルコード23の分岐端部には、光源装置3に着脱自在なコネクタ231と、処理装置4に着脱自在なコネクタ232とが設けられる。コネクタ231は、端部からライトガイド241の一部が延出している。ユニバーサルコード23は、光源装置3から出射された照明光を、コネクタ231(ライトガイド241)、操作部22および可撓管部26を経て先端部24に伝播する。また、ユニバーサルコード23は、先端部24に設けられた撮像素子244が撮像した画像信号を、コネクタ232を経由して、処理装置4に伝送する。集合ケーブル245は、撮像信号を伝送するための信号線や、撮像素子244を駆動するための駆動信号を伝送するための信号線、内視鏡2(撮像素子244)に関する固有情報などを含む情報を送受信するための信号線を含む。なお、本実施の形態では、信号線を用いて電気信号を伝送するものとして説明するが、光信号を伝送するものであってもよいし、無線通信によって内視鏡2と処理装置4との間で信号を伝送するものであってもよい。
 先端部24は、グラスファイバ等を用いて構成されて光源装置3が発光した光の導光路をなすライトガイド241と、ライトガイド241の先端に設けられた照明レンズ242と、集光用の光学系243と、光学系243の結像位置に設けられ、光学系243が集光した光を受光して電気信号に光電変換して所定の信号処理を施す撮像素子244とを有する。
 光学系243は、一または複数のレンズを用いて構成される。光学系243は、撮像素子244の受光面上に観察像を結像させる。なお、光学系243は、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有してもよい。
 撮像素子244は、光学系243からの光を光電変換して電気信号(画像信号)を生成する。撮像素子244は、光量に応じた電荷を蓄積するフォトダイオードや、フォトダイオードから転送される電荷を電圧レベルに変換するコンデンサなどをそれぞれ有する複数の画素がマトリックス状に配列されてなる。撮像素子244は、各画素が光学系243を経て入射する光を光電変換して電気信号を生成し、複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を順次読み出して、画像信号として出力する。撮像素子244は、例えばCCD(Charge Coupled Device)イメージセンサや、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いて実現される。
 なお、内視鏡2は、撮像素子244が各種動作を実行するための実行プログラムおよび制御プログラムや、内視鏡2の識別情報を含むデータを記憶するメモリを有する(図示せず)。識別情報には、内視鏡2の固有情報(ID)、年式、スペック情報、および伝送方式等が含まれる。また、メモリは、撮像素子244が生成した画像データ等を一時的に記憶してもよい。
 光源装置3の構成について説明する。光源装置3は、光源部31と、照明制御部32と、光源ドライバ33とを備える。光源部31は、照明制御部32の制御のもと、被写体(被検体)に対して、照明光を順次切り替えて出射する。
 光源部31は、光源や、一または複数のレンズ等を用いて構成され、光源の駆動によって光(照明光)を出射する。光源部31が発生した光は、ライトガイド241を経由して先端部24の先端から被写体に向けて出射される。光源部31は、白色光源311と、狭帯域光源312と、励起光源313とを有する。各光源部、ライトガイド241および照明レンズ242によって、出射部を構成する。例えば、狭帯域光源312、ライトガイド241および照明レンズ242によって、狭帯域光出射部を構成する。
 白色光源311は、可視光域の波長帯域を有する光(白色光)を出射する。白色光源311は、LED光源や、レーザー光源、キセノンランプ、ハロゲンランプなどのいずれかの光源を用いて実現される。
 狭帯域光源312は、可視光域の波長帯域の一部の波長または波長帯域からなる光(狭帯域光)を出射する。図4は、狭帯域光として用いる光の波長帯域の一例について説明するための図である。狭帯域光としては、例えば、390nm以上445nm以下の波長帯域の光LB、530nm以上550nm以下の波長帯域の光LGのいずれか、または組み合わせてなる光である。狭帯域光として、例えばNBI(Narrow Band Imaging)観察に用いる光LBおよび光LGからなる光が挙げられる。本実施の形態では、狭帯域光として、光LBおよび光LGからなる光を用いる例について説明する。このほか、490nm以上590nm以下の波長帯域の光や、590nm以上620nm以下の波長帯域の光、および620nm以上780nm以下の波長帯域の光のいずれか、または一部を組み合わせてなる光とすることができる。狭帯域光源312は、LED光源や、レーザー光源などを用いて実現される。
 なお、PITの抗体薬剤を励起させる場合、例えば690nmを中心波長とする近赤外光(例えば図4に示す660nm以上710nm以下の波長帯域の光LP)が用いられる。
 ここで、390nm以上445nm以下の波長帯域の光を照射し、その散乱光や戻り光を取得することによって、粘膜表層の血管を高いコントラストで描出することができる。また、530nm以上550nm以下の波長帯域、590nm以上620nm以下の波長帯域、または620nm以上780nm以下の波長帯域の光を照射し、その散乱光や戻り光を取得することによって、粘膜表層において、比較的深部の血管を高いコントラストで描出することができる。
 励起光源313は、励起対象(例えばPITであれば抗体薬剤)を励起させるための励起光を出射する。励起光源313は、LED光源や、レーザー光源などの光源を用いて実現される。PITの抗体薬剤を励起させる場合、例えば近赤外光LPが用いられる。
 照明制御部32は、処理装置4からの制御信号(調光信号)に基づいて、光源部31に供給する電力量を制御するとともに、発光させる光源や、光源の駆動タイミングを制御する。
 光源ドライバ33は、照明制御部32の制御のもと、発光対象の光源に対して電流を供給することによって、光源部31に光を出射させる。
 処理装置4の構成について説明する。処理装置4は、画像処理部41と、同期信号生成部42と、入力部43と、制御部44と、記憶部45と、を備える。
 画像処理部41は、内視鏡2から、撮像素子244が撮像した各色の照明光の画像データを受信する。画像処理部41は、内視鏡2からアナログの画像データを受信した場合はA/D変換を行ってデジタルの撮像信号を生成する。また、画像処理部41は、内視鏡2から光信号として画像データを受信した場合は光電変換を行ってデジタルの画像データを生成する。
 画像処理部41は、内視鏡2から受信した画像データに対して所定の画像処理を施して画像を生成して表示装置5へ出力したり、画像に基づいて判定した強化領域を設定したり、蛍光強度の時間変化を算出したりする。画像処理部41は、白色光画像生成部411と、狭帯域光画像生成部412と、蛍光画像生成部413と、表示画像生成部414とを有する。
 白色光画像生成部411は、白色光によって形成される像に基づく白色光画像を生成する。
 狭帯域光画像生成部412は、狭帯域光によって形成される像に基づく狭帯域光画像を生成する。
 ここで、光学系243、撮像素子244および画像生成部によって、画像取得部が構成される。例えば、狭帯域光の照明によって形成される像を取得する場合、光学系243、撮像素子244および狭帯域光画像生成部412は狭帯域光画像取得部を構成する。
 蛍光画像生成部413は、蛍光によって形成される像に基づく蛍光画像を生成する。
 表示画像生成部414は、表示装置5に表示する画像を生成する。画像は、白色光や狭帯域光に基づく画像や、狭帯域光画像と蛍光画像とを重ね合わせた画像がある。
 白色光画像生成部411、狭帯域光画像生成部412、蛍光画像生成部413および表示画像生成部414は、所定の画像処理を施すことによって画像を生成する。ここで、所定の画像処理とは、同時化処理、階調補正処理および色補正処理等である。同時化処理は、RGBの各色成分の画像データを同時化する処理である。階調補正処理は、画像データに対して階調の補正を行う処理である。色補正処理は、画像データに対して色調補正を行う処理である。なお、白色光画像生成部411、狭帯域光画像生成部412、蛍光画像生成部413および表示画像生成部414は、画像の明るさに応じてゲイン調整してもよい。
 画像処理部41は、CPU(Central Processing Unit)等の汎用プロセッサや、ASIC(Application Specific Integrated Circuit)等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。なお、画像処理部41は、R画像データ、G画像データおよびB画像データを保持するフレームメモリを有する構成としてもよい。
 同期信号生成部42は、処理装置4の動作の基準となるクロック信号(同期信号)を生成するとともに、生成した同期信号を光源装置3や、画像処理部41、制御部44、内視鏡2へ出力する。ここで、同期信号生成部42が生成する同期信号は、水平同期信号と垂直同期信号とを含む。
 このため、光源装置3、画像処理部41、制御部44、内視鏡2は、生成された同期信号によって、互いに同期をとって動作する。
 入力部43は、キーボード、マウス、スイッチ、タッチパネルを用いて実現され、内視鏡システム1の動作を指示する動作指示信号等の各種信号の入力を受け付ける。なお、入力部43は、操作部22に設けられたスイッチや、外部のタブレット型のコンピュータなどの可搬型端末を含んでもよい。
 制御部44は、撮像素子244および光源装置3を含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部44は、記憶部45に記憶されている撮像制御のための制御情報データ(例えば、読み出しタイミングなど)を参照し、集合ケーブル245に含まれる所定の信号線を経由して駆動信号として撮像素子244へ送信したり、白色光の照明によって得られる画像を観察する通常観察モードと、狭帯域光の照明によって得られる画像を観察する狭帯域光観察モードと、励起対象の蛍光強度を算出する蛍光観察モードとを切り替えたりする。制御部44は、CPU等の汎用プロセッサやASIC等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
 記憶部45は、内視鏡システム1を動作させるための各種プログラム、および内視鏡システム1の動作に必要な各種パラメータ等を含むデータを記憶する。また、記憶部45は、処理装置4の識別情報を記憶する。ここで、識別情報には、処理装置4の固有情報(ID)、年式およびスペック情報等が含まれる。
 また、記憶部45は、処理装置4の画像取得処理方法を実行するための画像取得処理プログラムを含む各種プログラムを記憶する。各種プログラムは、ハードディスク、フラッシュメモリ、CD-ROM、DVD-ROM、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。なお、上述した各種プログラムは、通信ネットワークを経由してダウンロードすることによって取得することも可能である。ここでいう通信ネットワークは、例えば既存の公衆回線網、LAN(Local Area Network)、WAN(Wide Area Network)などによって実現されるものであり、有線、無線を問わない。
 以上の構成を有する記憶部45は、各種プログラム等が予めインストールされたROM(Read Only Memory)、および各処理の演算パラメータやデータ等を記憶するRAMやハードディスク等を用いて実現される。
 表示装置5は、映像ケーブルを経由して処理装置4(画像処理部41)から受信した画像信号に対応する表示画像を表示する。表示装置5は、液晶または有機EL(Electro Luminescence)等のモニタを用いて構成される。
 処置具装置6は、処置具操作部61と、処置具操作部61から延びる可撓性の処置具62とを有する。PITに使用される処置具62は、治療のための光(以下、治療光という)を出射する治療光出射部である。処置具操作部61は、処置具62の治療光の出射を制御する。処置具操作部61は、操作入力部611を有する。操作入力部611は、例えば、スイッチ等によって構成される。処置具操作部61は、操作入力部611への入力(例えばスイッチの押下)によって、処置具62に治療光を出射させる。なお、処置具装置6において、治療光を発する光源は、処置具62に設けられてもよいし、処置具操作部61に設けられてもよい。光源は、半導体レーザーや、LED等を用いて実現される。治療光は、例えばPITの場合、680nm以上の波長帯域の光であり、例えば690nmを中心波長とする光である(例えば図4に示す光LP)。
 ここで、処置具62が備える照明光学系は、治療光の照射範囲を変更できる構成としてもよい。例えば、処置具操作部61の制御のもと、焦点距離を変更可能な光学系や、DMD(Digital Micromirror Device)等によって構成され、被写体に照射する光のスポット径や、照射範囲の形状を変更することができる。
 続いて、内視鏡2を用いた治療の流れについて、図5を参照して説明する。図5は、本発明の実施の形態1にかかる内視鏡を用いた治療の流れの一例を示す図である。図5は、PITの実施の一例を示す図であり、胃STに挿入部21を挿入して治療を行う。
 まず、術者は、胃ST内に挿入部21を挿入する(図5の(a)参照)。この際、術者は、光源装置3に白色光を照射させ、表示装置5が表示する胃ST内の白色光画像を観察しながら治療位置を探索する。ここでは、治療対象として腫瘍B1、B2の治療を行うものとする。この際、治療対象部位である腫瘍B1、B2に対して、抗体薬剤の投与が行われる。抗体薬剤の投与は、内視鏡2を用いて実施してもよいし、他の機器を用いて実施してもよいし、患者に薬剤を飲み込ませてもよい。
 術者は、白色光画像を観察して腫瘍B1、B2を含む領域を照射領域として決定する。また、必要に応じて、照射領域に狭帯域光や励起光を照射して、狭帯域光画像や蛍光画像を取得する。
 術者は、先端部24を腫瘍B1に向け、内視鏡2の先端から処置具62を突出させて腫瘍B1に治療光を照射する(図5の(b)参照)。治療光の照射によって、腫瘍B1に結合した抗体薬剤が反応し、腫瘍B1に対する治療が施される。
 そして、術者は、先端部24を腫瘍B2に向け、内視鏡2の先端から処置具62を突出させて腫瘍B2に治療光を照射する(図5の(c)参照)。治療光の照射によって、腫瘍B2に結合した抗体薬剤が反応し、腫瘍B2に対する治療が施される。
 その後、術者は、先端部24を腫瘍B1に向け、内視鏡2の先端から腫瘍B1に狭帯域光や励起光を照射する(図5の(d)参照)。術者は、治療後の狭帯域光画像や蛍光画像を取得することによって腫瘍B1における治療効果を確認する。治療効果の確認は、例えば後述する画像の観察によって、術者が判断する。
 また、術者は、先端部24を腫瘍B2に向け、内視鏡2の先端から腫瘍B2に狭帯域光を照射する(図5の(e)参照)。術者は、治療後の狭帯域光画像を取得することによって腫瘍B2における治療効果を確認する。
 術者は、必要に応じて、治療光の追加照射と、治療効果の確認とを繰り返す。
 続いて、処理装置4における処理について、図6を参照して説明する。図6は、本実施の形態1にかかる処理装置の処理の一例を示すフローチャートである。
 まず、術者の操作によって、処置具62から、癌細胞に結合させた抗体薬剤に治療光が照射されて薬剤が反応する(ステップS101:薬剤反応工程)。この薬剤反応工程において、治療光である近赤外光の照射によって抗体薬剤を活性化させて癌細胞を破壊する治療が施される。
 そして、先端部24から治療位置に狭帯域光を照射して、治療後の狭帯域光画像(第2狭帯域光画像)を取得する(ステップS102:狭帯域光画像取得工程)。制御部44は、光源装置3に狭帯域光を出射させ、内視鏡2に狭帯域光の像を撮像させる。
 その後、光源装置3に励起光を出射させ、抗体薬剤の蛍光を検出する(ステップS103:蛍光検出工程)。励起光の出射によって、内視鏡2から被写体に励起光が照射され、治療前の抗体薬剤が励起されて蛍光を発する。この際、処理装置4は、第2撮像素子244bが生成した撮像信号(蛍光画像)を取得する。
 ここで、ステップS102、S103の順で狭帯域光と励起光とを交互に切り替えて照明することによって、漏れ光等を抑制して取得する画像の画質を向上させることができる。なお、画質を向上させるうえで狭帯域光と励起光とを別々に照射することが好ましいが、ステップS102およびS103を同時に実施してもよい。
 ここで、NBI観察によって描出される組織の状態について説明する。図7は、正常な状態の組織について説明する図である。癌細胞を含まない正常な状態の場合、微細構造OSが、全体が均一に無構造であり、微小血管(図7では微小血管MVとして破線で図示)は不可視となる。
 図8A~図8Cは、癌細胞を含む状態の組織について説明する図である。図7に示す正常な状態に対し、癌細胞を含む組織は、微細構造OSの表面パターンや血管の状態が、正常な状態と比して異なる。例えば、整った微細構造パターンに対し、血管BVが各微細構造を取り囲む血管パターンを有していたり(図8A参照)、不規則な微細構造パターンに対し、血管BVが各微細構造を取り囲む網目模様の血管パターンを有していたり(図8B参照)、微細構造パターンが不明瞭であり、血管BVの太さが不均一となっていたりする(図8C参照)。
 さらに、癌細胞のタンパク質に抗体薬剤が結合している状態では、励起光を当てると抗体薬剤が励起され、蛍光を発する(図8A等ではハッチングで図示)。治療が未完了であり、結合したままの抗体薬剤が残っている場合、蛍光は検出される。一方、治療が完了し、抗体薬剤が残っていない場合、蛍光は検出されない。
 PITでは、例えば、図8Cに示す組織に治療光を照射して、図7に示す正常な状態へ戻す。図9は、治療前と治療後との組織の状態について説明する図である。図9の(a)は治療前のNBI観察によって取得される狭帯域光画像を示す。図9の(b)および(c)は治療後のNBI観察によって段階的に取得される狭帯域光画像を示す。術者は、図9の(a)に示す状態が、組織に治療光を照射して、図9の(c)に示す状態への変移を確認することによって、治療効果、および治療の成否を判断する。この際、図9の(b)に示す状態は、全体が均一に無構造になりつつも、一部において蛍光が検出されており、治療光を追加照射すると判断される。
 図6に戻り、表示画像生成部414は、表示装置5に表示する画像を生成する(ステップS104:表示画像生成工程)。表示画像生成部414は、ステップS102およびS103において取得した狭帯域光画像と蛍光画像とを重ねた重ね合わせ画像(例えば図9の(b)または(c)に示す画像)を含む表示画像を生成する。
 制御部44は、ステップS105で生成された表示画像を表示装置5に表示させる(ステップS105:表示工程)。表示装置5に画像を表示することによって、術者に、治療効果を確認させる。術者は、画像を参照して治療効果を確認し、追加で治療光を照射するか否かを判断したり、治療光を照射する部分を判断したりする。術者は、判断結果を、入力部43を操作して入力する。
 図10は、表示画面の一例を示す図である。表示装置5には、例えば、治療後の狭帯域光画像と蛍光画像とを重ね合わせた重ね合わせ画像を表示する画像表示部W11を有する表示画像W1が表示される。画像表示部W11には、ステップS102において取得された治療後の狭帯域光画像と、ステップS103において取得された治療後の蛍光画像とを重ねた画像が表示される。図10に示す画像では、蛍光(図10におけるハッチング部分)が観察され、抗体薬剤が残存していることが考えられるため、術者は、画像に基づいて追加照射を検討する。
 制御部44は、入力部43が判断結果の入力を受け付けると、治療光の追加照射を行うか否かを判断する(ステップS106)。制御部44は、入力された判断結果に基づいて治療光の追加照射が不要であると判断した場合(ステップS106:No)、処理を終了する。これに対し、制御部44は、治療光の追加照射を実施すると判断した場合(ステップS106:Yes)、ステップS107に移行する。
 追加照射を行う際には、例えば照明光学系において、光の照射範囲の形状を境界領域に合わせる制御を行ったり、術者がスポット径を調整したりして治療光の照射を行う。
 制御部44は、治療光の追加照射を実施する領域における、照射済みの光量が、許容範囲内であるか否かを判断する(ステップS107)。ここで、許容範囲は、予め設定されている光量であり、少なくとも上限値が設定される。この上限値は、過剰照射によって組織が損傷することを抑制するために設定される値である。制御部44は、例えば、術者等によって指定された対象の領域に対して照射済みの光量(累積光量値)が、上限値を超えているか否かを判断する。照射済みの光量は、例えば術者によって入力された治療光の出力および照射時間に基づいて算出される。
 制御部44は、照射済みの光量が、許容範囲(上限値)を下回っていると判断した場合(ステップS107:Yes)、ステップS101に戻り、上述した処理を繰り返す。また、制御部44は、照射済みの光量が、許容範囲(上限値)を超えていると判断した場合(ステップS107:No)、ステップS108に移行する。
 ステップS108において、制御部44は、照射光量が許容範囲を超えている旨のアラートを出力する。このアラートは、表示装置5に文字情報として表示させてもよいし、音や光を発する構成としてもよいし、これらを組み合わせてもよい。制御部44は、表示装置5に表示させた後、処理を終了する。
 以上説明した実施の形態1では、組織構造が描出される狭帯域光画像と、抗体薬剤の存在の有無を描出する蛍光画像とを重ねた画像を表示装置5に表示させることによって、術者に、治療光の追加照射の要否を判断させる。本実施の形態1によれば、治療後の組織や血管の変化と、抗体薬剤の残存状態との両方向の観点に基づいて、適切に治療効果を確認することができる。
 また、上述した実施の形態1では、追加照射を実施する際に、当該領域への治療光の累積光量と、許容範囲とを比較し、累積光量が許容範囲を超えている場合に、累積光量が許容範囲を超えている旨のアラートを出力する。本実施の形態1によれば、治療光の過剰照射によって組織が損傷することを抑制できる。
 なお、上述した実施の形態1において、撮像素子244をマルチバンド(Multi-band)イメージセンサを用いて構成し、互いに異なる複数の波長帯域の光をそれぞれ個別に取得してもよい。例えば、380nm以上440nm以下の波長帯域の光の散乱光や戻り光と、530nm以上550nm以下の波長帯域の光の散乱光や戻り光とを、マルチバンドイメージセンサによって個別に取得し、それぞれの狭帯域光画像を生成することによって、粘膜表層からの深さが異なる血管画像を個別に生成することができ、各深度における血管や組織の像を用いて、一層高精度に画像変化を算出することができる。さらに、狭帯域光と励起光とを同時に照射した場合であっても、狭帯域光画像と、蛍光画像とを別々に取得することができる。
(実施の形態2)
 次に、実施の形態2について、図11~図14を参照して説明する。図11は、本発明の実施の形態2にかかる内視鏡システムの概略構成を示すブロック図である。本実施の形態2にかかる内視鏡システム1Aは、実施の形態1にかかる内視鏡システム1の処理装置4に代えて処理装置4Aを備える。処理装置4A以外の構成は内視鏡システム1と同じであるため、説明を省略する。
 処理装置4Aの構成について説明する。処理装置4Aは、画像処理部41Aと、同期信号生成部42と、入力部43と、制御部44と、記憶部45と、を備える。
 画像処理部41Aは、白色光画像生成部411と、狭帯域光画像生成部412と、蛍光画像生成部413と、表示画像生成部414と、画像変化算出部415と、を有する。
 画像変化算出部415は、画像の時間的な変化量を算出する。具体的には、画像変化算出部415は、狭帯域光画像生成部412によって生成された狭帯域光画像であって、異なる時刻に撮像された狭帯域光画像の時間的な変化、および/または蛍光画像生成部413によって生成された蛍光画像であって、異なる時刻に撮像された蛍光画像の時間的な変化を算出する。
 続いて、処理装置4Aにおける処理について、図12を参照して説明する。図12は、本実施の形態2にかかる処理装置の処理の一例を示すフローチャートである。
 まず、先端部24から治療位置に狭帯域光を照射して、治療前の狭帯域光画像(第1狭帯域光画像)を取得する(ステップS201:狭帯域光画像取得工程)。ここで、制御部44は、光源装置3に狭帯域光を出射させ、内視鏡2に狭帯域光の像を撮像させる。撮像後、狭帯域光画像生成部412が、狭帯域光画像を生成する。
 また、先端部24から治療位置に励起光を照射して、治療前の蛍光画像(第1蛍光画像)を取得する(ステップS202:蛍光画像取得工程)。ここで、制御部44は、光源装置3に励起光を出射させ、内視鏡2に、抗体薬剤が発する蛍光の像を撮像させる。撮像後、蛍光画像生成部413が、蛍光画像を生成する。
 なお、ステップS201とステップS202とは、処理の順番が逆であってもよい。
 その後、術者の操作によって、処置具62から、癌細胞に結合させた抗体薬剤に治療光が照射されて薬剤が反応する(ステップS203:薬剤反応工程)。
 治療光照射後、先端部24から治療位置に狭帯域光を照射して、治療後の狭帯域光画像(第2狭帯域光画像)を取得する(ステップS204:狭帯域光画像取得工程)。制御部44は、ステップS204においても、ステップS101と同様にして、光源装置3に狭帯域光を出射させ、内視鏡2に狭帯域光の像を撮像させる。
 また、先端部24から治療位置に励起光を照射して、治療後の蛍光画像(第2蛍光画像)を取得する(ステップS205:蛍光画像取得工程)。制御部44は、ステップS204においても、ステップS101と同様にして、光源装置3に狭帯域光を出射させ、内視鏡2に狭帯域光の像を撮像させる。
 なお、ステップS204とステップS205とは、処理の順番が逆であってもよい。
 その後、画像変化算出部415は、治療前後の画像の時間的な変化を算出する(ステップS206:画像変化算出工程)。画像変化算出部415は、治療前後の狭帯域光画像の比較によって、表層の組織パターンの明瞭度、均一性、血管の太さの均一性、視認性等を示す値を画像変化として算出する。なお、画像変化算出部415は、治療前後の蛍光強度の差を画像変化として算出してもよい。
 この際、画像変化算出部415は、得られた狭帯域光画像のうち、血管構造と、微細構造OSとのいずれかの状態の変化を個別に算出する。変化算出の対象は、設定することができ、血管構造のみ、微細構造のみ、血管構造および微細構造のうちから選択できる。画像変化算出部415は、画像の特徴点を抽出し、その特徴点の位置の変化や、大きさ、分布を比較して変化を算出する。
 図13Aおよび図13Bは、治療前と治療後との組織の状態について、狭帯域光画像から構造を抽出した図である。図13Aは、血管構造を抽出した場合の画像を示す。図13Bは、微細構造を抽出した場合の画像を示す。画像変化算出部415は、治療前後の狭帯域光画像から、それぞれ、血管BVを抽出して血管のコントラスト値を算出した後、血管BVと、その周囲とのコントラスト比を算出する。その後、画像変化算出部415は、治療前後の狭帯域光画像のコントラスト比の差分を画像変化として算出する(図13A参照)。
 また、画像変化算出部415は、治療前後の狭帯域光画像から、それぞれ粘膜表層の微細構造OSを抽出して当該微細構造OSの明瞭度を算出する。その後、画像変化算出部415は、治療前後の狭帯域光画像の明瞭度の差分を画像変化として算出する(図10B参照)。この際、狭帯域光画像において、治療後の微細構造は、治療前の微細構造よりも明瞭に描出される。なお、画像変化算出部415は、例えば微細構造OSを抽出して画像間の微細構造OSの一致度を、変化として算出してもよい。
 なお、画像変化算出部415は、狭帯域光画像の画像変化と、蛍光画像の画像変化(蛍光強度の変化)とを算出した場合、各画像変化を用いて画像変化を示す一つの値を算出してもよいし、各画像変化をそれぞれ独立した値として算出してもよい。
 その後、表示画像生成部414が、表示装置5に表示する画像を生成する(ステップS207:表示画像生成工程)。表示画像生成部414は、上述した狭帯域光画像と蛍光画像との重ね合わせ画像、および、算出した画像変化を視覚的に表現した画像を生成する。
 制御部44は、ステップS207で生成された画像を表示装置5に表示させる(ステップS208:表示工程)。表示装置5に画像を表示することによって、術者に、治療効果を確認させる。術者は、画像を参照して治療効果を確認し、追加で治療光を照射するか否かを判断したり、治療光を照射する部分を判断したりする。術者は、判断結果を、入力部43を操作して入力する。
 図14は、治療前と治療後との組織の状態を示す画像を表示した表示画面の一例を示す図である。表示装置5には、例えば、治療前の画像を表示する第1画像表示部W21と、治療後の画像を表示する第2画像表示部W22と、治療前後の画像の変化(例えば上述したコントラスト値)を表示する情報表示部W23とを有する表示画像W2が表示される。第1画像表示部W21および第2画像表示部W22に表示される画像は、狭帯域光画像と蛍光画像とを重ね合わせた画像である。この際、第1画像表示部W21および第2画像表示部W22の大きさや、狭帯域光画像および蛍光画像を重ねる際の各画像の透過率は、適宜設定することができる。
 制御部44は、入力部43が判断結果の入力を受け付けると、治療光の追加照射を行うか否かを判断する(ステップS209)。制御部44は、入力された判断結果に基づいて治療光の追加照射が不要であると判断した場合(ステップS209:No)、処理を終了する。これに対し、制御部44は、治療光の追加照射を実施すると判断した場合(ステップS209:Yes)、ステップS210に移行する。
 追加照射を行う際には、例えば照明光学系において、光の照射範囲の形状を境界領域に合わせる制御を行ったり、術者がスポット径を調整したりして治療光の照射を行う。
 制御部44は、治療光の追加照射を実施する領域における、照射済みの光量が、許容範囲内であるか否かを判断する(ステップS210)。ここで、許容範囲は、予め設定されている光量であり、少なくとも上限値が設定される。この上限値は、過剰照射によって組織が損傷することを抑制するために設定される値である。制御部44は、例えば、術者等によって指定された対象の領域に対して照射済みの光量(累積光量値)が、上限値を超えているか否かを判断する。
 制御部44は、照射済みの光量が、許容範囲(上限値)を下回っていると判断した場合(ステップS210:Yes)、ステップS203に戻り、上述した処理を繰り返す。この際、新たな薬剤反応工程(ステップS102)の前に取得した狭帯域光画像のうち、最新の狭帯域光画像を、治療前の第1狭帯域光画像とし、薬剤反応工程後に取得した狭帯域光画像を第2狭帯域光画像とする。
 また、制御部44は、照射済みの光量が、許容範囲(上限値)を超えていると判断した場合(ステップS210:No)、ステップS211に移行する。
 ステップS211において、制御部44は、照射光量が許容範囲を超えている旨のアラートを出力する。このアラートは、表示装置5に文字情報として表示させてもよいし、音や光を発する構成としてもよいし、これらを組み合わせてもよい。制御部44は、表示装置5に表示させた後、処理を終了する。
 以上説明した実施の形態2では、実施の形態1と同様に、組織構造が描出される狭帯域光画像と、抗体薬剤の存在の有無を描出する蛍光画像とを重ねた画像を表示装置5に表示させることによって、術者に、治療光の追加照射の要否を判断させる。本実施の形態2によれば、治療後の組織や血管の変化と、抗体薬剤の残存状態との両方向の観点に基づいて、適切に治療効果を確認することができる。
 また、実施の形態2では、狭帯域光画像や蛍光画像を用いて治療前後の画像の変化を算出しその変化を表示することによって、術者に、治療光の追加照射の要否を判断させる。本実施の形態2によれば、治療前後の組織や血管の変化を、組織や血管が描出される狭帯域光画像をもとに治療効果を組織レベルで算出し、視覚的に把握し難い蛍光の変化を変化量として算出するため、治療領域に対する追加照射を適切に判断させることができる。
(実施の形態3)
 次に、実施の形態3について、図15を参照して説明する。本実施の形態3にかかる内視鏡システムは、実施の形態2にかかる内視鏡システム1Aと同じであるため、説明を省略する。以下、実施の形態2とは異なる処理について説明する。
 実施の形態3において、画像変化算出部415は、画像を複数の領域に分割し、各領域において画像変化を算出する。図15は、本発明の実施の形態3にかかる治療効果の判定処理について説明するための図である。図15に示す例において、画像変化算出部415は、治療前後の画像をそれぞれ四つに分割し、各領域(領域RA~RD)の画像変化を算出する。図15では、領域RAおよび領域RBの組織が治療によって正常な状態となり、領域RCおよび領域RDの組織が治療後も癌細胞や抗体薬剤を含む状態となっている。術者は、狭帯域画像や画像変化を観察し、各領域について追加照射が必要か否かを判断する。
 以上説明した実施の形態3では、実施の形態1と同様に、組織構造が描出される狭帯域光画像と、抗体薬剤の存在の有無を描出する蛍光画像とを重ねた画像を表示装置5に表示させることによって、術者に、治療光の追加照射の要否を判断させる。本実施の形態3によれば、治療後の組織や血管の変化と、抗体薬剤の残存状態との両方向の観点に基づいて、適切に治療効果を確認することができる。
 また、本実施の形態3によれば、狭帯域光を複数の領域に分割し、各領域の画像変化を算出するため、治療が完了している部分への治療光の過剰照射を抑制することができるとともに、治療が完了していない部分への治療光の照射を継続することができる。
(実施の形態4)
 次に、実施の形態4について、図16、図17Aおよび図17Bを参照して説明する。図16は、本発明の実施の形態3にかかる内視鏡システムの概略構成を示すブロック図である。本実施の形態3にかかる内視鏡システム1Bは、実施の形態2にかかる内視鏡システム1Aの処理装置4Aに代えて処理装置4Bを備える。処理装置4B以外の構成は内視鏡システム1と同じであるため、説明を省略する。
 処理装置4Bの構成について説明する。処理装置4Bは、画像処理部41Bと、同期信号生成部42と、入力部43と、制御部44と、記憶部45と、を備える。
 画像処理部41Bは、白色光画像生成部411と、狭帯域光画像生成部412と、蛍光画像生成部413と、表示画像生成部414と、画像変化算出部415と、推定部416とを有する。
 推定部416は、画像変化算出部415が算出した画像変化に基づいて、治療効果を推定する。推定部416は、例えば、治療前後の狭帯域光画像の画像変化として算出されたコントラスト値の差分を算出し、該差分と、予め設定されている閾値とを比較して、治療効果を推定する。推定部416は、差分が閾値よりも小さければ、追加照射が必要であると推定する。これに対し、推定部416は、差分が閾値以上であれば、治療完了であると推定する。この推定処理は、図12のステップS209の処理としてもよいし、ステップS206における変化算出処理の一部として行って、推定結果をステップS208における表示工程で表示するフローとしてもよい。
 表示画像生成部414は、推定結果をステップS208における表示工程で表示する場合、図14に示す表示画像W2において、情報表示部W23において表示する情報を推定結果に変えた画像を生成する。なお、推定結果と、画像変化の情報との両方を表示する画像としてもよい。
 以上説明した実施の形態4では、実施の形態1と同様に、組織構造が描出される狭帯域光画像と、抗体薬剤の存在の有無を描出する蛍光画像とを重ねた画像を表示装置5に表示させることによって、術者に、治療光の追加照射の要否を判断させる。本実施の形態4によれば、治療後の組織や血管の変化と、抗体薬剤の残存状態との両方向の観点に基づいて、適切に治療効果を確認することができる。
 また、本実施の形態4によれば、狭帯域光画像の変化から治療効果を推定する構成としており、その推定結果は、術者が、狭帯域画像や、画像変化の観察から治療効果を判断する際の好適な判断材料となり得る。
(実施の形態5)
 次に、実施の形態5について、図17A、17Bを参照して説明する。本実施の形態5にかかる内視鏡システムは、実施の形態4にかかる内視鏡システム1Bと同じであるため、説明を省略する。以下、実施の形態4とは異なる処理について説明する。
 実施の形態5において、画像変化算出部415は、治療前後の狭帯域光画像の変化、または、治療前の狭帯域光画像と、予め取得した正常な組織における狭帯域光画像との画像変化を算出する。
 推定部416は、画像変化算出部415が算出した画像変化に基づいて、治療光の出力(照射強度)を推定する。図17Aおよび図17Bは、本発明の実施の形態4にかかる推定処理について説明するための図である。推定部416は、画像変化の大きさに基づいて、治療光の強度を推定する。例えば、図17Aの(a)に示す狭帯域画像において、正常な組織との画像変化が大きい場合、推定部416は、治療光の出力を最大値PMAXに設定する(図17Aの(b)参照)。また、図17Bの(a)に示す狭帯域画像において、正常な組織との画像変化が比較的小さい場合、推定部416は、治療光の出力を最大値PMAXよりも小さい値に設定する(図17Bの(b)参照)。この際、画像変化に対して、出力値と対応付いた閾値が予め設定される。この推定処理は、図12のステップS203の薬剤反応工程の前や、ステップS209において追加照射を行うと判断された後(ステップS209:Yes)に実施される。
 表示画像生成部414は、推定結果を表示する場合、図14に示す表示画像W2において、情報表示部W23に、推定結果として治療光の出力を示す情報を表示させる画像を生成する。なお、推定結果と、画像変化の情報との両方を表示する画像としてもよい。
 術者は、狭帯域画像や画像変化を観察するとともに、治療光の推定出力値を参照し、各領域について追加照射が必要か否か、および、治療光の出力(エネルギー)を判断する。
 以上説明した実施の形態5では、実施の形態1と同様に、組織構造が描出される狭帯域光画像と、抗体薬剤の存在の有無を描出する蛍光画像とを重ねた画像を表示装置5に表示させることによって、術者に、治療光の追加照射の要否を判断させる。本実施の形態5によれば、治療後の組織や血管の変化と、抗体薬剤の残存状態との両方向の観点に基づいて、適切に治療効果を確認することができる。
 また、本実施の形態5によれば、狭帯域光画像をもとに治療光の出力を推定する構成としており、その推定結果は、術者が、治療光を照射する際の好適な判断材料となり得る。
(実施の形態6)
 次に、実施の形態6について、図18A、18Bを参照して説明する。本実施の形態6にかかる内視鏡システムは、実施の形態4にかかる内視鏡システム1Bと同じであるため、説明を省略する。以下、実施の形態4とは異なる処理について説明する。
 実施の形態6において、画像変化算出部415は、治療前後の狭帯域光画像の変化、または、治療前の狭帯域光画像と、予め取得した正常な組織における狭帯域光画像との画像変化を算出する。
 推定部416は、画像変化算出部415が算出した画像変化に基づいて、必要な治療光の照射強度を推定する。図18Aおよび図18Bは、本発明の実施の形態5にかかる推定処理について説明するための図である。推定部416は、画像変化の大きさに基づいて、治療光の照射時間を推定する。この際、治療光は、予め設定されている出力であるものとする。例えば、図18Aの(a)に示す狭帯域画像において、正常な組織との画像変化が大きい場合、推定部416は、画像変化の大きさに応じた照射時間、例えば70分を設定する。また、図18Bの(a)に示す狭帯域画像において、正常な組織との画像変化が比較的小さい場合、推定部416は、例えば15分を設定する。この際、画像変化に対して、照射時間と対応付いた閾値が予め設定される。この推定処理は、図12のステップS203の薬剤反応工程の前や、ステップS209において追加照射を行うと判断された後(ステップS209:Yes)に実施される。
 表示画像生成部414は、推定結果を表示する場合、図14に示す表示画像W2において、情報表示部W23に、推定結果として治療光の照射時間を示す情報を表示させる画像(例えば図18Aの(b)および図18Bの(b)参照)を生成する。なお、推定結果と、画像変化の情報との両方を表示する画像としてもよい。
 術者は、狭帯域画像や画像変化を観察するとともに、治療光の推定照射時間を参照し、各領域について追加照射が必要か否か、および、治療光の照射時間を判断する。
 以上説明した実施の形態6では、実施の形態4と同様に、狭帯域光画像を用いて治療前後の組織の変化を算出しその変化に基づく情報を表示することによって、術者に、治療光の追加照射の要否を判断させる。本実施の形態6によれば、治療前後の組織や血管の変化を、組織や血管が描出される狭帯域光画像をもとに治療効果を組織レベルで算出するため、治療領域に対して適切に光照射を実施することができる。
 また、本実施の形態6によれば、狭帯域光画像をもとに治療光の照射時間を推定する構成としており、その推定結果は、術者が、治療光を照射する際の好適な判断材料となり得る。
 なお、本実施の形態6において、実施の形態5と組み合わせて、治療光の出力と、照射時間とを組わせた推定結果を出力する構成としてもよい。
 また、上述した実施の形態5、6において、推定部416は、治療光の出力や照射時間と対応付いた比較用の狭帯域光画像を予め用意しておき、該比較用の狭帯域光画像の特徴と、処理対象の狭帯域光画像の特徴量とを比較するなどして、治療光の出力や照射時間を推定する構成としてもよい。
(実施の形態7)
 次に、実施の形態7について、図19を参照して説明する。図19は、本発明の実施の形態7にかかる内視鏡システムの概略構成を示すブロック図である。本実施の形態7にかかる内視鏡システム1Cは、実施の形態4にかかる内視鏡システム1Bと同じ構成を備える。内視鏡システム1Cでは、処理装置4Bが、処置具装置6と電気的に接続し、制御部44によって、処置具62からの治療光の出射制御を行う。
 処理装置4Bは、PITを実施する場合、図12のフローに従って処理を実行する。この際、治療光の照射を行う際に、制御部44が、治療光の照射範囲や、照射タイミング、照射時間を制御する。具体的には、制御部44は、例えば、術者によって設定された照射範囲に対し、予め設定された照射光量となる光強度(出力値)および照射時間を設定する。制御部44は、操作入力部611のスイッチの押下をトリガとして、治療光の照射制御を開始する。また、追加照射する際、制御部44は、対象の境界領域に応じて、処置具62から出射される治療光の照射範囲の形状を設定し、操作入力部611のスイッチの押下をトリガとして、治療光の照射制御を開始する。
 また、本実施の形態7において、制御部44は、図12のフローチャートにしたがって、狭帯域光と治療光とを交互に出射する制御を行う。なお、狭帯域光と治療光を同時に出射してもよい。
 以上説明した実施の形態7では、実施の形態4と同様に、狭帯域光画像を用いて治療前後の組織の変化を算出しその変化に基づく情報を表示することによって、術者に、治療光の追加照射の要否を判断させる。本実施の形態7によれば、治療前後の組織や血管の変化を、組織や血管が描出される狭帯域光画像をもとに治療効果を組織レベルで算出するため、治療領域に対して適切に光照射を実施することができる。
 また、本実施の形態7によれば、制御部44によって治療光の照射処理が制御されるため、術者に負担を軽減することができる。
 以上説明した実施の形態1~7においては、光源装置3が、処理装置4とは別体である例を説明したが、光源装置3および処理装置4を一体化した構成としてもよい。また、実施の形態1~7では、処置具によって治療光を照射する例について説明したが、光源装置3が治療光を出射する構成としてもよい。
 また、上述した実施の形態1~7において、励起光と治療光とは、同じ波長帯域(中心波長が同じ)であってもよいし、互いに異なる波長帯域(中心波長)であってもよい。なお、励起光を治療光と共通で用いる場合、処置具62または励起光源によって治療光(励起光)を照射すればよく、励起光源および処置具62の一方を有しない構成としてもよい。PITの抗体薬剤を励起させる場合、例えば690nmを中心波長とする近赤外光LPが用いられる。
 また、上述した実施の形態1~7では、本発明にかかる内視鏡システムが、観察対象が被検体内の生体組織などである軟性の内視鏡2を用いた内視鏡システム1であるものとして説明したが、硬性の内視鏡や、材料の特性を観測する工業用の内視鏡、ファイバースコープ、光学視管などの光学内視鏡の接眼部にカメラヘッドを接続したものを用いた内視鏡システムであっても適用できる。
(付記項)
 治療対象部位に光治療用の薬剤を投与する工程と、
 前記治療対象部位に治療光を照射して、治療対象部位に結合させた薬剤を反応させる工程と、
 前記治療対象部位に狭帯域光を照射して、治療後の狭帯域光画像を取得する工程と、
 前記治療対象部位に励起光を照射して、治療後の蛍光画像を取得する工程と、
 前記狭帯域光画像と前記蛍光画像とを重ね合わせた重ね合わせ画像を生成する工程と、
 前記重ね合わせ画像を用いて、治療光の照射を継続するか否かを判断する工程と、
 を含む光治療方法。
 以上のように、本発明にかかる光治療装置、光治療方法および光治療プログラムは、適切に治療効果を確認するのに有用である。
 1、1A~1C 内視鏡システム
 2 内視鏡
 3 光源装置
 4、4A、4B 処理装置
 5 表示装置
 6 処置具装置
 21 挿入部
 22 操作部
 23 ユニバーサルコード
 24 先端部
 25 湾曲部
 26 可撓管部
 31 光源部
 32 照明制御部
 33 光源ドライバ
 41、41A、41B 画像処理部
 42 同期信号生成部
 43 入力部
 44 制御部
 45 記憶部
 61 処置具操作部
 62 処置具
 241 ライトガイド
 242 照明レンズ
 243 光学系
 244 撮像素子
 311 白色光源
 312 狭帯域光源
 411 白色光画像生成部
 412 狭帯域光画像生成部
 413 蛍光画像生成部
 414 表示画像生成部
 415 画像変化算出部
 416 推定部

Claims (10)

  1.  薬剤を反応させる治療光を出射する治療光出射部と、
     可視光域の一部の波長帯域の光からなる狭帯域光を出射する狭帯域光出射部と、
     前記薬剤を励起する励起光を出射する励起光出射部と、
     前記治療光の照射位置に照射された前記狭帯域光によって得られる狭帯域光画像を取得する狭帯域光画像取得部と、
     前記治療光の照射位置に照射された前記励起光によって得られる蛍光画像を取得する蛍光画像取得部と、
     前記狭帯域光画像と前記蛍光画像とを重ね合わせた重ね合わせ画像を生成する表示画像生成部と、
     を備える光治療装置。
  2.  前記治療光の照射前後の前記狭帯域光画像の時間的な変化を算出する画像変化算出部、
     をさらに備える請求項1に記載の光治療装置。
  3.  前記画像変化算出部は、治療光の照射前後の前記蛍光画像における蛍光強度の時間的な変化を算出する、
     請求項2に記載の光治療装置。
  4.  前記表示画像生成部は、前記狭帯域光画像および前記蛍光画像を、それぞれに対して設定された明るさまたは透過率で重ね合わせることによって前記重ね合わせ画像を生成する、
     請求項1に記載の光治療装置。
  5.  前記画像変化算出部は、前記狭帯域光画像を複数の領域に分割し、該分割したそれぞれの領域における画像の変化量を算出する、
     請求項2に記載の光治療装置。
  6.  前記表示画像生成部は、前記治療光の照射前の重ね合わせ画像と、前記治療光の照射後の重ね合わせ画像とを並べた表示画像を生成する、
     請求項1に記載の光治療装置。
  7.  前記画像変化算出部が算出した画像の変化に基づいて、前記治療光の出力を推定する推定部、
     をさらに備える請求項2に記載の光治療装置。
  8.  前記画像変化算出部が算出した画像の変化に基づいて、前記治療光の照射時間を推定する推定部、
     をさらに備える請求項2に記載の光治療装置。
  9.  薬剤を反応させる治療光を、治療部位に照射して治療効果を確認するための光治療方法であって、
     薬剤を反応させる治療光の照射位置に照射された、可視光域の一部の波長帯域の光からなる狭帯域光によって得られる狭帯域光画像を取得する狭帯域光画像取得ステップと、
     前記治療光の照射位置に照射された、前記薬剤を励起する励起光によって得られる蛍光画像を取得する蛍光画像取得ステップと、
     前記狭帯域光画像と前記蛍光画像とを重ね合わせた重ね合わせ画像を生成する表示画像生成ステップと、
     を含む光治療方法。
  10.  薬剤を反応させる治療光を、治療部位に照射して治療効果を確認するため情報を生成する光治療装置に、
     薬剤を反応させる治療光の照射位置に照射された、可視光域の一部の波長帯域の光からなる狭帯域光によって得られる狭帯域光画像を取得する狭帯域光画像取得ステップと、
     前記治療光の照射位置に照射された、前記薬剤を励起する励起光によって得られる蛍光画像を取得する蛍光画像取得ステップと、
     前記狭帯域光画像と前記蛍光画像とを重ね合わせた重ね合わせ画像を生成する表示画像生成ステップと、
     を実行させる光治療プログラム。
PCT/JP2021/016734 2021-04-27 2021-04-27 光治療装置、光治療方法および光治療プログラム WO2022230040A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2021/016734 WO2022230040A1 (ja) 2021-04-27 2021-04-27 光治療装置、光治療方法および光治療プログラム
CN202180088716.XA CN116723885A (zh) 2021-04-27 2021-04-27 光治疗装置、光治疗方法以及光治疗程序
JP2023516890A JPWO2022230040A1 (ja) 2021-04-27 2021-04-27
US18/220,425 US20230347170A1 (en) 2021-04-27 2023-07-11 Phototherapy device, phototherapy method, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/016734 WO2022230040A1 (ja) 2021-04-27 2021-04-27 光治療装置、光治療方法および光治療プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/220,425 Continuation US20230347170A1 (en) 2021-04-27 2023-07-11 Phototherapy device, phototherapy method, and computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2022230040A1 true WO2022230040A1 (ja) 2022-11-03

Family

ID=83846784

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/016734 WO2022230040A1 (ja) 2021-04-27 2021-04-27 光治療装置、光治療方法および光治療プログラム

Country Status (4)

Country Link
US (1) US20230347170A1 (ja)
JP (1) JPWO2022230040A1 (ja)
CN (1) CN116723885A (ja)
WO (1) WO2022230040A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008526326A (ja) * 2005-01-10 2008-07-24 チョンチン・ハイフ(エイチアイエフユー)・テクノロジー・カンパニー・リミテッド 高強度集束超音波療法のための方法および装置
JP2012024283A (ja) * 2010-07-22 2012-02-09 Fujifilm Corp 内視鏡診断装置
JP2012115406A (ja) * 2010-11-30 2012-06-21 Fujifilm Corp 内視鏡装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008526326A (ja) * 2005-01-10 2008-07-24 チョンチン・ハイフ(エイチアイエフユー)・テクノロジー・カンパニー・リミテッド 高強度集束超音波療法のための方法および装置
JP2012024283A (ja) * 2010-07-22 2012-02-09 Fujifilm Corp 内視鏡診断装置
JP2012115406A (ja) * 2010-11-30 2012-06-21 Fujifilm Corp 内視鏡装置

Also Published As

Publication number Publication date
JPWO2022230040A1 (ja) 2022-11-03
US20230347170A1 (en) 2023-11-02
CN116723885A (zh) 2023-09-08

Similar Documents

Publication Publication Date Title
JP2023010809A (ja) 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム、記録媒体
JP6001219B1 (ja) 内視鏡システム
JP2012000160A (ja) 内視鏡装置
WO2017115442A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP7328432B2 (ja) 医療用制御装置、医療用観察システム、制御装置及び観察システム
JP2010104391A (ja) 蛍光観察用プローブ
WO2022230040A1 (ja) 光治療装置、光治療方法および光治療プログラム
US20230000330A1 (en) Medical observation system, medical imaging device and imaging method
WO2022224454A1 (ja) 光治療装置、光治療方法および光治療プログラム
WO2022219783A1 (ja) 光治療装置、光治療方法および光治療プログラム
WO2023127053A1 (ja) 画像処理装置、光免疫治療システム、画像処理方法及び画像処理プログラム
JP2005211272A (ja) 内視鏡装置
WO2023248306A1 (ja) 画像処理装置、光治療システム、画像処理方法、画像処理プログラムおよび光治療方法
US20240115874A1 (en) Endoscope system and phototherapy method
US20230371817A1 (en) Endoscope system
JP4373726B2 (ja) 自家蛍光観察装置
WO2021181484A1 (ja) 医療用画像処理装置、医療用撮像装置、医療用観察システム、画像処理方法およびプログラム
JP7434591B2 (ja) 支援装置、内視鏡システム、支援方法およびプログラム
US20230248209A1 (en) Assistant device, endoscopic system, assistant method, and computer-readable recording medium
JP2012228443A (ja) 内視鏡装置及びその操作支援方法
JP7441822B2 (ja) 医療用制御装置及び医療用観察装置
KR20170022571A (ko) 형광 영상을 촬영하는 내시경 장치
WO2018225316A1 (ja) 医療用制御装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21939202

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023516890

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202180088716.X

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21939202

Country of ref document: EP

Kind code of ref document: A1