WO2016174911A1 - 光線力学診断装置及び光線力学診断方法 - Google Patents

光線力学診断装置及び光線力学診断方法 Download PDF

Info

Publication number
WO2016174911A1
WO2016174911A1 PCT/JP2016/055683 JP2016055683W WO2016174911A1 WO 2016174911 A1 WO2016174911 A1 WO 2016174911A1 JP 2016055683 W JP2016055683 W JP 2016055683W WO 2016174911 A1 WO2016174911 A1 WO 2016174911A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
imaging
fluorescence
illumination light
processing unit
Prior art date
Application number
PCT/JP2016/055683
Other languages
English (en)
French (fr)
Inventor
木島　公一朗
博史 前田
拓哉 岸本
山口　恭司
和樹 池下
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/559,495 priority Critical patent/US20180110414A1/en
Publication of WO2016174911A1 publication Critical patent/WO2016174911A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0091—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/502—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • the present disclosure relates to a photodynamic diagnosis apparatus and a photodynamic diagnosis method.
  • tumor cells constituting malignant tumors are young, and porphyrins are easily bound to lipoproteins in the cells, and the rate of excretion of porphyrins out of the cells is slow.
  • porphyrin drugs By paying attention to such characteristics and using the difference in the excretion rate between healthy cells and tumor cells, it is possible to create a difference in drug concentration between healthy cells and tumor cells after administration of porphyrin drugs to the body. It becomes possible.
  • tumor-selective drugs have been developed, and photosensitivity that can visualize the difference in drug concentration by photochemical action of exciting the drug and obtaining fluorescence by applying light energy from the outside.
  • Substances Photosensitizers
  • PDD photodynamic diagnosis
  • PDD image a fluorescent captured image obtained by PDD
  • PDD image picked up in this way is a monotonous image in which a fluorescent portion exists in a dark background (for example, a black background). Therefore, although it can be determined whether or not a malignant tumor exists by referring to the PDD image, it is not possible to specify from the PDD image only where the malignant tumor exists in the actual surgical field. It is extremely difficult.
  • the present disclosure proposes a photodynamic diagnosis apparatus and a photodynamic diagnosis method that can more easily and accurately grasp the location where a malignant tumor exists.
  • an imaging unit having an excitation light source that irradiates excitation light of a predetermined wavelength, and a fluorescence imaging device that captures fluorescence from a photosensitive substance excited by the excitation light and generates a fluorescence imaging image;
  • An arithmetic processing unit having an image processing unit that performs predetermined image processing on the fluorescence captured image, and the image processing unit displays a first image representing a positional relationship of at least a part of the human body.
  • a photodynamic diagnostic apparatus is provided that generates an integrated image integrated with the fluorescence image.
  • the excitation light source emits excitation light having a predetermined wavelength
  • the fluorescence from the photosensitive substance excited by the excitation light is imaged by the fluorescence imaging device to generate the fluorescence imaging image.
  • an integrated image obtained by integrating the first image representing the positional relationship of at least a part of the human body with the generated fluorescence imaging image is provided. .
  • the imaging unit captures fluorescence generated when the photosensitive substance is excited by the excitation light to generate a fluorescence captured image
  • the arithmetic processing unit determines the positional relationship of at least a part of the human body.
  • An integrated image is generated by integrating the represented first image with the generated fluorescent captured image.
  • FIG. 4 is an explanatory diagram for explaining a display image generation process performed by the image processing unit according to the embodiment;
  • FIG. 4 is an explanatory diagram for explaining a display image generation process performed by the image processing unit according to the embodiment;
  • FIG. 4 is an explanatory diagram for explaining a display image generation process performed by the image processing unit according to the embodiment;
  • FIG. 3 It is the flowchart which showed an example of the flow of the photodynamic diagnosis method which concerns on the embodiment.
  • FIG. 3 is a block diagram illustrating an example of a hardware configuration of an arithmetic processing unit according to an embodiment of the present disclosure.
  • the purpose of the photodynamic diagnosis apparatus and the photodynamic diagnosis method according to the embodiment of the present disclosure is to describe a tumor that occurs in a human body. This will be described in more detail with an example of breast cancer.
  • the treatment protocol from diagnosis of breast cancer to surgery is mainly as follows: screening diagnosis of cancer by mammography ⁇ diagnosis by needle biopsy ⁇ preoperative chemotherapy (NAC) ⁇ resection surgery.
  • NAC preoperative chemotherapy
  • the shrinkage of the cancer area due to NAC depends on the type of breast cancer, and there may be a type in which the cancer area shrinks as a whole while the cancer area remains in an enclave around it. It has become clear. In addition, since the surrounding fibrosis and inflammation disappear with the disappearance of the cancer region, the overall shape of the breast also changes, and the region where the cancer was present before NAC may become unclear. It is coming. Due to these factors, the risk of cancer remaining in resection surgery (so-called stump positive risk) has increased.
  • breast cancer excision surgery is generally performed by a doctor who is an operator while visually observing the surgical field.
  • the surgical resection area has been reduced from the viewpoint of adjustability in order to further improve the patient's QOL, and there is a concern that the risk of stump positiveness will increase.
  • the above marginal positive risk is not limited to breast cancer, but also exists for other malignant tumors.
  • the present inventor has eagerly studied for a technique that can more easily and accurately grasp the location where a malignant tumor is present.
  • the PDD image obtained by PDD is integrated with the first image different from the PDD image, and the technology based on the present disclosure as described in detail below. Was completed.
  • FIGS. 1 and 2 are explanatory views schematically showing an example of the overall configuration of the photodynamic diagnosis apparatus according to the present embodiment.
  • the photodynamic diagnosis apparatus 1 is preliminarily administered with a photosensitive substance, and a part of a human body that is highly likely to accumulate the photosensitive substance (for example, A lesion of a malignant tumor such as cancer) is irradiated with excitation light having a predetermined wavelength, and fluorescence from a photosensitive substance excited by the excitation light is imaged. Since the photosensitive substance is selectively accumulated in tumor cells constituting malignant tumors such as cancer, so-called PDD can be performed in which the presence or absence of tumor cells is confirmed by the presence or absence of fluorescence.
  • PDD can be performed in which the presence or absence of tumor cells is confirmed by the presence or absence of fluorescence.
  • the photodynamic diagnosis apparatus 1 has an illumination light source 3 that irradiates illumination light toward an operation field in excision surgery, and data of various medical images.
  • PDD is executed in cooperation with the image server 5 storing
  • the illumination light source 3 is a light source that emits illumination light belonging to the visible light band toward the surgical field, and the detailed structure thereof is not particularly limited.
  • the illumination light source 3 may be a known light source such as a surgical light previously installed in an operating room or the like, or may be a light source provided separately from the surgical light or the like.
  • the illumination light source 3 may have a unique illumination light control mechanism, but illumination light illumination may be controlled by the photodynamic diagnosis apparatus 1 according to the present embodiment.
  • FIG. 1 illustrates a case in which an illumination light source 3 that irradiates illumination light belonging to the visible light band is provided separately from the photodynamic diagnosis device 1, but the photodynamic diagnosis device according to the present embodiment. 1 may further include an illumination light source that emits illumination light belonging to the visible light band. Since the photodynamic diagnosis apparatus 1 itself has an illumination light source, it is possible to omit the operation of turning on / off the surgical light.
  • the image server 5 is a server that stores various types of medical image data, and is set so as to be accessible from the photodynamic diagnosis apparatus 1 via a known network such as the Internet or a local area network. Has been.
  • the image server 5 stores various diagnostic images indicating the location of a malignant tumor such as cancer.
  • Such a diagnostic image is a fluoroscopic image obtained by seeing through at least a part of the human body, or a cross-sectional image obtained by capturing an image of a cross section of at least a part of the human body.
  • Examples of fluoroscopic images and cross-sectional images include mammography images, CT images, MRI images, ultrasound images, and the like.
  • the fluoroscopic images and cross-sectional images of interest in the present embodiment are limited to the above images. It is not intended to include any image data used for diagnosis in the medical field.
  • the photodynamic diagnosis apparatus 1 can use various diagnostic images stored in the image server 5 for image processing to be described later by accessing such an image server 5 at an arbitrary timing. It becomes.
  • the photodynamic diagnosis device 1 that performs PDD in cooperation with various devices as described above includes an imaging unit 10, an arithmetic processing unit 20, and an image display unit 30, as schematically shown in FIG. Prepare mainly.
  • the imaging unit 10 irradiates at least a part of a human body to which a photosensitive substance has been administered in advance with excitation light having a predetermined wavelength, and images fluorescence from the photosensitive substance excited by the excitation light. This unit generates a fluorescence image.
  • the imaging unit 10 may have a mechanism for further irradiating illumination light belonging to the visible light band separately from excitation light having a predetermined wavelength. The detailed configuration of the imaging unit 10 will be described later again.
  • the arithmetic processing unit 20 performs predetermined image processing on the fluorescence captured image generated by the imaging unit 10, so that the user of the photodynamic diagnosis apparatus 1 (that is, an operator who performs a surgical operation for malignant tumor).
  • This is a unit that generates image data for providing a fluorescent captured image in an easy-to-understand format.
  • the arithmetic processing unit 20 can acquire various image data from the image server 5 provided outside the photodynamic diagnosis apparatus 1 and can use it for image processing performed in the arithmetic processing unit 20. .
  • the arithmetic processing unit 20 also has a function as a control unit that controls various imaging processes performed by the imaging unit 10, and includes various light sources, imaging devices, and various types provided as the imaging unit 10. It is possible to control the optical apparatus.
  • the arithmetic processing unit 20 can also control the illumination light emitted from the illumination light source 3.
  • the image display unit 30 is a unit for presenting various types of image data generated by performing image processing on the fluorescence captured image by the arithmetic processing unit 20 to the user of the photodynamic diagnosis apparatus 1. It is.
  • the image display unit 30 includes one or a plurality of various displays. Various image displays in the image display unit 30 are controlled by the arithmetic processing unit 20.
  • the fluorescence display image processed so as to be easily understood by the image display unit 30 is presented to the user of the photodynamic diagnosis apparatus 1. Thereby, the user of the photodynamic diagnostic apparatus 1 can grasp the presence or absence of fluorescence from the photosensitive substance (that is, the presence or absence of malignant cells), and if malignant cells remain, It is possible to easily grasp the remaining portion.
  • FIG. 3 is an explanatory diagram schematically showing an example of the configuration of the imaging unit of the photodynamic diagnosis apparatus according to the present embodiment.
  • FIG. 4 is an explanatory diagram for explaining the photosensitive substance and its excitation wavelength.
  • FIG. 5 is an explanatory diagram schematically illustrating another configuration example of the imaging unit according to the present embodiment.
  • the imaging unit 10 includes at least an excitation light source 101 and a fluorescence imaging device 103 as schematically illustrated in FIG.
  • the excitation light source 101 is a light source that irradiates at least a part of a human body including a lesion (that is, a malignant tumor such as cancer) in which a photosensitive substance is accumulated, with excitation light having a predetermined wavelength.
  • the wavelength of the excitation light emitted from the excitation light source 101 is not particularly limited, and a wavelength required for exciting the photosensitive substance accumulated in advance in the lesion may be selected.
  • FIG. 4 shows an example of the photosensitive substance and the excitation wavelength corresponding to each photosensitive substance.
  • the excitation wavelength for exciting the photosensitive substance is determined according to the chemical structure of the photosensitive substance.
  • Photofrin registered trademark
  • Photofrin which is an example of a photosensitive substance, is excited by excitation light having a wavelength of 630 nm and emits fluorescence having a predetermined wavelength.
  • the photosensitive substance Visudyne (registered trademark) is excited by excitation light having a wavelength of 693 nm or excitation light having a wavelength of 689 nm ⁇ 3 nm and emits fluorescence having a predetermined wavelength
  • the photosensitive substance Laserphyrin (registered trademark) has a wavelength of It is excited by 664 nm excitation light and emits fluorescence of a predetermined wavelength.
  • the photosensitive material Foscan (registered trademark) is excited by excitation light having a wavelength of 652 nm to emit fluorescence having a predetermined wavelength
  • the photosensitive material Levlan (registered trademark) is excited by blue light to emit fluorescence having a predetermined wavelength.
  • the photosensitizer Photorex (registered trademark) is excited by excitation light having a wavelength of 660 nm to emit fluorescence having a predetermined wavelength
  • the photosensitizer Antrin (registered trademark) is excited by excitation light having a wavelength of 732 nm to emit fluorescence having a predetermined wavelength
  • the photosensitive substance Tookad (registered trademark) is excited by excitation light having a wavelength of 762 nm and emits fluorescence having a predetermined wavelength.
  • the photosensitive substance and the excitation wavelength shown in FIG. 4 are merely examples, and the photosensitive substance that can be used in the photodynamic diagnostic apparatus 1 according to the present embodiment is limited to the example shown in FIG. It is not a thing.
  • the wavelength of the excitation light to be emitted is set according to the photosensitive substance used.
  • the number of excitation light sources 101 is one, but the number of excitation light sources 101 is not limited to one, and the type of photosensitive material used in the photodynamic diagnosis apparatus 1 is not limited. A plurality of light sources may be prepared accordingly.
  • the excitation light source 101 has a wavelength conversion mechanism, and may be designed so that it can respond to a plurality of excitation wavelengths.
  • the type of the excitation light source 101 is not particularly limited, and various known laser light sources can be used while making diffused light using various lenses as necessary.
  • the laser light source may be a CW laser light source capable of outputting CW (Continuous Wave) laser light or a pulse laser light source capable of outputting pulse laser light.
  • an optical element such as a light emitting diode can be used as long as an output for exciting the photosensitive substance can be obtained.
  • the fluorescence imaging device 103 is a device that images fluorescence from a photosensitive substance excited by excitation light from the excitation light source 101 and generates a fluorescence image (that is, a PDD image).
  • a fluorescence captured image generated by the fluorescence imaging apparatus 103 is also referred to as a PDD image.
  • Such a fluorescence imaging device 103 includes, for example, various imaging devices such as a CCD (Charge Coupled Device) and a CMOS (Complementary Metal Oxide Semiconductor), or a photomultiplier tube (PMT) light detector such as a photomultiplier tube (PMT).
  • the detection result of fluorescence from the photosensitive substance is converted into image data. Thereby, the image data of the fluorescence picked-up image originating in a photosensitive substance is produced
  • an optical filter 105 for transmitting the fluorescence from the photosensitive material and not transmitting the excitation light is provided in order to capture the fluorescence from the photosensitive material more clearly. It is preferable to provide it upstream of the fluorescence imaging device 103. 3 illustrates the case where the optical filter 105 is provided outside the fluorescent imaging device 103, the optical filter 105 is provided on the upstream side of various imaging elements provided in the fluorescent imaging device 103. As long as it is necessary to be included in the fluorescence imaging apparatus 103.
  • the imaging unit 10 uses the illumination light belonging to the visible light band emitted from the illumination light source 3 to illuminate by imaging a part of the human body to which a photosensitive substance has been administered in advance. It is preferable to further include an illumination light imaging device 107 that generates a light captured image. At this time, the relative positional relationship between the illumination light imaging device 107 and the fluorescence imaging device 103 (for example, an angle formed by the optical axis of each imaging device) is set to a predetermined value in advance, for example, illumination light It is preferable that the direction of the optical axis of the fluorescence imaging device 103 can be specified by specifying the direction of the optical axis of the imaging device 107.
  • the illumination light captured image generated by the illumination light imaging device 107 is a captured image under illumination light belonging to the visible light band, and a user of the photodynamic diagnosis device 1 (that is, a surgical operator) performs an operation. Sometimes it will be the actual image you are seeing.
  • the fluorescence imaging device 103 and the illumination light imaging device 107 are described as separate devices.
  • the optical filter 105 can be inserted onto the optical axis and removed from the optical axis at high speed, and the imaging device is provided with an imaging device capable of capturing a color image, 1
  • the functions of the fluorescence imaging device 103 and the illumination light imaging device 107 can be realized by one imaging device.
  • FIG. 3 by separately providing the fluorescence imaging device 103 that captures fluorescence and the illumination light imaging device 107 that captures illumination light, processing such as insertion / removal of the optical filter 105 is not performed.
  • the stability of the imaging unit 10 can be further improved.
  • the imaging unit 10 itself has an illumination light source. It may be as described above.
  • the illumination light source is not particularly limited as long as illumination light belonging to the visible light band can be irradiated, and a known light source can be used.
  • the fluorescence imaging device 103 and the illumination light imaging device 107 are described as separate devices. However, as shown in FIG. 5, the fluorescence imaging device 103 and the illumination light imaging device 107 are integrated. It is also possible to do.
  • the image pickup device 153 is provided inside the camera body. The light from the lesion is guided to the camera body through the lens, and then the optical path is branched into two by the beam splitter BS provided on the optical axis.
  • An optical filter 105 is provided on one of the optical paths, and an imaging element 151 for fluorescent imaging is provided at the subsequent stage of the optical filter 105.
  • An illumination light imaging element 153 is provided on the other optical path.
  • the optical axis of the fluorescence image pickup device 103 and the optical axis of the illumination light image pickup device 107 which are different in FIG.
  • the direction of the optical axis corresponding to the image formed on the image sensor 153 is equal to the direction of the optical axis corresponding to the image formed on the image sensor 151 for fluorescence imaging.
  • FIG. 6 is a block diagram schematically showing an example of the configuration of the arithmetic processing unit of the photodynamic diagnosis apparatus according to this embodiment.
  • FIG. 7 is a block diagram schematically illustrating an example of the configuration of the image processing unit included in the arithmetic processing unit according to the present embodiment.
  • 8 to 10 are explanatory diagrams for explaining display image generation processing performed by the image processing unit according to the present embodiment.
  • the arithmetic processing unit 20 includes an imaging control unit 201, a data acquisition unit 203, an image processing unit 205, a display image output unit 207, and a display control unit. 209 and a storage unit 211 are mainly provided.
  • the imaging control unit 201 is realized by, for example, a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), a communication device, and the like.
  • the imaging control unit 201 controls various imaging processes in the imaging unit 10. More specifically, the imaging control unit 201 performs on / off control of the excitation light source 101 in the imaging unit 10 and drive control of the fluorescence imaging device 103 and the illumination light imaging device 107.
  • the imaging control unit 201 can perform on / off control of illumination light in the illumination light source 3, and the imaging unit 10 itself has an illumination light source that can emit illumination light belonging to the visible light band. In some cases, it is also possible to perform on / off control of illumination light in the illumination light source.
  • the data acquisition unit 203 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like.
  • the data acquisition unit 203 acquires image data related to the fluorescence captured image (PDD image) and the illumination light captured image generated by the imaging unit 10 from the imaging unit 10 as needed. Further, the data acquisition unit 203 acquires image data related to various diagnostic images stored in an external server such as the image server 5 from the corresponding server as needed.
  • the data acquisition unit 203 outputs the acquired image data to the image processing unit 205 described later. Further, the data acquisition unit 203 may store the acquired image data in the storage unit 211 and the like described later.
  • the image processing unit 205 is realized by, for example, a CPU, a ROM, a RAM, and the like.
  • the image processing unit 205 performs image processing, which will be described in detail below, on the fluorescence captured image (PDD image) output from the data acquisition unit 203, and represents the positional relationship of at least a part of the human body.
  • An integrated image in which one image is integrated with the fluorescence image is generated. This integrated image may be a two-dimensional image or a three-dimensional image that can be stereoscopically viewed.
  • the first image integrated with the fluorescence imaging image represents a positional relationship of at least a part of the human body, and an image of the surgical field in the excision operation of the malignant tumor in which the photosensitive substance is taken in is captured. It is at least one of an image (that is, an illumination light captured image) and a diagnostic image (that is, various diagnostic images stored in the image server 5 or the like) showing the position of the malignant tumor.
  • the user of the photodynamic diagnosis apparatus 1 can determine whether or not there is a malignant tumor.
  • an image representing at least a part of the human body such as an illumination light captured image
  • the fluorescence captured image By integrating an image representing at least a part of the human body, such as an illumination light captured image, with the fluorescence captured image, the user of the photodynamic diagnosis apparatus 1 can determine whether or not there is a malignant tumor.
  • various diagnostic images such as mammography images, CT images, MRI images, and ultrasound images that represent the positional relationship of the malignant tumor in addition to the positional relationship of the human body are integrated with the integrated image. By doing so, it is possible to further superimpose information suggested from the diagnostic image on how the malignant tumor has spread on the integrated image.
  • the image processing unit 205 when generating the integrated image, the image processing unit 205 preferably integrates the first image as described above after performing various kinds of preprocessing on the fluorescence captured image.
  • the image processing unit 205 changes the imaging condition of the fluorescent captured image in cooperation with the imaging control unit 201. It is possible.
  • the image processing unit 205 further superimposes various display objects that emphasize the region (fluorescence imaging region) on which the fluorescence corresponding to the location where the malignant tumor exists on the generated integrated image. Also good. Further, the image processing unit 205 sets the color tone of the fluorescence imaging region to a color tone different from the original fluorescence color (for example, pink that cannot exist in the living body, in order to emphasize the presence and position of the fluorescence imaging region. Color or green).
  • the image processing unit 205 outputs image data related to the generated integrated image to the display image output unit 207 described later.
  • the display image output unit 207 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like.
  • the display image output unit 207 generates an integrated image obtained by integrating the first image different from the PDD image with respect to the fluorescence captured image (PDD image) generated by the image processing unit 205, outside the arithmetic processing unit 20. Output for.
  • PDD image fluorescence captured image
  • the image data of the integrated image is output to the display control unit 209, and the display control unit 209 controls the display of the integrated image.
  • the display image output unit 207 may output the generated image data of the integrated image and the image data of the PDD image that is the basis of the integrated image to an external server such as the image server 5. Further, the display image output unit 207 may output the generated integrated image as a printed matter.
  • the display control unit 209 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like.
  • the image display unit 30 includes an integrated image in which a first image different from the PDD image is integrated with the fluorescence captured image (PDD image) transmitted from the display image output unit 207. Display control when displaying on an output device such as a display or an output device provided outside the photodynamic diagnosis apparatus 1 is performed. Thereby, the user of the photodynamic diagnosis apparatus 1 can grasp the generated integrated image on the spot.
  • the storage unit 211 is realized by, for example, a RAM or a storage device provided in the arithmetic processing unit 20 according to the present embodiment.
  • various parameters, processes in progress, or various databases or programs that need to be saved when the arithmetic processing unit 20 according to the present embodiment performs some processing, or various databases and programs are stored as appropriate. To be recorded.
  • the imaging control unit 201, the data acquisition unit 203, the image processing unit 205, the display image output unit 207, the display control unit 209, and the like can freely perform data read / write processing.
  • the image processing unit 205 includes a preprocessing unit 221 and a display image generation unit 223.
  • the preprocessing unit 221 is realized by, for example, a CPU, a ROM, a RAM, and the like.
  • the pre-processing unit 221 adjusts the display magnification and aligns the first image with respect to the fluorescent captured image (PDD image) and the illumination light captured image transmitted from the data acquisition unit 203. Integration pre-processing including at least
  • These integration pre-processes preferably include at least a camera angle specifying process, an imaging magnification calibration process, and an imaging position calibration process, as shown in FIG.
  • the camera angle specifying process is a process of recognizing at least a part of the human body in the illumination light captured image using, for example, a known image recognition process and the like and specifying the direction in which the camera is facing. As a result, it is possible to specify whether the optical axis of the illumination light imaging apparatus 107 is oriented, for example, in the head side direction or the caudal direction of the human body. If further detailed recognition processing is performed, the direction in which the optical axis of the illumination light imaging device 107 is facing (the rotation angle from a certain reference direction) can be specifically specified.
  • the relative positional relationship between the illumination light imaging device 107 and the fluorescence imaging device 103 is set in advance, by performing the above-described processing using the illumination light captured image, fluorescence It is possible to specify the direction in which the optical axis of the imaging device 103 is facing.
  • Such a camera angle specifying process may be performed at least once while the fluorescence imaging apparatus 103 and the illumination light imaging apparatus 107 are performing the imaging process under the same imaging conditions.
  • the camera angle specifying process may be performed each time.
  • the imaging magnification calibration process is a process of calibrating the imaging magnification of the camera at the focal position of the imaging apparatus (that is, the patient's surgical field).
  • the imaging magnification of the first image that is to be integrated can be specified. This makes it possible to grasp how much the captured image should be enlarged (or reduced) when integrating the illumination light captured image with the first image.
  • the calibration of the imaging magnification in the fluorescence captured image is determined by determining the calibration degree of the imaging magnification in the illumination light captured image. The degree can be determined.
  • the calibration may be appropriately performed based on the zooming magnification.
  • the imaging position calibration process is a process of calibrating the imaging position so that the positional relationship between the fluorescence captured image and the first image is matched. More specifically, using knowledge about the imaging direction and display magnification, the position of a specific organ of the human body (for example, nipple in the case of breast cancer surgery) in the illumination light captured image and the same in the first image. An alignment parameter that matches the position of the organ is calculated. Thereafter, using the calculated alignment parameter, alignment between the fluorescence captured image and the first image is performed. At this time, in the illumination light captured image, when a specific organ of the human body included in the first image is not included in the visual field, the preprocessing unit 221 pays attention in cooperation with the imaging control unit 201. The imaging condition is changed so that the organs that are included are included in the visual field.
  • the first image (especially various diagnostic images) that is usually displayed in an enlarged size than the actual size is obtained during the operation. It is possible to integrate the fluorescence captured image and the illumination light captured image with the same display magnification.
  • the surgeon can compare the diagnostic image with the PDD image obtained at the time of surgery and the observation image of the surgical field with high accuracy. .
  • the surgeon can easily grasp the position of a malignant tumor such as cancer present in the diagnostic image based on the positional relationship of the human body, and can easily determine the region to be excised. Become.
  • the various calibration processes as described above can be more easily performed. Since it becomes possible, it is preferable.
  • the pre-processing unit 221 mainly refers to performing various kinds of integration pre-processing as described above on the fluorescence image, but the pre-processing unit 221 is similar to the pre-integration.
  • the processing may be performed on the illumination light captured image.
  • the pre-processing unit 221 also performs various image processing such as image enlargement / reduction and rotation on the first image (for example, various diagnostic images) other than the illumination light captured image to be integrated. May be.
  • the pre-processing unit 221 performs pre-integration processing on the target captured image as described above, and then outputs the image data after the pre-integration processing to the display image generation unit 223.
  • the display image generation unit 223 is realized by, for example, a CPU, a ROM, a RAM, and the like.
  • the display image generation unit 223 uses the post-integration preprocessed image data transmitted from the preprocessing unit 221 to obtain a fluorescence captured image and a first image representing the positional relationship of at least a part of the human body. An integrated integrated image is generated. Thereby, as schematically shown in FIG.
  • an integrated image obtained by integrating the fluorescence captured image and the illumination light captured image after the pre-integration processing, the fluorescence captured image after the pre-integration processing, the mammography image, and the CT An integrated image in which at least one of diagnostic images such as an image, an MRI image, an ultrasound image, and the like are integrated with each other, a fluorescence imaging image and an illumination light imaging image after the integration preprocessing, and at least one diagnostic image; Are integrated with each other.
  • the display image generation unit 223 sets the color tone of the fluorescence imaging region in the fluorescence imaged image (PDD image) to the color tone of the original fluorescence derived from the photosensitive substance. It is preferable to change to a color tone that does not exist in the integrated image. As a result, it is possible to prevent a situation in which the presence of the fluorescence imaging region is buried in the integrated image and the user of the photodynamic diagnosis apparatus 1 referring to the integrated image does not notice the presence of the fluorescence imaging region. This makes it possible to reduce the risk of stump positives.
  • a method for changing the color tone for example, a method of inputting luminance information of an image obtained from a fluorescent captured image (PDD image) to a G (Green) channel of image data of an integrated image is conceivable.
  • the image data related to the color tone of the fluorescence imaging region in the fluorescence captured image may be directly rewritten and changed to a value corresponding to a desired color tone.
  • the display image generation unit 223 may further superimpose a display object obj for emphasizing the fluorescence imaging region on the integrated image in order to emphasize and display the fluorescence imaging region.
  • a display object obj for example, as schematically shown in FIG. 10, there is an object obj that surrounds the fluorescence imaging region with, for example, a dotted line.
  • various marker objects representing the fluorescence imaging region may be superimposed on the integrated image, or a display effect such as displaying the fluorescence imaging region while blinking may be used in combination.
  • the display image generation unit 223 outputs the image data related to the integrated image generated in this way to the display image output unit 207. Thereby, the user of the photodynamic diagnosis apparatus 1 can perform PDD by various methods including display of an image on the image display unit 30.
  • each component described above may be configured using a general-purpose member or circuit, or may be configured by hardware specialized for the function of each component.
  • the CPU or the like may perform all functions of each component. Therefore, it is possible to appropriately change the configuration to be used according to the technical level at the time of carrying out the present embodiment.
  • a computer program for realizing each function of the arithmetic processing unit according to the present embodiment as described above can be produced and mounted on a personal computer or the like.
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • FIG. 11 is a flowchart showing an example of the flow of the photodynamic diagnosis method according to the present embodiment.
  • a predetermined photosensitive substance is first administered to a patient in advance (step S101) so that the photosensitive substance is accumulated in a malignant tumor such as cancer.
  • the imaging unit 10 is driven under the control of the arithmetic processing unit 20 of the photodynamic diagnostic apparatus 1 so that the photodynamic diagnostic apparatus 1 includes a place (focal part) where a malignant tumor appears to exist.
  • the excitation light source 101 of the imaging unit 10 is irradiated with excitation light having a wavelength capable of exciting the photosensitive substance toward the surgical field (step S103).
  • the fluorescence imaging device 103 of the imaging unit 10 of the photodynamic diagnosis device 1 captures fluorescence from the lesion and generates a PDD image. In addition to the generation of the PDD image, it is preferable to generate the illumination light captured image using the illumination light imaging device 107 of the imaging unit 10.
  • the image data of the generated captured image is output to the arithmetic processing unit 20.
  • the data acquisition unit 203 of the arithmetic processing unit 20 acquires image data of various captured images generated by the imaging unit 10
  • the data acquisition unit 203 outputs the obtained image data to the preprocessing unit 221 of the image processing unit 205.
  • the pre-processing unit 221 of the image processing unit 205 performs the integration pre-processing as described above on the PDD image and the illumination light captured image (step S107). Thereafter, the preprocessing unit 221 outputs the image data of the PDD image and the illumination light captured image after the integration preprocessing to the display image generation unit 223.
  • the display image generation unit 223 of the image processing unit 205 uses the diagnostic image or the like separately acquired by the data acquisition unit 203 from the image server 5 or the like to perform the PDD image and the PDD image by the above method.
  • the images different from those are integrated (step S109). Thereby, the integrated image which concerns on this embodiment is produced
  • the display image generation unit 223 outputs image data relating to the generated integrated image to the display image output unit 207.
  • the display image output unit 207 When the image data regarding the integrated image is output from the image processing unit 205, the display image output unit 207 outputs the integrated image (step S111). For example, when displaying an integrated image on the display of the image display unit 30 or the like, the display image output unit 207 outputs image data related to the integrated image to the display control unit 209, and performs display control of the image display unit 30. The display control unit 209 is executed. Thereby, the generated integrated image is presented to the user of the photodynamic diagnosis apparatus 1.
  • FIG. 12 is a block diagram for explaining a hardware configuration of the arithmetic processing unit 20 according to the embodiment of the present disclosure.
  • the arithmetic processing unit 20 mainly includes a CPU 901, a ROM 903, and a RAM 905.
  • the arithmetic processing unit 20 further includes a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, and a connection port 923. And a communication device 925.
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls all or a part of the operation in the arithmetic processing unit 20 according to various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927. .
  • the ROM 903 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 905 primarily stores programs used by the CPU 901, parameters that change as appropriate during execution of the programs, and the like. These are connected to each other by a host bus 907 constituted by an internal bus such as a CPU bus.
  • the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 915 is an operation means operated by the user such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever. Further, the input device 915 may be, for example, remote control means (so-called remote control) using infrared rays or other radio waves, or an external connection such as a mobile phone or a PDA corresponding to the operation of the photodynamic diagnosis device 1.
  • the device 929 may be used.
  • the input device 915 includes an input control circuit that generates an input signal based on information input by the user using the above-described operation means and outputs the input signal to the CPU 901, for example.
  • the user of the photodynamic diagnosis apparatus 1 can input various data and instruct processing operations to the photodynamic diagnosis apparatus 1 by operating the input device 915.
  • the output device 917 is a device that can notify the user of the acquired information visually or audibly.
  • Such devices include display devices such as CRT display devices, liquid crystal display devices, plasma display devices, EL display devices and lamps, audio output devices such as speakers and headphones, printer devices, mobile phones, and facsimiles.
  • the output device 917 outputs, for example, results obtained by various processes performed by the arithmetic processing unit 20. Specifically, the display device displays the results obtained by the various processes performed by the arithmetic processing unit 20 as text or images.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs the analog signal.
  • the storage device 919 is a data storage device configured as an example of a storage unit of the arithmetic processing unit 20.
  • the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the drive 921 is a reader / writer for a recording medium, and is built in or externally attached to the arithmetic processing unit 20.
  • the drive 921 reads information recorded in a removable recording medium 927 such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 905.
  • the drive 921 can also write a record to a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the removable recording medium 927 is, for example, a DVD medium, an HD-DVD medium, a Blu-ray (registered trademark) medium, or the like.
  • the removable recording medium 927 may be a compact flash (registered trademark) (CompactFlash: CF), a flash memory, or an SD memory card (Secure Digital memory card). Further, the removable recording medium 927 may be, for example, an IC card (Integrated Circuit card) on which a non-contact IC chip is mounted, an electronic device, or the like.
  • CompactFlash CompactFlash: CF
  • flash memory a flash memory
  • SD memory card Secure Digital memory card
  • the removable recording medium 927 may be, for example, an IC card (Integrated Circuit card) on which a non-contact IC chip is mounted, an electronic device, or the like.
  • the connection port 923 is a port for directly connecting a device to the arithmetic processing unit 20.
  • Examples of the connection port 923 include a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, and the like.
  • As another example of the connection port 923 there are an RS-232C port, an optical audio terminal, an HDMI (High-Definition Multimedia Interface) port, and the like.
  • the communication device 925 is a communication interface configured with, for example, a communication device for connecting to the communication network 931.
  • the communication device 925 is, for example, a communication card for wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various communication.
  • the communication device 925 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet or other communication devices.
  • the communication network 931 connected to the communication device 925 is configured by a wired or wirelessly connected network or the like, and may be, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, or the like. .
  • each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Therefore, it is possible to change the hardware configuration to be used as appropriate according to the technical level at the time of carrying out this embodiment.
  • An imaging unit having an excitation light source that irradiates excitation light of a predetermined wavelength, and a fluorescence imaging device that images fluorescence from a photosensitive substance excited by the excitation light to generate a fluorescence imaging image;
  • An arithmetic processing unit having an image processing unit for performing predetermined image processing on the fluorescent captured image;
  • the image processing unit is a photodynamic diagnosis apparatus that generates an integrated image in which a first image representing a positional relationship of at least a part of a human body is integrated with the fluorescence captured image.
  • the image processing unit performs pre-integration processing including at least display magnification adjustment processing and alignment processing with the first image on the fluorescent captured image, and then before integration.
  • the photodynamic diagnosis device wherein the fluorescence captured image after processing and the first image are integrated.
  • the imaging unit includes an illumination light imaging device that generates an illumination light captured image by capturing an image of a part of a human body to which the photosensitive substance is previously administered using illumination light belonging to a visible light band.
  • the image processing unit By recognizing at least a part of the human body in the illumination light image, the imaging direction of the illumination light imaging device and the fluorescence imaging device is specified Based on the imaging magnification of the illumination light imaging device and the fluorescence imaging device, the display magnification of the illumination light captured image and the fluorescence captured image to be generated is adjusted, Using the imaging direction and the display magnification, calculate a positioning parameter for matching the position of the human organ in the illumination light captured image with the position of the human organ in the first image, The photodynamic diagnosis apparatus according to (2), wherein alignment of the fluorescence captured image and the first image is performed using the calculated alignment parameter.
  • the fluorescent imaging device and the illumination light imaging device are integrated, and the fluorescent imaging image and the illumination light imaging are obtained by branching a light beam incident on the integrated imaging device into two optical paths.
  • the photodynamic diagnosis apparatus according to (3) which generates an image.
  • the imaging unit further includes an illumination light source that emits illumination light belonging to the visible light band
  • the arithmetic processing unit further includes an imaging control unit that controls imaging processing in the imaging unit, The imaging control unit performs on / off switching control of the excitation light source and the illumination light source, and drive control of the fluorescent imaging device and the illumination light imaging device.
  • the image processing unit changes, in the integrated image, a color tone of a region corresponding to a fluorescence imaging region in the fluorescence captured image to a color tone that does not exist in the first image. 5.
  • the photodynamic diagnosis device according to any one of 5).
  • the light ray according to any one of (1) to (6), wherein the image processing unit further superimposes a display object that emphasizes a fluorescence imaging region in the integrated image on the integrated image.
  • the first image is at least one of an image obtained by imaging a surgical field in a resection operation of a malignant tumor in which the photosensitizer is incorporated, or a diagnostic image showing the position of the malignant tumor.
  • the photodynamic diagnosis apparatus according to (8), wherein the diagnostic image is at least one of a fluoroscopic image or a cross-sectional image of at least a part of a human body.
  • the photodynamic diagnosis apparatus according to (9), wherein the fluoroscopic image or the cross-sectional image is a mammography image, a CT image, an MRI image, or an ultrasonic image.
  • the calculation processing unit according to any one of (1) to (10), wherein the arithmetic processing unit acquires the first image from an image server provided outside and integrates the first image with the fluorescent captured image. Photodynamic diagnostic equipment.
  • a photodynamic diagnostic method comprising:
  • Photodynamic diagnosis apparatus 3 Illumination light source 5 Image server 10 Imaging unit 20 Arithmetic processing unit 30 Image display unit 101 Excitation light source 103 Fluorescence imaging device 105 Optical filter 107 Illumination light imaging device 111 Integrated imaging device 151 Imaging element 153 for fluorescence imaging Optical image pickup device 201 Imaging control unit 203 Data acquisition unit 205 Image processing unit 207 Display image output unit 209 Display control unit 211 Storage unit 221 Preprocessing unit 223 Display image generation unit

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pulmonology (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

光線力学診断において、腫瘍が存在している場所を、より簡便かつ正確に把握することを可能とするため、励起光光源から所定波長の励起光を照射して、前記励起光により励起された光感受性物質からの蛍光を蛍光撮像装置により撮像して蛍光画像を生成し、この蛍光画像と、人体の少なくとも一部の位置関係を表わした第１の画像を統合した統合画像を生成する。

Description

光線力学診断装置及び光線力学診断方法
　本開示は、光線力学診断装置及び光線力学診断方法に関する。
　一般に、悪性腫瘍を構成する腫瘍細胞は幼若であり、細胞内でポルフィリン系物質がリポ蛋白と結合しやすく、かつ、ポルフィリン系物質の細胞外への排泄速度が遅いという特徴がある。かかる特徴に着目し、健常細胞と腫瘍細胞との排泄速度の差を利用することで、体内へのポルフィリン系薬剤の投与後に、健常細胞と腫瘍細胞との間で薬剤の濃度差を作り出すことが可能となる。このようにして腫瘍選択性のある薬剤が開発され、更には光エネルギーを外部から与えることで薬剤を励起させ蛍光を得るという光化学的作用によって、薬剤の濃度差を可視化することが可能な光感受性物質（Ｐｈｏｔｏｓｅｎｓｉｔｉｚｅｒ）が開発されるに至った。かかる光感受性物質を利用することで、腫瘍細胞の有無を蛍光により可視化することが可能となる。このような光感受性物質と光との組み合わせによる診断は、光線力学診断（Ｐｈｏｔｏ　Ｄｙｎａｍｉｃ　Ｄｉａｇｎｏｓｉｓ：ＰＤＤ）と呼ばれ、幅広い臨床領域で利用されており、ＰＤＤのための装置も開発されている（例えば、以下の特許文献１を参照。）。
特開２０１４－２５７７４号公報
　上記のようなＰＤＤを腫瘍の切除手術時にあわせて実施して、切除しきれていない悪性腫瘍の有無を確認することが考えられる。しかしながら、ＰＤＤで得られる蛍光の撮像画像（以下、「ＰＤＤ画像」とも称する。）を得るためには、無影灯などといった外部光源からの照明光の光量をなるべく低下させることが重要である。このようにして撮像されたＰＤＤ画像は、暗い背景（例えば、黒一色の背景）の中に蛍光の発生している部分が存在するといった、単調な画像となる。そのため、ＰＤＤ画像を参照することで悪性腫瘍が存在しているか否かは判断できるものの、実際の術野において、悪性腫瘍が存在している場所がどこであるかをＰＤＤ画像のみから特定することは、極めて困難である。
　そのため、悪性腫瘍の切除手術時において、悪性腫瘍が存在している場所をより簡便かつ正確に把握することが可能な方法が希求されていた。
　そこで、本開示では、上記事情に鑑みて、悪性腫瘍が存在している場所をより簡便かつ正確に把握することが可能な、光線力学診断装置及び光線力学診断方法を提案する。
　本開示によれば、所定波長の励起光を照射する励起光源、及び、前記励起光により励起された光感受性物質からの蛍光を撮像して蛍光撮像画像を生成する蛍光撮像装置を有する撮像ユニットと、前記蛍光撮像画像に対して所定の画像処理を実施する画像処理部を有する演算処理ユニットと、を備え、前記画像処理部は、人体の少なくとも一部の位置関係を表わした第１の画像を前記蛍光撮像画像に対して統合した統合画像を生成する、光線力学診断装置が提供される。
　また、本開示によれば、励起光光源から所定波長の励起光を照射して、前記励起光により励起された光感受性物質からの蛍光を蛍光撮像装置により撮像して蛍光撮像画像を生成することと、人体の少なくとも一部の位置関係を表わした第１の画像を、生成された前記蛍光撮像画像に対して統合した統合画像を生成することと、を含む、光線力学診断方法が提供される。
　本開示によれば、撮像ユニットは、光感受性物質が励起光により励起されることで発生する蛍光を撮像して蛍光撮像画像を生成し、演算処理ユニットは、人体の少なくとも一部の位置関係を表わした第１の画像を生成された蛍光撮像画像に対して統合した統合画像を生成する。
　以上説明したように本開示によれば、悪性腫瘍が存在している場所をより簡便かつ正確に把握することが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は、上記の効果に代えて、本明細書に示されたいずれかの効果、又は、本明細書から把握され得る他の効果が奏されてもよい。
本開示の第１の実施形態に係る光線力学診断装置を説明するための説明図である。 同実施形態に係る光線力学診断装置の全体的な構成の一例を模式的に示したブロック図である。 同実施形態に係る光線力学診断装置の撮像ユニットの構成の一例を模式的に示した説明図である。 光感受性物質とその励起波長について説明するための説明図である。 同実施形態に係る撮像ユニットの他の構成例を模式的に示した説明図である。 同実施形態に係る光線力学診断装置の演算処理ユニットの構成の一例を模式的に示したブロック図である。 同実施形態に係る演算処理ユニットが備える画像処理部の構成の一例を模式的に示したブロック図である。 同実施形態に係る画像処理部で実施される表示画像の生成処理を説明するための説明図である。 同実施形態に係る画像処理部で実施される表示画像の生成処理を説明するための説明図である。 同実施形態に係る画像処理部で実施される表示画像の生成処理を説明するための説明図である。 同実施形態に係る光線力学診断方法の流れの一例を示した流れ図である。 本開示の実施形態に係る演算処理ユニットのハードウェア構成の一例を示したブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．目的
　２．第１の実施形態
　　２．１．光線力学診断装置の全体構成について
　　２．２．撮像ユニットの構成について
　　２．３．画像処理ユニットの構成について
　　２．４．光線力学診断方法について
　３．画像処理ユニットのハードウェア構成について
（目的）
　本開示の実施形態に係る光線力学診断装置及び光線力学診断方法について説明するに先立ち、本開示の実施形態に係る光線力学診断装置及び光線力学診断方法の目的とするところを、人体に発生する腫瘍の例として乳癌を例に挙げながら、より詳細に説明する。
　近年の技術の発達に伴い、乳癌では、切除手術に先立って化学療法（術前化学療法：Ｎｅｏ　Ａｄｊｕｖａｎｔ　Ｃｈｅｍｏｔｈｅｒａｐｙ：ＮＡＣ）を実施し、癌の縮小化や消失を図るという治療方針が採用されることが多くなってきた。ＮＡＣは、近年、ハーセプチン（登録商標）（Ｈｅｒｃｅｐｔｉｎ）などの分子標的薬剤の登場によって乳癌治療成績が向上し、患者の予後が改善したことを受け、乳癌に有効な薬剤を切除手術前に投与する治療法である。その結果、症例によっては、術前に癌がＣＴ等の手法による画像診断において消失するという結果も得られるようになってきた。しかしながら、ＣＴ等の手法による画像診断において、癌に対応する領域（癌領域）は消失しているように見えても、がん細胞が少なからず残っていると考えられるため、ＮＡＣ後に切除手術が行われることが一般的である。
　かかるＮＡＣの導入に伴い、乳癌の診断から手術までの治療プロトコルは、主に、マンモグラフィによる癌のスクリーニング診断→針生検による診断→術前化学療法（ＮＡＣ）→切除手術、のようになる。また、切除手術時においては、マンモグラフィ画像、ＣＴ画像、ＭＲＩ画像、超音波画像などの診断画像をもとに、患者の乳房上に切除目標領域をマーカーペンで印をつけることが一般的である。
　一方で、ＮＡＣによる癌領域の収縮は、乳癌のタイプに依存し、周囲に飛び地状に癌領域が残存しながら、全体としては癌が縮小していく、という経過をたどるタイプが存在することも明らかとなってきた。また、癌領域の消失に伴い周囲の繊維化や炎症も消失することから、乳房の全体形状も変化して、ＮＡＣ前に癌が存在していた領域が不明瞭となることも起こるようになってきている。このような要因により、切除手術における癌の取り残しリスク（いわゆる、断端陽性リスク）が増加するようになってきた。
　また、従来、乳癌の切除手術は、内視鏡手術とは異なり、術者である医師は、術野を目視しながら手術操作を行うことが一般的であるため、ＮＡＣにより周囲に飛び地状に残存した癌領域を見つけにくいという背景も存在する。更には、患者の予後が向上したことにより、患者のＱＯＬをより向上させるために、整容性の観点から手術切除領域の縮小化が図られており、断端陽性リスクの増加が懸念される。
　また、上記のような断端陽性リスクは、乳癌に限ったわけではなく、他の悪性腫瘍についても同様に存在する。
　そこで、上記のような断端陽性リスクをより低減させるために、先だって説明したようなＰＤＤを術中に併用することが有効となる。しかしながら、ＰＤＤにより得られるＰＤＤ画像は、ＰＤＤに用いられる光感受性物質が堆積したがん細胞のみの位置を示すものであるため、ＰＤＤ画像のみを用いた場合では、術者は、がん細胞の有無は容易に把握できるものの、術野のどこにがん細胞が存在するのかを把握することは困難である。
　上記のような点に鑑み、悪性腫瘍が存在している場所をより簡便かつ正確に把握することが可能な技術を求めて、本発明者が鋭意検討を行った。その結果、以下で詳述するように、ＰＤＤにより得られるＰＤＤ画像を、ＰＤＤ画像とは異なる第１の画像に対して統合させることに想到し、以下で詳述するような本開示に基づく技術を完成した。
（第１の実施形態）
＜光線力学診断装置の全体構成について＞
　次に、図１～図２を参照しながら、本開示の第１の実施形態に係る光線力学診断装置の全体構成について、詳細に説明する。図１及び図２は、本実施形態に係る光線力学診断装置の全体構成の一例を模式的に示した説明図である。
　本実施形態に係る光線力学診断装置１は、図１に模式的に示したように、予め光感受性物質が投与され、光感受性物質が蓄積している可能性の高い人体の一部（例えば、癌などの悪性腫瘍の病巣部）に対して、所定波長の励起光を照射し、かかる励起光により励起された光感受性物質からの蛍光を撮像する。光感受性物質は、癌などの悪性腫瘍を構成する腫瘍細胞に選択的に蓄積されるため、蛍光の有無により腫瘍細胞の有無を確認する、いわゆるＰＤＤを実施することが可能となる。
　また、本実施形態に係る光線力学診断装置１は、図１に模式的に示したように、切除手術における術野に向けて照明光を照射する照明光源３や、各種の医療用画像のデータを格納している画像サーバ５等と連携しながら、ＰＤＤを実施する。
　ここで、照明光源３は、可視光帯域に属する照明光を術野に向かって照射する光源であり、その詳細な構造については、特に限定するものではない。かかる照明光源３は、手術室などに予め設置されている無影灯などの公知の光源であってもよいし、無影灯などとは別に設けられた光源であってもよい。かかる照明光源３は、独自の照明光制御機構を有していてもよいが、本実施形態に係る光線力学診断装置１によって、照明光の照射が制御されてもよい。
　なお、図１では、光線力学診断装置１とは別に、可視光帯域に属する照明光を照射する照明光源３が設けられている場合を図示しているが、本実施形態に係る光線力学診断装置１が、可視光帯域に属する照明光を照射する照明光源を更に有していてもよい。光線力学診断装置１自体が照明光源を有していることで、無影灯のオン・オフを行う作業を省略することが可能となる。
　画像サーバ５は、各種の医療用画像のデータが格納されているサーバであり、インターネットやローカル・エリア・ネットワーク等の公知のネットワークを介した光線力学診断装置１からのアクセスが可能なように設定されている。この画像サーバ５には、癌などの悪性腫瘍の存在位置を示した、各種の診断画像が格納されている。このような診断画像は、人体の少なくとも一部を透視した透視画像や、人体の少なくとも一部の断面の様子を撮像した断面画像である。透視画像や断面画像の例として、マンモグラフィ画像、ＣＴ画像、ＭＲＩ画像、超音波画像などを挙げることができるが、本実施形態で着目する透視画像や断面画像は、上記のような画像に限定されるものではなく、医療現場で診断のために用いられるあらゆる画像データが含まれる。
　光線力学診断装置１は、このような画像サーバ５に対して任意のタイミングでアクセスを行うことで、画像サーバ５に格納されている各種の診断画像を、後述する画像処理に利用することが可能となる。
　以上説明したような各種装置と連携しながらＰＤＤを行う光線力学診断装置１は、図２に模式的に示したように、撮像ユニット１０と、演算処理ユニット２０と、画像表示ユニット３０と、を主に備える。
　撮像ユニット１０は、光感受性物質が予め投与されている人体の少なくとも一部に対して所定波長の励起光を照射し、かかる励起光によって励起された光感受性物質からの蛍光を撮像することで、蛍光撮像画像を生成するユニットである。また、撮像ユニット１０は、所定波長の励起光とは別に、可視光帯域に属する照明光を更に照射する機構を有していてもよい。かかる撮像ユニット１０の詳細な構成については、以下で改めて説明する。
　演算処理ユニット２０は、撮像ユニット１０により生成された蛍光撮像画像に対して所定の画像処理を施すことで、光線力学診断装置１の使用者（すなわち、悪性腫瘍の切除手術の術者）に対して、蛍光撮像画像をわかりやすい形式で提供するための画像データを生成するユニットである。この際、演算処理ユニット２０は、光線力学診断装置１の外部に設けられた画像サーバ５から各種の画像データを取得して、演算処理ユニット２０において実施される画像処理に供することが可能である。
　また、演算処理ユニット２０は、撮像ユニット１０にて実施される各種の撮像処理を制御する制御ユニットとしての機能も有しており、撮像ユニット１０として設けられている各種の光源や撮像装置や各種光学機器の制御を行うことが可能である。また、演算処理ユニット２０は、照明光源３から照射される照明光の制御を行うことも可能である。
　かかる演算処理ユニット２０の詳細な構成についても、以下で改めて説明する。
　画像表示ユニット３０は、演算処理ユニット２０で蛍光撮像画像に対して画像処理が施されることで生成される各種の画像データを、光線力学診断装置１の使用者に対して提示するためのユニットである。この画像表示ユニット３０は、１又は複数の各種ディスプレイ等から構成されている。かかる画像表示ユニット３０における各種の画像表示は、演算処理ユニット２０によって制御される。画像表示ユニット３０によって、理解が容易なように加工された蛍光撮像画像が、光線力学診断装置１の使用者に対して提示される。これにより、光線力学診断装置１の使用者は、光感受性物質からの蛍光の有無（すなわち、悪性細胞の残存の有無）を把握可能になるとともに、悪性細胞が残存している場合には、その残存箇所をも容易に把握することが可能となる。
　以上、図１及び図２を参照しながら、本実施形態に係る光線力学診断装置１の全体構成について、詳細に説明した。
＜撮像ユニット１０の構成について＞
　次に、図３～図５を参照しながら、本実施形態に係る光線力学診断装置１が備える撮像ユニット１０の構成について、詳細に説明する。図３は、本実施形態に係る光線力学診断装置の撮像ユニットの構成の一例を模式的に示した説明図である。図４は、光感受性物質とその励起波長について説明するための説明図である。図５は、本実施形態に係る撮像ユニットの他の構成例を模式的に示した説明図である。
　本実施形態に係る撮像ユニット１０は、図３に模式的に示したように、励起光源１０１と、蛍光撮像装置１０３と、を少なくとも備える。
　励起光源１０１は、光感受性物質が蓄積している病巣部（すなわち、癌などの悪性腫瘍）を含む人体の少なくとも一部に対して、所定波長の励起光を照射する光源である。励起光源１０１から照射される励起光の波長は、特に限定されるものではなく、病巣部に予め蓄積されている光感受性物質を励起するために求められる波長を選択すればよい。
　図４は、光感受性物質の一例と、各光感受性物質に対応する励起波長と、をあわせて示したものである。光感受性物質は、その化学構造に応じて、光感受性物質を励起させるための励起波長が決まっている。例えば、光感受性物質の一例であるＰｈｏｔｏｆｒｉｎ（登録商標）は、波長６３０ｎｍの励起光によって励起されて、所定波長の蛍光を発する。同様に、光感受性物質Ｖｉｓｕｄｙｎｅ（登録商標）は、波長６９３ｎｍの励起光、又は、波長６８９ｎｍ±３ｎｍの励起光により励起されて所定波長の蛍光を発し、光感受性物質Ｌａｓｅｒｐｈｙｒｉｎ（登録商標）は、波長６６４ｎｍの励起光により励起されて所定波長の蛍光を発する。光感受性物質Ｆｏｓｃａｎ（登録商標）は、波長６５２ｎｍの励起光により励起されて所定波長の蛍光を発し、光感受性物質Ｌｅｖｕｌａｎ（登録商標）は、青色光により励起されて所定波長の蛍光を発する。光感受性物質Ｐｈｏｔｏｒｅｘ（登録商標）は、波長６６０ｎｍの励起光により励起されて所定波長の蛍光を発し、光感受性物質Ａｎｔｒｉｎ（登録商標）は、波長７３２ｎｍの励起光により励起されて所定波長の蛍光を発し、光感受性物質Ｔｏｏｋａｄ（登録商標）は、波長７６２ｎｍの励起光により励起されて所定波長の蛍光を発する。
　なお、図４に示した光感受性物質及びその励起波長は、あくまでも一例にすぎず、本実施形態に係る光線力学診断装置１で利用可能な光感受性物質が図４に示した例に限定されるものではない。
　撮像ユニット１０に設けられている励起光源１０１は、図４に示したように、用いられている光感受性物質に応じて、出射する励起光の波長が設定される。
　なお、図３では、励起光源１０１の個数は１つとなっているが、励起光源１０１の個数は１つに限定されるものではなく、光線力学診断装置１で利用される光感受性物質の種類に応じて複数の光源が準備されていてもよい。また、励起光源１０１は、波長変換機構を有しており、複数の励起波長に対応可能なように設計されていてもよい。
　このような励起光源１０１の種別については、特に限定されるものではなく、公知の各種のレーザ光源を、必要に応じて各種レンズ等を利用して拡散光としながら利用することが可能である。ここで、レーザ光源としては、ＣＷ（Ｃｏｎｔｉｎｕｏｕｓ　Ｗａｖｅ）レーザ光を出力可能なＣＷレーザ光源であってもよいし、パルスレーザ光を出力可能なパルスレーザ光源であってもよい。また、光感受性物質を励起するための出力が得られるのであれば、発光ダイオード等の光学素子を用いることも可能である。
　蛍光撮像装置１０３は、励起光源１０１からの励起光により励起された光感受性物質からの蛍光を撮像して、蛍光撮像画像（すなわち、ＰＤＤ画像）を生成する装置である。以下では、蛍光撮像装置１０３によって生成される蛍光撮像画像のことを、ＰＤＤ画像とも称することとする。かかる蛍光撮像装置１０３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等といった各種の撮像素子、又は、光電子増倍管（ＰｈｏｔｏＭｕｌｔｉｐｌｉｅｒ　Ｔｕｂｅ：ＰＭＴ）等の光検出器を有しており、光感受性物質からの蛍光の検出結果を、画像データへと変換する。これにより、光感受性物質に由来する蛍光撮像画像の画像データが生成される。
　なお、本実施形態に係る蛍光撮像装置１０３では、光感受性物質からの蛍光をより鮮明に撮像するために、光感受性物質からの蛍光を透過させるとともに、励起光を透過させないための光学フィルタ１０５を、蛍光撮像装置１０３の上流側に設けることが好ましい。なお、図３では、蛍光撮像装置１０３の外側に光学フィルタ１０５を設ける場合について図示しているが、光学フィルタ１０５は、蛍光撮像装置１０３に設けられた各種の撮像素子よりも上流側に設けられてれさえすればよく、蛍光撮像装置１０３に内蔵されていてもよい。
　また、本実施形態に係る撮像ユニット１０は、照明光源３から照射されている可視光帯域に属する照明光を利用して、光感受性物質が予め投与された人体の一部を撮像することで照明光撮像画像を生成する照明光撮像装置１０７を更に有することが好ましい。この際に、照明光撮像装置１０７と蛍光撮像装置１０３との相対的な位置関係（例えば、それぞれの撮像装置の光軸がなす角度等）が予め所定の値に設定されており、例えば照明光撮像装置１０７の光軸の向きが特定されることで、蛍光撮像装置１０３の光軸の向きが特定可能なようになっていることが好ましい。
　かかる照明光撮像装置１０７によって生成される照明光撮像画像は、可視光帯域に属する照明光下での撮像画像であり、光線力学診断装置１の使用者（すなわち、切除手術の術者）が手術時に実際に見ている画像となる。
　なお、図３では、蛍光撮像装置１０３と照明光撮像装置１０７とがそれぞれ別の装置として記載されている。ここで、光学フィルタ１０５の光軸上への挿入及び光軸上からの除去を高速に実施することが可能であり、撮像装置にカラー画像が撮像可能な撮像素子が設けられていれば、１つの撮像装置で蛍光撮像装置１０３及び照明光撮像装置１０７の機能を実現させることも可能である。しかしながら、図３に示したように、蛍光を撮像する蛍光撮像装置１０３と、照明光を撮像する照明光撮像装置１０７とを別々に設けることで、光学フィルタ１０５の挿入・除去といった処理を行わなくとも良くなり、撮像ユニット１０の安定性を更に向上させることができる。
　また、図３では、可視光帯域に属する照明光を照射する照明光源３が、撮像ユニット１０とは別に設けられている場合を図示しているが、撮像ユニット１０自体が照明光源を有していても良いことは、前述の通りである。かかる照明光源は、可視光帯域に属する照明光を照射可能なものであれば、特に限定されるものではなく、公知の光源を利用することが可能である。
　また、図３では、蛍光撮像装置１０３と照明光撮像装置１０７とが別の装置として記載されているが、図５に示したように、蛍光撮像装置１０３と照明光撮像装置１０７とを一体化することも可能である。図５に示した一体化された撮像装置（一体化撮像装置１１１）では、病巣部からの蛍光が結像する蛍光撮像用撮像素子１５１と、病巣部からの照明光が結像する照明光撮像用撮像素子１５３とが、カメラ本体の内部に設けられている。病巣部からの光は、レンズを介してカメラ本体まで導光された後、光軸上に設けられたビームスプリッタＢＳによって、光路が２つに分岐される。一方の光路上には、光学フィルタ１０５が設けられており、かかる光学フィルタ１０５の後段に蛍光撮像用撮像素子１５１が設けられている。また、もう一方の光路上には、照明光撮像用撮像素子１５３が設けられている。
　図５に示したような一体化撮像装置１１１を用いることで、図３では異なっていた蛍光撮像装置１０３の光軸と照明光撮像装置１０７の光軸とが一致することとなり、照明光撮像用撮像素子１５３に結像している画像に対応する光軸の方向は、蛍光撮像用撮像素子１５１に結像している画像に対応する光軸の方向と等しくなる。その結果、以下で詳述するような、蛍光撮像画像と他の画像との統合処理に際しての統合前処理を、より簡便に実施することが可能となる。更に、図３に示した構成と比べて、省スペース化を図ることが可能となる。
　以上、図３～図５を参照しながら、本実施形態に係る撮像ユニット１０の構成について、詳細に説明した。
＜演算処理ユニット２０の構成について＞
　次に、図６～図１０を参照しながら、本実施形態に係る演算処理ユニット２０の構成について、詳細に説明する。図６は、本実施形態に係る光線力学診断装置の演算処理ユニットの構成の一例を模式的に示したブロック図である。図７は、本実施形態に係る演算処理ユニットが備える画像処理部の構成の一例を模式的に示したブロック図である。図８～図１０は、本実施形態に係る画像処理部で実施される表示画像の生成処理を説明するための説明図である。
　本実施形態に係る演算処理ユニット２０は、図６に模式的に示したように、撮像制御部２０１と、データ取得部２０３と、画像処理部２０５と、表示画像出力部２０７と、表示制御部２０９と、記憶部２１１と、を主に備える。
　撮像制御部２０１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、通信装置等により実現される。撮像制御部２０１は、撮像ユニット１０における各種の撮像処理を制御する。より詳細には、撮像制御部２０１は、撮像ユニット１０における励起光源１０１のオン・オフ制御や、蛍光撮像装置１０３及び照明光撮像装置１０７の駆動制御を行う。
　また、撮像制御部２０１は、照明光源３における照明光のオン・オフ制御を行うことが可能であり、撮像ユニット１０自体が可視光帯域に属する照明光を照射可能な照明光源を有している場合には、かかる照明光源における照明光のオン・オフ制御を行うことも可能である。
　データ取得部２０３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。データ取得部２０３は、撮像ユニット１０により生成された蛍光撮像画像（ＰＤＤ画像）や照明光撮像画像に関する画像データを、撮像ユニット１０から随時取得する。また、データ取得部２０３は、画像サーバ５等の外部サーバに格納されている各種の診断画像に関する画像データを、該当するサーバから必要に応じて随時取得する。データ取得部２０３は、取得したこれらの画像データを、後述する画像処理部２０５に出力する。また、データ取得部２０３は、取得したこれらの画像データを、後述する記憶部２１１等に格納してもよい。
　画像処理部２０５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。画像処理部２０５は、データ取得部２０３から出力された蛍光撮像画像（ＰＤＤ画像）に対して、以下で詳述するような画像処理を施して、人体の少なくとも一部の位置関係を表わした第１の画像を蛍光撮像画像に対して統合した統合画像を生成する。この統合画像は、２次元画像であってもよいし、立体視することが可能な３次元画像であってもよい。ここで、蛍光撮像画像に統合される第１の画像は、人体の少なくとも一部の位置関係を表わしたものであり、光感受性物質が取り込まれている悪性腫瘍の切除手術における術野を撮像した画像（すなわち、照明光撮像画像）、又は、悪性腫瘍の存在位置を示した診断画像（すなわち、画像サーバ５等に格納されている各種診断画像）の少なくとも何れかである。
　蛍光撮像画像に対して、照明光撮像画像のような人体の少なくとも一部の位置関係が表わされた画像が統合されることで、光線力学診断装置１の使用者は、悪性腫瘍の有無を容易に把握できるとともに、術野のどこに悪性腫瘍が存在するのかを、容易に把握することが可能となる。その結果、先だって説明したような断端陽性リスクを低減させることができる。更に、かかる統合画像に対して、マンモグラフィ画像、ＣＴ画像、ＭＲＩ画像、超音波画像といった、人体の少なくとも一部の位置関係に加えて悪性腫瘍の位置関係が表わされた各種の診断画像が統合されることで、悪性腫瘍がどのように広がっているかという診断画像から示唆される情報を、統合画像に更に重畳させることが可能となる。
　なお、画像処理部２０５は、統合画像を生成する際に、蛍光撮像画像に対して各種の前処理を実施した後に、上記のような第１の画像と統合させることが好ましい。この前処理を実施する際に、蛍光撮像画像の撮像条件を変更することが好ましい場合には、画像処理部２０５は、撮像制御部２０１と互いに連携しながら、蛍光撮像画像の撮像条件を変更させることが可能である。
　画像処理部２０５は、生成した統合画像に対して、悪性腫瘍の存在する場所に対応する蛍光が結像している領域（蛍光結像領域）を強調する各種の表示オブジェクトを、更に重畳させてもよい。また、画像処理部２０５は、蛍光結像領域の存在及び位置を強調するために、蛍光結像領域の色調を、本来の蛍光色とは異なる色調（例えば、生体には存在し得ない、ピンク色や緑色等）に変更してもよい。
　このような統合画像の生成処理を実施する画像処理部２０５の詳細な構成については、以下で改めて説明する。
　画像処理部２０５は、生成した統合画像に関する画像データを、後述する表示画像出力部２０７に出力する。
　表示画像出力部２０７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。表示画像出力部２０７は、画像処理部２０５により生成された、蛍光撮像画像（ＰＤＤ画像）に対して、ＰＤＤ画像とは異なる第１の画像が統合された統合画像を、演算処理ユニット２０の外部に対して出力する。この際、かかる統合画像を画像表示ユニット３０として設けられたディスプレイ等に出力する際には、かかる統合画像の画像データを表示制御部２０９に出力して、表示制御部２０９により統合画像の表示制御を実施させる。
　また、表示画像出力部２０７は、生成された統合画像の画像データや、統合画像の基となったＰＤＤ画像の画像データを、画像サーバ５等の外部のサーバに出力してもよい。更に、表示画像出力部２０７は、生成された統合画像を、印刷物として出力してもよい。
　表示制御部２０９は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。表示制御部２０９は、表示画像出力部２０７から伝送された、蛍光撮像画像（ＰＤＤ画像）に対して、ＰＤＤ画像とは異なる第１の画像が統合された統合画像を、画像表示ユニット３０が備えるディスプレイ等の出力装置や光線力学診断装置１の外部に設けられた出力装置等に表示する際の表示制御を行う。これにより、光線力学診断装置１の利用者は、生成された統合画像をその場で把握することが可能となる。
　記憶部２１１は、例えば本実施形態に係る演算処理ユニット２０が備えるＲＡＭやストレージ装置等により実現される。記憶部２１１には、本実施形態に係る演算処理ユニット２０が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、又は、各種のデータベースやプログラム等が、適宜記録される。この記憶部２１１は、撮像制御部２０１、データ取得部２０３、画像処理部２０５、表示画像出力部２０７、表示制御部２０９等が、データのリード／ライト処理を自由に行うことが可能である。
［画像処理部２０５の構成について］
　続いて、図７～図１０を参照しながら、画像処理部２０５の詳細な構成について説明する。
　本実施形態に係る画像処理部２０５は、図７に模式的に示したように、前処理部２２１と、表示画像生成部２２３と、を有している。
　前処理部２２１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。前処理部２２１は、データ取得部２０３から伝送された蛍光撮像画像（ＰＤＤ画像）や照明光撮像画像に対して、表示倍率の調整処理、及び、上記第１の画像との間の位置合わせ処理を少なくとも含む統合前処理を実施する。
　これらの統合前処理は、図８に示したように、カメラ角度の特定処理、撮像倍率の校正処理、及び、撮像位置の校正処理を少なくとも含むことが好ましい。
　カメラ角度の特定処理は、照明光撮像画像における人体の少なくとも一部を、例えば公知の画像認識処理等を利用して認識し、カメラの向いている方向を特定する処理である。これにより、照明光撮像装置１０７の光軸が、例えば人体の頭側の方向や尾側の方向のどちらに向いているのかを特定することが可能となる。また、更なる詳細な認識処理を行えば、照明光撮像装置１０７の光軸が向いている方向（ある基準方向からの回転角）を具体的に特定することが可能となる。
　ここで、照明光撮像装置１０７と、蛍光撮像装置１０３とは、相対的な位置関係が予め設定されていることから、照明光撮像画像を利用した上記のような処理を実施することで、蛍光撮像装置１０３の光軸が向いている方向を特定することが可能となる。
　このようなカメラ角度の特定処理は、蛍光撮像装置１０３や照明光撮像装置１０７について同一の撮像条件で撮像処理が実施されている間は、少なくとも１回実施すればよい。また、蛍光撮像装置１０３や照明光撮像装置１０７の撮像条件が変更となった場合には、その都度カメラ角度の特定処理を実施すればよい。
　撮像倍率の校正処理は、撮像装置の焦点位置（すなわち、患者の術野）におけるカメラの撮像倍率を校正する処理である。照明光撮像装置１０７の焦点位置において、どの程度の範囲が視野に含まれるかを特定することで、統合対象としたい（照明光撮像画像とは異なる）第１の画像の表示倍率と、照明光撮像画像の表示倍率との違いを特定することができる。これにより、照明光撮像画像を第１の画像と統合する際に、撮像された画像をどの程度拡大（又は縮小）すればよいかを把握することが可能となる。また、照明光撮像装置１０７と蛍光撮像装置１０３との相対的な位置関係は既知であることから、照明光撮像画像における撮像倍率の校正度合いを決定することで、蛍光撮像画像における撮像倍率の校正度合いを決定することができる。なお、上記のような倍率の校正後に、撮像装置のズーミング動作が行われた場合には、ズーミング倍率に基づいて、適宜校正を行えばよい。
　撮像位置の校正処理は、蛍光撮像画像と第１の画像との位置関係が適合するように、撮像位置の校正を行う処理である。より詳細には、撮像方向及び表示倍率に関する知見を利用して、照明光撮像画像における人体の特定の器官（例えば、乳癌の手術であれば、乳首等）の位置と、第１の画像における同器官の位置とを一致させる位置合わせパラメータが算出される。その後、算出された位置合わせパラメータを利用して、蛍光撮像画像と第１の画像との位置合わせが行われる。この際に、照明光撮像画像において、第１の画像に含まれる人体の特定の器官が視野に含まれていない場合には、前処理部２２１は、撮像制御部２０１と連携して、着目している器官が視野に含まれるように、撮像条件を変更する。
　以上のような統合前処理が実施されることで、通常は実際の大きさよりも拡大されて表示されることが多い第１の画像（特に、各種の診断画像）に対して、術中に得られた蛍光撮像画像や照明光撮像画像を、表示倍率を一致させた上で統合することが可能となる。
　蛍光撮像画像と第１の画像とを同じ倍率で表示させることにより、術者は、診断画像と手術時に得られるＰＤＤ画像や術野の観察画像と、を高精度に比較することが可能となる。その結果、術者は、診断画像に存在する癌などの悪性腫瘍の位置を、人体の位置関係に基づいて容易に把握することが可能となり、切除すべき領域を容易に決定することが可能となる。
　ここで、本実施形態に係る撮像ユニット１０において、図５に示したような一体化撮像装置１１１が用いられている場合には、上記のような各種の校正処理をより簡便に実施することが可能となるため、好ましい。
　なお、上記の説明では、前処理部２２１は、主に蛍光撮像画像に対して、上記のような各種の統合前処理を実施する旨について言及したが、前処理部２２１は、同様の統合前処理を、照明光撮像画像に対して実施してもよい。また、前処理部２２１は、統合対象とする照明光撮像画像以外の第１の画像（例えば、各種の診断画像）に対しても、画像の拡大・縮小、回転等といった各種の画像処理を施しても良い。
　前処理部２２１は、上記のようにして対象となる撮像画像に対して統合前処理を行った後、統合前処理後の画像データを、表示画像生成部２２３に出力する。
　表示画像生成部２２３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。表示画像生成部２２３は、前処理部２２１から伝送された統合前処理後の画像データを利用して、蛍光撮像画像と、人体の少なくとも一部の位置関係を表わした第１の画像と、が統合された統合画像を生成する。これにより、図８に模式的に示したように、統合前処理後の蛍光撮像画像及び照明光撮像画像が互いに統合された統合画像や、統合前処理後の蛍光撮像画像と、マンモグラフィ画像、ＣＴ画像、ＭＲＩ画像、超音波画像等のような診断画像の少なくとも１つと、が互いに統合された統合画像や、統合前処理後の蛍光撮像画像及び照明光撮像画像と、少なくとも１つの診断画像と、が互いに統合された統合画像等が生成される。
　この際、表示画像生成部２２３は、図９に模式的に示したように、蛍光撮像画像（ＰＤＤ画像）における蛍光結像領域の色調を、光感受性物質に由来する本来の蛍光の色調ではなく、統合させた画像には存在しない色調に変更することが好ましい。これにより、蛍光結像領域の存在が統合画像中に埋没してしまい、統合画像を参照した光線力学診断装置１の使用者が、蛍光結像領域の存在に気付かないという事態を防止することが可能となり、断端陽性リスクの低減を図ることができる。
　このような色調を変えるための方法としては、例えば、蛍光撮像画像（ＰＤＤ画像）から得られる画像の輝度情報を、統合画像の画像データのＧ（Ｇｒｅｅｎ）チャンネルに入力する等の方法が考えられる。また、蛍光撮像画像における蛍光結像領域の色調に関する画像データを直接書き換えて、所望の色調に対応する値に変更してもよい。
　また、表示画像生成部２２３は、蛍光結像領域を強調して表示させるために、蛍光結像領域を強調する表示オブジェクトｏｂｊを、統合画像に対して更に重畳させてもよい。このような表示オブジェクトｏｂｊとしては、例えば、図１０に模式的に示したように、蛍光結像領域を例えば点線などで囲むオブジェクトｏｂｊがある。また、蛍光結像領域を表わすような各種のマーカーオブジェクトを統合画像に重畳させてもよいし、蛍光結像領域を点滅させながら表示する等のような表示効果を併用してもよい。このような表示オブジェクトｏｂｊを更に重畳させることで、光線力学診断装置１の使用者が蛍光結像領域の存在を見落とすという可能性を抑制することが可能となり、断端陽性リスクの低減が可能となる。
　表示画像生成部２２３は、このようにして生成した統合画像に関する画像データを、表示画像出力部２０７に出力する。これにより、光線力学診断装置１の使用者は、画像表示ユニット３０への画像の表示も含めた様々な方法で、ＰＤＤを実施することが可能となる。
　前述のように、例えば現在の乳癌手術においては、例えばマンモグラフィ画像などの診断画像をもとに、患者の乳房状にマーカーペンを用いて切除目標領域を表わす印をつけることが一般的である。しかしながら、このような処理では、診断画像における立体的な手術切除領域を平面透視情報とすることで、診断画像が有している情報の一部を消失させてしまっている。一方で、上記のような統合画像を利用することで、診断画像が有している情報をより効率的に利用することが可能となり、従来の方法では失われてしまう可能性のある情報を補うことが可能となる。
　以上、図７を参照しながら、本実施形態に係る画像処理部２０５の構成について、詳細に説明した。
　以上、本実施形態に係る演算処理ユニット２０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
　なお、上述のような本実施形態に係る演算処理ユニットの各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
＜光線力学診断方法について＞
　次に、図１１を参照しながら、本実施形態に係る光線力学診断方法の流れについて、簡単に説明する。図１１は、本実施形態に係る光線力学診断方法の流れの一例を示した流れ図である。
　本実施形態に係る光線力学診断方法では、まず、患者に予め所定の光感受性物質を投与して（ステップＳ１０１）、癌などの悪性腫瘍に光感受性物質が蓄積されるようにする。その後、手術時において、光線力学診断装置１の演算処理ユニット２０の制御下で撮像ユニット１０を駆動させて、悪性腫瘍が存在すると思われる場所（病巣部）を含むように、光線力学診断装置１の撮像ユニット１０の励起光源１０１から、光感受性物質を励起することが可能な波長を有する励起光を術野に向けて照射させる（ステップＳ１０３）。
　着目している術野に光感受性物質が蓄積されている場合には、照射した励起光に起因して蛍光が発生する。そこで、光線力学診断装置１の撮像ユニット１０の蛍光撮像装置１０３により病巣部からの蛍光を撮像して、ＰＤＤ画像を生成する。また、ＰＤＤ画像の生成に加えて、撮像ユニット１０の照明光撮像装置１０７を利用して、照明光撮像画像を生成することが好ましい。
　撮像ユニット１０により各種の撮像画像が生成されると、生成された撮像画像の画像データは、演算処理ユニット２０へと出力される。演算処理ユニット２０のデータ取得部２０３は、撮像ユニット１０により生成された各種の撮像画像の画像データを取得すると、得られた画像データを画像処理部２０５の前処理部２２１に出力する。
　画像処理部２０５の前処理部２２１は、上記のような統合前処理を、ＰＤＤ画像や照明光撮像画像に対して実施する（ステップＳ１０７）。その後、前処理部２２１は、統合前処理後のＰＤＤ画像や照明光撮像画像の画像データを、表示画像生成部２２３へと出力する。
　その後、画像処理部２０５の表示画像生成部２２３は、別途データ取得部２０３が画像サーバ５等から取得していた診断画像等を利用して、上記のような方法により、ＰＤＤ画像と、ＰＤＤ画像とは異なる画像と、を統合する（ステップＳ１０９）。これにより、本実施形態に係る統合画像が生成される。その後、表示画像生成部２２３は、生成した統合画像に関する画像データを、表示画像出力部２０７に出力する。
　表示画像出力部２０７は、画像処理部２０５から統合画像に関する画像データが出力されると、かかる統合画像を出力する（ステップＳ１１１）。例えば、統合画像を画像表示ユニット３０のディスプレイ等に表示させる場合には、表示画像出力部２０７は、統合画像に関する画像データを表示制御部２０９に出力して、画像表示ユニット３０の表示制御を、表示制御部２０９に実施させる。これにより、生成された統合画像が、光線力学診断装置１の使用者に提示されることとなる。
　以上、図１１を参照しながら、本実施形態に係る光線力学診断方法の流れの一例について、簡単に説明した。
（ハードウェア構成について）
　次に、図１２を参照しながら、本開示の実施形態に係る演算処理ユニット２０のハードウェア構成について、詳細に説明する。図１２は、本開示の実施形態に係る演算処理ユニット２０のハードウェア構成を説明するためのブロック図である。
　演算処理ユニット２０は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、を備える。また、演算処理ユニット２０は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インターフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。
　ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、又は、リムーバブル記録媒体９２７に記録された各種プログラムに従って、演算処理ユニット２０内の動作全般又はその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。
　ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。
　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバーなどユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、光線力学診断装置１の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。更に、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。光線力学診断装置１のユーザは、この入力装置９１５を操作することにより、光線力学診断装置１に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプなどの表示装置や、スピーカ及びヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置９１７は、例えば、演算処理ユニット２０が行った各種処理により得られた結果を出力する。具体的には、表示装置は、演算処理ユニット２０が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
　ストレージ装置９１９は、演算処理ユニット２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、及び、外部から取得した各種データなどを格納する。
　ドライブ９２１は、記録媒体用リーダライタであり、演算処理ユニット２０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は、半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は、半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ－ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣｏｍｐａｃｔＦｌａｓｈ：ＣＦ）、フラッシュメモリ、または、ＳＤメモリカード（Ｓｅｃｕｒｅ　Ｄｉｇｉｔａｌ　ｍｅｍｏｒｙ　ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ　ｃａｒｄ）又は電子機器等であってもよい。
　接続ポート９２３は、機器を演算処理ユニット２０に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、光線力学診断装置１は、外部接続機器９２９から直接各種データを取得したり、外部接続機器９２９に各種データを提供したりする。
　通信装置９２５は、例えば、通信網９３１に接続するための通信デバイス等で構成された通信インターフェースである。通信装置９２５は、例えば、有線もしくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又は、ＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、又は、各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
　以上、本開示の実施形態に係る演算処理ユニット２０の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は、上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）所定波長の励起光を照射する励起光源、及び、前記励起光により励起された光感受性物質からの蛍光を撮像して蛍光撮像画像を生成する蛍光撮像装置を有する撮像ユニットと、
　前記蛍光撮像画像に対して所定の画像処理を実施する画像処理部を有する演算処理ユニットと、
を備え、
　前記画像処理部は、人体の少なくとも一部の位置関係を表わした第１の画像を前記蛍光撮像画像に対して統合した統合画像を生成する、光線力学診断装置。
（２）前記画像処理部は、前記蛍光撮像画像に対して、表示倍率の調整処理、及び、前記第１の画像との間の位置合わせ処理を少なくとも含む統合前処理を実施した後、統合前処理後の前記蛍光撮像画像と、前記第１の画像と、を統合する、（１）に記載の光線力学診断装置。
（３）前記撮像ユニットは、可視光帯域に属する照明光を利用して、前記光感受性物質が予め投与された人体の一部を撮像することで照明光撮像画像を生成する照明光撮像装置を更に有し、かつ、当該照明光撮像装置と前記蛍光撮像装置との相対的な位置関係が予め設定されており、
　前記画像処理部は、
　前記照明光撮像画像における人体の少なくとも一部を認識することで、前記照明光撮像装置及び前記蛍光撮像装置の撮像方向を特定し、
　前記照明光撮像装置及び前記蛍光撮像装置の撮像倍率に基づき、生成される前記照明光撮像画像及び蛍光撮像画像の表示倍率を調整し、
　前記撮像方向及び前記表示倍率を利用して、前記照明光撮像画像における人体の器官の位置と、前記第１の画像における前記人体の器官の位置とを一致させる位置合わせパラメータを算出し、
　算出した前記位置合わせパラメータを利用して、前記蛍光撮像画像と前記第１の画像との位置合わせを行う、（２）に記載の光線力学診断装置。
（４）前記蛍光撮像装置及び前記照明光撮像装置は、一体化されており、一体化された撮像装置に入射した光線を２つの光路に分岐することで、前記蛍光撮像画像及び前記照明光撮像画像を生成する、（３）に記載の光線力学診断装置。
（５）前記撮像ユニットは、可視光帯域に属する照明光を照射する照明光源を更に有し、
　前記演算処理ユニットは、前記撮像ユニットにおける撮像処理を制御する撮像制御部を更に有し、
　前記撮像制御部は、前記励起光源及び前記照明光源のオン／オフ切り替え制御、並びに、前記蛍光撮像装置及び前記照明光撮像装置の駆動制御を実施する、（３）又は（４）に記載の光線力学診断装置。
（６）前記画像処理部は、前記統合画像において、前記蛍光撮像画像における蛍光結像領域に対応する領域の色調を、前記第１の画像には存在しない色調に変更する、（１）～（５）の何れか１項に記載の光線力学診断装置。
（７）前記画像処理部は、前記統合画像に対して、当該統合画像における蛍光結像領域を強調する表示オブジェクトを更に重畳する、（１）～（６）の何れか１項に記載の光線力学診断装置。
（８）前記第１の画像は、前記光感受性物質が取り込まれている悪性腫瘍の切除手術における術野を撮像した画像、又は、当該悪性腫瘍の存在位置を示した診断画像の少なくとも何れかである、（１）～（７）の何れか１項に記載の光線力学診断装置。
（９）前記診断画像は、人体の少なくとも一部の透視画像又は断面画像の少なくとも何れかである、（８）に記載の光線力学診断装置。
（１０）前記透視画像又は前記断面画像は、マンモグラフィ画像、ＣＴ画像、ＭＲＩ画像、又は超音波画像である、（９）に記載の光線力学診断装置。
（１１）前記演算処理ユニットは、外部に設けられた画像サーバから前記第１の画像を取得して、前記蛍光撮像画像と統合する、（１）～（１０）の何れか１項に記載の光線力学診断装置。
（１２）励起光光源から所定波長の励起光を照射して、前記励起光により励起された光感受性物質からの蛍光を蛍光撮像装置により撮像して蛍光撮像画像を生成することと、
　人体の少なくとも一部の位置関係を表わした第１の画像を、生成された前記蛍光撮像画像に対して統合した統合画像を生成することと、
を含む、光線力学診断方法。
　　　１　　光線力学診断装置
　　　３　　照明光源
　　　５　　画像サーバ
　　１０　　撮像ユニット
　　２０　　演算処理ユニット
　　３０　　画像表示ユニット
　１０１　　励起光源
　１０３　　蛍光撮像装置
　１０５　　光学フィルタ
　１０７　　照明光撮像装置
　１１１　　一体化撮像装置
　１５１　　蛍光撮像用撮像素子
　１５３　　照明光撮像用撮像素子
　２０１　　撮像制御部
　２０３　　データ取得部
　２０５　　画像処理部
　２０７　　表示画像出力部
　２０９　　表示制御部
　２１１　　記憶部
　２２１　　前処理部
　２２３　　表示画像生成部

Claims (12)

  1. 　所定波長の励起光を照射する励起光源、及び、前記励起光により励起された光感受性物質からの蛍光を撮像して蛍光撮像画像を生成する蛍光撮像装置を有する撮像ユニットと、
    　前記蛍光撮像画像に対して所定の画像処理を実施する画像処理部を有する演算処理ユニットと、
    を備え、
    　前記画像処理部は、人体の少なくとも一部の位置関係を表わした第１の画像を前記蛍光撮像画像に対して統合した統合画像を生成する、光線力学診断装置。
  2. 　前記画像処理部は、前記蛍光撮像画像に対して、表示倍率の調整処理、及び、前記第１の画像との間の位置合わせ処理を少なくとも含む統合前処理を実施した後、統合前処理後の前記蛍光撮像画像と、前記第１の画像と、を統合する、請求項１に記載の光線力学診断装置。
  3. 　前記撮像ユニットは、可視光帯域に属する照明光を利用して、前記光感受性物質が予め投与された人体の一部を撮像することで照明光撮像画像を生成する照明光撮像装置を更に有し、かつ、当該照明光撮像装置と前記蛍光撮像装置との相対的な位置関係が予め設定されており、
    　前記画像処理部は、
    　前記照明光撮像画像における人体の少なくとも一部を認識することで、前記照明光撮像装置及び前記蛍光撮像装置の撮像方向を特定し、
    　前記照明光撮像装置及び前記蛍光撮像装置の撮像倍率に基づき、生成される前記照明光撮像画像及び蛍光撮像画像の表示倍率を調整し、
    　前記撮像方向及び前記表示倍率を利用して、前記照明光撮像画像における人体の器官の位置と、前記第１の画像における前記人体の器官の位置とを一致させる位置合わせパラメータを算出し、
    　算出した前記位置合わせパラメータを利用して、前記蛍光撮像画像と前記第１の画像との位置合わせを行う、請求項２に記載の光線力学診断装置。
  4. 　前記蛍光撮像装置及び前記照明光撮像装置は、一体化されており、一体化された撮像装置に入射した光線を２つの光路に分岐することで、前記蛍光撮像画像及び前記照明光撮像画像を生成する、請求項３に記載の光線力学診断装置。
  5. 　前記撮像ユニットは、可視光帯域に属する照明光を照射する照明光源を更に有し、
    　前記演算処理ユニットは、前記撮像ユニットにおける撮像処理を制御する撮像制御部を更に有し、
    　前記撮像制御部は、前記励起光源及び前記照明光源のオン／オフ切り替え制御、並びに、前記蛍光撮像装置及び前記照明光撮像装置の駆動制御を実施する、請求項３に記載の光線力学診断装置。
  6. 　前記画像処理部は、前記統合画像において、前記蛍光撮像画像における蛍光結像領域に対応する領域の色調を、前記第１の画像には存在しない色調に変更する、請求項１に記載の光線力学診断装置。
  7. 　前記画像処理部は、前記統合画像に対して、当該統合画像における蛍光結像領域を強調する表示オブジェクトを更に重畳する、請求項１に記載の光線力学診断装置。
  8. 　前記第１の画像は、前記光感受性物質が取り込まれている悪性腫瘍の切除手術における術野を撮像した画像、又は、当該悪性腫瘍の存在位置を示した診断画像の少なくとも何れかである、請求項１に記載の光線力学診断装置。
  9. 　前記診断画像は、人体の少なくとも一部の透視画像又は断面画像の少なくとも何れかである、請求項８に記載の光線力学診断装置。
  10. 　前記透視画像又は前記断面画像は、マンモグラフィ画像、ＣＴ画像、ＭＲＩ画像、又は超音波画像である、請求項９に記載の光線力学診断装置。
  11. 　前記演算処理ユニットは、外部に設けられた画像サーバから前記第１の画像を取得して、前記蛍光撮像画像と統合する、請求項１に記載の光線力学診断装置。
  12. 　励起光光源から所定波長の励起光を照射して、前記励起光により励起された光感受性物質からの蛍光を蛍光撮像装置により撮像して蛍光撮像画像を生成することと、
    　人体の少なくとも一部の位置関係を表わした第１の画像を、生成された前記蛍光撮像画像に対して統合した統合画像を生成することと、
    を含む、光線力学診断方法。
PCT/JP2016/055683 2015-04-27 2016-02-25 光線力学診断装置及び光線力学診断方法 WO2016174911A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/559,495 US20180110414A1 (en) 2015-04-27 2016-02-25 Photodynamic diagnostic device and photodynamic diagnostic method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-090041 2015-04-27
JP2015090041A JP2016202726A (ja) 2015-04-27 2015-04-27 光線力学診断装置及び光線力学診断方法

Publications (1)

Publication Number Publication Date
WO2016174911A1 true WO2016174911A1 (ja) 2016-11-03

Family

ID=57199757

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/055683 WO2016174911A1 (ja) 2015-04-27 2016-02-25 光線力学診断装置及び光線力学診断方法

Country Status (3)

Country Link
US (1) US20180110414A1 (ja)
JP (1) JP2016202726A (ja)
WO (1) WO2016174911A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017176811A (ja) * 2016-03-28 2017-10-05 ソニー株式会社 撮像装置、撮像方法及び医療用観察機器
EP3731723A4 (en) 2017-12-27 2021-10-20 Ethicon LLC HYPERSPECTRAL IMAGING IN AN INSUFFICIENTLY ILLUMINATED ENVIRONMENT
US11636647B2 (en) * 2018-05-09 2023-04-25 Purdue Research Foundation System and method for localization of fluorescent targets in deep tissue for guiding surgery
JP7235540B2 (ja) 2019-03-07 2023-03-08 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察システム
JP7239363B2 (ja) 2019-03-22 2023-03-14 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察装置、医療用観察システム、医療用画像処理装置の作動方法および医療用画像処理プログラム
US12013496B2 (en) 2019-06-20 2024-06-18 Cilag Gmbh International Noise aware edge enhancement in a pulsed laser mapping imaging system
US11102400B2 (en) 2019-06-20 2021-08-24 Cilag Gmbh International Pulsed illumination in a fluorescence imaging system
US11931009B2 (en) 2019-06-20 2024-03-19 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a hyperspectral imaging system
US11083366B2 (en) 2019-06-20 2021-08-10 Cilag Gmbh International Driving light emissions according to a jitter specification in a fluorescence imaging system
US11284785B2 (en) 2019-06-20 2022-03-29 Cilag Gmbh International Controlling integral energy of a laser pulse in a hyperspectral, fluorescence, and laser mapping imaging system
US11925328B2 (en) 2019-06-20 2024-03-12 Cilag Gmbh International Noise aware edge enhancement in a pulsed hyperspectral imaging system
US11793399B2 (en) 2019-06-20 2023-10-24 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral imaging system
US11147436B2 (en) 2019-06-20 2021-10-19 Cilag Gmbh International Image rotation in an endoscopic fluorescence imaging system
US11589819B2 (en) 2019-06-20 2023-02-28 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a laser mapping imaging system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001299676A (ja) * 2000-04-25 2001-10-30 Fuji Photo Film Co Ltd センチネルリンパ節検出方法および検出システム
JP2006026016A (ja) * 2004-07-14 2006-02-02 Fuji Photo Film Co Ltd 乳房蛍光画像取得装置
JP2014039816A (ja) * 2012-08-15 2014-03-06 Aspect Imaging Ltd レンダリングされた画像を発生するｍｒｉ画像処理システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001299676A (ja) * 2000-04-25 2001-10-30 Fuji Photo Film Co Ltd センチネルリンパ節検出方法および検出システム
JP2006026016A (ja) * 2004-07-14 2006-02-02 Fuji Photo Film Co Ltd 乳房蛍光画像取得装置
JP2014039816A (ja) * 2012-08-15 2014-03-06 Aspect Imaging Ltd レンダリングされた画像を発生するｍｒｉ画像処理システム

Also Published As

Publication number Publication date
US20180110414A1 (en) 2018-04-26
JP2016202726A (ja) 2016-12-08

Similar Documents

Publication Publication Date Title
WO2016174911A1 (ja) 光線力学診断装置及び光線力学診断方法
JP7086121B2 (ja) 波長帯選択による画像化を用いた尿管検出
JP7273873B2 (ja) 医用撮像装置と使用方法
CN110325100B (zh) 内窥镜系统及其操作方法
AU2015202805B2 (en) Augmented surgical reality environment system
WO2018034075A1 (ja) 撮像システム
JP2005514144A (ja) 結腸の分光学的試験についての装置および方法
JPWO2019087790A1 (ja) 検査支援装置、内視鏡装置、検査支援方法、及び検査支援プログラム
WO2017021942A1 (ko) 펜타입의 의료용 형광 이미지 장치 및 이를 이용한 다중 형광 영상의 정합 시스템
JP4190917B2 (ja) 内視鏡装置
JP2011156203A (ja) 画像処理装置、内視鏡システム、プログラム及び画像処理方法
JP2017176811A (ja) 撮像装置、撮像方法及び医療用観察機器
WO2020054543A1 (ja) 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
US20230081866A1 (en) Methods and systems for generating simulated intraoperative imaging data of a subject
JP2022512333A (ja) 医療用撮像データを表示するためのシステム及び方法
JP2006340796A (ja) センチネルリンパ節検出システム
JP2016214507A (ja) イメージング装置
JP2008043383A (ja) 蛍光観察内視鏡装置
US12013342B2 (en) Apparatus and methods for endometrial tissue identification
WO2019146228A1 (ja) 医療用撮像装置及び医療用撮像方法
George et al. Fluorescence-guided surgical system using holographic display: from phantom studies to canine patients
Loshchenov et al. Multimodal fluorescence imaging navigation for surgical guidance of malignant tumors in photosensitized tissues of neural system and other organs
WO2017169335A1 (en) Imaging apparatus, imaging method, and medical observation equipment
CN118284907A (zh) 用于生成对象的模拟术中成像数据的方法和系统
van Melick et al. DLP technology's pivotal role in O2view's versatile medical projection/illumination device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16786188

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15559495

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16786188

Country of ref document: EP

Kind code of ref document: A1