WO2012132790A1 - 蛍光観察装置 - Google Patents

蛍光観察装置 Download PDF

Info

Publication number
WO2012132790A1
WO2012132790A1 PCT/JP2012/055722 JP2012055722W WO2012132790A1 WO 2012132790 A1 WO2012132790 A1 WO 2012132790A1 JP 2012055722 W JP2012055722 W JP 2012055722W WO 2012132790 A1 WO2012132790 A1 WO 2012132790A1
Authority
WO
WIPO (PCT)
Prior art keywords
fluorescence
image
region
unit
treatment
Prior art date
Application number
PCT/JP2012/055722
Other languages
English (en)
French (fr)
Inventor
裕美 志田
康成 石原
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201280014841.7A priority Critical patent/CN103458759B/zh
Priority to JP2013507317A priority patent/JP6006199B2/ja
Publication of WO2012132790A1 publication Critical patent/WO2012132790A1/ja
Priority to US14/033,687 priority patent/US9949645B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G02B23/2469—Illumination using optical fibres
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B2207/00—Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
    • G02B2207/113—Fluorescence

Definitions

  • the present invention relates to a fluorescence observation apparatus.
  • diagnostic criteria based on images vary depending on the treatment content. For example, in the case of biopsy, in order to obtain an accurate test result, the most suspected lesion is identified and treatment is performed. On the other hand, in the case of excision, treatment is performed by specifying all regions suspected of having a lesion so that no lesion remains. That is, in the case of the fluorescence observation endoscope apparatus of Patent Document 1, since the region extracted based on the same reference is presented to the operator even for such different treatment contents, the operator performs treatment from the presented region. There is a problem that it is difficult to accurately determine the area to be.
  • the present invention has been made in view of the above-described circumstances, and an object of the present invention is to provide a fluorescence observation apparatus capable of presenting an optimal region to be treated to an operator according to the content of treatment.
  • the present invention provides the following means.
  • a return light imaging unit that captures a return light from the living tissue and obtains a return light image, and a fluorescent image acquired by the fluorescence imaging unit, one specified from a plurality of processing conditions
  • a fluorescence region extraction unit that extracts a fluorescence region according to processing conditions, and a superimposed image in which the fluorescence region extracted by the fluorescence region extraction unit is superimposed on a corresponding position of the return light image acquired by the return light imaging unit.
  • a superimposed image generation unit that generates the image, an output unit that outputs the superimposed image generated by the superimposed image generation unit to the outside, and treatment information that acquires treatment content information indicating the content of treatment performed on the living tissue Image switching for designating the one processing condition among the plurality of processing conditions for the fluorescent region extraction unit in accordance with the treatment content information obtained by the obtaining unit and the treatment information obtaining unit Providing fluorescence observation apparatus comprising and.
  • a fluorescence image is acquired by the fluorescence imaging unit by generating fluorescence from a fluorescent substance present in the living tissue by the excitation light from the illumination unit.
  • the return light image is acquired by the return light imaging unit when the illumination light from the illumination unit is reflected by the living tissue and returned.
  • the fluorescent region in the fluorescent image is extracted by the fluorescent region extracting unit and then superimposed on the return light image by the superimposed image generating unit.
  • the superimposed image generated in this way is output from the output unit to a monitor or the like, so that the operator can observe the shape of the living tissue and the region where the fluorescence is generated in association with each other.
  • the fluorescent region superimposed on the output superimposed image is switched by the image switching unit to one extracted according to the processing condition according to the treatment content information acquired in the treatment information acquisition unit.
  • the region to be optimally treated according to the treatment content can be presented to the operator as the fluorescent region in the superimposed image.
  • the fluorescent region extraction unit has a first processing condition for extracting a region having a predetermined first fluorescent intensity, and a predetermined second fluorescent intensity greater than the predetermined first fluorescent intensity. It may be configured to have a second processing condition for extracting a region having the same. In this way, the fluorescent region can be extracted in multiple stages based on the luminance value.
  • the fluorescent region extraction unit may extract a fluorescent region having a fluorescent intensity equal to or higher than the first fluorescent intensity under the first processing condition. In this way, under the first processing condition, the entire region where fluorescence is generated in the living tissue, for example, the entire diseased region can be presented to the operator.
  • the said fluorescence area extraction part is good also as extracting the highest fluorescence area
  • the said fluorescence area extraction part is good also as extracting the highest fluorescence area
  • the superimposed image generation unit may superimpose a contour portion of the fluorescent region extracted according to the first processing condition on the return light image. In this way, in the superimposed image, the boundary between the region where the fluorescence is generated and the region where the fluorescence is not generated is clearly displayed, and a clear living tissue is also displayed in the region where the fluorescence is generated. An image can be displayed.
  • the fluorescent region extracting unit extracts a region where the luminance value changes at a predetermined first change rate, and is located inside the region extracted by the first processing condition. And a second processing condition for extracting a region whose luminance value changes at a predetermined second change rate.
  • the fluorescent region extraction unit may have the predetermined second change rate that is smaller than the predetermined first change rate.
  • the said treatment information acquisition part is good also as the identification information which identifies a treatment tool being inputted as said treatment content information by operation by an operator.
  • the treatment information acquisition unit can acquire the treatment content information by using the treatment tool after the operator inputs the identification information of the treatment tool to the treatment information acquisition unit.
  • the treatment information acquisition unit may detect a treatment tool from the return light image and identify the type of the detected treatment tool as the treatment content information. By doing in this way, the treatment information acquisition part can acquire treatment content information, without imposing a burden on an operator.
  • FIG. 3 is a diagram for explaining image processing by a fluorescence region extraction unit in FIG. 2, (a) a fluorescence image generated by a fluorescence image generation unit; and (b) a fluorescence intensity distribution along the line AA ′ of the fluorescence image; It is a graph which shows the relationship with a predetermined
  • the fluorescence observation apparatus 100 is configured based on an endoscope 1 and is used for endoscopically treating a lesion in a living body labeled with a fluorescent dye. It is what is used. For example, by labeling a biomolecule specifically present in the lesion with a fluorescent dye using an antibody or the like, the operator can identify the fluorescence region in the fluorescence image acquired by the endoscope 1 as the lesion. Thus, the lesion can be treated.
  • a fluorescence observation apparatus 100 includes an endoscope 1, an illumination unit 2 that supplies white light (illumination light) and excitation light to the endoscope 1, and an endoscope.
  • An image processing unit 3 that processes an image picked up by the mirror 1 and an IC tag reader 5 (treatment information acquisition unit) that reads an IC tag 41 attached to the treatment instrument 4 used together with the endoscope 1 are provided.
  • FIG. 2 is a diagram showing a detailed configuration of the fluorescence observation apparatus 100.
  • the endoscope 1 includes an elongated insertion portion 11 that is inserted into the body, and a channel 12 that is formed through the insertion portion 11 along the longitudinal direction and into which the treatment instrument 4 is inserted.
  • An imaging optical system 13 that acquires image information of the living tissue A that is an observation target is provided at the distal end of the insertion unit 11.
  • the imaging optical system 13 includes an objective lens 13a that collects return light that returns from a predetermined observation range to be observed, and light having a wavelength that is equal to or greater than the excitation wavelength of the fluorescent dye among the return light collected by the objective lens 13a.
  • a dichroic mirror 13b that reflects (excitation light and fluorescence) and transmits light having a wavelength shorter than the excitation wavelength, and two condensings that collect light transmitted through the dichroic mirror 13b and light reflected by the dichroic mirror 13b, respectively.
  • a lens 13c and two imaging elements 13d and 13e such as a CCD for imaging the light collected by the condenser lens 13c are provided.
  • reference numeral 13f denotes an excitation light cut filter that blocks excitation light from the light reflected by the dichroic mirror 13b.
  • Cy7 having an excitation wavelength on a relatively long wavelength side with respect to white light is assumed as the fluorescent dye. Therefore, the light transmitted through the dichroic mirror 13b becomes white light, a white light image is acquired by the image sensor 13d, and a fluorescent image is acquired by the image sensor 13e. Image information acquired by each of the image sensors 13 d and 13 e is transmitted to the image processing unit 3 via the cable 6.
  • the illumination unit 2 includes a light source 21 that emits light in a sufficiently wide wavelength band, such as a xenon lamp, a filter 22 that extracts excitation light and white light from the light emitted from the light source 21, and an excitation that is extracted by the filter 22 And a coupling lens 23 for condensing light and white light.
  • the illumination unit 2 guides the excitation light and the white light collected by the coupling lens 23 through the light guide fiber 24 arranged over almost the entire length in the longitudinal direction of the insertion portion 11, and then is provided at the distal end of the insertion portion 11. The light is diffused by the illumination optical system 25 and irradiated onto the observation target.
  • the image processing unit 3 generates a white light image (return light image) from the white light image (return light image) information acquired by the imaging element 13 d among the image information transmitted via the cable 6.
  • the generation unit 31, the fluorescence image generation unit 32 that generates a fluorescence image from the fluorescence image information acquired by the imaging element 13 e, and the fluorescence region according to a plurality of predetermined processing conditions from the fluorescence image generated by the fluorescence image generation unit 32
  • Information extracted from the IC tag 41 received from the IC tag reader 5, a fluorescent region extraction unit 33 that generates an extracted image obtained by extracting the extracted image, a superimposed image generation unit 34 that generates a superimposed image obtained by superimposing the extracted image on the white light image Are provided with an image switching unit 35 for determining processing conditions in the fluorescent region extraction unit 33 and an output unit 36 for outputting an image to the monitor 7.
  • the fluorescence region extraction unit 33 detects the strongest fluorescence among the first image processing mode (first processing condition) for extracting substantially the entire fluorescence region in which fluorescence is detected and the fluorescence region in which fluorescence is detected.
  • a second image processing mode (second processing condition) for extracting the highest fluorescent region including the selected region from the fluorescent image.
  • the fluorescent region extraction unit 33 generates an extraction image in one of the first image processing mode and the second image processing mode that is designated by the image switching unit 35 described later.
  • the fluorescent image G0 received from the fluorescent image generating unit 32 by the fluorescent region extracting unit 33 includes a background region having a weak luminance and the luminance of the background region as shown in (a) of FIG.
  • a fluorescent region B having high luminance that is, luminance due to fluorescence from the fluorescent dye.
  • FIG. 3B is a graph showing the distribution of luminance values along the line A-A ′ in FIG. In the portion corresponding to the background area, the luminance value is almost zero. In the portion corresponding to the fluorescent region B, the luminance value gradually increases from the background region, and the luminance value becomes maximum in the central portion.
  • the fluorescence region extraction unit 33 has a predetermined first luminance value (predetermined first fluorescence intensity) m as shown in (b) of FIG. Extract the region that has.
  • the predetermined first luminance value is determined to be sufficiently large with respect to the weak luminance value of the background region and sufficiently small with respect to the luminance value due to the fluorescence from the fluorescent dye.
  • the region extracted in the first image processing mode is a contour portion B ′ that surrounds substantially the entire fluorescent region B.
  • the extracted image G1 generated in this way is an image in which substantially the entire fluorescent region B is shown as a region inside the contour portion B '.
  • the fluorescent region extracting unit 33 In the second image processing mode, the fluorescent region extracting unit 33, as shown in (b) of FIG. 3, has an area having a predetermined second luminance value n larger than the predetermined first luminance value m. Extract. That is, the extracted region having the predetermined second luminance value n is a contour portion of a region having a relatively large luminance value in the region surrounded by the contour portion B ′.
  • the fluorescent region extracting unit 33 generates an extracted image G2 by displaying a region inside the contour portion in a predetermined color.
  • the extracted image G2 generated in this way is a relatively small marker in the highest fluorescent region including the region where the strongest fluorescence is detected in the fluorescent region B and the region near the region.
  • the image is marked with C.
  • the luminance value at each pixel in the fluorescent image G0 is proportional to the density of the biomolecule labeled with the fluorescent dye. That is, the position to which the marker C is attached indicates the region where the lesion has progressed most.
  • the fluorescence region extraction unit 33 selects a pixel group having a luminance value equal to or higher than a predetermined first luminance value m in the first image processing mode, and a predetermined second in the second image processing mode.
  • a pixel group having a luminance value equal to or higher than the luminance value n may be selected, and the selected pixel group may be displayed in a predetermined display mode, for example, in a predetermined color.
  • the superimposed image generation unit 34 generates a superimposed image by superimposing the extracted images G1 and G2 generated by the fluorescent region extraction unit 33 on the white light image generated by the white light image generation unit 31. That is, the superimposed image is an image in which substantially the entire fluorescent region B is specified by the contour portion B ′ or the highest fluorescent region is specified by the marker C in the white light image representing the tissue shape in the body. .
  • the superimposed image generation unit 34 outputs the generated superimposed image to the output unit 36.
  • the image switching unit 35 has information in which the type of the treatment instrument 4 and the image processing mode are associated with each other.
  • the image switching unit 35 selects an image processing mode associated with the type (described later) of the treatment instrument 4 included in the identification information, and selects the selected image.
  • a signal designating the processing mode is output to the fluorescence region extraction unit 33.
  • the image switching unit 35 designates the first image processing mode when the type of the treatment tool 4 is a female to the fluorescent region extraction unit 33, and the second when the type of the treatment tool 4 is a forceps. Specifies the image processing mode.
  • the image switching unit 35 displays the contour B ′ in the superimposed image generated by the superimposed image generation unit 34 according to which treatment device 4 the IC tag 41 is read by the operator by the IC tag reader 5. Or whether to display the marker C.
  • the output unit 36 outputs the white light image generated by the white light image generation unit 31 to the monitor 7 in the initial state.
  • the output unit 36 receives the signal indicating that the IC tag 4 has been read from the IC tag reader 5, and switches the output to the monitor 7 to the superimposed image generated by the superimposed image generation unit 34.
  • the output unit 36 may include a switch or the like that switches an image to be output between a white light image and a superimposed image when operated by an operator.
  • the IC tag reader 5 reads the identification information recorded on the IC tag 41 when the operator holds the IC tag 41 attached to each treatment instrument 4. Identification information including the type (treatment content information) of the treatment instrument 4 to which the IC tag 41 is attached is recorded in the IC tag 41. That is, when the operator causes the IC tag reader 5 to read the IC tag 41 of the treatment instrument 4 immediately before using the treatment instrument 4, information on the treatment content to be performed on the observation target is input to the IC tag reader 5. Will be. The IC tag reader 5 transmits the read identification information to the image switching unit 35.
  • the operation of the fluorescence observation apparatus 100 configured as described above will be described.
  • the operator irradiates white light and excitation light from the tip of the insertion portion 11 by turning on the light source 21.
  • the insertion unit 11 is inserted into the body, and the insertion unit 11 is arranged at a position where the lesion is displayed in the white light image displayed on the monitor 7.
  • the operator causes the IC tag reader 5 to read the IC tag 41 attached to the treatment tool 4 used for the treatment of the lesioned part.
  • the display of the monitor 7 is switched from the white light image to the superimposed image, and the contour portion B ′ or the marker C is displayed on the white light image according to the type of the treatment instrument 4.
  • the operator inserts the treatment tool 4 through the channel 12 of the endoscope 1 up to the lesion, and performs treatment on the region designated by the contour B ′ or the marker C in the superimposed image. Do.
  • the extraction method of the region specified in the superimposed image is switched according to the content of the treatment performed by the operator. For example, when a lesion is excised using a scalpel, the entire region suspected of being affected by the lesion is designated by the contour B ′. Therefore, if the entire designated region is excised, the lesion is removed without leaving the lesion. be able to. On the other hand, when a biopsy is performed using forceps, the region most likely to be a lesion is extracted and designated by the marker C. Therefore, if a tissue is collected from the designated position, an accurate test result in the biopsy is obtained. Can be obtained.
  • the optimal position to be treated can be presented to the operator in the superimposed image according to the content of the treatment. Accordingly, there is an advantage that the operator can appropriately perform the treatment as long as the treatment is performed on the region designated by the outline B ′ or the marker C.
  • the IC tag reader 5 that reads the IC tag 41 that identifies the treatment instrument 4 is exemplified as the treatment information acquisition unit.
  • the treatment content information indicating the treatment content may be acquired.
  • the treatment information acquisition unit is provided in the image processing unit 3.
  • the treatment information acquisition unit detects the label from the white light image, and the treatment indicated by the detected label You may acquire the kind of instrument 4 as treatment content information.
  • the image of the distal end portion of the treatment instrument 4 is stored as a reference image in a storage unit (not shown) in association with the type of the treatment instrument, and the treatment information acquisition unit compares the white light image with the reference image so that the white color is obtained.
  • the treatment instrument 4 may be detected from the optical image, and the type of the detected treatment instrument 4 may be acquired as treatment content information.
  • the fluorescent region extraction unit 33 extracts the fluorescent region using the fluorescent intensity.
  • the fluorescent region is extracted using the change rate of the fluorescent intensity (luminance value). It may be extracted.
  • (A) in FIG. 6 is a graph showing the distribution of luminance values of the fluorescent image G0
  • (b) in FIG. 6 is a graph showing the change rate of the luminance values between adjacent pixels in the fluorescent image G0. It is.
  • the rate of change is maximized in the direction from A to A ′ in the direction from the periphery to the center of the fluorescent region B, and the rate of change is 0 at the position where the fluorescence intensity is maximum. Furthermore, the rate of change is maximized at a position on the way to the periphery.
  • (B) in FIG. 6 indicates the absolute value of the rate of change.
  • the extraction of the fluorescent region is performed using the absolute value of the change rate of the luminance value.
  • a region having a predetermined first change rate S1 that is, a contour portion of the fluorescent region B is extracted.
  • the information on the luminance value of each pixel shown in FIG. To extract only the one with the lower luminance value. Even in this case, the contour portion B 'can be extracted as in FIG.
  • an area having a predetermined second change rate S2 smaller than the predetermined first change rate S1 is extracted. Also in this case, there are two regions each having the predetermined second change rate S2 on the peripheral side and the center side of the fluorescent region B, but are present inside the contour portion B ′ extracted in the first processing mode. Extract only the area to be used. Even in this way, the extracted image G2 to which the marker C is attached can be generated as in FIG. Further, as the third image processing mode, an area having a predetermined third change rate S3 may be extracted.
  • the entire fluorescent region is indicated by the outline portion B ′, and the highest fluorescent region is indicated by the marker C.
  • these display modes are examples, and may be changed as appropriate. can do.
  • an arrow D indicating the extracted highest fluorescence region may be displayed.
  • the entire extracted fluorescent region E may be filled with a predetermined color and displayed. In this case, it may be semi-transparent so that the tissue shape of the white light image region overlapping the painted region can be visually recognized.
  • the contour B ′ may be filled with a different color depending on the luminance value so that the distribution of the luminance value can be visually recognized in the entire fluorescent region, and the same as shown in FIG.
  • An isoline F connecting pixels having luminance values with a line may be displayed.
  • the image switching unit 35 switches the image processing mode in the fluorescent region extraction unit 33 based on the identification information of the treatment instrument 4. It is only necessary that the fluorescent region displayed in the superimposed image that is output to is switched between the highest fluorescent region and the entire fluorescent region according to the treatment content.
  • the image switching unit 35 may switch the superimposed image to be output from the output unit 36. That is, the fluorescence region extraction unit 33 always extracts the fluorescence region in both the first image processing mode and the second image processing mode, and the superimposed image generation unit 34 superimposes the highest fluorescence region and the entire fluorescence region, respectively. Two extracted images G1 and G2 are generated. Then, the image switching unit 35 may designate one superimposed image based on the acquired identification information of the treatment instrument 4 and output the designated superimposed image from the output unit 36 to the monitor 7.
  • the image switching unit 35 may switch the extracted images G1 and G2 superimposed on the white light image in the superimposed image generating unit 34. That is, the fluorescence region extraction unit 33 always generates two extraction images G1 and G2 in the first image processing mode and the second image processing mode, and the image switching unit 35 uses the acquired identification information of the treatment instrument 4 as the identification information. One of the extracted images G1 and G2 may be selected based on the selection, and the selected extracted image may be designated to the superimposed image generation unit 34 so as to be superimposed on the white light image.
  • the method of extracting the fluorescent region and the highest fluorescent region by the fluorescent region extracting unit 33 described in the present embodiment is an example, and the present invention is not limited to this method.
  • the fluorescence area extraction unit 3 may have three or more image processing modes.
  • the fluorescent region extraction unit 33 generates a histogram of the luminance value of the fluorescent image G0, and selects pixels having a frequency of a predetermined ratio with respect to all the frequencies of the generated histogram from pixels having a high luminance value in the fluorescent image G0. You may extract in order.
  • the fluorescent region extraction unit 33 may be set with three or more different values as a predetermined ratio with respect to all frequencies. For example, pixels corresponding to 5%, 10%, and 50% regions in the fluorescent region may be extracted in descending order of luminance value.
  • the configuration based on the endoscope 1 is illustrated as the fluorescence observation apparatus 100.
  • the fluorescence observation apparatus may be configured based on an optical microscope.
  • an optical microscope For example, when a living body is treated by incising a body surface or a body surface, it is performed while observing a lesion from the outside of the living body with an optical microscope. Even in such a case, a superimposed image is generated in the same manner as in the above-described embodiment from the white light image and the fluorescence image captured from the outside of the living body by the optical microscope, and superimposed on the superimposed image output to the monitor 7 according to the treatment content.
  • an optimal region to be treated can be presented to the operator according to the treatment content.
  • Endoscope Illumination unit (illumination unit) 4 treatment tools 5 IC tag reader (treatment information acquisition unit) 13d Image sensor (return light imaging unit) 13e Image sensor (fluorescence imaging unit) DESCRIPTION OF SYMBOLS 33 Fluorescence area extraction part 34 Superimposed image generation part 35 Image switching part 36 Output part 100 Fluorescence observation apparatus A Living body tissue B Fluorescence area

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

　処置内容に応じて最適な処置すべき領域を操作者に提示する。生体組織の蛍光画像を取得する蛍光撮像部（１３ｅ）と、生体組織の戻り光画像を取得する戻り光撮像部（１３ｄ）と、蛍光画像から、複数の処理条件のうち指定された一の処理条件によって蛍光領域を抽出する蛍光領域抽出部（３３）と、抽出された蛍光領域を戻り光画像の対応する位置に重畳して重畳画像を生成する重畳画像生成部（３４）と、生体組織への処置内容を示す処置内容情報を取得する処置情報取得部（５）と、処置情報取得部（５）によって取得された処置内容情報に応じ、蛍光領域抽出部（３３）に対して一の処理条件を指定する画像切替部（３５）とを備える蛍光観察装置（１００）を提供する。

Description

蛍光観察装置
　本発明は、蛍光観察装置に関するものである。
　従来、取得した蛍光画像において蛍光強度の高い領域が存在した場合に、その領域を病変部として抽出し、病変部の存在を告知する蛍光観察内視鏡装置が知られている（例えば、特許文献１参照。）。
特許第４５８７８１１号公報
　しかしながら、画像による診断の基準は処置内容によって異なる。例えば、生検の場合には、正確な検査結果を得るために最も病変が疑われる部位を特定して処置が行われる。一方、切除の場合には、病変部の取り残しがないように病変が疑われる領域全てを特定して処置が行われる。すなわち、特許文献１の蛍光観察内視鏡装置の場合、このような異なる処置内容に対しても同じ基準で抽出された領域が操作者に提示されるので、操作者は提示された領域から処置すべき領域を正確に判断することが難しいという問題がある。
　本発明は、上述した事情に鑑みてなされたものであって、処置内容に応じて最適な処置すべき領域を操作者に提示することができる蛍光観察装置を提供することを目的とする。
　上記目的を達成するため、本発明は以下の手段を提供する。
　本発明は、前記生体組織から戻る戻り光を撮影して戻り光画像を取得する戻り光撮像部と、前記蛍光撮像部によって取得された蛍光画像から、複数の処理条件のうち指定された一の処理条件によって蛍光領域を抽出する蛍光領域抽出部と、該蛍光領域抽出部によって抽出された前記蛍光領域を、前記戻り光撮像部によって取得された戻り光画像の対応する位置に重畳して重畳画像を生成する重畳画像生成部と、該重畳画像生成部において生成された前記重畳画像を外部に出力する出力部と、前記生体組織に対して行われる処置内容を示す処置内容情報を取得する処置情報取得部と、前記処置情報取得部によって取得された前記処置内容情報に応じ、前記蛍光領域抽出部に対して前記複数の処理条件のうち前記一の処理条件を指定する画像切替部とを備える蛍光観察装置を提供する。
　本発明によれば、照明部からの励起光によって生体組織に存在する蛍光物質から蛍光が発生させられることにより蛍光撮像部によって蛍光画像が取得される。一方、照明部からの照明光が生体組織によって反射させられて戻ることにより戻り光撮像部によって戻り光画像が取得される。蛍光画像内の蛍光領域は蛍光領域抽出部によって抽出され後、重畳画像生成部において戻り光画像に重畳される。このようにして生成された重畳画像が出力部からモニタ等に出力されることにより、操作者は生体組織の形状と蛍光が発生している領域とを対応付けて観察することができる。
　この場合に、出力される重畳画像に重畳されている蛍光領域は、処置情報取得部において取得された処置内容情報に応じた処理条件によって抽出されたものに画像切替部によって切り替えられる。これにより、処置内容に応じて最適な処置すべき領域を重畳画像内の蛍光領域として操作者に提示することができる。
　上記発明においては、前記蛍光領域抽出部が、所定の第１の蛍光強度を有する領域を抽出する第１の処理条件と、前記所定の第１の蛍光強度より大きい所定の第２の蛍光強度を有する領域を抽出する第２の処理条件とを有する構成であってもよい。
　このようにすることで、蛍光領域を輝度値によって多段階で抽出することができる。
　上記構成においては、前記蛍光領域抽出部が、前記第１の処理条件においては前記第１の蛍光強度以上の蛍光強度を有する蛍光領域を抽出することとしてもよい。
　このようにすることで、第１の処理条件においては、生体組織において蛍光が発生している領域全体、例えば、病変した領域全体を操作者に対して提示することができる。
　また、上記構成においては、前記蛍光領域抽出部が、前記第２の処理条件においては最も大きい蛍光強度を含む最高蛍光領域を抽出することとしてもよい。
　このようにすることで、第２の処理条件においては、生体組織において蛍光が最も強く発生している領域、例えば、病変が最も進行している領域を操作者に対して提示することができる。
　また、上記構成においては、前記重畳画像生成部が、前記第１の処理条件によって抽出された前記蛍光領域の輪郭部を前記戻り光画像に重畳することとしてもよい。
　このようにすることで、重畳画像において、蛍光が発生している領域と蛍光が発生していない領域との境界を明確に表示しつつ、蛍光が発生している領域においても鮮明な生体組織の像を表示することができる。
　上記発明においては、前記蛍光領域抽出部が、所定の第１の変化率で輝度値が変化する領域を抽出する第１の処理条件と、該第１の処理条件によって抽出された領域よりも内側に存在し所定の第２の変化率で輝度値が変化する領域を抽出する第２の処理条件とを有する構成であってもよい。
　このようにすることで、第１の処理条件においては、蛍光が検出されている比較的広い領域の輪郭部を抽出することができる。また、第２の処理条件においては、第１の処理条件によって抽出された領域のうち比較的狭い領域の輪郭部を抽出することができる。
　上記構成においては、前記蛍光領域抽出部が、前記所定の第１の変化率よりも小さい前記所定の第２の変化率を有することとしてもよい。
　このようにすることで、第２の処理条件においては、第１の処理条件によって抽出された領域のうち、最も高い輝度値を有する領域を抽出することができる。
　上記発明においては、前記処置情報取得部が、処置具を識別する識別情報が操作者による操作によって前記処置内容情報として入力させられることとしてもよい。
　このようにすることで、操作者が処置具の識別情報を処置情報取得部に入力してからその処置具を使用することにより、処置情報取得部は処置内容情報を取得することができる。
　上記発明においては、前記処置情報取得部が、前記戻り光画像から処置具を検出し、検出した処置具の種類を前記処置内容情報として識別することとしてもよい。
　このようにすることで、処置情報取得部は、操作者に負担をかけることなく処置内容情報を取得することができる。
　本発明によれば、処置内容に応じて最適な処置すべき領域を操作者に提示することができるという効果を奏する。
本発明の一実施形態に係る蛍光観察装置を示す全体構成図である。 図１の蛍光観察装置の詳細な構成図である。 図２の蛍光領域抽出部による画像処理を説明する図であり、（ａ）蛍光画像生成部によって生成される蛍光画像、並びに、（ｂ）該蛍光画像のＡ－Ａ’線における蛍光強度分布と所定の第１及び第２の輝度値との関係を示すグラフである。 図２の蛍光領域抽出部によって第１の画像処理モードにおいて生成された抽出画像を示す図である。 図２の蛍光領域抽出部によって第２の画像処理モードにおいて生成された抽出画像を示す図である。 図２の蛍光領域抽出部による画像処理の変形例を説明する図であり、（ａ）蛍光画像の蛍光強度分布、及び、（ｂ）該該蛍光強度分布の蛍光強度の変化率を示すグラフである。 蛍光領域抽出部によって第２の画像処理モードにおいて生成される抽出画像の変形例を示す図である。 蛍光領域抽出部によって第１の画像処理モードにおいて生成される抽出画像の変形例を示す図である。 蛍光領域抽出部によって第１の画像処理モードにおいて生成される抽出画像のもう１つの変形例を示す図である。 蛍光領域抽出部によって第１の画像処理モードにおいて生成される抽出画像のもう１つの変形例を示す図である。
　以下、本発明の一実施形態に係る蛍光観察装置１００について、図面を参照して説明する。
　本実施形態に係る蛍光観察装置１００は、図１に示されるように、内視鏡１をベースに構成され、蛍光色素によって標識された生体内の病変部を内視鏡的に処置する場合に使用されるものである。例えば、病変部に特異的に存在する生体分子を抗体などを利用して蛍光色素で標識することにより、操作者は、内視鏡１により取得された蛍光画像内の蛍光領域を病変部として識別して病変部に対して処置を行うことができる。
　本実施形態に係る蛍光観察装置１００は、図１に示されるように、内視鏡１と、該内視鏡１に白色光（照明光）および励起光を供給する照明ユニット２と、内視鏡１により撮像された画像を処理する画像処理ユニット３と、内視鏡１と併用される処置具４に付されたＩＣタグ４１を読み取るＩＣタグリーダ５（処置情報取得部）とを備えている。
　図２は、蛍光観察装置１００の詳細な構成を示す図である。
　内視鏡１は、体内に挿入される細長い挿入部１１と、該挿入部１１内に長手方向に沿って貫通形成され処置具４が挿入されるチャネル１２とを備えている。挿入部１１の先端には、観察対象である生体組織Ａの画像情報を取得する撮像光学系１３が設けられている。
　撮像光学系１３は、観察対象の所定の観察範囲から戻る戻り光を集光する対物レンズ１３ａと、該対物レンズ１３ａによって集光された戻り光の内、蛍光色素の励起波長以上の波長の光（励起光および蛍光）を反射し、励起波長より短い波長の光を透過するダイクロイックミラー１３ｂと、ダイクロイックミラー１３ｂを透過した光およびダイクロイックミラー１３ｂにより反射された光をそれぞれ集光する２つの集光レンズ１３ｃと、集光レンズ１３ｃによって集光された光をそれぞれ撮像するＣＣＤのような２個の撮像素子１３ｄ，１３ｅとを備えている。
　図中、符号１３ｆは、ダイクロイックミラー１３ｂによって反射された光から励起光を遮断する励起光カットフィルタである。本実施形態においては、蛍光色素として、白色光に対して比較的長波長側に励起波長を有するＣｙ７などを想定している。したがって、ダイクロイックミラー１３ｂを透過させられた光は白色光となり、撮像素子１３ｄによって白色光画像が取得され、撮像素子１３ｅによって蛍光画像が取得されることとなる。各撮像素子１３ｄ，１３ｅによって取得された画像情報はケーブル６を介して画像処理ユニット３に伝送される。
　照明ユニット２は、キセノンランプなどの十分に広い波長帯域の光を発する光源２１と、該光源２１から発せられた光から、励起光および白色光を切り出すフィルタ２２と、フィルタ２２により切り出された励起光および白色光を集光するカップリングレンズ２３とを備えている。照明ユニット２は、カップリングレンズ２３によって集光した励起光および白色光を、挿入部１１の長手方向のほぼ全長にわたって配置されたライトガイドファイバ２４によって導光した後、挿入部１１の先端に設けられた照明光学系２５によって拡散して観察対象に対して照射する。
　画像処理ユニット３は、ケーブル６を介して伝送されてきた画像情報のうち撮像素子１３ｄにより取得された白色光画像（戻り光画像）情報から白色光画像（戻り光画像）を生成する白色光画像生成部３１と、撮像素子１３ｅにより取得された蛍光画像情報から蛍光画像を生成する蛍光画像生成部３２と、該蛍光画像生成部３２により生成された蛍光画像から所定の複数の処理条件によって蛍光領域を抽出した抽出画像を生成する蛍光領域抽出部３３と、白色光画像に抽出画像を重畳した重畳画像を生成する重畳画像生成部３４と、ＩＣタグリーダ５から受け取ったＩＣタグ４１に記録された情報に基づいて蛍光領域抽出部３３における処理条件を決定する画像切替部３５と、モニタ７に画像を出力する出力部３６とを備えている。
　蛍光領域抽出部３３は、蛍光が検出された蛍光領域の略全体を抽出する第１の画像処理モード（第１の処理条件）と、蛍光が検出された蛍光領域のうち最も強い蛍光が検出された領域を含む最高蛍光領域を蛍光画像から抽出する第２の画像処理モード（第２の処理条件）とを有している。蛍光領域抽出部３３は、第１の画像処理モードおよび第２の画像処理モードのうち、後述する画像切替部３５によって指定された一方の画像処理モードによって抽出画像を生成する。
　蛍光領域抽出部３３が蛍光画像生成部３２から受け取った蛍光画像Ｇ０には、図３中の（ａ）に示されるように、微弱な輝度を有するバックグラウンド領域と、該バックグラウンド領域の輝度より大きい輝度、すなわち、蛍光色素からの蛍光による輝度を有する蛍光領域Ｂとが存在する。図３中の（ｂ）は、図３中の（ａ）のＡ－Ａ’線における輝度値の分布を示すグラフである。バックグラウンド領域に対応する部分では、輝度値がほぼ０となる。蛍光領域Ｂに対応する部分では、バックグラウンド領域から輝度値が徐々に大きくなり、中央部分において輝度値が最大となる。
　具体的には、第１の画像処理モードにおいて、蛍光領域抽出部３３は、図３中の（ｂ）に示されるように、所定の第１の輝度値（所定の第１の蛍光強度）ｍを有する領域を抽出する。ここで、所定の第１の輝度値は、バックグラウンド領域が有する微弱な輝度値に対して十分に大きく、蛍光色素からの蛍光による輝度値に対して十分に小さい値に決定される。すなわち、第１の画像処理モードにおいて抽出される領域は、蛍光領域Ｂの略全体を囲む輪郭部Ｂ’である。このようにして生成された抽出画像Ｇ１は、図４に示されるように、蛍光領域Ｂの略全体が輪郭部Ｂ’の内側の領域として示された画像となる。
　第２の画像処理モードにおいて、蛍光領域抽出部３３は、図３中の（ｂ）に示されるように、所定の第１の輝度値ｍより大きい所定の第２の輝度値ｎを有する領域を抽出する。すなわち、抽出される所定の第２の輝度値ｎを有する領域は、輪郭部Ｂ’によって囲まれた領域内において比較的大きな輝度値を有する領域の輪郭部である。蛍光領域抽出部３３は、この輪郭部の内側の領域を所定の色で表示することにより抽出画像Ｇ２を生成する。
　このようにして生成された抽出画像Ｇ２は、図５に示されるように、蛍光領域Ｂ内において最も強い蛍光が検出された領域と該領域の近傍領域とを含む最高蛍光領域に比較的小さいマーカＣが付された画像となる。ここで、蛍光画像Ｇ０内の各画素における輝度値は蛍光色素で標識された生体分子の密度に比例する。すなわち、マーカＣが付された位置は最も病変が進行した領域を示す。
　なお、蛍光画像Ｇ０から最高蛍光領域および蛍光領域Ｂ全体を抽出する方法は上述の方法に限定されるものではない。例えば、蛍光領域抽出部３３は、第１の画像処理モードにおいては所定の第１の輝度値ｍ以上の輝度値を有する画素群を選択し、第２の画像処理モードにおいては所定の第２の輝度値ｎ以上の輝度値を有する画素群を選択し、選択した画素群を所定の表示態様で、例えば、所定の色で表示することとしてもよい。
　重畳画像生成部３４は、白色光画像生成部３１によって生成された白色光画像に、蛍光領域抽出部３３によって生成された抽出画像Ｇ１，Ｇ２を重畳することにより重畳画像を生成する。すなわち、重畳画像は、体内の組織形状を表した白色光画像内において、蛍光領域Ｂの略全体が輪郭部Ｂ’によって特定された、または、最高蛍光領域がマーカＣによって特定された画像である。重畳画像生成部３４は、生成した重畳画像を出力部３６に出力する。
　画像切替部３５は、処置具４の種類と画像処理モードとが対応付けられた情報を有している。画像切替部３５は、ＩＣタグリーダ５から識別情報（後述）を受信したときに、該識別情報に含まれる処置具４の種類（後述）と対応付けられた画像処理モードを選択し、選択した画像処理モードを指定する信号を蛍光領域抽出部３３に出力する。例えば、画像切替部３５は蛍光領域抽出部３３に対して、処置具４の種類がメスである場合は第１の画像処理モードを指定し、処置具４の種類が鉗子である場合は第２の画像処理モードを指定する。
　すなわち、画像切替部３５は、操作者がどの処置具４のＩＣタグ４１をＩＣタグリーダ５に読み取らせるかに応じて、重畳画像生成部３４において生成される重畳画像内に輪郭部Ｂ’を表示させるか、または、マーカＣを表示させるかを切り替える。
　出力部３６は、初期状態においては白色光画像生成部３１において生成された白色光画像をモニタ７に出力する。そして、出力部３６は、ＩＣタグリーダ５からＩＣタグ４を読み取った旨の信号を受け取ることにより、モニタ７への出力を重畳画像生成部３４において生成された重畳画像に切り替える。出力部３６は、操作者によって操作されることにより、出力する画像を白色光画像と重畳画像との間で切り替えるスイッチ等を備えていてもよい。
　ＩＣタグリーダ５は、各処置具４に付されたＩＣタグ４１が操作者によってかざされることにより、ＩＣタグ４１に記録された識別情報を読み取る。ＩＣタグ４１には、それが付されている処置具４の種類（処置内容情報）を含む識別情報が記録されている。すなわち、操作者が、処置具４を使用する直前にその処置具４のＩＣタグ４１をＩＣタグリーダ５によって読み取らせることにより、これから観察対象に対して行われる処置内容の情報がＩＣタグリーダ５に入力されることとなる。ＩＣタグリーダ５は、読み取った識別情報を画像切替部３５に送信する。
　次に、このように構成された蛍光観察装置１００の作用について説明する。
　本実施形態に係る蛍光観察装置１００を用いて体内の観察対象の蛍光観察を行うには、操作者は、光源２１を点灯させることにより挿入部１１の先端から白色光および励起光を照射させた状態で挿入部１１を体内に挿入し、モニタ７に表示される白色光画像に病変部が表示される位置に挿入部１１を配置する。
　次に、操作者は、病変部の処置に使用する処置具４に付されたＩＣタグ４１をＩＣタグリーダ５に読み取らせる。これにより、モニタ７の表示が、白色光画像から重畳画像に切り替えられ、白色光画像上には処置具４の種類に応じて輪郭部Ｂ’またはマーカＣが表示される。次に、操作者は、その処置具４を内視鏡１のチャネル１２内を介して病変部まで挿入し、重畳画像内の輪郭部Ｂ’またはマーカＣによって指定された領域に対して処置を行う。
　この場合に、本実施形態によれば、操作者が行う処置の内容に応じて重畳画像において指定される領域の抽出方法が切り替えられる。例えば、メスを使用して病変部を切除するときには、病変の疑いがある領域全体が輪郭部Ｂ’によって指定されるので、その指定された領域全体を切除すれば病変部を取り残すことなく切除することができる。一方、鉗子を使用して生検を行うときには、病変の疑いが最も高い領域が抽出されてマーカＣによって指定されるので、その指定された位置から組織を採取すれば生検において正確な検査結果を得られる。
　このように、操作者に対し、処置の内容に応じて最適な処置すべき位置を重畳画像内で提示することができる。したがって、操作者は、輪郭部Ｂ’またはマーカＣが指定する領域に対して処置を行いさえすれば、適切に処置を行うことができるという利点がある。
　なお、本実施形態においては、処置情報取得部として、処置具４を識別するＩＣタグ４１を読み取るＩＣタグリーダ５を例示したが、これに代えて、白色光画像に表示された処置具４に基づいて処置内容を示す処置内容情報を取得することとしてもよい。処置情報取得部は、画像処理ユニット３に備えられる。
　例えば、処置具４として、先端部にその種類を示すラベル（図示略）が付されたものを使用し、処置情報取得部が、白色光画像内からラベルを検出し、検出したラベルが示す処置具４の種類を処置内容情報として取得してもよい。または、処置具４の先端部の画像を参照画像として処置具の種類と対応付けて図示しない記憶部に記憶しておき、処置情報取得部が、白色光画像を参照画像と照合することにより白色光画像内から処置具４を検出し、検出した処置具４の種類を処置内容情報として取得してもよい。
　このようにすることで、処置内容情報を入力するための操作者による操作を不要にし、操作者の負担を軽減することができる。
　また、本実施形態においては、蛍光領域抽出部３３が、蛍光強度を用いて蛍光領域を抽出することとしたが、これに代えて、蛍光強度（輝度値）の変化率を用いて蛍光領域を抽出してもよい。
　図６中の（ａ）は、蛍光画像Ｇ０の輝度値の分布を示すグラフであり、図６中の（ｂ）は、蛍光画像Ｇ０内の隣接する画素間の輝度値の変化率を示すグラフである。図６中の（ｂ）においては、ＡからＡ’の方向に、蛍光領域Ｂの周辺から中心に向かう途中位置で変化率が最大になり、蛍光強度が最大となる位置では変化率が０になり、さらに周辺に向かう途中位置で変化率が最大になる。
　図６中の（ｂ）の鎖線は、変化率の絶対値を示したものである。蛍光領域の抽出は輝度値の変化率の絶対値を用いて行なわれる。まず、第１の画像処理モードにおいて、所定の第１の変化率Ｓ１を有する領域、すなわち、蛍光領域Ｂの輪郭部を抽出する。所定の第１の変化率Ｓ１を有する領域は、蛍光領域Ｂ内において周辺側と中心側に２箇所ずつ存在するが、ここでは図６中の（ａ）に示される各画素の輝度値の情報を利用し、輝度値の低い方のみを抽出する。このようにしても、図３と同様に輪郭部Ｂ’を抽出することができる。
　一方、第２の画像処理モードにおいては、所定の第１の変化率Ｓ１よりも小さい所定の第２の変化率Ｓ２を有する領域を抽出する。この場合も、所定の第２の変化率Ｓ２を有する領域が蛍光領域Ｂの周辺側と中心側に２箇所ずつ存在するが、第１の処理モードで抽出される輪郭部Ｂ’の内側に存在する領域のみを抽出する。このようにしても、図５と同様にマーカＣが付された抽出画像Ｇ２を生成することができる。
　さらに、第３の画像処理モードとして、所定の第３の変化率Ｓ３を有する領域を抽出してもよい。
　また、本実施形態においては、抽出画像Ｇ１，Ｇ２において、蛍光領域全体を輪郭部Ｂ’で示し、最高蛍光領域をマーカＣで示すこととしたが、これらの表示態様は一例であり、適宜変更することができる。
　例えば、第２の画像処理モードにおいては、図７に示されるように、抽出した最高蛍光領域を示す矢印Ｄを表示してもよい。第１の画像処理モードにおいては、図８に示されるように、抽出した蛍光領域全体Ｅを所定の色で塗りつぶして表示してもよい。この場合には、塗りつぶされた領域と重なっている白色光画像の領域の組織形状を視認できるように、半透明で塗りつぶしてもよい。また、蛍光領域全体において輝度値の分布を視認できるように、図９に示されるように、輪郭部Ｂ’内を輝度値によって異なる色で塗りつぶしてもよく、図１０に示されるように、同一の輝度値の画素を線で結んだ等値線Ｆを表示してもよい。
　また、本実施形態においては、画像切替部３５が、処置具４の識別情報に基づいて蛍光領域抽出部３３における画像処理モードを切り替えることとしたが、画像切替部３５は、最終的にモニタ７に出力される重畳画像に表示される蛍光領域が、処置内容に応じて最高蛍光領域と蛍光領域全体との間で切り替えられるように構成されていればよい。
　例えば、画像切替部３５が、出力部３６から出力させる重畳画像を切り替えてもよい。すなわち、蛍光領域抽出部３３は、常時第１の画像処理モードと第２の画像処理モードの両方で蛍光領域を抽出し、重畳画像生成部３４は、最高蛍光領域と蛍光領域全体とをそれぞれ重畳させた２つの抽出画像Ｇ１，Ｇ２を生成する。そして、画像切替部３５は、取得した処置具４の識別情報に基づいて一方の重畳画像を指定し、指定した方の重畳画像を出力部３６からモニタ７に出力させることとしてもよい。
　または、画像切替部３５が、重畳画像生成部３４において白色光画像に重畳される抽出画像Ｇ１，Ｇ２を切り替えることとしてもよい。すなわち、蛍光領域抽出部３３が、常時第１の画像処理モードと第２の画像処理モードで２つの抽出画像Ｇ１，Ｇ２を生成し、画像切替部３５が、取得した処置具４の識別情報に基づいていずれか一方の抽出画像Ｇ１，Ｇ２を選択し、選択した方の抽出画像を白色光画像に重畳させるように重畳画像生成部３４に対して指定することとしてもよい。
　また、本実施形態において説明した、蛍光領域抽出部３３による蛍光領域および最高蛍光領域の抽出方法は一例であり、この方法に限定されるものではない。また、蛍光領域抽出部３は、３つ以上の画像処理モードを有していてもよい。
　例えば、蛍光領域抽出部３３は、蛍光画像Ｇ０の輝度値のヒストグラムを生成し、生成したヒストグラムの全度数に対して所定の割合の度数の画素を、蛍光画像Ｇ０内の輝度値の高い画素から順に抽出してもよい。このときに、蛍光領域抽出部３３は、全度数に対する所定の割合として異なる３つ以上の値が設定されていてもよい。例えば、蛍光領域内の５％、１０％、５０％の領域に対応する画素を、輝度値の高い順に抽出することとしてもよい。
　また、本実施形態においては、蛍光観察装置１００として内視鏡１をベースとした構成を例示したが、これに代えて、蛍光観察装置を、光学顕微鏡をベースに構成してもよい。
　例えば、体表や体表を切開して生体内を処置する場合は、光学顕微鏡によって生体の外側から病変部を観察しながら行われる。このような場合でも、光学顕微鏡によって生体の外側から撮像した白色光画像および蛍光画像から上述した実施形態と同様にして重畳画像を生成し、処置内容に応じてモニタ７に出力する重畳画像に重畳される蛍光領域の抽出方法を切り替えることにより、操作者に対して、処置内容に応じて最適な処置すべき領域を提示することができる。
　１　内視鏡
　２　照明ユニット（照明部）
　４　処置具
　５　ＩＣタグリーダ（処置情報取得部）
　１３ｄ　撮像素子（戻り光撮像部）
　１３ｅ　撮像素子（蛍光撮像部）
　３３　蛍光領域抽出部
　３４　重畳画像生成部
　３５　画像切替部
　３６　出力部
　１００　蛍光観察装置
　Ａ　生体組織
　Ｂ　蛍光領域
　Ｇ０　蛍光画像

Claims (9)

  1. 　生体組織に励起光および照明光を照射する照明部と、
    　前記生体組織において発生した蛍光を撮影して蛍光画像を取得する蛍光撮像部と、
    　前記生体組織から戻る戻り光を撮影して戻り光画像を取得する戻り光撮像部と、
    　前記蛍光撮像部によって取得された蛍光画像から、複数の処理条件のうち指定された一の処理条件によって蛍光領域を抽出する蛍光領域抽出部と、
    　該蛍光領域抽出部によって抽出された前記蛍光領域を、前記戻り光撮像部によって取得された戻り光画像の対応する位置に重畳して重畳画像を生成する重畳画像生成部と、
    　該重畳画像生成部において生成された前記重畳画像を外部に出力する出力部と、
    　前記生体組織に対して行われる処置内容を示す処置内容情報を取得する処置情報取得部と、
    　前記処置情報取得部によって取得された前記処置内容情報に応じ、前記蛍光領域抽出部に対して前記複数の処理条件のうち前記一の処理条件を指定する画像切替部とを備える蛍光観察装置。
  2. 　前記蛍光領域抽出部が、所定の第１の蛍光強度を有する領域を抽出する第１の処理条件と、前記所定の第１の蛍光強度より大きい所定の第２の蛍光強度を有する領域を抽出する第２の処理条件とを有する請求項１に記載の蛍光観察装置。
  3. 　前記蛍光領域抽出部が、前記第１の処理条件においては前記第１の蛍光強度以上の蛍光強度を有する蛍光領域を抽出する請求項２に記載の蛍光観察装置。
  4. 　前記蛍光領域抽出部が、前記第２の処理条件においては最も大きい蛍光強度を含む最高蛍光領域を抽出する請求項２または請求項３に記載の蛍光観察装置。
  5. 　前記重畳画像生成部が、前記第１の処理条件によって抽出された前記蛍光領域の輪郭部を前記戻り光画像に重畳する請求項２から請求項４のいずれかに記載の蛍光観察装置。
  6. 　前記蛍光領域抽出部が、所定の第１の変化率で輝度値が変化する領域を抽出する第１の処理条件と、該第１の処理条件によって抽出された領域よりも内側に存在し所定の第２の変化率で輝度値が変化する領域を抽出する第２の処理条件とを有する請求項１に記載の蛍光観察装置。
  7. 　前記蛍光領域抽出部が、前記所定の第１の変化率よりも小さい前記所定の第２の変化率を有する請求項６に記載の蛍光観察装置。
  8. 　前記処置情報取得部が、処置具を識別する識別情報が操作者による操作によって前記処置内容情報として入力させられる請求項１から請求項７のいずれかに記載の蛍光観察装置。
  9. 　前記処置情報取得部が、前記戻り光画像から処置具を検出し、検出した処置具の種類を前記処置内容情報として識別する請求項１から請求項７のいずれかに記載の蛍光観察装置。
PCT/JP2012/055722 2011-03-31 2012-03-06 蛍光観察装置 WO2012132790A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201280014841.7A CN103458759B (zh) 2011-03-31 2012-03-06 荧光观察装置
JP2013507317A JP6006199B2 (ja) 2011-03-31 2012-03-06 蛍光観察装置
US14/033,687 US9949645B2 (en) 2011-03-31 2013-09-23 Fluorescence imaging apparatus for identifying fluorescence region based on specified processing condition and superimposing fluorescence region at corresponding region in return-light image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-080633 2011-03-31
JP2011080633 2011-03-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/033,687 Continuation US9949645B2 (en) 2011-03-31 2013-09-23 Fluorescence imaging apparatus for identifying fluorescence region based on specified processing condition and superimposing fluorescence region at corresponding region in return-light image

Publications (1)

Publication Number Publication Date
WO2012132790A1 true WO2012132790A1 (ja) 2012-10-04

Family

ID=46930536

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/055722 WO2012132790A1 (ja) 2011-03-31 2012-03-06 蛍光観察装置

Country Status (4)

Country Link
US (1) US9949645B2 (ja)
JP (1) JP6006199B2 (ja)
CN (1) CN103458759B (ja)
WO (1) WO2012132790A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015029841A (ja) * 2013-08-06 2015-02-16 三菱電機エンジニアリング株式会社 撮像装置および撮像方法
JP2016158752A (ja) * 2015-02-27 2016-09-05 オリンパス株式会社 内視鏡業務支援システム
WO2016185912A1 (ja) * 2015-05-19 2016-11-24 ソニー株式会社 画像処理装置および画像処理方法、並びに手術システム
JP2017012665A (ja) * 2015-07-06 2017-01-19 オリンパス株式会社 内視鏡検査データ記録システム
WO2017115442A1 (ja) * 2015-12-28 2017-07-06 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2017169960A (ja) * 2016-03-25 2017-09-28 株式会社松風 蛍光画像解析装置
JP2017221486A (ja) * 2016-06-16 2017-12-21 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び医療用観察システム
WO2018198255A1 (ja) * 2017-04-26 2018-11-01 オリンパス株式会社 画像処理装置、画像処理装置の作動方法およびプログラム
JPWO2018131141A1 (ja) * 2017-01-13 2019-11-07 オリンパス株式会社 内視鏡用画像処理装置および内視鏡用画像処理方法
US10750929B2 (en) 2015-03-19 2020-08-25 Olympus Corporation Endoscope device for generating color superimposed image
WO2020235502A1 (ja) * 2019-05-23 2020-11-26 富士フイルム株式会社 画像処理装置
US12020350B2 (en) 2019-05-23 2024-06-25 Fujifilm Corporation Image processing apparatus

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5721959B2 (ja) * 2010-03-16 2015-05-20 オリンパス株式会社 蛍光内視鏡装置
JP6445809B2 (ja) * 2014-09-01 2018-12-26 オリンパス株式会社 光走査型観察装置
EP3141178A4 (en) * 2014-11-26 2018-02-21 Olympus Corporation Diagnosis assistance device and diagnosis assistance information display method
WO2016143900A1 (ja) * 2015-03-11 2016-09-15 国立大学法人京都大学 結合解離プローブを用いた観察方法
CN114019990A (zh) * 2016-02-24 2022-02-08 深圳市大疆创新科技有限公司 用于控制可移动物体的系统和方法
KR200485255Y1 (ko) 2016-03-07 2017-12-12 장일형 완구용 비행 장치
JP6752958B2 (ja) * 2017-02-24 2020-09-09 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
US20210169330A1 (en) * 2019-12-10 2021-06-10 Covidien Lp Lymphatic system tracking

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10201700A (ja) * 1997-01-20 1998-08-04 Olympus Optical Co Ltd 蛍光観察内視鏡装置
JP2002238844A (ja) * 2001-02-16 2002-08-27 Olympus Optical Co Ltd 内視鏡装置
JP2003164414A (ja) * 2001-11-29 2003-06-10 Fuji Photo Film Co Ltd 蛍光診断画像表示方法および表示装置
JP2004024656A (ja) * 2002-06-27 2004-01-29 Fuji Photo Film Co Ltd 蛍光内視鏡装置
JP2004089533A (ja) * 2002-09-02 2004-03-25 Toshiba Corp 蛍光物質集積性腫瘍の境界識別装置
JP2007313169A (ja) * 2006-05-29 2007-12-06 Olympus Corp 病変抽出装置および病変抽出方法
JP2009207793A (ja) * 2008-03-06 2009-09-17 Fujifilm Corp 内視鏡システム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5772597A (en) * 1992-09-14 1998-06-30 Sextant Medical Corporation Surgical tool end effector
US5735276A (en) * 1995-03-21 1998-04-07 Lemelson; Jerome Method and apparatus for scanning and evaluating matter
FR2783330B1 (fr) * 1998-09-15 2002-06-14 Assist Publ Hopitaux De Paris Dispositif d'observation de l'interieur d'un corps produisant une qualite d'observation perfectionnee
US7309867B2 (en) * 2003-04-18 2007-12-18 Medispectra, Inc. Methods and apparatus for characterization of tissue samples
US20050059894A1 (en) * 2003-09-16 2005-03-17 Haishan Zeng Automated endoscopy device, diagnostic method, and uses
US8548822B2 (en) * 2003-12-19 2013-10-01 Stryker Leibinger Gmbh & Co., Kg Reactive workflow system and method
JP4587811B2 (ja) 2005-01-11 2010-11-24 オリンパス株式会社 蛍光観察内視鏡装置
US8160676B2 (en) * 2006-09-08 2012-04-17 Medtronic, Inc. Method for planning a surgical procedure
US9080977B2 (en) * 2006-10-23 2015-07-14 Xenogen Corporation Apparatus and methods for fluorescence guided surgery
JP5019866B2 (ja) * 2006-12-25 2012-09-05 オリンパス株式会社 蛍光内視鏡及び蛍光内視鏡の作動方法
US8600478B2 (en) * 2007-02-19 2013-12-03 Medtronic Navigation, Inc. Automatic identification of instruments used with a surgical navigation system
ATE555711T1 (de) * 2007-12-19 2012-05-15 Kantonsspital Aarau Ag Verfahren zur analyse und bearbeitung von fluoreszenzbildern
JP5081720B2 (ja) * 2008-05-22 2012-11-28 富士フイルム株式会社 蛍光内視鏡装置および励起光ユニット
US8203709B2 (en) * 2008-09-17 2012-06-19 Fujifilm Corporation Image obtaining method and image obtaining apparatus
EP2335560B1 (en) * 2008-10-17 2014-11-26 Olympus Medical Systems Corp. Endoscope system and endoscopic image processing apparatus

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10201700A (ja) * 1997-01-20 1998-08-04 Olympus Optical Co Ltd 蛍光観察内視鏡装置
JP2002238844A (ja) * 2001-02-16 2002-08-27 Olympus Optical Co Ltd 内視鏡装置
JP2003164414A (ja) * 2001-11-29 2003-06-10 Fuji Photo Film Co Ltd 蛍光診断画像表示方法および表示装置
JP2004024656A (ja) * 2002-06-27 2004-01-29 Fuji Photo Film Co Ltd 蛍光内視鏡装置
JP2004089533A (ja) * 2002-09-02 2004-03-25 Toshiba Corp 蛍光物質集積性腫瘍の境界識別装置
JP2007313169A (ja) * 2006-05-29 2007-12-06 Olympus Corp 病変抽出装置および病変抽出方法
JP2009207793A (ja) * 2008-03-06 2009-09-17 Fujifilm Corp 内視鏡システム

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015029841A (ja) * 2013-08-06 2015-02-16 三菱電機エンジニアリング株式会社 撮像装置および撮像方法
JP2016158752A (ja) * 2015-02-27 2016-09-05 オリンパス株式会社 内視鏡業務支援システム
US10750929B2 (en) 2015-03-19 2020-08-25 Olympus Corporation Endoscope device for generating color superimposed image
WO2016185912A1 (ja) * 2015-05-19 2016-11-24 ソニー株式会社 画像処理装置および画像処理方法、並びに手術システム
US10413369B2 (en) 2015-05-19 2019-09-17 Sony Corporation Device, method, and system for image guided surgical resection
JP2017012665A (ja) * 2015-07-06 2017-01-19 オリンパス株式会社 内視鏡検査データ記録システム
WO2017115442A1 (ja) * 2015-12-28 2017-07-06 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JPWO2017115442A1 (ja) * 2015-12-28 2018-10-18 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2017169960A (ja) * 2016-03-25 2017-09-28 株式会社松風 蛍光画像解析装置
US11107571B2 (en) 2016-06-16 2021-08-31 Sony Corporation Information processing apparatus, information processing method, program, and medical observation system
JP2017221486A (ja) * 2016-06-16 2017-12-21 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び医療用観察システム
JPWO2018131141A1 (ja) * 2017-01-13 2019-11-07 オリンパス株式会社 内視鏡用画像処理装置および内視鏡用画像処理方法
WO2018198255A1 (ja) * 2017-04-26 2018-11-01 オリンパス株式会社 画像処理装置、画像処理装置の作動方法およびプログラム
US11564560B2 (en) 2017-04-26 2023-01-31 Olympus Corporation Image processing apparatus, operating method of image processing apparatus, and computer-readable recording medium
WO2020235502A1 (ja) * 2019-05-23 2020-11-26 富士フイルム株式会社 画像処理装置
US12020350B2 (en) 2019-05-23 2024-06-25 Fujifilm Corporation Image processing apparatus

Also Published As

Publication number Publication date
JPWO2012132790A1 (ja) 2014-07-28
JP6006199B2 (ja) 2016-10-12
US20140024948A1 (en) 2014-01-23
US9949645B2 (en) 2018-04-24
CN103458759A (zh) 2013-12-18
CN103458759B (zh) 2015-10-14

Similar Documents

Publication Publication Date Title
JP6006199B2 (ja) 蛍光観察装置
JP6053673B2 (ja) 蛍光観察装置とその画像表示方法
JP6596203B2 (ja) ビデオ内視鏡システム
JP5562683B2 (ja) 蛍光観察装置
US9392942B2 (en) Fluoroscopy apparatus and fluoroscopy system
EP2716202B1 (en) Fluorescence observation device
EP2620092B1 (en) Fluorescence observation device
EP2754380A1 (en) Fluorescence observation device
US20130116508A1 (en) Fluoroscopy apparatus
EP2926713A1 (en) Observation device
WO2009009414A2 (en) Simultaneous acquisition of differing image types
EP2520212B1 (en) Fluorescence endoscope device
JP4202671B2 (ja) 規格化画像生成方法および装置
AU2017346249B2 (en) Multi-wavelength endoscopic system and image processing method using same
KR102393661B1 (ko) 다중 영상 내시경 시스템, 그 영상 제공 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체
JP2003126017A (ja) 手術用顕微鏡システム
JP2001137171A (ja) 蛍光表示方法および装置
JP2001198080A (ja) 蛍光画像表示方法および装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12764060

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013507317

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12764060

Country of ref document: EP

Kind code of ref document: A1