WO2020075247A1 - 画像処理装置、観察システムおよび観察方法 - Google Patents

画像処理装置、観察システムおよび観察方法 Download PDF

Info

Publication number
WO2020075247A1
WO2020075247A1 PCT/JP2018/037775 JP2018037775W WO2020075247A1 WO 2020075247 A1 WO2020075247 A1 WO 2020075247A1 JP 2018037775 W JP2018037775 W JP 2018037775W WO 2020075247 A1 WO2020075247 A1 WO 2020075247A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
observation target
light
raman
endoscope
Prior art date
Application number
PCT/JP2018/037775
Other languages
English (en)
French (fr)
Inventor
佐藤　亮
翔一 金子
武志 菅
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2018/037775 priority Critical patent/WO2020075247A1/ja
Publication of WO2020075247A1 publication Critical patent/WO2020075247A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof

Definitions

  • the present invention relates to an image processing device, an observation system and an observation method.
  • a supplementary or complementary observation means of a device for observing the morphology of body tissues by inserting it into a living body like an endoscope a small-diameter soft or rigid optical probe is inserted, and an optical absorption spectrum or fluorescence is detected.
  • An apparatus for analyzing properties such as biochemical characteristics of tissue based on a spectrum or a spectrum such as a light scattering spectrum is known.
  • a Raman probe is a type of optical probe that can analyze the composition of a tissue based on the Raman spectrum generated by illuminating the tissue with light.
  • a device for measuring a Raman spectrum by inserting a soft Raman probe into the forceps channel of a flexible endoscope and pressing the Raman probe protruding from the tip of the forceps channel against tissue existing in the field of view of the endoscope. are known (for example, refer to Patent Document 1).
  • the measurement position of the Raman spectrum in the field of view of the endoscope is uniquely determined for the endoscopic image from the positional relationship between the observation optical system and the forceps channel on the distal end surface of the endoscope. , You only need to store the endoscopic image.
  • the present invention provides an image processing device, an observation system, and an observation device that can easily recognize a measurement position of a Raman spectrum in an endoscopic image even when using a Raman probe inserted through a route different from that of an endoscope. It is intended to provide a way.
  • At least one of biochemical information and morphological information of the observation target site obtained by analyzing a Raman spectrum of the observation target site, and an endoscopic image of the observation target site are input.
  • the Raman spectrum is detected from the Raman scattered light detected by inserting the Raman probe into the observation target and irradiating the observation target site with the first illumination light and the guide light
  • the endoscopic image is the Diffusion of the guide light included in the input endoscopic image acquired by inserting the endoscope into the observation target through a route different from the Raman probe and irradiating the observation target site with the second illumination light.
  • the irradiation position of the first illumination light in the endoscopic image is specified, and at least one of the biochemical information and the morphological information that has been input is determined from the endoscopic image.
  • the Raman probe is inserted into the observation target, while irradiating the first illumination light and the guide light toward the observation target site, the endoscope is inserted into the observation target by a route different from the Raman probe, The observation target region is irradiated with the second illumination light.
  • Raman scattered light is generated at the observation target site
  • guide light diffuse reflected light of the guide light is generated at the observation target site.
  • Raman scattered light can be detected by a Raman probe to detect a Raman spectrum, and by analyzing the detected Raman spectrum, at least one of biochemical information and morphological information of an observation target site is obtained. be able to.
  • an endoscope image including a diffuse reflection image of the guide light is acquired by the endoscope.
  • the acquired endoscopic image is processed by the image processing device, so that the irradiation position of the first illumination light in the endoscopic image is specified based on the diffuse reflection image of the guide light included in the endoscopic image. Then, at least one of the biochemical information and the morphological information is displayed in association with the irradiation position of the endoscopic image to generate a composite image.
  • the measurement position of the Raman spectrum can be easily recognized in the endoscopic image even when the Raman probe inserted through a route different from the endoscope is used.
  • Another aspect of the present invention includes an endoscope device including an endoscope and an image processing device, wherein the endoscope is inserted into an observation target, and the observation target site is irradiated with the second illumination light. At least an endoscopic image is acquired in the image processing device, and biochemical information and morphological information of the observation target site obtained by analyzing the Raman spectrum of the observation target site are acquired in the image processing device. The Raman spectrum is detected by inserting a Raman probe into the observation target through a route different from the endoscope and irradiating the observation target site with the first illumination light and the guide light.
  • the image processing device Detected from scattered light, the image processing device, based on the diffuse reflection image of the guide light included in the endoscopic image, identifies the irradiation position of the first illumination light in the endoscopic image,
  • the observation site At least one of chemical information and the morphological information, a viewing system for generating a composite image displayed in association with the irradiation position of the endoscopic image.
  • the endoscope device includes a filter that attenuates light having a wavelength longer than the wavelength of the guide light and the guide light, and a wavelength band in which the wavelength is a shorter wavelength than the wavelength of the guide light.
  • An illumination device for irradiating the second illumination light may be provided.
  • the endoscope apparatus may include a filter that attenuates light in a wavelength band having a wavelength longer than that of the guide light, and an image sensor that captures light transmitted through the filter. Good. With this configuration, it is possible to obtain an endoscopic image having a high signal-to-noise ratio without impairing the image quality by dimming the light in the wavelength band longer than the guide light from the light incident on the image sensor. .
  • the image processing device displays a difference image between the endoscopic image acquired in a state where the guide light is lit and the endoscopic image acquired in a state where the guide light is not lit.
  • a diffuse reflection image of the guide light may be generated.
  • Another aspect of the present invention includes a Raman probe inserted into an observation target, irradiating the observation target site with a first illumination light and a guide light, and analyzing the Raman spectrum of the observation target site to perform the observation.
  • a Raman probe device that calculates at least one of biochemical information and morphological information of the target site, and an endoscope that is inserted into the observation target through a route different from the Raman probe are provided, and 2
  • An endoscopic device that emits illumination light to acquire an endoscopic image, at least one of the biochemical information and the morphological information calculated by the Raman probe device, and the endoscopic device And the irradiation of the first illumination light in the endoscopic image based on the diffuse reflection image of the guide light included in the input endoscopic image.
  • an image processing device that generates a composite image in which at least one of the biochemical information and the morphological information that has been input is identified and displayed in association with the irradiation position of the endoscopic image. It is an observation system.
  • Another aspect of the present invention is to insert a Raman probe into an observation target, irradiate a first illumination light and guide light to the observation target site to detect the Raman spectrum of the observation target site, and the Raman probe is
  • An endoscope is inserted into the observation target by a different route, an endoscopic image is acquired by irradiating the observation target site with second illumination light, and the guide light included in the acquired endoscopic image is used. Based on the diffuse reflection image, the irradiation position of the first illumination light in the endoscopic image is specified, and biochemical information and morphological information of the observation target site obtained by analyzing the Raman spectrum are obtained. It is an observation method which produces
  • the present invention it is possible to easily recognize the measurement position of the Raman spectrum in the endoscopic image even when the Raman probe inserted through a route different from the endoscope is used.
  • FIG. 1 It is a figure which shows an example of the profile of the diffuse reflection light of the guide light of FIG. It is a figure which shows an example of the synthetic
  • the observation system 100 includes a Raman probe device 10 including an observation target X, for example, a Raman probe 11 inserted into a joint, and a Raman probe 11 for the observation target X.
  • a Raman probe device 10 including an observation target X, for example, a Raman probe 11 inserted into a joint, and a Raman probe 11 for the observation target X.
  • an endoscopic device 20 including an endoscope 21 inserted through another route
  • an image processing device 1 according to the present embodiment that generates an image based on information acquired by the Raman probe 11 and the endoscope 21. Is equipped with.
  • the Raman probe apparatus 10 irradiates the observation target site Y, for example, cartilage or meniscus with Raman scattered excitation light (first illumination light) and guide light from the tip of the Raman probe 11 inserted into the observation target X for observation. Raman scattered light generated at the target portion Y is detected.
  • the observation target site Y for example, cartilage or meniscus with Raman scattered excitation light (first illumination light) and guide light from the tip of the Raman probe 11 inserted into the observation target X for observation.
  • Raman scattered light generated at the target portion Y is detected.
  • the Raman probe device 10 includes a Raman probe 11, a light source unit 12 for generating Raman scattered excitation light and guide light emitted from the tip of the Raman probe 11, and Raman scattered light incident on the tip of the Raman probe 11.
  • the biochemical information of the observation target X for example, the amount of components and the amount of component modification, or the morphological information of the observation target X, for example,
  • a spectrum analysis unit 14 that calculates a tissue thickness and a pathological score, and a control unit 15 that controls the light detection unit 13, the light source unit 12, and an imaging unit 24 of the endoscope device 20 described later.
  • the light source unit 12 emits illumination light having a single wavelength (for example, 785 nm) that serves both as Raman scattered excitation light and guide light.
  • the light detection unit 13 includes a spectroscope (not shown) and an optional photosensor (not shown) that acquires the intensity of light dispersed by the spectroscope for each wavelength.
  • the control unit 15 and the spectrum analysis unit 14 are configured by a processor.
  • the control unit 15 activates the light source unit 12 and the light detection unit 13 of the Raman probe device 10 to start the measurement of Raman scattered light, and at the same time, sends a trigger signal to an image pickup unit 24 of the endoscope 21 described later for observation. Acquisition of the endoscopic image (see FIG. 5) A of the target region Y is started.
  • the endoscope device 20 includes an endoscope 21, a light source unit (illumination device) 22 that emits white light (second illumination light) emitted from the tip of the endoscope 21, and a white light emitted from the light source unit 22.
  • the illumination unit 23 including a filter (not shown) that attenuates the long-wavelength component, and the diffused reflected light of the guide light and the reflected light from the observation target site Y irradiated with white light are imaged to obtain an endoscopic image.
  • the imaging unit 24 that acquires A
  • the processing unit 25 that processes the endoscopic image A acquired by the imaging unit 24, and the display unit 26 that displays the image processed by the processing unit 25 are provided.
  • the processing unit 25 is a processor
  • the display unit 26 is a monitor.
  • the filter provided in the illumination unit 23 includes a long-wavelength component (near-infrared light component) of the white light including the wavelength of the guide light in the white light emitted from the light source unit 22. It has a wavelength characteristic of dimming light. For example, when the wavelength of the guide light is 785 nm, it has a wavelength characteristic of reducing the light of 780 nm or more including the near infrared wavelength band and 785 nm. Further, for example, when the wavelength of the guide light is 785 nm, 700 nm or more so as to remove unnecessary light components superimposed on the guide light as much as possible without affecting the image quality of the endoscope 21. It may have a wavelength characteristic of dimming the near infrared light.
  • the imaging unit 24 has a wavelength characteristic that attenuates light of a near-infrared light component having a longer wavelength than the guide light (for example, 790 nm or more when the guide light has a wavelength of 785 nm). And an image sensor (not shown) that captures the light transmitted through the filter.
  • the image processing device 1 processes the endoscopic image A acquired by the imaging unit 24 of the endoscopic device 20 and specifies the measurement position of the Raman spectrum. Specifically, in the endoscopic image A of the observation target X, the diffuse reflection image of the guide light is subjected to image analysis, and the region where the intensity of the diffuse reflection light is highest is specified as the measurement position of the Raman spectrum. As shown in FIGS. 5 and 6, the intensity of the diffuse reflection profile of the guide light is highest at the irradiation position S of the guide light, and the intensity decreases as the distance from the irradiation position S increases. Therefore, the measurement position of the Raman spectrum can be accurately specified by specifying the position where the intensity is the highest.
  • the image processing apparatus 1 causes the observation target site Y calculated by the spectrum analysis unit 14 to be located at the specified measurement position (area indicated by diagonal lines) on the endoscopic image A.
  • a synthetic image B on which the biochemical information or the morphological information is superimposed is generated.
  • the biochemical information and the morphological information may be displayed with a pseudo color scale registered in advance for each information.
  • the composite image B generated by being placed in the image processing apparatus 1 is displayed on the display unit 26 after being sent to the processor of the endoscope apparatus 20 and processed.
  • the biochemical information or the morphological information is superimposed on the specified measurement position on the endoscopic image A, but the biochemical information or the morphological information corresponding to the measurement position is displayed on the image. It may be displayed in association with another position.
  • the endoscope 21 of the endoscope device 20 and the Raman probe 11 of the Raman probe device 10 are inserted into the observation target X by different routes (step S1). ), White light is emitted from the tip of the endoscope 21, and guide light is emitted from the tip of the Raman probe 11 (step S2).
  • the Raman probe 11 is brought close to or in contact with the observation target portion Y while confirming the endoscopic image A acquired by the imaging unit 24 of the endoscope device 20 on the display unit 26 (step S3). . Then, at the position where the Raman probe 11 appears in the endoscopic image A, the observation target region Y is irradiated with the Raman scattered excitation light, and the Raman spectrum is detected by the Raman probe 11 (step S4), and the Raman spectrum analysis is performed. Biochemical information and morphological information of the observation target region Y are calculated (step S5).
  • the Raman probe device 10 disperses the Raman scattered light detected by the Raman probe 11 with a spectroscope incorporated in the photodetector 13 to detect the Raman spectrum dispersed by the photodetector 13. Then, the detected Raman spectrum is analyzed by the spectrum analysis unit 14 to calculate biochemical information and morphological information of the observation target region Y.
  • the biochemical information and the morphological information of the observation target region Y executed by the spectrum analysis unit 14 are calculated as follows. Be seen.
  • the Raman band derived from collagen such as type 2 collagen or type 1 collagen in the tissue has a Raman shift. 815 cm -1 and near the wave number, 920 cm -1 and near the wave number, 1240 cm -1 and near the wave number, appears as a peak having a 1660 cm -1 and the maximum value in the vicinity of wavenumber.
  • the Raman band derived from sulfated glycosaminoglycan in the tissue appears as a peak having a Raman shift of 1063 cm ⁇ 1 and its near wave number, and a peak having a maximum value of 1380 cm ⁇ 1 and its near wave number.
  • the Raman band derived from all the proteins in the tissue appears as a peak having a maximum value at 1002 cm ⁇ 1 and its vicinity, but by calculating the ratio of the Raman band intensity P1 and C1 or SK1 in the tissue, The relative amount of collagen or sulfated glycosaminoglycan with respect to the total amount of the protein can be calculated as biochemical information.
  • the Raman bands derived from collagen the peaks having a maximum value at 1240 cm ⁇ 1 or 1270 cm ⁇ 1 and its vicinity and at 1660 cm ⁇ 1 or 1680 cm ⁇ 1 and its vicinity are called amide 3 band and amide 1 band, respectively.
  • the shapes of these Raman bands are known to be markers sensitive to the structure of collagen and secondary and tertiary structures and correlated with the degree of collagen denaturation. Therefore, the degree of collagen denaturation can be calculated by evaluating the band shape of the acquired Raman spectrum by a predetermined method.
  • the Raman band derived from hydroxyapatite in bone tissue appears as a peak having a maximum value at 959 cm ⁇ 1 and its vicinity, but the ratio of the peak intensity HA1 to the peak intensity C1 of the Raman band of collagen (HA1 / C1) is calculated to calculate the ratio of the Raman band peak intensity C1 of collagen to the peak intensity HA1 of hydroxyapatite (HA1 / C1) and a regression equation that correlates the thickness of cartilage tissue.
  • Cartilage thickness (morphological information) can be calculated.
  • principal component analysis or classical analysis for Raman spectra is performed.
  • a multivariate analysis Y such as a least-squares analysis (Classical Least Square Regression), a principal component regression analysis (Principle Component Regression), or a partial least-squares regression analysis (Partial Least Square Regression) is performed, and a multivariate analysis Y is performed.
  • Information or morphological information may be acquired.
  • teaching data of Raman spectrum of hyaline cartilage tissue mainly containing type 2 collagen and sulfated glycosaminoglycan and Raman spectrum of fibrocartilage tissue mainly containing type 1 collagen are used as teaching data. It is possible to calculate the ratio between the hyaline cartilage tissue and the fibrocartilage tissue included in the observation target region Y based on the relative concentration corresponding to each spectrum obtained by the classical least-squares analysis. it can.
  • the observation target region Y can be processed by the same method.
  • the composition which is biochemical information, can be calculated.
  • the endoscopic image A is acquired by the imaging unit 24 (step S6), the acquired endoscopic image A is processed by the image processing device 1, and the irradiation position S of the guide light, that is, the Raman spectrum is obtained.
  • the measurement position is identified (step S7). Specifically, the intensity distribution of the wavelength component of the guide light included in the endoscopic image A is measured, and the position where the intensity of the guide light is highest is specified as the irradiation position S.
  • a synthetic image B is generated by superimposing the analysis result of the spectrum analysis unit 14 on the specified measurement position (the hatched area in FIG. 7) on the endoscopic image A (step S8).
  • the generated combined image B is displayed on the display unit 26 which is a monitor (step S9), whereby the Raman analysis result in the observation target region Y can be observed.
  • synthetic image B biochemical or morphological information is displayed at a specified measurement position on endoscopic image A with a pseudo color scale.
  • the observation target X is an articular cartilage tissue
  • the relative amount of sulfated glycosaminoglycan with respect to collagen or protein calculated by the above-described method in the spectrum analysis unit 14 is displayed in pseudo color scale.
  • the molecular components and cells in the cartilage tissue or the meniscus tissue, the relative ratio between the hyaline cartilage tissue and the fibrocartilage tissue, the degree of degeneration, or the cartilage thickness is displayed in pseudo color.
  • the observation target site Y is a tissue other than cartilage or meniscus
  • the molecular components and cells in the tissue, or the relative proportions and the degree of denaturation of different tissues are pseudo-colored and displayed by the same method as described above. can do.
  • a plurality of composite images B may be created depending on the types of predetermined molecular components, cells and tissues contained in the observation target region Y.
  • the relative amount of glycosaminoglycan in cartilage tissue calculated by the above method is displayed in pseudo color
  • the second composite image is displayed.
  • the degree of collagen degeneration in the cartilage tissue calculated by the above method may be displayed in pseudo color.
  • a plurality of analysis results may be pseudo-colored and displayed in parallel at a specified measurement position in a single composite image B.
  • the Raman probe tip is brought close to or in contact with a different position in the observation target region Y, and the Raman spectrum analysis result at each measurement position is obtained at different measurement positions (measurement positions P1 and P2) specified on the endoscopic image A. May be superimposed and displayed.
  • an image I1 in which the Raman spectrum analysis result at the measurement position P1 specified when the tip of the Raman probe is brought close to or in contact with a predetermined position on the endoscopic image A is pseudo-colored and superposed on the measurement position P1 is displayed.
  • the Raman at the measurement position P2 is stored in the memory of the image processing device 1 and is further specified when the tip of the Raman probe 11 is brought close to or in contact with a position different from the predetermined position on the endoscopic image A.
  • the image I2 in which the spectrum analysis result is pseudo-colored and superposed and displayed at the measurement position P2 is stored in the memory provided in the image processing apparatus 1, and the processor provided in the image processing apparatus 1 stores the image I1 and the image I2. Image processing for superimposing is performed, and different measurement positions P1 and P2 in the observation target region Y are regenerated at each position. The information or form information may be superimposed.
  • the user can easily grasp the property of the observation target portion Y by superimposing the spatial distribution of the biochemical information or the morphological information on the observation target portion Y on the endoscopic image A to visualize it. There is an effect that can be done.
  • the Raman spectrum measurement position by the Raman probe 11 is determined by the diffuse reflection image of the guide light emitted from the Raman probe 11 in the endoscopic image A. Can be accurately specified. Therefore, even when the Raman probe 11 inserted through a route different from the endoscope 21 is used, there is an advantage that the measurement position of the Raman spectrum can be easily recognized in the endoscopic image A.
  • the white light emitted from the light source unit 22 of the endoscope device 20 has a broadband wavelength component ranging from visible to infrared
  • the guide light also serves as Raman scattered excitation light
  • the spectrum of FIG. the white light overlaps the guide light.
  • the observation target X is a biological tissue
  • the diffuse reflection light of the guide light is relatively weak in the white light from the light source unit 22 with respect to the component reflected by the observation target X. Therefore, there is a possibility that the signal-to-noise ratio of the diffuse reflection image of the guide light is lowered and the accuracy of the Raman spectrum measurement position obtained from the image analysis of the diffuse reflection image is lowered.
  • the long wavelength component including the wavelength of the guide light is dimmed by the filter of the illumination unit 23 so that the near-infrared light included in the white light superimposed on the diffuse reflection light of the guide light is reduced.
  • the wavelength component can be reduced, and the observation target X is a biological tissue and the intensity of diffuse reflected light is relatively weak, the diffusion with a high signal-to-noise ratio is performed in the imaging unit 24 of the endoscope device 20. A reflection image can be acquired.
  • the imaging unit 24 of the endoscope device 20 uses the filter for reducing the light component of the white light having a wavelength longer than that of the guide light, as shown in FIG. Since the near-infrared light component that becomes the noise of A is removed, there is an advantage that a diffuse reflection image having a high signal-to-noise ratio can be acquired without deteriorating the image quality of the endoscopic image A.
  • the spectrum analysis unit 14 calculates the biochemical information and the morphological information of the observation target region Y based on the Raman spectrum of the observation target region Y, but instead of this. Alternatively, only one of them may be calculated.
  • the amount of the component and the amount of modification of the component are exemplified as the biochemical information, the biochemical information is not limited to this.
  • the morphological information the thickness of the tissue and the pathological score are exemplified, but the present invention is not limited to this. Further, at least one biochemical information or morphological information may be calculated.
  • biochemical and morphological information calculated above was assigned a pseudo color scale and superimposed on the specified Raman spectrum measurement position in the endoscopic image A.
  • the pseudo color scale may be different depending on the content of the biochemical information or the morphological information to be superimposed.
  • the acquisition of the endoscopic image A by the imaging unit 24 of the endoscope device 20 is started by a trigger from the control unit 15 of the Raman probe device 10, but instead of this, as shown in FIG. 9, the image processing apparatus 1 may analyze the diffuse reflection image of the guide light in the endoscopic image A, and start the Raman spectrum measurement according to the analysis result.
  • the Raman probe 11 is placed on the observation target region Y.
  • the endoscopic image A is acquired by the imaging unit 24 (step S10), and the image processing apparatus 1 calculates the diffuse reflection profile of the guide light in the endoscopic image A (step S11). .
  • the control unit 15 may start measuring Raman scattered light by receiving the trigger signal.
  • the spread of the bottom of the diffuse reflection profile of the guide light is narrow at the position where the tip of the Raman probe is distant from the observation target region Y, and is wider as the tip is closer, as shown in FIG.
  • the tip of the Raman probe 11 with respect to the observation target region Y is moved by the processing of the endoscopic image A without sending a trigger from the control unit 15 of the Raman probe device 10 to the imaging unit 24 of the endoscope device 20.
  • the measurement of the Raman spectrum can be automatically started as long as the state of close proximity or contact is realized.
  • the observation system 100 including the endoscope device 20, the Raman probe device 10, and the image processing device 1 has been described, but the image processing device 1 that receives the Raman spectrum from the Raman probe device 10 is described.
  • the invention may be conceptualized as the endoscope device 20 provided.
  • the invention may be conceptualized as the image processing apparatus 1 that outputs the composite image B on which the biochemical information or the morphological information of 1 is output.
  • the Raman scattered excitation light and the guide light are lights having a common wavelength, but instead, lights having different wavelengths may be adopted.
  • the wavelength of the guide light can be 700 nm and the wavelength of the Raman scattered excitation light can be 785 nm. Since the spectral sensitivity of the image sensor is high on the short wavelength side, it is possible to acquire a guide light image having a higher signal-to-noise ratio by shortening the wavelength of the guide light to 700 nm. Further, since 700 nm has a longer wavelength than the visible wavelength, it does not affect the image quality of the endoscopic image A.
  • step S6 After acquisition of the endoscopic image A in step S6 in the flowchart of FIG. 8 (step S6), as shown in FIG. 12, in a state where the guide light is turned off and only white light is emitted (step S13), The endoscopic image A is acquired again (step S14), the difference image between the endoscopic image A acquired in step S6 and the endoscopic image A acquired in step S14 is calculated (step S15), and the difference is calculated.
  • the measurement position of the Raman spectrum may be determined by calculating the diffuse reflection profile of the guide light based on the image.
  • FIG. 13 shows the diffuse reflection profile in the endoscopic image acquired in step S6
  • FIG. 14 shows the diffuse reflection profile in the endoscopic image acquired in step S14, and the diffuse reflection profile of the difference image calculated in step S15. Shown in 15.
  • the diffuse reflection profile in the endoscopic image A acquired in step S6 is changed to the diffuse reflection profile of the white light emitted from the endoscope 21 displayed in a dotted line as shown by the solid line waveform in FIG.
  • the diffuse reflection profile has a superimposed waveform.
  • the diffuse reflection profile of the endoscopic image A acquired in step S14 the contribution of the guide light disappears and the diffuse reflection profile itself of the white light beam is obtained.
  • step S6, step S13 and step S14 are executed during the detection of the Raman spectrum in step S4 to determine the wavelength of the guide light and the Raman scattered excitation light. If the wavelengths are the same, steps S13 and S14 may be executed immediately before or immediately after the Raman spectrum is detected in step S4.
  • the intensity of the endoscope white light higher than that of the diffuse reflection light of the guide light is calculated. It is possible to obtain a diffuse reflection image of the guide light having a high signal-to-noise ratio, in which the contribution of the diffuse reflection light is canceled, and there is an advantage that the Raman spectrum measurement position can be accurately determined.
  • the present invention can also be adopted when the Raman probe 11 and the observation target region Y are used in contact with each other.
  • the Raman probe 11 blocks the measurement position S in FIG. 5 (the position with the highest intensity). Therefore, the measurement position S may be determined based on the region other than the image of the Raman probe 11. For example, the center of the dotted line portion where the intensity of the diffuse reflected light is the same may be set as the measurement position S. It should be noted that, when brought into contact with each other, the diffused light inside the subject increases, so that there is also an advantage that a diffuse reflected image of the guide light having a high signal-to-noise ratio can be obtained.
  • the wavelengths of the Raman excitation light and the guide light may be set to 630 nm or more and 670 nm or less.
  • the Raman scattered light intensity is inversely proportional to the fourth power of the wavelength, so that the Raman scattered light intensity can be increased.
  • the resonance Raman effect can be obtained for the pigment component in the living body that absorbs red light, and the Raman scattered light intensity can be increased.
  • the image sensor since the image sensor has high sensitivity to the guide light, a diffuse reflection image having a high signal-to-noise ratio can be obtained.
  • the Raman excitation light and the guide light exist within the range of the red wavelength band (from 590 nm to 690 nm), and thus the red endoscopic image A of 630 nm or less is acquired. it can. Therefore, image quality such as color reproduction can be secured.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Endoscopes (AREA)

Abstract

観察対象部位（Ｙ）のラマンスペクトルを解析して得られた観察対象部位（Ｙ）の生化学的情報および形態的情報の少なくとも１つと、観察対象部位（Ｙ）の内視鏡画像とが入力され、ラマンスペクトルは、ラマンプローブ（１１）を観察対象（Ｘ）に挿入し、観察対象部位（Ｙ）に第１照明光およびガイド光を照射して検出されたラマン散乱光から検出され、内視鏡画像は、ラマンプローブ（１１）とは別ルートで内視鏡（２１）を観察対象（Ｘ）に挿入し、観察対象部位（Ｙ）に第２照明光を照射して取得され、入力された内視鏡画像に含まれるガイド光の拡散反射イメージに基づいて、内視鏡画像内における第１照明光の照射位置を特定し、入力された生化学的情報および形態的情報の少なくとも１つを、内視鏡画像の照射位置に対応付けて表示した合成画像を生成する画像処理装置（１）である。

Description

画像処理装置、観察システムおよび観察方法
　本発明は、画像処理装置、観察システムおよび観察方法に関するものである。
　内視鏡のように生体内へ挿入して、体内組織の形態を観察する装置の補助的あるいは相補的な観察手段として、細径の軟性もしくは硬性の光学プローブを挿入し、光吸収スペクトルや蛍光スペクトル、あるいは光散乱スペクトルなどの分光スペクトルに基づいて、組織の生化学的な特性などの性状を分析する装置が知られている。
　ラマンプローブは光学プローブの一種であって、組織を光照明することで発生するラマンスペクトルに基づいて、組織の組成を分析することができる。例えば、軟性の内視鏡の鉗子チャネルに軟性のラマンプローブを挿入し、鉗子チャネルの先端から突出させたラマンプローブを内視鏡の視野内に存在する組織に押し付けて、ラマンスペクトルを測定する装置が知られている（例えば、特許文献１参照。）。この場合には、内視鏡の視野内におけるラマンスペクトルの測定位置は、内視鏡の先端面における観察光学系と鉗子チャネルとの位置関係から内視鏡画像に対して一意に決まっているので、内視鏡画像さえ記憶しておけばよい。
米国特許第９８７７６５５号公報
　しかしながら、関節鏡のように口径が小さい内視鏡の場合には鉗子チャネルがなく、ラマンプローブは関節鏡に対して別ルートで関節内に挿入する必要があり、この場合には、ラマンスペクトルの測定位置は内視鏡画像に対して一意に決定されないという不都合がある。また、観察対象が関節軟骨である場合には、軟骨組織は外見上比較的一様であって形態的な特徴に乏しい。したがって、内視鏡画像におけるどの領域がラマンスペクトルの測定位置であるかを容易に見失う場合がある。
　　本発明は、内視鏡とは別ルートで挿入されるラマンプローブを用いた場合においても、内視鏡画像においてラマンスペクトルの測定位置を容易に認識することができる画像処理装置、観察システムおよび観察方法を提供することを目的としている。
　本発明の一態様は、観察対象部位のラマンスペクトルを解析して得られた前記観察対象部位の生化学的情報および形態的情報の少なくとも１つと、前記観察対象部位の内視鏡画像とが入力され、前記ラマンスペクトルは、ラマンプローブを観察対象に挿入し、前記観察対象部位に第１照明光およびガイド光を照射して検出されたラマン散乱光から検出され、前記内視鏡画像は、前記ラマンプローブとは別ルートで内視鏡を前記観察対象に挿入し、前記観察対象部位に第２照明光を照射して取得され、入力された前記内視鏡画像に含まれる前記ガイド光の拡散反射イメージに基づいて、前記内視鏡画像内における前記第１照明光の照射位置を特定し、入力された前記生化学的情報および前記形態的情報の少なくとも１つを、前記内視鏡画像の前記照射位置に対応付けて表示した合成画像を生成する画像処理装置である。
　本態様によれば、観察対象にラマンプローブを挿入し、観察対象部位に向けて第１照明光およびガイド光を照射するとともに、ラマンプローブとは別ルートで観察対象に内視鏡を挿入し、観察対象部位に第２照明光を照射する。観察対象部位に第１照明光が照射されることにより、観察対象部位においてラマン散乱光が発生するとともに、ガイド光を照射することにより、観察対象部位におけるガイド光の拡散反射光が発生する。
　ラマン散乱光は、ラマンプローブによって検出されることにより、ラマンスペクトルを検出でき、検出されたラマンスペクトルを解析することにより、観察対象部位の生化学的情報および形態的情報の少なくとも１つを取得することができる。
　一方、第２照明光を照射することにより、内視鏡によりガイド光の拡散反射イメージを含む内視鏡画像が取得される。
　取得された内視鏡画像が画像処理装置において処理されることにより、内視鏡画像に含まれるガイド光の拡散反射イメージに基づいて、内視鏡画像内における第１照明光の照射位置が特定され、生化学的情報および形態的情報の少なくとも１つが、内視鏡画像の照射位置に対応付けて表示した合成画像が生成される。これにより、合成画像を観察することによって、内視鏡とは別ルートで挿入されるラマンプローブを用いた場合においても、内視鏡画像においてラマンスペクトルの測定位置を容易に認識することができる。
　本発明の他の態様は、内視鏡を備える内視鏡装置と画像処理装置とを備え、前記内視鏡が、観察対象に挿入され、観察対象部位に第２照明光を照射して内視鏡画像を取得し、前記画像処理装置には、前記内視鏡画像と、前記観察対象部位のラマンスペクトルを解析して得られた前記観察対象部位の生化学的情報および形態的情報の少なくとも１つとが入力され、前記ラマンスペクトルは、ラマンプローブを前記内視鏡とは別ルートで前記観察対象に挿入し、前記観察対象部位に第１照明光およびガイド光を照射して検出されたラマン散乱光から検出され、前記画像処理装置は、前記内視鏡画像に含まれる前記ガイド光の拡散反射イメージに基づいて、前記内視鏡画像内における前記第１照明光の照射位置を特定し、前記観察対象部位の前記生化学的情報および前記形態的情報の少なくとも１つを、前記内視鏡画像の前記照射位置に対応付けて表示した合成画像を生成する観察システムである。
　上記態様においては、前記内視鏡装置が、前記ガイド光の波長および前記ガイド光よりも長波長の光を減光するフィルタを備え、波長が前記ガイド光の波長よりも短波長である波長帯域の前記第２照明光を照射する照明装置を備えていてもよい。
　この構成により、取得された内視鏡画像においてガイド光と第２照明光とを容易に区別することができて、内視鏡画像内における第１照明光の照射位置を特定することができる。
　また、上記態様においては、前記内視鏡装置が、前記ガイド光よりも長波長の波長帯域の光を減光するフィルタと、該フィルタを透過した光を撮影する撮像素子とを備えていてもよい。
　この構成により、撮像素子に入射する光から、ガイド光よりも長波長の波長帯域の光を減光して、画質を損なわずに信号対雑音比の高い内視鏡画像を取得することができる。
　また、上記態様においては、前記画像処理装置は、前記ガイド光を点灯させた状態で取得した前記内視鏡画像と、前記ガイド光を点灯させない状態で取得した前記内視鏡画像の差分画像を算出することにより、前記ガイド光の拡散反射イメージを生成してもよい。
　また、本発明の他の態様は、観察対象に挿入されるラマンプローブを備え、観察対象部位に第１照明光およびガイド光を照射して、前記観察対象部位のラマンスペクトルを解析して前記観察対象部位の生化学的情報および形態的情報の少なくとも１つを算出するラマンプローブ装置と、前記ラマンプローブとは別ルートで前記観察対象に挿入される内視鏡を備え、前記観察対象部位に第２照明光を照射して内視鏡画像を取得する内視鏡装置と、前記ラマンプローブ装置により算出された前記生化学的情報および前記形態的情報の少なくとも１つと、前記内視鏡により取得された前記内視鏡画像とが入力され、入力された該内視鏡画像に含まれる前記ガイド光の拡散反射イメージに基づいて、前記内視鏡画像内における前記第１照明光の照射位置を特定し、入力された前記生化学的情報および前記形態的情報の少なくとも１つを、前記内視鏡画像の前記照射位置に対応付けて表示した合成画像を生成する画像処理装置とを備える観察システムである。
　また、本発明の他の態様は、観察対象にラマンプローブを挿入し、観察対象部位に第１照明光およびガイド光を照射して前記観察対象部位のラマンスペクトルを検出し、前記ラマンプローブとは別ルートで前記観察対象に内視鏡を挿入し、前記観察対象部位に第２照明光を照射して内視鏡画像を取得し、取得された該内視鏡画像に含まれる前記ガイド光の拡散反射イメージに基づいて、前記内視鏡画像内における前記第１照明光の照射位置を特定し、前記ラマンスペクトルを解析して得られた前記観察対象部位の生化学的情報および形態的情報の少なくとも１つを、前記内視鏡画像の前記照射位置に対応付けて表示した合成画像を生成し、生成された該合成画像を表示する観察方法である。
　本発明によれば、内視鏡とは別ルートで挿入されるラマンプローブを用いた場合においても、内視鏡画像においてラマンスペクトルの測定位置を容易に認識することができるという効果を奏する。
本発明の一実施形態に係る観察システムを示す全体構成図である。 図１の内視鏡の光源部から射出される白色光と、ラマンプローブの光源部から射出されるガイド光との関係を示す図である。 図１の内視鏡の照明部から射出される光とガイド光との関係を示す図である。 図１の内視鏡の撮像部により撮影される光とガイド光との関係を示す図である。 図１の内視鏡の撮像部により取得された内視鏡画像におけるガイド光の拡散反射光の一例を等高線によって示す図である。 図５のガイド光の拡散反射光のプロフィールの一例を示す図である。 図１の画像処理装置により生成された合成画像の一例を示す図である。 図１の観察システムを用いた観察方法を説明するフローチャートである。 図１の観察システムの変形例を示す全体構成図である。 図９の観察システムを用いた観察方法を説明するフローチャートである。 ラマンプローブと観察対象部位との距離と拡散反射光の強度との関係を示す図である。 図１の観察システムを用いた他の観察方法を説明するフローチャートである。 図１２のステップＳ６において取得された内視鏡画像における拡散反射プロフィールの一例を示す図である。 図１２のステップＳ１４において取得された内視鏡画像における拡散反射プロフィールの一例を示す図である。 図１２のステップＳ１５において取得された内視鏡画像における拡散反射プロフィールの一例を示す図である。
　本発明の一実施形態に係る画像処理装置１、観察システム１００および観察方法について、図面を参照して以下に説明する。
　本実施形態に係る観察システム１００は、図１に示されるように、観察対象Ｘ、例えば、関節内に挿入されるラマンプローブ１１を備えるラマンプローブ装置１０と、同じく観察対象Ｘにラマンプローブ１１とは別ルートで挿入される内視鏡２１を備える内視鏡装置２０と、ラマンプローブ１１および内視鏡２１により取得された情報に基づいて画像を生成する本実施形態に係る画像処理装置１とを備えている。
　ラマンプローブ装置１０は、観察対象Ｘに挿入されたラマンプローブ１１の先端から観察対象部位Ｙ、例えば、軟骨あるいは半月板にラマン散乱励起光（第１照明光）およびガイド光を照射して、観察対象部位Ｙにおいて発生したラマン散乱光を検出する。
　具体的には、ラマンプローブ装置１０は、ラマンプローブ１１と、ラマンプローブ１１の先端から射出するラマン散乱励起光およびガイド光を発生する光源部１２と、ラマンプローブ１１の先端に入射したラマン散乱光のラマンスペクトルを検出する光検出部１３と、検出されたラマンスペクトルを解析して、観察対象Ｘの生化学的情報、例えば、成分量および成分変性量、あるいは観察対象Ｘの形態的情報、例えば、組織の厚さおよび病理スコアを算出するスペクトル解析部１４と、光検出部１３、光源部１２および後述する内視鏡装置２０の撮像部２４を制御する制御部１５とを備えている。
　光源部１２は、図２に示されるように、ラマン散乱励起光とガイド光とを兼ねる単一波長（例えば、７８５ｎｍ）の照明光を射出する。このように、ラマン散乱励起光とガイド光の波長を同じにすることで光源を共通化することができ、装置を簡素化できる。
　光検出部１３は、図示しない分光器と、分光器により分光された光の強度を波長毎に取得する任意の図示しない光センサとを備えている。制御部１５およびスペクトル解析部１４は、プロセッサにより構成されている。
　制御部１５は、ラマンプローブ装置１０の光源部１２および光検出部１３を作動させてラマン散乱光の測定を開始させると同時に、内視鏡２１の後述する撮像部２４にトリガ信号を送り、観察対象部位Ｙの内視鏡画像（図５参照）Ａの取得を開始させる。
　内視鏡装置２０は、内視鏡２１と、内視鏡２１の先端から射出する白色光（第２照明光）を発生する光源部（照明装置）２２と、光源部２２から発せられた白色光の内、長波長成分を減光する図示しないフィルタを備える照明部２３と、白色光が照射された観察対象部位Ｙからの反射光およびガイド光の拡散反射光を撮影して内視鏡画像Ａを取得する撮像部２４と、撮像部２４において取得された内視鏡画像Ａを処理する処理部２５と、処理部２５により処理された画像を表示する表示部２６とを備えている。処理部２５はプロセッサ、表示部２６はモニタである。
　照明部２３に備えられたフィルタは、図３に示されるように、光源部２２から発せられた白色光における、ガイド光の波長を含む、白色光の長波長成分（近赤外光成分）の光を減光する波長特性を備えている。例えば、ガイド光の波長が７８５ｎｍである場合には、近赤外波長帯、かつ７８５ｎｍを含む７８０ｎｍ以上の光を減光する波長特性を備えている。また、例えば、ガイド光の波長が７８５ｎｍである場合に、内視鏡２１の画質に影響を与えることなく、かつ、ガイド光に重畳する不要な光成分を可能な限り除去できるように、７００ｎｍ以上の近赤外光を減光する波長特性を備えていてもよい。
　撮像部２４は、図４に示されるように、ガイド光よりも長波長の近赤外光成分（例えば、ガイド光の波長が７８５nmである場合には７９０ｎｍ以上）の光を減光する波長特性のフィルタと、フィルタを透過した光を撮影する図示しない撮像素子とを備えている。
　画像処理装置１は、内視鏡装置２０の撮像部２４により取得された内視鏡画像Ａを処理して、ラマンスペクトルの測定位置を特定する。具体的には、観察対象Ｘの内視鏡画像Ａにおいて、ガイド光の拡散反射イメージを画像解析し、拡散反射光の強度が最も高くなっている領域をラマンスペクトルの測定位置として特定する。
　図５および図６に示されるように、ガイド光の拡散反射プロフィールは、ガイド光の照射位置Ｓにおいて強度が最も高く、照射位置Ｓから離れるに従って強度が低くなる。したがって、強度が最も高くなる位置を特定することによりラマンスペクトルの測定位置を精度よく特定することができる。
　そして、画像処理装置１は、図７に示されるように、内視鏡画像Ａ上の特定された測定位置（斜線で表示される領域）に、スペクトル解析部１４により算出された観察対象部位Ｙの生化学的情報あるいは形態的情報を重畳した合成画像Ｂを生成する。生化学的情報および形態的情報としては、情報毎に予め登録されている疑似カラースケールにより表示すればよい。画像処理装置１に置いて生成された合成画像Ｂは、内視鏡装置２０のプロセッサに送られて処理された後に表示部２６に表示される。ここでは、生化学的情報あるいは形態的情報を内視鏡画像Ａ上の特定された測定位置の上に重畳したが、測定位置に対して対応する生化学的情報あるいは形態的情報を画像上の別の位置に対応付けて表示してもよい。
　このように構成された本実施形態に係る観察システム１００を用いた観察方法について以下に説明する。
　本実施形態に係る観察方法は、図８に示されるように、内視鏡装置２０の内視鏡２１およびラマンプローブ装置１０のラマンプローブ１１をそれぞれ別ルートで観察対象Ｘに挿入し（ステップＳ１）、内視鏡２１の先端から白色光を射出させるとともに、ラマンプローブ１１の先端からガイド光を射出させる（ステップＳ２）。
　観察対象Ｘ内において、内視鏡装置２０の撮像部２４により取得された内視鏡画像Ａを表示部２６によって確認しながら、観察対象部位Ｙにラマンプローブ１１を近接または接触させる（ステップＳ３）。そして、内視鏡画像Ａ内にラマンプローブ１１が現れた位置において、ラマン散乱励起光を観察対象部位Ｙに照射して、ラマンプローブ１１によってラマンスペクトルを検出し（ステップＳ４）、ラマンスペクトル解析による観察対象部位Ｙの生化学的情報および形態的情報の算出を行う（ステップＳ５）。
　具体的には、ラマンプローブ装置１０は、ラマンプローブ１１により検出されたラマン散乱光を、光検出部１３に内蔵された分光器で分光して、光検出部１３で分光されたラマンスペクトルを検出し、検出されたラマンスペクトルをスペクトル解析部１４において解析することにより、観察対象部位Ｙの生化学的情報および形態的情報の算出を行う。
　観察対象部位Ｙが軟骨または半月板などの関節組織である場合には、スペクトル解析部１４において実行される観察対象部位Ｙの生化学的情報および形態的情報の算出は、以下のようにして行われる。
　関節組織において、指紋領域（ラマンシフト値がおよそ８００ｃｍ－１から１８００ｃｍ－１）のラマンスペクトルを取得すると、組織中の２型コラーゲンあるいは１型コラーゲンなどのコラーゲンに由来するラマンバンドは、ラマンシフトが８１５ｃｍ－１およびその近傍波数、９２０ｃｍ－１およびその近傍波数、１２４０ｃｍ－１およびその近傍波数、１６６０ｃｍ－１およびその近傍波数に極大値を有するピークとして現れる。また、組織中の硫酸化グリコサミノグリカンに由来するラマンバンドは、ラマンシフトが１０６３ｃｍ－１およびその近傍波数、１３８０ｃｍ－１およびその近傍波数に極大値を有するピークとして現れる。
　これらコラーゲンのラマンバンドの内、いずれかのラマンバンドの強度Ｃ１と、これら硫酸化グリコサミノグリカンのラマンバンドの内、いずれかのラマンバンドの強度ＳＫ１の比（ＳＫ１／Ｃ１）を算出することにより、観察対象部位Ｙの生化学的情報である、組織中のコラーゲン量に対する硫酸化グリコサミノグリカンの相対量を算出することができる。
　また、組織中のたんぱく質全般に由来するラマンバンドは１００２ｃｍ－１およびその近傍に極大値を有するピークとして現れるが、当該ラマンバンド強度Ｐ１と、Ｃ１もしくはＳＫ１との比を算出することにより、組織中のタンパク質の総量に対する、コラーゲンまたは硫酸化グリコサミノグリカンの相対量を、生化学的情報として算出することができる。
　あるいは、コラーゲン由来するラマンバンドの内、１２４０ｃｍ－１あるいは１２７０ｃｍ－１およびその近傍、１６６０ｃｍ－１あるいは１６８０ｃｍ－１およびその近傍に極大値を有するピークは、それぞれ、アミド３バンドおよびアミド１バンドと呼称されるが、これらラマンバンドの形状は、コラーゲンの構造に二次および三次構造に鋭敏であって、コラーゲン変性度に相関するマーカーとして知られている。したがって取得されたラマンスペクトルについて、所定の方法でバンド形状を評価することで、コラーゲンの変性度合いを算出することができる。
　また、骨組織中のヒドロキシアパタイトに由来するラマンバンドは９５９ｃｍ－１およびその近傍に極大値を有するピークとして現れるが、当該ピーク強度ＨＡ１と、コラーゲンのラマンバンドのピーク強度Ｃ１との比（ＨＡ１／Ｃ１）を算出することにより、あらかじめ用意された、コラーゲンのラマンバンドのピーク強度Ｃ１とヒドロキシアパタイトのピーク強度ＨＡ１との比（ＨＡ１／Ｃ１）と、軟骨組織の厚みを相関づける回帰式に基づいて、軟骨厚み（形態的情報）を算出することができる。
　前述のように、組織中の各成分に由来するラマンバンドのピーク強度比に基づいて、生化学的情報あるいは形態的情報を算出する以外の方法として、ラマンスペクトルに対して主成分分析、または古典最小二乗分析（Ｃｌａｓｓｉｃａｌ　Ｌｅａｓｔ　Ｓｑｕａｒｅ　Ｒｅｇｒｅｓｓｉｏｎ）、または主成分回帰分析（Ｐｒｉｎｃｉｐｌｅ　Ｃｏｍｐｏｎｅｎｔ　Ｒｅｇｒｅｓｓｉｏｎ）、または部分最小二乗回帰分析（Ｐａｒｔｉａｌ　Ｌｅａｓｔ　Ｓｑｕａｒｅ　Ｒｅｇｒｅｓｓｉｏｎ）などの多変量解析を施して、観察対象部位Ｙの生化学的情報あるいは形態的情報を取得してもよい。
　例えば、古典最小二乗解析を用いる場合、２型コラーゲンおよび硫酸化グリコサミノグリカンを主成分とする硝子軟骨組織のラマンスペクトル、および１型コラーゲンを主成分とする線維軟骨組織のラマンスペクトルを教師データとしてスペクトル解析部１４に備えておき、古典最小二乗解析によって得られる各スペクトルに対応する相対濃度に基づいて、観察対象部位Ｙに含まれる硝子軟骨組織と線維軟骨組織との比率を算出することができる。
　このように観察対象部位Ｙに含まれることが想定される各種の分子成分、細胞、あるいは組織についてのラマンスペクトルを予め教師データとして備えておきさえすれば、同様の方法によって、観察対象部位Ｙの生化学的情報である組成を算出することができる。
　これと同時に、撮像部２４により内視鏡画像Ａを取得し（ステップＳ６）、取得された内視鏡画像Ａを画像処理装置１により処理して、ガイド光の照射位置Ｓ、すなわち、ラマンスペクトルの測定位置の特定を行う（ステップＳ７）。具体的には、内視鏡画像Ａに含まれるガイド光の波長成分の強度分布を測定し、ガイド光の強度の最も高い位置を照射位置Ｓとして特定する。
　そして、内視鏡画像Ａ上の特定された測定位置（図７において斜線表示された領域）に、スペクトル解析部１４による解析結果を重畳した合成画像Ｂを生成する（ステップＳ８）。生成された合成画像Ｂをモニタである表示部２６に表示する（ステップＳ９）これにより、観察対象部位Ｙにおけるラマン分析結果を観察することができる。
　合成画像Ｂでは、内視鏡画像Ａ上の特定された測定位置に、生化学的あるいは形態的情報が擬似カラースケールで表示される。観察対象Ｘが関節軟骨組織である場合には、スペクトル解析部１４において前述の方法で算出された、コラーゲンあるいはタンパク質に対する硫酸化グリコサミノグリカンの相対量が擬似カラースケール化されて表示される。同様の方法により、軟骨組織あるいは半月板組織中の分子成分や細胞、硝子軟骨組織と線維軟骨組織との相対比率や変性度、または軟骨厚みが擬似カラー化されて表示される。
　また、観察対象部位Ｙが軟骨または半月板以外の組織であっても上述の方法と同様な方法により、組織中の分子成分や細胞、または異なる組織の相対比率や変性度を擬似カラー化して表示することができる。
　また、観察対象部位Ｙに含まれる所定の分子成分、細胞および組織の種類に応じて複数の合成画像Ｂを作成してもよい。例えば、一つ目の合成画像Ｂ１における特定された測定位置には、前述の方法により算出される、軟骨組織中のグリコサミノグリカンの相対量を擬似カラー化して表示し、二つ目の合成画像Ｂ２における特定された測定位置には、前述の方法により算出される、軟骨組織中のコラーゲン変性度を擬似カラー化して表示すればよい。
　あるいは、単一の合成画像Ｂにおける特定された測定位置に、複数の分析結果（例えば軟骨組織中のグリコサミノグリカン相対量とコラーゲン変性度）を擬似カラー化して並列表示してもよい。
　また、観察対象部位Ｙにおける異なる箇所へラマンプローブ先端を近接あるいは接触させて、内視鏡画像Ａ上において特定された異なる測定位置（測定位置Ｐ１およびＰ２）へ、各測定位置におけるラマンスペクトル分析結果を重畳表示してもよい。例えば、内視鏡画像Ａ上における所定箇所へラマンプローブ先端を近接あるいは接触させたときに特定される測定位置Ｐ１におけるラマンスペクトル解析結果を、擬似カラー化して測定位置Ｐ１へ重畳表示した画像Ｉ１を画像処理装置１のメモリに保存しておき、さらに、内視鏡画像Ａ上における、上記所定箇所とは異なる箇所へラマンプローブ１１先端を近接あるいは接触させたときに特定される測定位置Ｐ２におけるラマンスペクトル解析結果を、擬似カラー化して測定位置Ｐ２へ重畳表示した画像Ｉ２を画像処理装置１に備えられたメモリに保存し、画像処理装置１に備えられたプロセッサにより、画像Ｉ１と画像Ｉ２とを重ね合わせる画像処理を施し、観察対象部位Ｙにおける異なる測定位置Ｐ１およびＰ２へ、各位置における生化学的情報あるいは形態的情報を重畳表示してもよい。
　これにより、観察対象部位Ｙにおける生化学的情報あるいは形態的情報の空間的な分布を、内視鏡画像Ａへ重畳して可視化することで、使用者が観察対象部位Ｙの性状を容易に把握できる効果がある。
　このように、本実施形態に係る観察システム１００および観察方法によれば、内視鏡画像Ａ内における、ラマンプローブ１１から射出するガイド光の拡散反射イメージによって、ラマンプローブ１１によるラマンスペクトルの測定位置を精度よく特定することができる。したがって、内視鏡２１とは別ルートで挿入されるラマンプローブ１１を用いた場合においても、内視鏡画像Ａにおいてラマンスペクトルの測定位置を容易に認識することができるという利点がある。
　また、内視鏡装置２０の光源部２２から射出される白色光は、可視から赤外にわたる広帯域波長成分を持つために、ガイド光がラマン散乱励起光を兼ねる場合には、図２のスペクトルのようにガイド光に白色光が重なる。観察対象Ｘが生体組織である場合には、ガイド光の拡散反射光は、光源部２２からの白色光において、観察対象Ｘによって反射される成分に対して相対的に弱い。そのため、ガイド光の拡散反射イメージの信号対雑音比が低下し、拡散反射イメージの画像解析から求められるラマンスペクトル測定位置の精度が低下してしまう可能性がある。
　そこで、照明部２３のフィルタによって、図３に示されるように、ガイド光の波長を含む長波長成分を減光することにより、ガイド光の拡散反射光に重畳する白色光のうち、近赤外波長成分を低減でき、観察対象Ｘが生体組織であって、拡散反射光の強度が相対的に弱い場合であっても、内視鏡装置２０の撮像部２４において、信号対雑音比の高い拡散反射イメージを取得することができる。
　さらに、本実施形態においては、内視鏡装置２０の撮像部２４が、図４に示されるように、白色光においてガイド光よりも長波長の光成分を減光するフィルタによって、内視鏡画像Ａのノイズとなる近赤外光成分を除去するので、内視鏡画像Ａの画質を損なうことなく、信号対雑音比の高い拡散反射イメージを取得することができるという利点がある。
　なお、本実施形態においては、観察対象部位Ｙのラマンスペクトルに基づいて、スペクトル解析部１４が、観察対象部位Ｙの生化学的情報および形態的情報を算出することとしたが、これに代えて、いずれか一方のみを算出することにしてもよい。また、生化学的情報として、成分量および成分変性量を例示したが、これに限定されるものではない。また、形態的情報として、組織の厚さおよび病理スコアを例示したが、これに限定されるものでもない。また、少なくとも１つの生化学的情報あるいは形態的情報を算出することにしてもよい。
　また、上記において算出された生化学的情報および形態的情報は、内視鏡画像Ａ中の特定されたラマンスペクトルの測定位置に、疑似カラースケールを割り当てて重畳することとした。重畳する生化学的情報あるいは形態的情報の内容に応じて、疑似カラースケールを異ならせることにしてもよい。
　また、本実施形態においては、ラマンプローブ装置１０の制御部１５からのトリガによって内視鏡装置２０の撮像部２４による内視鏡画像Ａの取得を開始させることとしたが、これに代えて、図９に示されるように、画像処理装置１において内視鏡画像Ａにおけるガイド光の拡散反射イメージを解析し、解析結果に応じて、ラマンスペクトルの測定を開始させてもよい。
　具体的には、図１０に示されるように、内視鏡２１から白色光を射出し、ラマンプローブ１１からガイド光を射出させた状態で（ステップＳ２）、観察対象部位Ｙにラマンプローブ１１を近接させると（ステップＳ３）、撮像部２４により内視鏡画像Ａが取得され（ステップＳ１０）、画像処理装置１が、内視鏡画像Ａにおけるガイド光の拡散反射プロフィールを算出する（ステップＳ１１）。そして、拡散反射プロフィールの裾が所定の閾値を超えるか否かを判定し（ステップＳ１２）、拡散反射プロフィールの裾が所定の閾値を超えない場合には、ステップＳ３からの工程を繰り返し、図１１に実線で示されるように、拡散反射プロフィールの裾が所定の閾値を横切る状態となるラマンプローブ１１の位置で、画像処理装置１から制御部１５へトリガ信号が送られる。制御部１５においてトリガ信号を受信することによって、ラマン散乱光の測定を開始すればよい。
　すなわち、ガイド光の拡散反射プロフィールの裾の広がりは、図１１に示されるように、ラマンプローブの先端が観察対象部位Ｙから離れた位置で狭く、近接すればするほど拡がるので、ガイド光の拡散反射プロフィールの裾の拡がりを監視することにより、ラマンプローブ１１の先端の観察対象部位Ｙへの近接または接触状態を検出することができる。
　これにより、ラマンプローブ装置１０の制御部１５から内視鏡装置２０の撮像部２４へトリガを送ることなく、内視鏡画像Ａの処理によって、観察対象部位Ｙに対してラマンプローブ１１の先端が近接また接触した状態が実現されさえすれば、自動的にラマンスペクトルの測定を開始することができる。
　また、本実施形態においては、内視鏡装置２０と、ラマンプローブ装置１０と、画像処理装置１とを備える観察システム１００について説明したが、ラマンプローブ装置１０からラマンスペクトルを受け取る画像処理装置１を備える内視鏡装置２０として発明を概念してもよい。
　また、ラマンプローブ装置１０により取得されたラマン散乱光と、内視鏡装置２０により取得された内視鏡画像Ａとが入力され、内視鏡画像Ａのラマンスペクトルの測定位置に観察対象部位Ｙの生化学的情報または形態的情報を重畳した合成画像Ｂを出力する画像処理装置１として発明を概念してもよい。
　また、本実施形態においては、ラマン散乱励起光とガイド光とを共通の波長の光としたが、これに代えて、別々の波長の光を採用してもよい。例えば、ガイド光の波長を７００ｎｍ、ラマン散乱励起光の波長を７８５ｎｍとすることができる。撮像素子の分光感度は、短波長側が高いため、ガイド光の波長を７００ｎｍと短くすることで、信号対雑音比がより高いガイド光画像を取得することができる。また、７００ｎｍは可視波長より長波長のため、内視鏡画像Ａの画質にも影響することはない。
　また、図８のフローチャートにおけるステップＳ６における内視鏡画像Ａの取得（ステップＳ６）後に、図１２に示されるように、ガイド光をオフにして白色光のみを照射した状態で（ステップＳ１３）、内視鏡画像Ａを再度取得し（ステップＳ１４）、ステップＳ６において取得された内視鏡画像ＡとステップＳ１４において取得された内視鏡画像Ａとの差分画像を算出し（ステップＳ１５）、差分画像に基づいてガイド光の拡散反射プロフィールを算出することにより、ラマンスペクトルの測定位置を決定してもよい。
　ステップＳ６において取得された内視鏡画像における拡散反射プロフィールを図１３、ステップＳ１４において取得された内視鏡画像における拡散反射プロフィールを図１４、ステップＳ１５において算出された差分画像の拡散反射プロフィールを図１５に示す。
ステップＳ６において取得された内視鏡画像Ａにおける拡散反射プロフィールは、図１３に示す実線波形のように、点線表示される内視鏡２１から射出される白色光の拡散反射プロフィールへ、ガイド光線の拡散反射プロフィールが重畳された波形となっている。一方、ステップＳ１４において取得される内視鏡画像Ａにおける拡散反射プロフィールは、ガイド光の寄与が消え、白色光線の拡散反射プロフィールそのものとなっている。
　ガイド光の波長とラマン散乱励起光の波長とが異なる場合には、ステップＳ４におけるラマンスペクトルの検出中に、ステップＳ６、ステップＳ１３およびステップＳ１４を実行し、ガイド光の波長とラマン散乱励起光の波長とが同一である場合には、ステップＳ４におけるラマンスペクトルの検出直前または検出直後に、ステップＳ１３およびステップＳ１４を実行すればよい。
　このようにガイド光を点灯させた状態と点灯させない状態で取得される、内視鏡画像Ａの差分画像を算出することにより、ガイド光の拡散反射光よりも高強度な内視鏡白色光の拡散反射光の寄与が相殺された、信号対雑音比の高いガイド光の拡散反射画像を取得することができ、精度よくラマンスペクトル測定位置を決定することができる利点がある。
　また、本発明は、ラマンプローブ１１と観察対象部位Ｙとを接触させて使う場合にも採用できる。その場合は、図５の測定位置Ｓ（最も強度が強い位置）はラマンプローブ１１に遮られる。よって、ラマンプローブ１１の画像以外の領域を元に、測定位置Ｓを決めればよい。例えば、拡散反射光の強度が同一の点線部分の中心を測定位置Ｓとすればよい。
なお、接触させると被写体の内部拡散光が増えるため、信号対雑音比が高いガイド光の拡散反射画像を得られる利点もある。
　また、ラマン励起光とガイド光の波長を、６３０ｎｍ以上６７０ｎｍ以下に設定してもよい。励起光の波長を短くすることにより、ラマン散乱光強度は波長の四乗に反比例するため、ラマン散乱光強度を大きくすることができる。あるいは、赤色光を吸収する生体内の色素成分について共鳴ラマン効果を得て、ラマン散乱光強度を大きくすることができる。また、ガイド光に対する撮像素子の感度が高いので、信号対雑音比が高い拡散反射像を得ることができる。また、例えば、ラマン励起光とガイド光の波長を、６３０ｎｍと設定すれば、赤色の波長帯域（５９０ｎｍから６９０ｎｍ程度）の範囲内に存在するため、６３０ｎｍ以下の赤の内視鏡画像Ａを取得できる。よって色再現などの画質も確保できる。
　１　画像処理装置
　１０　ラマンプローブ装置
　１１　ラマンプローブ
　２０　内視鏡装置
　２１　内視鏡
　２２　光源部（照明装置）
　１００　観察システム
　Ａ　内視鏡画像
　Ｂ　合成画像
　Ｓ　照射位置
　Ｘ　観察対象
　Ｙ　観察対象部位

Claims (7)

  1. 　観察対象部位のラマンスペクトルを解析して得られた前記観察対象部位の生化学的情報および形態的情報の少なくとも１つと、前記観察対象部位の内視鏡画像とが入力され、
    　前記ラマンスペクトルは、ラマンプローブを観察対象に挿入し、前記観察対象部位に第１照明光およびガイド光を照射して検出されたラマン散乱光から検出され、
    　前記内視鏡画像は、前記ラマンプローブとは別ルートで内視鏡を前記観察対象に挿入し、前記観察対象部位に第２照明光を照射して取得され、
    　入力された前記内視鏡画像に含まれる前記ガイド光の拡散反射イメージに基づいて、前記内視鏡画像内における前記第１照明光の照射位置を特定し、入力された前記生化学的情報および前記形態的情報の少なくとも１つを、前記内視鏡画像の前記照射位置に対応付けて表示した合成画像を生成する画像処理装置。
  2. 　内視鏡を備える内視鏡装置と画像処理装置とを備え、
    　前記内視鏡が、観察対象に挿入され、観察対象部位に第２照明光を照射して内視鏡画像を取得し、
    　前記画像処理装置には、前記内視鏡画像と、前記観察対象部位のラマンスペクトルを解析して得られた前記観察対象部位の生化学的情報および形態的情報の少なくとも１つとが入力され、
    　前記ラマンスペクトルは、ラマンプローブを前記内視鏡とは別ルートで前記観察対象に挿入し、前記観察対象部位に第１照明光およびガイド光を照射して検出されたラマン散乱光から検出され、
    　前記画像処理装置は、前記内視鏡画像に含まれる前記ガイド光の拡散反射イメージに基づいて、前記内視鏡画像内における前記第１照明光の照射位置を特定し、前記観察対象部位の前記生化学的情報および前記形態的情報の少なくとも１つを、前記内視鏡画像の前記照射位置に対応付けて表示した合成画像を生成する観察システム。
  3. 　前記内視鏡装置が、前記ガイド光の波長および前記ガイド光よりも長波長の光を減光するフィルタを備え、波長が前記ガイド光の波長よりも短波長である前記第２照明光を照射する照明装置を備える請求項２に記載の観察システム。
  4. 　前記内視鏡装置が、前記ガイド光よりも長波長の光を減光するフィルタと、該フィルタを透過した光を撮影する撮像素子とを備える請求項２または請求項３に記載の観察システム。
  5. 　前記画像処理装置は、前記ガイド光を点灯させた状態で取得した前記内視鏡画像と、前記ガイド光を点灯させない状態で取得した前記内視鏡画像の差分画像を算出することにより、前記ガイド光の拡散反射イメージを生成する請求項２から請求項４のいずれかに記載の観察システム。
  6. 　観察対象に挿入されるラマンプローブを備え、観察対象部位に第１照明光およびガイド光を照射して、前記観察対象部位のラマンスペクトルを解析して前記観察対象部位の生化学的情報および形態的情報の少なくとも１つを算出するラマンプローブ装置と、
    　前記ラマンプローブとは別ルートで前記観察対象に挿入される内視鏡を備え、前記観察対象部位に第２照明光を照射して内視鏡画像を取得する内視鏡装置と、
    　前記ラマンプローブ装置により算出された前記生化学的情報および前記形態的情報の少なくとも１つと、前記内視鏡により取得された前記内視鏡画像とが入力され、入力された該内視鏡画像に含まれる前記ガイド光の拡散反射イメージに基づいて、前記内視鏡画像内における前記第１照明光の照射位置を特定し、入力された前記生化学的情報および前記形態的情報の少なくとも１つを、前記内視鏡画像の前記照射位置に対応付けて表示した合成画像を生成する画像処理装置とを備える観察システム。
  7. 　観察対象にラマンプローブを挿入し、観察対象部位に第１照明光およびガイド光を照射して前記観察対象部位のラマンスペクトルを検出し、
    　前記ラマンプローブとは別ルートで前記観察対象に内視鏡を挿入し、前記観察対象部位に第２照明光を照射して内視鏡画像を取得し、
    　取得された該内視鏡画像に含まれる前記ガイド光の拡散反射イメージに基づいて、前記内視鏡画像内における前記第１照明光の照射位置を特定し、前記ラマンスペクトルを解析して得られた前記観察対象部位の生化学的情報および形態的情報の少なくとも１つを、前記内視鏡画像の前記照射位置に対応付けて表示した合成画像を生成し、生成された該合成画像を表示する観察方法。
     
PCT/JP2018/037775 2018-10-10 2018-10-10 画像処理装置、観察システムおよび観察方法 WO2020075247A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/037775 WO2020075247A1 (ja) 2018-10-10 2018-10-10 画像処理装置、観察システムおよび観察方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/037775 WO2020075247A1 (ja) 2018-10-10 2018-10-10 画像処理装置、観察システムおよび観察方法

Publications (1)

Publication Number Publication Date
WO2020075247A1 true WO2020075247A1 (ja) 2020-04-16

Family

ID=70164043

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/037775 WO2020075247A1 (ja) 2018-10-10 2018-10-10 画像処理装置、観察システムおよび観察方法

Country Status (1)

Country Link
WO (1) WO2020075247A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007135989A (ja) * 2005-11-21 2007-06-07 Olympus Corp 分光内視鏡
JP2013514156A (ja) * 2009-12-15 2013-04-25 エモリー ユニバーシティ 診断又は治療処置においてリアルタイム解剖学的指針を提供するシステム及び方法
JP2016510245A (ja) * 2013-02-19 2016-04-07 ナショナル ユニヴァーシティー オブ シンガポール 診断装置及び方法
WO2016098171A1 (ja) * 2014-12-15 2016-06-23 オリンパス株式会社 撮像装置およびカプセル型内視鏡

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007135989A (ja) * 2005-11-21 2007-06-07 Olympus Corp 分光内視鏡
JP2013514156A (ja) * 2009-12-15 2013-04-25 エモリー ユニバーシティ 診断又は治療処置においてリアルタイム解剖学的指針を提供するシステム及び方法
JP2016510245A (ja) * 2013-02-19 2016-04-07 ナショナル ユニヴァーシティー オブ シンガポール 診断装置及び方法
WO2016098171A1 (ja) * 2014-12-15 2016-06-23 オリンパス株式会社 撮像装置およびカプセル型内視鏡

Similar Documents

Publication Publication Date Title
JP4535697B2 (ja) 生体組織の光散乱観測内視鏡装置
US8382812B2 (en) Apparatus for photodynamic therapy and photodetection
EP2078493B1 (en) Intra-oral camera for diagnostic and cosmetic imaging
US8078265B2 (en) Systems and methods for generating fluorescent light images
JP5461753B2 (ja) 内視鏡装置
US9795338B2 (en) Apparatus and method for detecting NIR fluorescence at sentinel lymph node
JP4311607B2 (ja) 蛍光診断情報生成方法および装置
US20090131800A1 (en) Multimodal imaging system for tissue imaging
JP2004154592A (ja) 積分された自己蛍光を使用して病気の組織の画像を映すための装置および方法
US20120259231A1 (en) Excitation, Detection, and Projection System for Visualizing Target Cancer Tissue
EP2692275A1 (en) Diagnostic system
WO2017175811A1 (ja) がん検査方法、がん検査装置、および、がん検査プログラム
WO2020075247A1 (ja) 画像処理装置、観察システムおよび観察方法
US20220313062A1 (en) Techniques for composition identification of an anatomical target
US7544503B2 (en) Apparatus for the pH determination of blood and method therefor
JP2006043002A (ja) 内視鏡観察装置および内視鏡観察方法
WO2021059889A1 (ja) 内視鏡システム
JP2006300611A (ja) 試料分析装置及びそれを用いた試料分析方法
WO2004063683A1 (ja) リアルタイム分光画像分析装置及び分析方法
JP5468756B2 (ja) 生体内観測装置
CN117202834A (zh) 医用成像设备、尤其是立体内窥镜或立体外窥镜
JP2022527642A (ja) 狭帯域光観察を利用する医療機器
JP2019090611A (ja) がん検査装置
van der Voort et al. Non-invasive blood analysis using Raman spectroscopy

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18936544

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18936544

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP