WO2007097171A1 - スペクトル画像処理方法、スペクトル画像処理プログラム、及びスペクトルイメージングシステム - Google Patents

スペクトル画像処理方法、スペクトル画像処理プログラム、及びスペクトルイメージングシステム Download PDF

Info

Publication number
WO2007097171A1
WO2007097171A1 PCT/JP2007/051699 JP2007051699W WO2007097171A1 WO 2007097171 A1 WO2007097171 A1 WO 2007097171A1 JP 2007051699 W JP2007051699 W JP 2007051699W WO 2007097171 A1 WO2007097171 A1 WO 2007097171A1
Authority
WO
WIPO (PCT)
Prior art keywords
spectral image
image processing
spectrum
processing method
observed
Prior art date
Application number
PCT/JP2007/051699
Other languages
English (en)
French (fr)
Inventor
Masafumi Mimura
Hisashi Okugawa
Original Assignee
Nikon Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corporation filed Critical Nikon Corporation
Priority to EP07707885.5A priority Critical patent/EP1990630B1/en
Priority to US11/913,294 priority patent/US8045153B2/en
Priority to JP2007526097A priority patent/JP4872914B2/ja
Publication of WO2007097171A1 publication Critical patent/WO2007097171A1/ja

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N2021/6417—Spectrofluorimetric devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • G01N2021/6441—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks with two or more labels

Definitions

  • Spectral image processing method Spectral image processing method, spectral image processing program, and spectral imaging system
  • the present invention relates to a spectral image processing method for processing a spectral image acquired with a microscope or the like, and a computer-executable spectral image processing program.
  • the present invention also relates to a spectral imaging system such as a spectral imaging fluorescent laser microscope.
  • a sample is sometimes labeled with a fluorescent substance such as a fluorescent reagent or fluorescent protein, and observed with an optical microscope such as a fluorescent laser microscope.
  • a fluorescent substance such as a fluorescent reagent or fluorescent protein
  • an optical microscope such as a fluorescent laser microscope.
  • the present invention provides a spectral image processing method for performing unmixing robust to measurement noise. And a spectral image processing program. Another object of the present invention is to provide a high-performance spectral imaging system.
  • the spectral image processing method of the present invention is based on the observed spectral image acquired by the observed object and the emission spectral data of each of a plurality of substances included in the observed object.
  • the predicted spectrum image may be a spectrum image obtained by smoothing the observed spectrum image in the spatial direction! /.
  • the reliability of the observed spectrum image may be evaluated for each wavelength component.
  • the reliability of the observation spectrum image may be evaluated for each wavelength component and each spatial component.
  • the component evaluated as having low reliability in the observed spectrum image may be excluded from the unmix calculation target!
  • the unmix comprises the weighted least squares method that estimates the contribution after weighting the error of each component of the observed spectral image.
  • the content of the weighting is added to the unmixing procedure. You may set according to the result of evaluation.
  • the spectral image processing program of the present invention causes a computer to execute any one of the spectral image processing methods of the present invention.
  • the spectral imaging system of the present invention captures an acquired spectral image from an object to be observed and the acquired spectral image, and executes any of the spectral image processing methods of the present invention.
  • a spectral image processing apparatus captures an acquired spectral image from an object to be observed and the acquired spectral image, and executes any of the spectral image processing methods of the present invention.
  • a spectral image processing method for performing robust unmixing on measurement noise And a spectral image processing program also realizes a high-performance spectral imaging system.
  • FIG. 1 is a configuration diagram of a system according to an embodiment.
  • FIG. 2 is an operation flowchart of the CPU 23 of the first embodiment.
  • FIG. 3 is a diagram illustrating step S1 (normalization processing).
  • FIG. 4 is a diagram illustrating step S1 (smoothing process and denormalization process).
  • FIG. 5 is a diagram illustrating step S2.
  • FIG. 6 is a diagram illustrating step S3.
  • FIG. 7 is a diagram showing examples of emission spectra S 1, S 2 and S of fluorescent reagents.
  • FIG. 8 is an operation flowchart of the CPU 23 of the second embodiment.
  • FIG. 9 is a diagram illustrating step S3 ′.
  • This embodiment is an embodiment of a spectral imaging fluorescence laser confocal microscope system.
  • Fig. 1 is a block diagram of this system. As shown in FIG. 1, the system includes a microscope body 10, a computer 20 connected thereto, and an input device 30 and a display device 40 connected thereto.
  • the input device 30 is a mouse or a keyboard, and the display device 40 is an LCD or the like.
  • the microscope body 10 includes a laser light source 11, a dichroic mirror 12, an optical scanner 13, an objective lens 14, a specimen 15, an observation lens 16, a pinhole mask 17, a spectroscopic element 18, A multi-channel photodetector 19 is arranged.
  • the specimen 15 is labeled with a plurality of types (for example, three types) of fluorescent reagents, and the multi-channel photodetector 19 has a large number (for example, 32) of wavelength channels.
  • the computer 20 includes a CPU 23, a ROM 24 in which a basic operation program of the CPU 23 is written, a RAM used as a temporary storage means during the operation of the CPU 23, and a data A hard disk drive 26 for long-term storage of data, an interface circuit 27 that interfaces with the input device 30 and the display device 40, and the same number of A / D conversion circuits 21 as the wavelength channels of the multi-channel photodetector 19. 21, ..., 21 and the same number of frame memories 22,
  • CPU 26, CPU 23, ROM 24, RAM 25, and interface circuit 27 are connected via bus 20B.
  • the hard disk drive 26 stores an operation program for the CPU 23 necessary for this system in advance.
  • a laser beam (for example, a wavelength of 488 nm) is emitted from the laser light source 11 of the microscope body 10.
  • This laser light is reflected by the dichroic mirror 12 and condensed on one point on the specimen 15 through the optical scanner 13 and the objective lens 14 in this order.
  • Fluorescence (for example, wavelength 510 to 550 nm) is generated at the condensing point.
  • the fluorescence enters the dichroic mirror 12 through the objective lens 14 and the optical scanner 13 in this order, the fluorescence is transmitted through the dichroic mirror 12 and observed.
  • the light enters the pinhole mask 17 through the lens 16.
  • the pinhole mask 17 is connected in a conjugate relationship with the sample 15 by the observation lens 16 and the objective lens 14, and has a function of allowing only the necessary light among the fluorescence generated in the sample 15 to pass therethrough. As a result, the confocal effect of the microscope body 10 can be obtained.
  • the fluorescence that has passed through the pinhole mask 17 enters the spectroscopic element 18, it is separated into a plurality of wavelength components. Each of these wavelength components is incident on different wavelength channels of the multi-channel photodetector 19 and is detected independently and simultaneously.
  • Each wavelength channel (in this case, 32 wavelength channels) of the multi-channel photodetector 19 detects 32 types of wavelength components that differ from each other by 5 nm in a wavelength range of 510 nm to 550 nm, for example.
  • Each signal output from these 32 wavelength channels is taken in parallel to the computer 20 and is sent to the frame memory 22 via the AZD conversion circuits 21, 21,.
  • the multi-channel photodetector 19 and the optical scanner 13 are driven synchronously, and as a result, the multi-channel photodetector 19 is scanned during the two-dimensional scanning at the fluorescent spot on the specimen 15. A repetitive signal is output from. At this time, the frame memories 22, 22,.
  • the images of the respective wavelength channels are gradually accumulated.
  • Frame memory 22, 22 Images of each wavelength channel (channel images D, D, ..., D) accumulated in 22
  • the hard disk drive 26 of the computer 20 stores emission spectrum data of the fluorescent reagent used for the specimen 15 in advance.
  • This emission spectrum data is made public by the manufacturer of the fluorescent reagent and is taken into the computer 20 via the Internet or a storage medium, for example.
  • the operation of the CPU 23 after obtaining the spectrum image F will be described.
  • FIG. 2 is an operation flowchart of the CPU 23. As shown in Fig. 2, the CPU 23 performs the premixing process (step S1), the evaluation process (step S2), the thinning process (step S3), and the unmixing process (step S1). S4) and display processing (step S5) are executed. Hereinafter, these steps will be described in order.
  • the CPU 23 refers to the spectrum of each pixel of the spectrum image F as shown in FIG.
  • FIG. 3A shows the spectrum curve of a certain four pixels (first pixel, second pixel, third pixel, and fourth pixel).
  • the horizontal axis in Fig. 3 (A) is the wavelength channel, and the vertical axis is the luminance value.
  • the CPU 23 sets the spectrum of each pixel so that the luminance integral value A (area of the region surrounded by the spectrum curve and the horizontal axis) is 1. Regularly.
  • each wavelength component (channel image) of the spectrum image F ′ is expressed as D ′, D ′,. ..., D
  • the CPU 23 changes the channel images D ′, D ′,.
  • Each of 1 2 32, is smoothed in the spatial direction.
  • the average filter processing for channel image D ' for example, 3 pixels in the vertical direction and 3 pixels in the horizontal direction.
  • a mask having an opening (a mask for calculation) is used. This mask is applied to the channel image D ′, and the luminance value of the pixel of interest located at the center of the aperture of the mask is replaced with the average luminance value of all the pixels in the aperture.
  • This processing power By repeatedly performing the processing while shifting the mask position on the channel image D ′, the entire channel image D ′ is smoothed.
  • each smoothed channel image is represented by D ", D", ..., D
  • the CPU 23 converts the spectrum of each pixel constituting the spectrum image F ′′ into the luminance integral value before the normal value (see FIG. 3 (A)).
  • the spectrum image formed by the spectrum after denormalization is defined as a predicted spectrum image E.
  • the original spectral image F is referred to as “observed spectral image F”.
  • the CPU 23 has a spectrum of one pixel in the predicted spectrum image E (predicted spectrum) and a spectrum of the same pixel in the observed spectrum image F (observed spectrum). And refer to.
  • the rough shape of both of the spectrum curves is similar. The former is smoothed, while the latter has an error. There is a difference in the state of riding.
  • the CPU 23 evaluates each wavelength channel of the observed spectrum by measuring the distance I d I, I between each wavelength channel and the corresponding wavelength channel of the predicted spectrum. d I, ..., I d
  • i I is the wavelength channel
  • the CPU 23 performs the above processing for each pixel, and calculates the evaluation value IdI of each wavelength channel of each pixel, and then ends this step.
  • FIG. 6A shows an example of evaluation values I d I of several pixels.
  • the CPU 23 compares the evaluation value I d I of each wavelength channel of a certain pixel with a predetermined threshold value d as shown in FIG. Find out what
  • the wavelength channel corresponding to this is regarded as a wavelength channel with a particularly low evaluation in this pixel.
  • this wavelength channel is referred to as a “noise channel”.
  • the CPU 23 performs the above processing for all the pixels, and finds the noise channels of all the pixels. As a result, the noise channel power of each pixel is recognized by the CPU 23 as shown in FIG. 6B, for example.
  • the number of noise channels may be one or several depending on the pixel. However, if there are too many noise channels for a pixel, it will be difficult to unmix the pixels (described later).
  • T it is desirable to set T to a value that does not make unmixing difficult by experiment or simulation.
  • the CPU 23 thins out the data of the wavelength channel regarded as the noise channel from each pixel of the observed spectrum image F. However, if the observed spectrum image F force data is actually excluded, the original data of the observed spectrum image F will not be saved, so the CPU 23 calculates the data instead of actually removing the data. Create a mask matrix M to be masked above and apply it in the subsequent steps. In this mask matrix M, the element corresponding to the component to be masked is 0, and the element corresponding to the other components is 1. The CPU 23 completes this step by creating this mask matrix M.
  • the CPU 23 reads the emission spectrum data of the fluorescent reagent from the hard disk drive 26.
  • the emission spectrum data shows the emission spectra S, S, S of three kinds of fluorescent reagents (first reagent, second reagent, third reagent) as shown in Fig. 7 (A), (B), (C) .
  • Tols S 1, S 2, S are expressed by a one-dimensional matrix as shown in Equation (1).
  • the element in the formula (1) is the luminance value of the i-th wavelength of the j-th reagent.
  • the wavelength number i corresponds to the wavelength channel number i in the observed spectral image F! / ,.
  • the spectrum f of a certain pixel in the observed spectrum image F is expressed by a one-dimensional matrix as shown in Equation (2).
  • Element f is the luminance value of the i th wavelength channel of this pixel.
  • the emission spectra S 1, S 2, S are collectively represented by a single matrix S as shown in Equation (4).
  • Contribution ratios p, p, p can be expressed as a single matrix P as shown in Equation (5).
  • this matrix S is referred to as “emission spectrum S”, and this matrix P is referred to as “contribution rate P”.
  • the spectrum f data of this pixel included in the observed spectrum image F and the emission spectrum data indicated by the emission spectrum data are expressed by the equation (6).
  • the number of wavelength channels (here 32) is set to be sufficiently larger than the number of types of fluorescent reagents (here 3), so the least squares method is applied.
  • the least square method prepares Equation (7) in consideration of the error ⁇ in Equation (6), and obtains a contribution rate ⁇ ⁇ ⁇ that minimizes the square value of the error ⁇ .
  • s T is a transposed matrix of s.
  • the CPU 23 The contribution rate P is calculated by applying the data of the spectrum f of the pixel included in the spectrum image F and the data of the emission spectrum S indicated by the emission spectrum data to the equation (8). However, at that time, the CPU 23 applies the mask matrix M (see FIG. 6B), and excludes the term related to the noise channel of the pixel from the equation (8). This reduces the number of terms in Eq. (8) (corresponding to the order of Eq. (7)), but the above-mentioned threshold value d (see Fig. 6 (A)) is appropriate.
  • the contribution rate P for this pixel can be determined reliably by the unmixing of this pixel.
  • the CPU 23 performs the above unmixing for each pixel of the observed spectrum image F, and calculates the contribution rate P of each pixel. This completes this step.
  • the unmixing process in this step is performed by applying the force mask matrix M (Fig. 6 (B)), which is based on the well-known least square method, and the reliability of the observed spectrum image F is low. It will not be reflected at all in the calculation of the mix process. Therefore, the accuracy of this unmixing process is higher than that of the conventional method.
  • the CPU 23 displays the data of the contribution rate P (contribution rate of each fluorescent reagent) of each pixel obtained by the unmixing process on the display 40.
  • the data of the contribution rate P of each pixel may be displayed as numerical data, but in order to inform the user intuitively, the CPU 23 creates an unmixed image colored according to the contribution rate P of each pixel, It is desirable to display it.
  • the computer 20 of this system evaluates the reliability of each component of the observed spectrum image F (here, each wavelength channel of each pixel) and reflects the result of the evaluation in the unmix processing. It is possible to perform a Ronosto unmix process for measurement noise. Therefore, the accuracy of the unmix processing, that is, the performance of this system is surely improved.
  • a second embodiment of the present invention will be described.
  • This embodiment is an embodiment of a spectral imaging fluorescence laser confocal microscope system.
  • the difference is in the operation of CPU23.
  • FIG. 8 is an operation flowchart of the CPU 23 of the present embodiment.
  • the CPU 23 of this embodiment executes a weight matrix creation process (step S3 ′) instead of the thinning process (step S3), and replaces the unmixing process (step S4) by the least square method. Then, unmix processing (step S4 ') by the weighted least square method is executed.
  • steps S3 ′ and S4 ′ will be described in order.
  • for each pixel and each wavelength channel has already been calculated (see Fig. 5).
  • the CPU 23 in this step refers to the evaluation value I d
  • the weight value of each wavelength channel is the reciprocal of the evaluation value
  • the CPU 23 creates a weight matrix W for the pixel based on the weight value (1 / I d I) of each wavelength channel.
  • the weight matrix W is expressed by the following equation (9).
  • the CPU 23 performs the above processing for all the pixels, and calculates the weight matrices W 1, W 2,..., W (L: number of pixels) for all pixels as shown in FIG. Create and book
  • w is a weight matrix of the pixel to be unmixed.
  • the CPU 23 when unmixing a certain pixel of the observed spectrum image F, displays the spectrum f data of the pixel included in the observed spectral image F and the emission spectrum S data indicated by the emission spectrum data.
  • the contribution ratio P is calculated by applying the weight matrix W (see Equation (9)) created for each pixel to Equation (10).
  • the weighting matrix W weights each wavelength channel error (corresponding to ⁇ in equation (7)). According to this weight matrix W (see Eq. (9)), the greater the weight of the error of each wavelength channel, the lower the reliability.
  • the data of the wavelength channel with higher reliability among the pixels to be unmixed has a stronger influence on the unmix result.
  • the reliability of each component of the observed spectrum image F (here, each wavelength channel of each pixel) is evaluated, and the result of the evaluation is subjected to an unmixing process. Therefore, the accuracy of unmix processing, that is, the performance of this system, is definitely improved.
  • the standard value of the normal vector and the inverse normal value of the vector are set as the luminance integral value, but the luminance maximum value is used instead of the luminance integral value. Or as an intermediate brightness value!
  • step S1 instead of the force average filter process in which the average filter process is applied to the smoothing process, a weighted average filter process and a median filter process Apply other spatial filtering such as A little.
  • step S 1 (1) spectrum normalization, (2) spectrum spatial direction smoothing, and (3) spectrum inverse normalization
  • the predicted spectrum image E may be created by another procedure.
  • the predicted spectral image E may be a simple smoothed image of the observed spectral image F in the spatial direction.
  • the predicted spectrum image E is generated based on the force other spectrum image created based on the observed spectrum image F alone. It may be created. For example, one or more spectral images F are acquired at a different timing from the observed spectral image F, and the spectral image F and the observed spectrum t t
  • the predicted spectrum image E may be created by smoothing with the image F (that is, smoothing over the time direction).
  • the power in which the operation program of the CPU 23 is stored in the hard disk drive 26 in advance is part or all of the program via the Internet or a storage medium. It may be installed 20 minutes.
  • each process is executed by the computer 20.
  • a part or all of the operation of the computer 20 may be executed by a device dedicated to the microscope body 10 (control 'image processing device). Good.
  • the microscope main body 10 of each embodiment described above is a force that uses the multichannel photodetector 19 to detect each wavelength component of the incident light.
  • a combination of a channel photodetector and a movable mask, or a combination of multiple 1-channel photodetectors and multiple filters may be used.
  • the microscope main body 10 of each embodiment described above may be a microscope that detects transmitted light or reflected light of light that illuminates the force specimen 15 that is a fluorescence microscope that detects fluorescence generated in the specimen 15. I do not care. In that case, a beam splitter is used instead of the dichroic mirror 12.
  • the microscope main body 10 of each embodiment described above is a microscope (confocal microscope) that detects the light from the specimen 15 confocally, but the function of detecting the confocal may be omitted. In that case, the pinhole mask 17 becomes unnecessary.
  • the microscope main body 10 of each of the above-described embodiments is a scanning microscope that optically scans the specimen 15, but may be modified to a non-scanning microscope. In that case, the optical scanner 13 becomes unnecessary.
  • the present invention can be applied to various apparatuses that perform spectral imaging.

Landscapes

  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Materials By The Use Of Chemical Reactions (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

　本発明は、測定ノイズにロバストなアンミックスを行うスペクトル画像処理方法、及びスペクトル画像処理プログラムを提供する。本発明のスペクトル画像処理方法は、被観察物から取得された観測スペクトル画像と、その被観察物に含まれる複数物質の各々の発光スペクトルデータとに基づき、前記観測スペクトル画像に対する前記複数物質の各々の寄与をアンミックス（Ｓ４）するスペクトル画像処理方法において、前記観測スペクトル画像の予測スペクトル画像に基づき、その観測スペクトル画像の各成分の信頼性を評価する評価手順（Ｓ１，Ｓ２）と、前記評価の結果を前記アンミックスの内容に反映させる反映手順（Ｓ３）とを含むことを特徴とする。

Description

明 細 書
スペクトル画像処理方法、スペクトル画像処理プログラム、及びスペクトル イメージングシステム
技術分野
[0001] 本発明は、顕微鏡などで取得されたスペクトル画像を処理するスペクトル画像処理 方法、及びコンピュータ実行可能なスペクトル画像処理プログラムに関する。また、本 発明は、スペクトルイメージング蛍光レーザ顕微鏡などのスペクトルイメージングシス テムに関する。
背景技術
[0002] 生細胞の動態観察では、蛍光試薬や蛍光タンパクなどの蛍光物質で標本を標識し 、それを蛍光レーザ顕微鏡等の光学顕微鏡で観察することがある。複数の蛍光物質 を同時に使用したときには、波長成分毎の画像 (スペクトル画像)を検出する必要が める。
しかし、複数の蛍光物質の発光波長が重複している場合、それら物質毎の画像を 光学顕微鏡で分離することはできな 、ので、光学顕微鏡が検出したスペクトル画像を コンピュータへ取り込み、それを物質毎の画像に分離 (アンミックス)する解析方法が 有効となる (特許文献 1等参照)。因みに、このアンミックスでは、試薬メーカ等が公開 して 、る各物質の発光スペクトルデータが用いられる。
特干文献 1 : Timo Zimmermann,JensRietdorf,Rainer Pepper o , spectral imaging and its applications in live cell microsopy",FEBS Letters 546(2003),P87- P92,16 May 20 03
発明の開示
発明が解決しょうとする課題
[0003] しかし、実測データであるスペクトル画像には、光学顕微鏡の光源の不安定性、光 学顕微鏡の光検出素子の電気ノイズなどが原因で測定ノイズが重畳されており、そ れはアンミックスの精度に強く影響する。
そこで本発明は、測定ノイズにロバストなアンミックスを行うスペクトル画像処理方法 、及びスペクトル画像処理プログラムを提供することを目的とする。また、本発明は、 高性能なスペクトルイメージングシステムを提供することを目的とする。
課題を解決するための手段
[0004] 本発明のスペクトル画像処理方法は、被観察物カゝら取得された観測スペクトル画像 と、その被観察物に含まれる複数物質の各々の発光スペクトルデータとに基づき、前 記観測スペクトル画像に対する前記複数物質の各々の寄与をアンミックスするスぺク トル画像処理方法にぉ 、て、前記観測スペクトル画像の予測スペクトル画像に基づ き、その観測スペクトル画像の各成分の信頼性を評価する評価手順と、前記評価の 結果を前記アンミックスの内容に反映させる反映手順とを含むことを特徴とする。
[0005] なお、前記予測スペクトル画像は、前記観測スペクトル画像を空間方向に平滑化し てできるスペクトル画像であってもよ！/、。
また、前記評価手順では、前記観測スペクトル画像の信頼性を波長成分毎に評価 してちよい。
また、前記評価手順では、前記観測スぺ外ル画像の信頼性を波長成分毎かつ空 間成分毎に評価してもよい。
[0006] また、前記反映手順では、前記観測スペクトル画像のうち前記信頼性が低!ヽと評価 された成分を、前記アンミックスの演算対象から除外してもよ!/ヽ。
また、前記アンミックスは、前記観測スペクトル画像の各成分の誤差に重み付した 上で前記寄与を推計する前記重み付き最小二乗法からなり、前記反映手順では、前 記重みの付けの内容を前記評価の結果に応じて設定してもよい。
[0007] また、本発明のスペクトル画像処理プログラムは、本発明の何れかのスペクトル画 像処理方法をコンピュータに実行させることを特徴とする。
また、本発明のスペクトルイメージングシステムは、被観察物から観測スペクトル画 像を取得するスペクトルイメージング装置と、前記取得されたスペクトル画像を取り込 み、本発明の何れかのスペクトル画像処理方法を実行するスペクトル画像処理装置 とを備えたことを特徴とする。
発明の効果
[0008] 本発明によれば、測定ノイズにロバストなアンミックスを行うスペクトル画像処理方法 、及びスペクトル画像処理プログラムが実現する。また、本発明は、高性能なスぺタト ルイメージングシステムが実現する。
図面の簡単な説明
[0009] [図 1]実施形態のシステムの構成図である。
[図 2]第 1実施形態の CPU23の動作フローチャートである。
[図 3]ステップ S1 (正規化処理)を説明する図である。
[図 4]ステップ S1 (平滑化処理及び逆正規化処理)を説明する図である。
[図 5]ステップ S2を説明する図である。
[図 6]ステップ S3を説明する図である。
[図 7]蛍光試薬の発光スペクトル S , S , Sの例を示す図である。
1 2 3
[図 8]第 2実施形態の CPU23の動作フローチャートである。
[図 9]ステップ S3'を説明する図である。
発明を実施するための最良の形態
[0010] [第 1実施形態]
本発明の第 1実施形態を説明する。本実施形態は、スペクトルイメージング蛍光レ 一ザコンフォーカル顕微鏡システムの実施形態である。
先ず、本システムの構成を説明する。
図 1は、本システムの構成図である。図 1に示すとおり、本システムには、顕微鏡本 体 10と、それに接続されたコンピュータ 20と、それに接続された入力器 30及び表示 器 40とが備えられる。入力器 30は、マウスやキーボードなどであり、表示器 40は、 L CDなどである。
[0011] 顕微鏡本体 10には、レーザ光源 11と、ダイクロイツクミラー 12と、光スキャナ 13と、 対物レンズ 14と、標本 15と、観察レンズ 16と、ピンホールマスク 17と、分光素子 18と 、多チャンネル光検出器 19とが配置される。標本 15は、複数種類 (例えば 3種類)の 蛍光試薬で標識されており、多チャンネル光検出器 19は、多数 (例えば 32個）の波 長チャンネルを有して 、る。
[0012] コンピュータ 20には、 CPU23と、 CPU23の基本的動作プログラムが書き込まれた ROM24と、 CPU23の動作中の一時的な記憶手段として使用される RAMと、デー タを長期保存するためのハードディスクドライブ 26と、入力器 30及び表示器 40とのィ ンタフェースをとるインタフェース回路 27と、多チャンネル光検出器 19の波長チャン ノレと同数の A/D変換回路 21 , 21 , · ··, 21 と、それと同数のフレームメモリ 22 ,
1 2 32 1
22 , · ··, 22 と力 S備えられる。フレームメモリ 22 , 22 , · ··, 22 、ノヽードディスクドライ
2 32 1 2 32
ブ 26、 CPU23、 ROM24、 RAM25、インタフェース回路 27は、バス 20Bを介して 接続されている。ハードディスクドライブ 26には、本システムに必要な CPU23の動作 プログラムが予め格納されて 、る。
[0013] 顕微鏡本体 10のレーザ光源 11からは、レーザ光（例えば、波長 488nm)が発せら れる。このレーザ光は、ダイクロイツクミラー 12を反射し、光スキャナ 13及び対物レン ズ 14を順に介して標本 15上の 1点に集光する。その集光点では蛍光 (例えば、波長 510〜550nm)が生じ、その蛍光は、対物レンズ 14及び光スキャナ 13を順に介して ダイクロイツクミラー 12へ入射すると、そのダイクロイツクミラー 12を透過し、観察レン ズ 16を介してピンホールマスク 17へと入射する。このピンホールマスク 17は、観察レ ンズ 16及び対物レンズ 14により標本 15と共役関係に結ばれており、標本 15で発生 した蛍光のうち、必要な光線のみを通過させる働きがある。これによつて、顕微鏡本 体 10の共焦点効果が得られる。ピンホールマスク 17を通過した蛍光は、分光素子 1 8へ入射すると、複数の波長成分に分離される。それらの各波長成分は、多チャンネ ル光検出器 19の互いに異なる波長チャンネルへ入射し、独立かつ同時に検出され る。
[0014] 多チャンネル光検出器 19の各波長チャンネル (ここでは 32個の波長チャンネル） は、例えば、 510nm〜550nmの波長範囲の 5nmずつ異なる 32種類の波長成分を 検出する。それら 32個の波長チャンネルから出力される各信号は、コンピュータ 20 へ並列に取り込まれ、 AZD変換回路 21 , 21 , · ··, 21 を介してフレームメモリ 22
1 2 32 1
, 22 , · ··, 22 へ個別に入力される。
2 32
[0015] この多チャンネル光検出器 19と光スキャナ 13とは同期駆動され、これによつて、標 本 15上魏光点で二次元的に走査している期間に、多チャンネル光検出器 19から 繰り返し信号が出力される。このとき、フレームメモリ 22 , 22 , · ··, 22 には、標本 15
1 2 32
の各波長チャンネルの画像が徐々に蓄積されることになる。フレームメモリ 22 , 22 , · ··, 22 に蓄積された各波長チャンネルの画像（チャンネル画像 D , D , · ··, D )は
32 1 2 32
、適当なタイミングで CPU23によって読み出され、 1つのスペクトル画像 Fに纏められ てから、ハードディスクドライブ 26へ格納される。
[0016] なお、コンピュータ 20のハードディスクドライブ 26には、このスペクトル画像 Fの他に 、標本 15に使用された蛍光試薬の発光スペクトルデータが予め格納されている。こ の発光スペクトルデータは、蛍光試薬のメーカ等が公開しているものであって、例え ばインターネットや記憶媒体などを介してコンピュータ 20へ取り込まれたものである。 次に、スペクトル画像 Fの取得後の CPU23の動作を説明する。
[0017] 図 2は、 CPU23の動作フローチャートである。図 2に示すとおり、 CPU23は、予測 スペクトル画像の作成処理 (ステップ S 1)、評価処理 (ステップ S2)、間引き処理 (ステ ップ S3)力もなる前処理を実行した後に、アンミックス処理 (ステップ S4)、表示処理（ ステップ S5)を実行する。以下、これらのステップを順に説明する。
予測スペクトル画像の作成処理 (ステップ S1)：
本ステップでは、先ず、 CPU23は、図 3 (A)に示すとおり、スペクトル画像 Fの各画 素のスペクトルを参照する。図 3 (A)には、或る 4画素 (第 1画素、第 2画素、第 3画素 、第 4画素）のスペクトルカーブを示した。図 3 (A)の横軸は波長チャンネルであり、縦 軸は輝度値である。
[0018] 次に、 CPU23は、図 3 (B)に示すとおり、各画素のスペクトルを、その輝度積分値 A (スペクトルカーブと横軸とで囲まれた領域の面積）が 1となるように正規ィ匕する。各 スペクトルの正規ィ匕では、スペクトルの各波長チャンネルの輝度値に対し、正規化係 数 = (1Z現在の輝度積分値)を乗算すればよい。
ここで、図 3の右側に示すように、正規ィ匕後のスペクトルが成すスペクトル画像を F， とおき、そのスペクトル画像 F'の各波長成分（チャンネル画像）を、 D ' , D ' , · ··, D
1 2 32
，とおく。
[0019] 続いて、 CPU23は、図 4 (A)に示すとおり、チャンネル画像 D ' , D ' , · ··, D ，の
1 2 32 各々に対し平均フィルタ処理を施す。これ〖こより、チャンネル画像 D ' , D ' , · ··, D
1 2 32， の各々は、空間方向にかけて平滑ィ匕される。
チャンネル画像 D'に対する平均フィルタ処理では、例えば、縦 3画素'横 3画素の 開口を有したマスク（演算上のマスクである。）が使用される。このマスクがチャンネル 画像 D'に当てはめられ、マスクの開口中心に位置する着目画素の輝度値が、開口 内の全画素の輝度平均値に置換される。この処理力 チャネル画像 D'上のマスク位 置をずらしながら繰り返し行われることによって、チャンネル画像 D'の全体が平滑ィ匕 される。
[0020] ここで、図 4の左下に示すように、平滑化後の各チャンネル画像を D ", D ", · ··, D
1 2 3
"とおき、それらチャンネル画像 D ", D ", · ··, D "が成すスペクトル画像を F"とおく
2 1 2 32
。このスペクトル画像 F"では、図 4 (B)に示すとおり、各画素のスペクトルカーブが滑 らかになつている。
続いて、 CPU23は、図 4 (C)に示すとおり、スペクトル画像 F"を構成する各画素の スペクトルを、その輝度積分値が正規ィ匕前の輝度積分値（図 3 (A)参照）に戻るように 逆正規化する。各スペクトルの逆正規化では、スペクトルの各波長チャンネルの輝度 値に対し、逆正規化係数 = (正規化前の輝度積分値 Z現在の輝度積分値)を乗算 すればよい。
[0021] ここで、図 4の右下に示すように、逆正規化後のスペクトルが成すスペクトル画像を 、予測スペクトル画像 Eとする。以下、この予測スペクトル画像 Eとの区別を図るため に、元のスペクトル画像 Fを、「観測スペクトル画像 F」と称す。
評価処理 (ステップ S2) :
本ステップでは、先ず、 CPU23は、図 5 (A)に示すとおり、予測スペクトル画像 Eの 或る画素のスペクトル（予測スペクトル）と、観測スペクトル画像 Fの同じ画素のスぺク トル (観測スペクトル）とを参照する。図 5 (A)に示すとおり、予測スペクトルと観測スぺ タトルとの間では、スペクトルカーブの両者の大まかな形状は似ている力 前者は平 滑化されているのに対し、後者には誤差が乗った状態という相違がある。
[0022] そこで、 CPU23は、図 5 (B)に示すとおり、観測スペクトルの各波長チャンネルの評 価置として、それら各波長チャンネルと、予測スペクトルの対応する波長チャンネルと の距離 I d I , I d I , ···, I d
2 32 Iを算出する。距離 I d
i Iは、潘目の波長チャン
1
ネルの輝度差の絶対値である。この距離 I d Iの小さい波長チャンネルほど信頼性 が高ぐ距離 I d Iの大きい波長チャンネルほど信頼性が低いことになる。よって、以 下では、距離 I d Iを、「評価値 I d I」と称す。
[0023] さらに、 CPU23は、以上の処理を各画素についてそれぞれ行い、各画素の各波 長チャンネルの評価値 I d Iを算出すると、本ステップを終了する。
間引き処理 (ステップ S3) :
図 6 (A)には、幾つかの画素の評価値 I d Iの例を示した。本ステップでは、先ず、 CPU23は、或る画素の各波長チャンネルの評価値 I d Iを、図 6 (A)に示すとおり 予め決められた閾値 dと比較し、その中から閾値 dを超過しているものを見出し、そ
T T
れに対応する波長チャンネルを、この画素の中で特に評価の低 、波長チャンネルと みなす。以下、この波長チャンネルを「ノイズチャンネル」と称す。
[0024] さらに、 CPU23は、以上の処理を全ての画素についてそれぞれ行い、全ての画素 のノイズチャンネルを見出す。その結果、各画素のノイズチャンネル力 例えば、図 6 (B)に示すとおり CPU23によって認識される。
図 6 (B)にも示したように、ノイズチャンネルの数は、画素によって 1つの場合もあれ ば、複数の場合もある。但し、或る画素のノイズチャンネルの数が多過ぎると、その画 素に関するアンミックス (後述）が困難になるので、図 6 (A)中の閾値 d
Tは、実験又は シミュレーションにより、アンミックスが困難にならない程度の値に予め設定されること が望ましい。
[0025] 続!、て、 CPU23は、観測スペクトル画像 Fの各画素から、ノイズチャンネルとみなさ れた波長チャンネルのデータを間引く。但し、観測スペクトル画像 F力 データを実際 に排除してしまうと、観測スペクトル画像 Fの元データが保存されなくなるので、ここで は、 CPU23は、データを実際に排除する代わりに、そのデータを演算上でマスクす るマスク行列 Mを作成し、それを後続のステップで適用することとする。このマスク行 列 Mでは、マスクすべき成分に対応する要素が 0となっており、それ以外の成分に対 応する要素が 1となっている。 CPU23は、このマスク行列 Mの作成を以て、本ステツ プを終了する。
[0026] アンミックス処理 (ステップ S4)：
本ステップでは、先ず、 CPU23は、ハードディスクドライブ 26から蛍光試薬の発光 スペクトルデータを読み出す。 発光スペクトルデータは、図 7 (A) , (B) , (C)に示すとおり、 3種類の蛍光試薬 (第 1試薬、第 2試薬、第 3試薬)の発光スペクトル S , S , Sを表す。これらの発光スぺク
1 2 3
トル S , S , Sは、式（1)のような一次元行列で表現される。
[0027] [数 1]
Figure imgf000010_0004
Figure imgf000010_0001
[0028] 但し、式（1)中の要素 は、第 j試薬の i番目の波長の輝度値である。その波長の番 号 iは、観測スペクトル画像 Fの波長チャンネルの番号 iに対応して!/、る。
一方、観測スペクトル画像 Fの或る画素のスペクトル fは、式（2)のような一次元行列 で表現される。要素 fは、この画素の i番目の波長チャンネルの輝度値である。
[0029] [数 2] f,
Figure imgf000010_0002
32
[0030] よって、この画素に対する第 1試薬の寄与率を pとおき、第 2試薬の寄与率を pとお
1 2 き、第 3試薬の寄与率を pとおくと、この画素のスペクトル fと寄与率 p , p , pとの間に は、式（3)が成り立つ。
[0031] [数 3]
Figure imgf000010_0003
[0032] さらに、発光スペクトル S , S , Sを、式（4)に示すとおり 1つの行列 Sで纏めて表し
2 3
、寄与率 p , p , pを、式（5)に示すとおり 1つの行列 Pで纏めて表すと、式（3)は式 (
2 3 6)のとおり変形される c
[0033] [数 4]
Figure imgf000011_0001
[0034] [数 5]
Figure imgf000011_0002
[0035] [数 6]
Figure imgf000011_0003
[0036] 以下、この行列 Sを「発光スペクトル S」と称し、この行列 Pを「寄与率 P」と称す。
よって、観測スペクトル画像 Fの或る画素のアンミックスでは、観測スペクトル画像 F に含まれるこの画素のスペクトル fのデータと、発光スペクトルデータが示して 、る発 光スペクトル Sのデータとを式（6)へ当てはめ、それを寄与率 Pにつ!/、て解けばよ！、。 但し、本システムでは、波長チャンネルの数 (ここでは 32)が蛍光試薬の種類数 (こ こでは 3)よりも十分に多く設定されたので、最小二乗法が適用される。
[0037] 最小二乗法は、式 (6)において誤差 εを考慮した式 (7)を用意し、その誤差 εの 二乗値が最小となるような寄与率 Ρを求めるものである。
[0038] [数 7]
Figure imgf000011_0004
[0039] この最小二乗法による寄与率 Pの算出式を具体的に示すと、式 (8)の通りである。
[0040] [数 8]
Figure imgf000011_0005
[0041] 但し、 sTは、 sの転置行列である。
したがって、観測スペクトル画像 Fの或る画素のアンミックスでは、 CPU23は、観測 スペクトル画像 Fに含まれるこの画素のスペクトル fのデータと、発光スペクトルデータ が示している発光スペクトル Sのデータとを式 (8)へ当てはめることにより、寄与率 Pを 算出する。但し、その際に CPU23は、マスク行列 M (図 6 (B)参照）を適用し、その画 素のノイズチャンネルに関する項を、式（8)から排除する。これによつて、式（8)の項 数 (式 (7)の次数に相当する。）は低減するが、上述した閾値 d (図 6 (A)参照）が適
T
当に設定されたので、寄与率 Pを算出するのに必要な項数 (式 (7)の次数)は、確保 されるものとする。したがって、この画素のアンミックスにより、この画素に関する寄与 率 Pは、確実に求まる。
[0042] そして、 CPU23は、以上のアンミックスを、観測スペクトル画像 Fの各画素について それぞれ行い、各画素の寄与率 Pをそれぞれ算出する。これによつて、本ステップが 終了する。
以上、本ステップのアンミックス処理は、周知の最小二乗法によるものである力 マ スク行列 M (図 6 (B) )の適用により、観測スペクトル画像 Fのうち信頼性の低 、成分 は、アンミックス処理の演算に全く反映されないことになる。したがって、このアンミック ス処理の精度は、従来のそれよりも高くなる。
[0043] 表示処理 (ステップ S5)：
本ステップでは、 CPU23は、アンミックス処理で求まった各画素の寄与率 P (各蛍 光試薬の寄与率)のデータを、表示器 40へ表示する。各画素の寄与率 Pのデータは 、数値データとして表示してもよいが、ユーザへ直感的に知らせるため、 CPU23は、 各画素の寄与率 Pに応じて色づけされたアンミックス画像を作成し、それを表示する ことが望ましい。
[0044] 以上、本システムのコンピュータ 20は、観測スペクトル画像 Fの各成分（ここでは、 各画素の各波長チャンネル)の信頼性を評価し、その評価の結果をアンミックス処理 に反映させるので、測定ノイズにロノストなアンミックス処理を行うことができる。したが つて、アンミックス処理の精度、すなわち本システムの性能は、確実に向上する。
[第 2実施形態]
本発明の第 2実施形態を説明する。本実施形態は、スペクトルイメージング蛍光レ 一ザコンフォーカル顕微鏡システムの実施形態である。ここでは、第 1実施形態との 相違点のみ説明する。相違点は、 CPU23の動作にある。
[0045] 図 8は、本実施形態の CPU23の動作フローチャートである。図 8に示すとおり、本 実施形態の CPU23は、間引き処理 (ステップ S3)の代わりに、重み行列の作成処理 (ステップ S3 ' )を実行し、最小二乗法によるアンミックス処理 (ステップ S4)の代わりに 、重み付き最小二乗法によるアンミックス処理 (ステップ S4' )を実行する。以下、これ らのステップ S3' , S4'を順に説明する。
[0046] 重み行列の作成処理 (ステップ S3 ' )：
本ステップの開始時点では、各画素、各波長チャンネルの評価値 | d | は、既に算 出されている（図 5参照）。本ステップの CPU23は、この中から、或る画素に関する評 価値 I d |を参照し、図 9 (A)に示すとおり、その画素の各波長チャンネルの重み値 を生成する。各波長チャンネルの重み値は、各波長チャンネルの評価値 | d |の逆 数である。そして、 CPU23は、各波長チャンネルの重み値（1/ I d I )により、その 画素に関する重み行列 Wを作成する。
[0047] ここで、 i番目の波長チャンネルの重み値を 1/ I d Iとおくと、重み行列 Wは、以 下の式（9)で表される。
[0048] [数 9]
Figure imgf000013_0001
[0049] さらに、 CPU23は、以上の処理を全ての画素についてそれぞれ行い、図 9 (B)に 示すとおり、全ての画素の重み行列 W , W , · ··, W (L :画素数）を作成し、本ステツ
1 2 L
プを終了する。
アンミックス処理 (ステップ S4， )：
本ステップでは、 CPU23は、各画素のアンミックスを、重み付き最小二乗法により 行う。重み付き最小二乗法では、寄与率 Pの算出式として、式 (8)の代わりに式（10) が用いられる。 [0050] [数 10]
Figure imgf000014_0001
[0051] 但し、 wは、アンミックス対象となった画素の重み行列である。
つまり、 CPU23は、観測スペクトル画像 Fの或る画素のアンミックスでは、観測スぺ タトル画像 Fに含まれるこの画素のスペクトル fのデータと、発光スペクトルデータが示 して 、る発光スペクトル Sのデータと、その画素つ 、て作成された重み行列 W (式（9) 参照）とを式（10)に当てはめることにより、寄与率 Pを算出する。
[0052] この式（10)によると、重み行列 Wにより、各波長チャンネルの誤差（式（7)の εに 相当する。 )に対し重み付けがなされる。し力も、この重み行列 W (式（9)参照）による と、各波長チャンネルの誤差に対し、その信頼性が低いほど大きい重みが付与され ることになる。
したがって、本ステップによれば、アンミックス対象となった画素のうち、信頼性の高 い波長チャンネルのデータほど、アンミックス結果に対して強く影響することになる。
[0053] 以上、本実施形態でも、第 1実施形態と同様、観測スペクトル画像 Fの各成分 (ここ では、各画素の各波長チャンネル)の信頼性を評価し、その評価の結果をアンミック ス処理に反映させるので、アンミックス処理の精度、すなわち本システムの性能は、 確実に向上する。
し力も、本実施形態では、観測スペクトル画像 Fの一部のデータを排除する代わり に、各データの影響度に差異を設けるので、観測スペクトル画像 Fの全データが最大 限に生かされる。
[0054] [各実施形態の変形例]
なお、上述した実施形態の予測スペクトル画像 Εの作成処理 (ステップ S1)では、ス ベクトルの正規ィ匕及び逆正規ィ匕の基準を輝度積分値としたが、輝度積分値の代わり に輝度最大値や輝度中間値などとしてもよ!ヽ。
また、上述した各実施形態の予測スペクトル画像 Εの作成処理 (ステップ S 1)では、 平滑化処理に平均フィルタ処理を適用した力 平均フィルタ処理の代わりに、重み付 き平均フィルタ処理、メディアンフィルタ処理などの他の空間フィルタ処理を適用して ちょい。
[0055] また、上述した各実施形態の予測スペクトル画像 Eの作成処理 (ステップ S 1)では、 平滑化処理におけるマスクのサイズ（フィルタのサイズ）が 3画素 X 3画素 = 9画素で あつたが、他のサイズに代えてもよい。
また、上述した各実施形態の予測スペクトル画像 Eの作成処理 (ステップ S 1)では、 (1)スペクトルの正規化、（2)スペクトルの空間方向の平滑化、（3)スペクトルの逆正 規化、の 3手順によって予測スペクトル画像 Eを作成した力 予測スペクトル画像 Eは 、他の手順によって作成されてもよい。例えば、予測スペクトル画像 Eは、観測スぺク トル画像 Fを空間方向にかけて単純に平滑ィ匕しただけのものであってもよ 、。
[0056] また、上述した各実施形態の予測スペクトル画像 Eの作成処理 (ステップ S 1)では、 予測スペクトル画像 Eを、観測スペクトル画像 Fのみに基づき作成した力 他のスぺク トル画像に基づき作成されてもよい。例えば、観測スペクトル画像 Fとは異なるタイミン グで 1又は複数のスペクトル画像 Fを取得し、そのスペクトル画像 Fと観測スペクトル t t
画像 Fとの間で平滑ィ匕すること (つまり時間方向にかけて平滑ィ匕すること）により、予 測スペクトル画像 Eを作成してもよ 、。
[0057] また、上述した各実施形態では、 CPU23の動作プログラムがハードディスクドライ ブ 26に予め格納されていた力 そのプログラムの一部又は全部は、インターネットや 記憶媒体などを介して外部カゝらコンピュータ 20ヘインストールされたものであってもよ い。
また、上述した各実施形態では、各処理がコンピュータ 20によって実行されたが、 コンピュータ 20の一部又は全部の動作は、顕微鏡本体 10に専用の装置 (制御'画像 処理装置）によって実行されてもよい。
[0058] また、上述した各実施形態の顕微鏡本体 10は、入射光の各波長成分を検出する ために多チャンネル光検出器 19を使用している力 多チャンネル光検出器 19の代 わりに、 1チャンネル光検出器と可動マスクとの組み合わせ、複数の 1チャンネル光検 出器と複数のフィルタとの組み合わせなどを使用してもよい。但し、多チャンネル光検 出器 19を使用すると、各チャンネルの同時検出と省スペース化との双方が可能であ る。 [0059] また、上述した各実施形態の顕微鏡本体 10は、標本 15で生じた蛍光を検出する 蛍光顕微鏡である力 標本 15を照明する光の透過光又は反射光を検出する顕微鏡 であっても構わない。その場合、ダイクロイツクミラー 12の代わりにビームスプリッタが 使用される。
また、上述した各実施形態の顕微鏡本体 10は、標本 15からの光を共焦点検出す る顕微鏡 (共焦点顕微鏡)であるが、その共焦点検出の機能を省略しても構わない。 その場合、ピンホールマスク 17は不要となる。
[0060] また、上述した各実施形態の顕微鏡本体 10は、標本 15上を光走査する走査型顕 微鏡であるが、非走査型顕微鏡に変形しても構わない。その場合、光スキャナ 13は 不要となる。
すなわち、本発明は、スペクトルイメージングを行う各種の装置に適用することが可 能である。

Claims

請求の範囲
[1] 被観察物から取得された観測スペクトル画像と、その被観察物に含まれる複数物質 の各々の発光スペクトルデータとに基づき、前記観測スペクトル画像に対する前記複 数物質の各々の寄与をアンミックスするスペクトル画像処理方法にぉ 、て、
前記観測スペクトル画像の予測スペクトル画像に基づき、その観測スペクトル画像 の各成分の信頼性を評価する評価手順と、
前記評価の結果を前記アンミックスの内容に反映させる反映手順と
を含むことを特徴とするスペクトル画像処理方法。
[2] 請求項 1に記載のスペクトル画像処理方法にお!、て、
前記予測スペクトル画像は、
前記観測スペクトル画像を空間方向に平滑ィ匕してできるスペクトル画像である ことを特徴とするスペクトル画像処理方法。
[3] 請求項 1又は請求項 2に記載のスペクトル画像処理方法にお 、て、
前記評価手順では、
前記観測スペクトル画像の信頼性を波長成分毎に評価する
ことを特徴とするスペクトル画像処理方法。
[4] 請求項 1又は請求項 2に記載のスペクトル画像処理方法にお 、て、
前記評価手順では、
前記観測スペクトル画像の信頼性を波長成分毎かつ空間成分毎に評価する ことを特徴とするスペクトル画像処理方法。
[5] 請求項 1〜請求項 4の何れか一項に記載のスペクトル画像処理方法にお 、て、 前記反映手順では、
前記観測スペクトル画像のうち前記信頼性が低 ヽと評価された成分を、前記アンミ ッタスの演算対象力 除外する
ことを特徴とするスペクトル画像処理方法。
[6] 請求項 1〜請求項 4の何れか一項に記載のスペクトル画像処理方法にお 、て、 前記アンミックスは、
前記観測スペクトル画像の各成分の誤差に重み付した上で前記寄与を推計する前 記重み付き最小二乗法力 なり、
前記反映手順では、
前記重みの付けの内容を前記評価の結果に応じて設定する
ことを特徴とするスペクトル画像処理方法。
[7] 請求項 1〜請求項 6の何れか一項に記載のスペクトル画像処理方法をコンピュータ に実行させることを特徴とするスペクトル画像処理プログラム。
[8] 被観察物から観測スペクトル画像を取得するスペクトルイメージング装置と、
前記取得されたスペクトル画像を取り込み、請求項 1〜請求項 7の何れか一項に記 載のスペクトル画像処理方法を実行するスペクトル画像処理装置と
を備えたことを特徴とするスペクトルイメージングシステム。
PCT/JP2007/051699 2006-02-23 2007-02-01 スペクトル画像処理方法、スペクトル画像処理プログラム、及びスペクトルイメージングシステム WO2007097171A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP07707885.5A EP1990630B1 (en) 2006-02-23 2007-02-01 Spectrum image processing method, spectrum image processing program, and spectrum imaging system
US11/913,294 US8045153B2 (en) 2006-02-23 2007-02-01 Spectral image processing method, spectral image processing program, and spectral imaging system
JP2007526097A JP4872914B2 (ja) 2006-02-23 2007-02-01 スペクトル画像処理方法、スペクトル画像処理プログラム、及びスペクトルイメージングシステム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006-046509 2006-02-23
JP2006046509 2006-02-23

Publications (1)

Publication Number Publication Date
WO2007097171A1 true WO2007097171A1 (ja) 2007-08-30

Family

ID=38437210

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/051699 WO2007097171A1 (ja) 2006-02-23 2007-02-01 スペクトル画像処理方法、スペクトル画像処理プログラム、及びスペクトルイメージングシステム

Country Status (4)

Country Link
US (1) US8045153B2 (ja)
EP (1) EP1990630B1 (ja)
JP (1) JP4872914B2 (ja)
WO (1) WO2007097171A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009186442A (ja) * 2008-02-08 2009-08-20 Olympus Corp 画像処理装置、画像処理装置の信頼性評価方法および画像処理プログラム
JP2010071662A (ja) * 2008-09-16 2010-04-02 Nikon Corp スペクトル画像処理方法、スペクトル画像処理プログラム、及びスペクトルイメージングシステム
WO2011115087A1 (ja) * 2010-03-16 2011-09-22 オリンパス株式会社 蛍光内視鏡装置
JP2014167647A (ja) * 2014-05-02 2014-09-11 Nikon Corp レーザ励起蛍光顕微鏡
US10295466B2 (en) 2010-04-28 2019-05-21 Sony Corporation Fluorescence intensity correcting method, fluorescence intensity calculating method, and fluorescence intensity calculating apparatus
WO2021182031A1 (ja) * 2020-03-13 2021-09-16 ソニーグループ株式会社 粒子解析システムおよび粒子解析方法
WO2022004500A1 (ja) * 2020-06-30 2022-01-06 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、顕微鏡システム及び解析システム
JP2022003343A (ja) * 2017-09-08 2022-01-11 ソニーグループ株式会社 スペクトル型フローサイトメータシステム、情報処理装置および情報処理方法
US20230062339A1 (en) * 2018-12-28 2023-03-02 Becton, Dickinson And Company Methods for Spectrally Resolving Fluorophores of a Sample and Systems for Same

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090192742A1 (en) * 2008-01-30 2009-07-30 Mensur Omerbashich Procedure for increasing spectrum accuracy
US8725477B2 (en) 2008-04-10 2014-05-13 Schlumberger Technology Corporation Method to generate numerical pseudocores using borehole images, digital rock samples, and multi-point statistics
EP2263107A4 (en) * 2008-04-10 2016-12-28 Services Petroliers Schlumberger METHOD FOR CHARACTERIZING A GEOLOGICAL FORMATION THROUGH A DRILLING OXYGEN
EP3501384A3 (en) 2008-05-20 2019-10-16 University Health Network Method for fluorescence-based imaging and monitoring
US20110004447A1 (en) * 2009-07-01 2011-01-06 Schlumberger Technology Corporation Method to build 3D digital models of porous media using transmitted laser scanning confocal mircoscopy and multi-point statistics
US8311788B2 (en) 2009-07-01 2012-11-13 Schlumberger Technology Corporation Method to quantify discrete pore shapes, volumes, and surface areas using confocal profilometry
KR101352769B1 (ko) * 2012-05-09 2014-01-22 서강대학교산학협력단 배경과 관심조직을 구별하는 방법 및 장치
ES2894912T3 (es) 2014-07-24 2022-02-16 Univ Health Network Recopilación y análisis de datos con fines de diagnóstico
DE102017221187B4 (de) * 2017-11-27 2020-08-13 Carl Zeiss Meditec Ag Verfahren zur Bestimmung der Konzentration von verschiedenen, in einem Objekt enthaltenen Fluoreszenzemittern und Mikroskopiesystem
CN112254814B (zh) * 2020-10-21 2023-04-25 辽宁新华印务有限公司 多维光谱颜色空间的构建方法、装置和电子设备
DE102022130251A1 (de) 2022-11-16 2024-05-16 Carl Zeiss Microscopy Gmbh Mikroskopanordnung und Verfahren zur Untersuchung einer mit mehreren Farbstoffen gefärbten Probe

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000503774A (ja) * 1996-06-03 2000-03-28 ザ パーキン―エルマー コーポレーション 統計的信頼区間の決定を含む多成分分析方法
JP2002168868A (ja) * 2000-11-29 2002-06-14 Shimadzu Corp 核酸の塩基配列決定方法
JP2003083894A (ja) * 2001-09-14 2003-03-19 Sumitomo Electric Ind Ltd 蛍光値補正方法、蛍光値補正装置、蛍光値補正プログラム及び前記蛍光値補正プログラムを記録した記録媒体
JP2004163312A (ja) * 2002-11-14 2004-06-10 Arkray Inc 測定装置、蛍光測定装置及び蛍光測定方法
WO2005036143A1 (ja) * 2003-10-10 2005-04-21 Hamamatsu Photonics K.K. 蛍光色素の濃度を定量する方法およびシステム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5798262A (en) * 1991-02-22 1998-08-25 Applied Spectral Imaging Ltd. Method for chromosomes classification
US5991456A (en) * 1996-05-29 1999-11-23 Science And Technology Corporation Method of improving a digital image
JP3783815B2 (ja) 1997-12-18 2006-06-07 株式会社リコー 画像処理装置
US6415233B1 (en) * 1999-03-04 2002-07-02 Sandia Corporation Classical least squares multivariate spectral analysis
US6341257B1 (en) * 1999-03-04 2002-01-22 Sandia Corporation Hybrid least squares multivariate spectral analysis methods
US6750964B2 (en) * 1999-08-06 2004-06-15 Cambridge Research And Instrumentation, Inc. Spectral imaging methods and systems
US6888963B2 (en) * 2000-07-18 2005-05-03 Matsushita Electric Industrial Co., Ltd. Image processing apparatus and image processing method
US6894699B2 (en) * 2000-07-21 2005-05-17 Mitsubishi Denki Kabushiki Kaisha Image display device employing selective or asymmetrical smoothing
JP3815188B2 (ja) 2000-07-21 2006-08-30 三菱電機株式会社 画像表示装置および画像表示方法
US20020047907A1 (en) * 2000-08-30 2002-04-25 Nikon Corporation Image processing apparatus and storage medium for storing image processing program
JP2002152762A (ja) 2000-08-30 2002-05-24 Nikon Corp 画像処理装置および画像処理プログラムを記録した記録媒体
EP2309253A2 (en) * 2001-09-05 2011-04-13 Life Technologies Corporation Apparatus for reading signals generated from resonance light scattered particle labels
DE10222779A1 (de) * 2002-05-16 2004-03-04 Carl Zeiss Jena Gmbh Verfahren und Anordnung zur Untersuchung von Proben
US6763308B2 (en) * 2002-05-28 2004-07-13 Sas Institute Inc. Statistical outlier detection for gene expression microarray data
US6906859B2 (en) * 2002-06-05 2005-06-14 Nikon Corporation Epi-illumination apparatus for fluorescent observation and fluorescence microscope having the same
US7480083B2 (en) * 2002-07-30 2009-01-20 Canon Kabushiki Kaisha Image processing system, apparatus, and method, and color reproduction method
US7471831B2 (en) * 2003-01-16 2008-12-30 California Institute Of Technology High throughput reconfigurable data analysis system
US7283684B1 (en) * 2003-05-20 2007-10-16 Sandia Corporation Spectral compression algorithms for the analysis of very large multivariate images
CN1817047A (zh) * 2003-06-30 2006-08-09 株式会社尼康 用于处理具有排列的不同色彩分量的图像的图像处理装置,图像处理程序,电子照相机,以及图像处理方法
US7321791B2 (en) * 2003-09-23 2008-01-22 Cambridge Research And Instrumentation, Inc. Spectral imaging of deep tissue
JP4021414B2 (ja) * 2003-11-26 2007-12-12 オリンパス株式会社 スペクトラルデコンボリューション法及びスペクトラルブラインドデコンボリューション法
EP2237189B1 (en) * 2005-01-27 2018-08-01 Cambridge Research & Instrumentation, Inc. Classifying image features
JP4537231B2 (ja) * 2005-03-07 2010-09-01 独立行政法人理化学研究所 多重蛍光からの蛍光色素濃度の推定方法および多重蛍光からの蛍光強度の推定方法
US20070088535A1 (en) * 2005-10-17 2007-04-19 Eastman Kodak Company Generic spectral model for imaging devices
US20070099535A1 (en) * 2005-11-03 2007-05-03 Riebersal Michael A Water throwing toy
US8055035B2 (en) * 2006-02-23 2011-11-08 Nikon Corporation Spectral image processing method, computer-executable spectral image processing program, and spectral imaging system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000503774A (ja) * 1996-06-03 2000-03-28 ザ パーキン―エルマー コーポレーション 統計的信頼区間の決定を含む多成分分析方法
JP2002168868A (ja) * 2000-11-29 2002-06-14 Shimadzu Corp 核酸の塩基配列決定方法
JP2003083894A (ja) * 2001-09-14 2003-03-19 Sumitomo Electric Ind Ltd 蛍光値補正方法、蛍光値補正装置、蛍光値補正プログラム及び前記蛍光値補正プログラムを記録した記録媒体
JP2004163312A (ja) * 2002-11-14 2004-06-10 Arkray Inc 測定装置、蛍光測定装置及び蛍光測定方法
WO2005036143A1 (ja) * 2003-10-10 2005-04-21 Hamamatsu Photonics K.K. 蛍光色素の濃度を定量する方法およびシステム

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8811728B2 (en) 2008-02-08 2014-08-19 Olympus Corporation Image processing apparatus and computer program product
JP2009186442A (ja) * 2008-02-08 2009-08-20 Olympus Corp 画像処理装置、画像処理装置の信頼性評価方法および画像処理プログラム
JP2010071662A (ja) * 2008-09-16 2010-04-02 Nikon Corp スペクトル画像処理方法、スペクトル画像処理プログラム、及びスペクトルイメージングシステム
US9521947B2 (en) 2010-03-16 2016-12-20 Olympus Corporation Fluorescence endoscope apparatus
WO2011115087A1 (ja) * 2010-03-16 2011-09-22 オリンパス株式会社 蛍光内視鏡装置
EP2548496A1 (en) * 2010-03-16 2013-01-23 Olympus Corporation Fluorescence endoscopy device
JP2011191271A (ja) * 2010-03-16 2011-09-29 Olympus Corp 蛍光内視鏡装置
CN102791179A (zh) * 2010-03-16 2012-11-21 奥林巴斯株式会社 荧光内窥镜装置
EP2548496A4 (en) * 2010-03-16 2015-04-01 Olympus Corp FLUORESCENCE ENDOSCOPY DEVICE
CN102791179B (zh) * 2010-03-16 2016-01-06 奥林巴斯株式会社 荧光内窥镜装置
US10656090B2 (en) 2010-04-28 2020-05-19 Sony Corporation Fluorescence intensity correcting method, fluorescence intensity calculating method, and fluorescence intensity calculating apparatus
US10295466B2 (en) 2010-04-28 2019-05-21 Sony Corporation Fluorescence intensity correcting method, fluorescence intensity calculating method, and fluorescence intensity calculating apparatus
US11262305B2 (en) 2010-04-28 2022-03-01 Sony Corporation Fluorescence intensity correcting method, fluorescence intensity calculating method, and fluorescence intensity calculating apparatus
US11340167B2 (en) 2010-04-28 2022-05-24 Sony Corporation Fluorescence intensity correcting method, fluorescence intensity calculating method, and fluorescence intensity calculating apparatus
JP2014167647A (ja) * 2014-05-02 2014-09-11 Nikon Corp レーザ励起蛍光顕微鏡
JP2022003343A (ja) * 2017-09-08 2022-01-11 ソニーグループ株式会社 スペクトル型フローサイトメータシステム、情報処理装置および情報処理方法
US11480513B2 (en) 2017-09-08 2022-10-25 Sony Corporation Fine particle measurement apparatus, information processing apparatus, and information processing method
JP7176604B2 (ja) 2017-09-08 2022-11-22 ソニーグループ株式会社 スペクトル型フローサイトメータシステム、情報処理装置および情報処理方法
US20230062339A1 (en) * 2018-12-28 2023-03-02 Becton, Dickinson And Company Methods for Spectrally Resolving Fluorophores of a Sample and Systems for Same
WO2021182031A1 (ja) * 2020-03-13 2021-09-16 ソニーグループ株式会社 粒子解析システムおよび粒子解析方法
WO2022004500A1 (ja) * 2020-06-30 2022-01-06 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、顕微鏡システム及び解析システム

Also Published As

Publication number Publication date
EP1990630B1 (en) 2022-08-24
US20090128806A1 (en) 2009-05-21
EP1990630A1 (en) 2008-11-12
EP1990630A4 (en) 2015-09-23
JPWO2007097171A1 (ja) 2009-07-09
JP4872914B2 (ja) 2012-02-08
US8045153B2 (en) 2011-10-25

Similar Documents

Publication Publication Date Title
WO2007097171A1 (ja) スペクトル画像処理方法、スペクトル画像処理プログラム、及びスペクトルイメージングシステム
JP4826586B2 (ja) スペクトル画像処理方法、コンピュータ実行可能なスペクトル画像処理プログラム、スペクトルイメージングシステム
Bolte et al. A guided tour into subcellular colocalization analysis in light microscopy
French et al. Colocalization of fluorescent markers in confocal microscope images of plant cells
US10032064B2 (en) Visualization and measurement of cell compartments
US8290235B2 (en) Quantitative, multispectral image analysis of tissue specimens stained with quantum dots
JP5489469B2 (ja) 蛍光信号解析装置および蛍光信号解析方法
US8306317B2 (en) Image processing apparatus, method and computer program product
US20140369588A1 (en) Darkfield imaging system and methods for automated screening of calls
JP6771584B2 (ja) デジタルパソロジーのカラーキャリブレーションおよび実証
JP5154844B2 (ja) 画像処理装置および画像処理プログラム
CA2996231C (en) Scan-based imaging with variable scan speed using predictions of region-of-interest positions
JP2018530823A (ja) 病理学的明視野画像における自動染色検出
JP5228729B2 (ja) スペクトル画像処理方法、スペクトル画像処理プログラム、及びスペクトルイメージングシステム
JP2009014355A (ja) 画像処理装置および画像処理プログラム
US20230092749A1 (en) High throughput snapshot spectral encoding device for fluorescence spectral microscopy
US20030128424A1 (en) Laser scanning confocal microscope apparatus, image recording method, and recording medium
CN115176139A (zh) 用于调整训练门以适应流式细胞仪数据的方法和系统
WO2022249583A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
CN117546007A (zh) 信息处理装置、生物样本观察系统及图像生成方法
WO2023149296A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
WO2023026742A1 (ja) 色素画像取得方法、色素画像取得装置、及び色素画像取得プログラム
CN116223457A (zh) 分析多种荧光团的混合荧光响应的方法和荧光分析仪
Bednarkiewicz et al. Microscopic fluorescence lifetime and hyperspectral imaging with digital micromirror illuminator
Haaland et al. Advanced Approaches to Multivariate Curve Resolution Analysis of Hyperspectral Fluorescence Images.

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2007526097

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2007707885

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 11913294

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE