WO2007097170A1 - スペクトル画像処理方法、コンピュータ実行可能なスペクトル画像処理プログラム、スペクトルイメージングシステム - Google Patents

スペクトル画像処理方法、コンピュータ実行可能なスペクトル画像処理プログラム、スペクトルイメージングシステム Download PDF

Info

Publication number
WO2007097170A1
WO2007097170A1 PCT/JP2007/051698 JP2007051698W WO2007097170A1 WO 2007097170 A1 WO2007097170 A1 WO 2007097170A1 JP 2007051698 W JP2007051698 W JP 2007051698W WO 2007097170 A1 WO2007097170 A1 WO 2007097170A1
Authority
WO
WIPO (PCT)
Prior art keywords
spectrum
image processing
spectral
processing method
spectral image
Prior art date
Application number
PCT/JP2007/051698
Other languages
English (en)
French (fr)
Inventor
Hisashi Okugawa
Masafumi Mimura
Original Assignee
Nikon Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corporation filed Critical Nikon Corporation
Priority to US11/913,281 priority Critical patent/US8055035B2/en
Priority to JP2007526098A priority patent/JP4826586B2/ja
Priority to EP07707884.8A priority patent/EP1988383B1/en
Publication of WO2007097170A1 publication Critical patent/WO2007097170A1/ja

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G01N21/274—Calibration, base line adjustment, drift correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • Spectral image processing method computer-executable spectral image processing program, spectrum imaging system
  • the present invention relates to a spectral image processing method for processing a spectral image acquired with a microscope or the like, and a computer-executable spectral image processing program.
  • the present invention also relates to a spectral imaging system such as a spectral imaging fluorescent laser microscope.
  • a sample is sometimes labeled with a fluorescent substance such as a fluorescent reagent or fluorescent protein, and observed with an optical microscope such as a fluorescent laser microscope.
  • a fluorescent substance such as a fluorescent reagent or fluorescent protein
  • an optical microscope such as a fluorescent laser microscope.
  • Patent Document 1 Timo Zimmermann, JensRietdorf, Rainer Pepperkok, Spectral imaging and its applications in live cell microsopy ", FEBS Letters 546 (2003), P87-P92, 16 May 20 03
  • measurement noise is superimposed on the spectrum image, which is actually measured data, due to instability of the light source of the microscope and electrical noise of the light detection element of the microscope, which strongly affects the accuracy of the amperage.
  • the spectra of multiple fluorescent reagents are similar, for example, when the peak wavelengths are close to each other, if the measurement noise is large, unmixing may occur. The accuracy becomes worse.
  • an object of the present invention is to provide a spectrum image processing method and a computer-executable spectrum image processing program capable of reducing noise without compromising necessary information.
  • Another object of the present invention is to provide a high-performance spectral imaging system.
  • the normalization is performed so that the integrated luminance values of the spectrum are aligned, and the inverse normalization is performed so that the integrated luminance value of the spectrum returns to the value before the normal value. It is desirable.
  • the normalization may be performed so that the maximum luminance values of the spectrum are aligned, and the inverse normalization may be performed so that the maximum luminance value of the spectrum returns to a value before the normal value.
  • another spectral image processing method of the present invention includes a spectral image image-processed using any one of the spectral image processing methods of the present invention, and emission spectral information of a plurality of substances contained in the object to be observed. And an unmix procedure for separately obtaining the contribution of each of the plurality of substances to the spectrum image.
  • the spectral image processing program of the present invention is any one of the spectral images of the present invention.
  • An image processing method is executed by a computer.
  • a spectrum imaging system of the present invention includes a spectrum imaging device that acquires a spectrum image of an observation object, and a spectrum that captures the acquired spectrum image and executes any one of the spectrum image processing methods of the present invention. It features an image processing device.
  • a spectral image processing method and a computer-executable spectral image processing program capable of reducing noise without compromising necessary information are realized. Further, according to the present invention, a high-performance spectral imaging system is realized.
  • FIG. 1 is a configuration diagram of a system according to an embodiment.
  • FIG. 2 is an operation flowchart of the CPU 23.
  • FIG. 3 is a diagram for explaining regular wrinkle processing.
  • FIG. 4 is a diagram for explaining smoothing process and inverse normal process.
  • FIG. 5 is a diagram showing an example of emission spectrum curves S 1, S 2 and S 3 of a fluorescent reagent.
  • FIG. 6 is a diagram showing a change in the spectrum curve when the standard of normality is the maximum luminance value.
  • FIG. 7 A diagram showing changes in the spectrum curve when the inverse standard is the maximum luminance value.
  • This embodiment is an embodiment of a spectral imaging fluorescence laser confocal microscope system.
  • Fig. 1 is a block diagram of this system.
  • the system includes a microscope body 10, a computer 20 connected thereto, and an input device 30 and a display device 40 connected thereto.
  • the input device 30 is a mouse or a keyboard
  • the display device 40 is an LCD or the like.
  • the microscope body 10 includes a laser light source 11, a dichroic mirror 12, an optical scanner 13, an objective lens 14, a specimen 15, an observation lens 16, a pinhole mask 17, a spectroscopic element 18, A multi-channel photodetector 19 is arranged.
  • the specimen 15 is labeled with a plurality of types (for example, three types) of fluorescent reagents, and the multi-channel photodetector 19 has a large number (for example, 32) of wavelength channels.
  • the computer 20 includes a CPU 23, a ROM 24 in which a basic operation program of the CPU 23 is written, a RAM used as a temporary storage means during the operation of the CPU 23, and a hard disk drive for storing information for a long period of time. 26, an interface circuit 27 that interfaces with the input device 30 and the display device 40, and the same number of A / D conversion circuits 21, 21,..., 21 as the wavelength channel channels of the multi-channel photodetector 19, Equal number of frame memories 22, 2
  • CPU 26, CPU 23, ROM 24, RAM 25, and interface circuit 27 are connected via bus 20B.
  • the hard disk drive 26 stores an operation program for the CPU 23 necessary for this system in advance.
  • a laser beam (for example, a wavelength of 488 nm) is emitted from the laser light source 11 of the microscope body 10.
  • This laser light is reflected by the dichroic mirror 12 and condensed on one point on the specimen 15 through the optical scanner 13 and the objective lens 14 in this order.
  • Fluorescence (for example, wavelength 510 to 550 nm) is generated at the condensing point.
  • the fluorescence enters the dichroic mirror 12 through the objective lens 14 and the optical scanner 13 in this order, the fluorescence is transmitted through the dichroic mirror 12 and observed.
  • the light enters the pinhole mask 17 through the lens 16.
  • the pinhole mask 17 is connected in a conjugate relationship with the sample 15 by the observation lens 16 and the objective lens 14, and has a function of allowing only the necessary light among the fluorescence generated in the sample 15 to pass therethrough. As a result, the confocal effect of the microscope body 10 can be obtained.
  • the fluorescence that has passed through the pinhole mask 17 enters the spectroscopic element 18, it is separated into a plurality of wavelength components. Each of these wavelength components is incident on different wavelength channels of the multi-channel photodetector 19 and is detected independently and simultaneously.
  • Each wavelength channel (in this case, 32 wavelength channels) of the multi-channel photodetector 19 has, for example, 32 types of wavelength components that are different by 5 nm in a wavelength range of 510 nm to 550 nm. To detect. Each signal output from these 32 wavelength channels is taken in parallel to the computer 20 and is sent to the frame memory 22 via the AZD conversion circuits 21, 21,.
  • the multi-channel photodetector 19 and the optical scanner 13 are driven synchronously, so that the multi-channel photodetector 19 is scanned during the two-dimensional scanning at the fluorescent spot on the specimen 15. A repetitive signal is output from. At this time, the frame memories 22, 22,.
  • the hard disk drive 26 of the computer 20 stores emission spectrum data of the fluorescent reagent used for the specimen 15 in advance.
  • This emission spectrum data is made public by manufacturers of fluorescent reagents and the like, and is taken into the computer 20 via, for example, the Internet or a storage medium.
  • FIG. 2 is an operation flowchart of the CPU 23.
  • the CPU 23 executes the noise removal process consisting of the normalization process (step S1), smoothing process (step S2), and inverse normal process (step S3), and then unmixing process (Ste S4) and display processing (step S5) are executed.
  • step S1 normalization process
  • step S2 smoothing process
  • step S3 inverse normal process
  • step S4 unmixing process
  • step S5 display processing
  • the CPU 23 refers to the spectrum curve of each pixel of the spectrum image F force as shown in FIG. Fig. 3 (A) shows only the spectrum curve of a certain four pixels (first pixel, second pixel, third pixel, fourth pixel).
  • the horizontal axis of the spectrum curve is the wavelength channel, and the vertical axis is the luminance value.
  • the luminance level of the spectral curve of each pixel varies as shown in FIG.
  • the integrated luminance value A of the spectral curve of the first pixel indicates the total luminance of the first pixel.
  • the luminance integration value A of the spectral curve of the second pixel indicates the total luminance of the second pixel.
  • the integrated luminance value A of the spectral curve of the third pixel indicates the total luminance of the third pixel.
  • the integrated luminance value A of the spectrum curve of the fourth pixel is the total luminance of the fourth pixel.
  • the shape of the spectrum curve varies among the pixels. There is a high possibility that the approximate shape of the spectrum curve is similar between adjacent pixels, but random measurement noise is superimposed, so the fine shape of the spectrum curve is different even if the pixels are close to each other. It will be a thing.
  • the CPU 23 normalizes the spectrum curve of each pixel so that the luminance integral value A becomes 1 as shown in FIG.
  • each wavelength component (channel image) of this spectrum image F is denoted as D, D,.
  • Each of ', D', ..., D ' is smoothed in the spatial direction.
  • a mask (a mask for calculation) having an opening of 3 vertical pixels and 3 horizontal pixels is used. This mask is applied to the channel image D, and the luminance value of the pixel of interest located at the center of the opening of the mask is replaced with the average luminance value of all the pixels in the opening. Processing power This processing is repeated while shifting the mask position on the channel image D ′, thereby completing the processing of the entire image.
  • each smoothed channel image is represented by D ", D", ..., D
  • the shape of the hub is smooth. Due to the smoothness, the shape of the spectrum curve of each pixel is also a force influenced by the shape of the spectrum curve of the adjacent pixel. This indicates that noise has been removed from the shape information of the spectral curve of each pixel.
  • step S3 Denormalization processing
  • the CPU 23 calculates the spectral curve of each pixel constituting the spectral image F ", and the integrated luminance value before luminance normalization (see Fig. 3 (A)) For the first pixel's spectral curve, the luminance integral value is denormalized so that it returns to the value A before normalization, and the second pixel's spectral curve
  • the luminance integration value is denormalized so that it returns to the value A before normalization, and the third pixel
  • the luminance integral value is denormalized so that it returns to the value A before normalization.
  • the integrated luminance value returns to the value A ⁇ before normalization.
  • the luminance information of the spectral curve of each pixel is recovered by inverse normality. As described above, noise is also removed from the shape information of the spectral curve of each pixel. Therefore, the spectrum image F accurately represents the state of the sample 15.
  • the CPU 23 reads the spectrum image F and the fluorescence reagent emission spectrum data from the hard disk drive 26.
  • the emission spectrum data are the emission spectrum curves S, S, and S of three types of fluorescent reagents (first reagent, second reagent, and third reagent). To express.
  • the spectrum curves S 1, S 2, S are expressed by a one-dimensional matrix as shown in Equation (1).
  • the element s in the formula (1) is the luminance value of the i-th wavelength of the j-th reagent.
  • the CPU 23 calculates the ambiguity of the spectrum image F based on the emission spectrum curves S, S, S.
  • the power to perform the image processing The unmixing is performed for each pixel of the spectrum image F.
  • a spectrum curve f of a certain pixel included in the spectrum image F is expressed by a one-dimensional matrix as shown in Equation (2).
  • Element f is the luminance value of the i th wavelength channel of this pixel.
  • Equation 3 Furthermore, the emission spectrum curves of each of the three types of fluorescent reagents are collectively represented by one matrix S as shown in Equation (4), and the contribution ratio of each of the three types of fluorescent reagents is shown in Equation (5). When collectively expressed by one matrix P, Equation (3) is transformed as Equation (6). [0035] [Equation 4]
  • the CPU 23 applies the information of the spectrum curve f of the pixel and the information of the light emission vector curve S to Equation (6), and solves it for the contribution rate P, so You can mix.
  • the number of wavelength channels (here 32) is set to be larger than the number of types of fluorescent reagents (here 3), so the CPU 23 applies the least square method.
  • Equation (7) considering the error ⁇ is prepared in Equation (6), and the contribution ratio ⁇ ⁇ ⁇ is determined so that the square value of the error ⁇ is minimized.
  • s T is a transposed matrix of s.
  • the CPU 23 applies the information of the spectrum curve f of this pixel and the information of the emission spectrum curve S to this equation (8), thereby unmixing the pixel. Do. Then, the CPU 23 performs this unmixing for all the pixels of the spectrum image F, and ends this step.
  • the unmix processing in this step is based on the well-known least square method. As described above, since the spectrum image F accurately represents the state of the sample 15, the accuracy of this unmix processing Is higher than the conventional one!
  • the CPU 23 displays the information on the contribution rate obtained by the unmixing process (contribution rate of each fluorescent reagent to each pixel) on the display 40.
  • the contribution rate information may be displayed as numerical data, but in order to inform the user intuitively, it is desirable for the CPU 23 to create an unmixed image colored according to the contribution rate and display it. ,.
  • the computer 20 of the present system has the ability to remove the spectral image force noise prior to the unmixing process. As described above, this noise removing process does not impair the luminance information of the spectral curve of each pixel. Therefore, a spectral image F that accurately represents the state of the specimen 15 can be obtained. Therefore, the accuracy of unmix processing by the computer 20, that is, the performance of this system is surely improved.
  • the standard for spectral curve normalization and denormalization is set to the integral value of the brightness of the outer curve.
  • the maximum luminance value or intermediate luminance value may be used.
  • Figures 6 and 7 show the changes in the spectrum curve when the normal luminance and the inverse normal noise criterion are the maximum luminance values. Referring to Fig. 6 and Fig. 7, the peak of the spectral curve of each pixel was I, 1, 1, 1 and 1 before normality, but all became 1 after normality, and the inverse normal
  • the average filter process is applied.
  • other spatial filter processes such as a weighted average filter process and a median filter process are performed. You may apply.
  • the median filtering process finds the intermediate luminance value instead of calculating the average luminance value of all the pixels in the aperture. It is desirable to appropriately select the type of filtering process according to the type of measurement noise generated in the microscope body 10. By the way, average filtering is This is effective when noise is uniformly generated on the channel image, and the median filter processing is effective when noise is suddenly generated on the channel image (sesame salt noise).
  • the start timing of the smoothing processing became necessary while performing the force smoothing processing that was performed after normalizing the spectral curves of all pixels.
  • the spectral curve of the pixel may be normalized every time.
  • the operation program of the CPU 23 was previously stored in the hard disk drive 26. Part or all of the program was also installed in the computer 20 through the Internet or a storage medium. It may be a thing.
  • part or all of the operation of the force computer 20 in which each process is executed by the computer 20 may be executed by a device dedicated to the microscope body 10 (control image processing device).
  • the microscope main body 10 of the present system uses a multi-channel photodetector 19 to detect each wavelength component of incident light.
  • a single channel is used.
  • a combination of a photodetector and a movable mask, a combination of a plurality of one-channel photodetectors and a plurality of filters may be used.
  • the use of the multi-channel photodetector 19 is advantageous in that space can be saved.
  • the microscope main body 10 of the present system may be a microscope that detects transmitted light or reflected light of light that illuminates the force specimen 15 that is a fluorescence microscope that detects fluorescence generated in the specimen 15. Absent.
  • a beam splitter is used instead of the dichroic mirror 12.
  • the microscope main body 10 of the present system is a confocal microscope that detects confocal light from the specimen 15, but the confocal detection function may be omitted. In that case, the Pin Honore mask 17 is not required.
  • the microscope body 10 of the present system may be a force non-scanning microscope that is a scanning microscope that optically scans the specimen 15. In that case, the optical scanner 13 becomes unnecessary. That is, the present invention can be applied to various apparatuses that perform spectral imaging.

Abstract

　本発明は、必要な情報をなるべく損なうことなくノイズを低減することのできるスペクトル画像処理方法を提供する。本発明のスペクトル画像処理方法は、被観察物のスペクトル画像に対し処理を施すスペクトル画像処理方法であって、前記スペクトル画像を構成する各画素のスペクトル（＝分光輝度曲線）を輝度レベルが揃うように正規化する手順（Ｓ１）と、前記正規化されたスペクトルを前記各画素の空間方向に平滑化する手順（Ｓ２）と、前記平滑化によって得られた各画素のスペクトルに、それに対応する画素の輝度レベル又はそれに応じた値を乗ずる逆正規化の手順（Ｓ３）とを含む。これによって、画像上の輝度分布の情報を保ったまま、ノイズを低減することができる。

Description

明 細 書
スペクトル画像処理方法、コンピュータ実行可能なスペクトル画像処理プ ログラム、スぺクトノレイメージングシステム
技術分野
[0001] 本発明は、顕微鏡などで取得されたスペクトル画像を処理するスペクトル画像処理 方法、及びコンピュータ実行可能なスペクトル画像処理プログラムに関する。また、本 発明は、スペクトルイメージング蛍光レーザ顕微鏡などのスペクトルイメージングシス テムに関する。
背景技術
[0002] 生細胞の動態観察では、蛍光試薬や蛍光タンパクなどの蛍光物質で標本を標識し 、それを蛍光レーザ顕微鏡等の光学顕微鏡で観察することがある。複数の蛍光物質 を同時に使用したときには、波長成分毎の画像 (スペクトル画像)を検出する必要が ある。
しかし、複数の蛍光物質の発光波長が重複している場合、それら物質毎の画像を 光学顕微鏡で分離することはできな 、ので、顕微鏡が検出したスペクトル画像をコン ピュータへ取り込み、それを物質毎の画像に分離 (アンミックス)する解析方法が有効 となる (特許文献 1等参照)。因みに、このアンミックスでは、試薬メーカ等が公開して V、る各物質の発光スペクトルデータが用いられる。
特許文献 1 : Timo Zimmermann,JensRietdorf,Rainer Pepperkok, Spectral imaging and its applications in live cell microsopy",FEBS Letters 546(2003),P87- P92,16 May 20 03
発明の開示
発明が解決しょうとする課題
[0003] しかし、実測データであるスペクトル画像には、顕微鏡の光源の不安定性、顕微鏡 の光検出素子の電気ノイズなどが原因で測定ノイズが重畳されており、それはアンミ ッタスの精度に強く影響する。特に、複数の蛍光試薬のスペクトルが似ている、例え ば、ピーク波長が互いに近接している場合には、測定ノイズが大きいとアンミックスの 精度が悪くなる。
[0004] この対策として、空間フィルタ処理を行って隣接する画素間で平滑ィ匕する方法、例 えば、平均化フィルタ処理やメディアンフィルタ処理が挙げられ、ノイズを低減する方 法としては有効である。しかし、このような方法では輝度も平均化されるので、空間分 解能を劣化させると共に、単純平均では輝度の高い画素の影響が高くなり、必ずしも ノイズ低減は十分ではな 、と 、う問題がある。
[0005] そこで本発明は、必要な情報をなるベく損なうことなくノイズを低減することのできる スペクトル画像処理方法及びコンピュータ実行可能なスペクトル画像処理プログラム を提供することを目的とする。また、本発明は、高性能なスペクトルイメージングシステ ムを提供することを目的とする。
課題を解決するための手段
[0006] 本発明のスペクトル画像処理方法は、被観察物のスペクトル画像に対し処理を施 すスペクトル画像処理方法であって、前記スペクトル画像を構成する各画素のスぺク トル（=分光輝度曲線)を輝度レベルが揃うように正規ィ匕する手順と、前記正規化さ れたスペクトルを前記各画素の空間方向に平滑化する手順と、前記平滑化によって 得られた各画素のスペクトルに、それに対応する画素の輝度レベル又はそれに応じ た値を乗ずる逆正規化の手順と、を含むことを特徴とする。
[0007] なお、前記正規化は、前記スペクトルの輝度積分値が揃うように行われ、前記逆正 規化は、前記スペクトルの輝度積分値が前記正規ィヒ前の値に戻るように行われること が望ましい。
また、前記正規化は、前記スペクトルの輝度最大値が揃うように行われ、前記逆正 規化は、前記スペクトルの輝度最大値が前記正規ィヒ前の値に戻るように行われても よい。
[0008] また、本発明の別のスペクトル画像処理方法は、本発明の何れかのスペクトル画像 処理方法を用いて画像処理されたスペクトル画像と、前記被観察物に含まれる複数 物質の発光スペクトル情報とに基づき、前記スペクトル画像に対する前記複数物質 の各々の寄与を分離して求めるアンミックス手順を含むことを特徴とする。
また、本発明のスペクトル画像処理プログラムは、本発明の何れかのスペクトル画 像処理方法をコンピュータに実行させることを特徴とする。
[0009] また、本発明のスペクトルイメージングシステムは、被観察物のスペクトル画像を取 得するスペクトルイメージング装置と、前記取得されたスペクトル画像を取り込み、本 発明の何れかのスペクトル画像処理方法を実行するスペクトル画像処理装置とを備 えたことを特徴とする。
発明の効果
[0010] 本発明によれば、必要な情報をなるベく損なうことなくノイズを低減することのできる スペクトル画像処理方法及びコンピュータ実行可能なスペクトル画像処理プログラム が実現する。また、本発明によれば、高性能なスペクトルイメージングシステムが実現 する。
図面の簡単な説明
[0011] [図 1]実施形態のシステムの構成図である。
[図 2]CPU23の動作フローチャートである。
[図 3]正規ィ匕処理を説明する図である。
[図 4]平滑ィ匕処理及び逆正規ィ匕処理を説明する図である。
[図 5]蛍光試薬の発光スペクトルカーブ S , S , Sの例を示す図である。
1 2 3
[図 6]正規ィ匕の基準を輝度最大値とした場合のスペクトルカーブの変化を示す図であ る。
[図 7]逆規ィ匕の基準を輝度最大値とした場合のスペクトルカーブの変化を示す図であ る。
発明を実施するための最良の形態
[0012] 本発明の実施形態を説明する。本実施形態は、スペクトルイメージング蛍光レーザ コンフォーカル顕微鏡システムの実施形態である。
先ず、本システムの構成を説明する。
図 1は、本システムの構成図である。図 1に示すとおり、本システムには、顕微鏡本 体 10と、それに接続されたコンピュータ 20と、それに接続された入力器 30及び表示 器 40とが備えられる。入力器 30は、マウスやキーボードなどであり、表示器 40は、 L CDなどである。 [0013] 顕微鏡本体 10には、レーザ光源 11と、ダイクロイツクミラー 12と、光スキャナ 13と、 対物レンズ 14と、標本 15と、観察レンズ 16と、ピンホールマスク 17と、分光素子 18と 、多チャンネル光検出器 19とが配置される。標本 15は、複数種類 (例えば 3種類)の 蛍光試薬で標識されており、多チャンネル光検出器 19は、多数 (例えば 32個）の波 長チャンネルを有して 、る。
[0014] コンピュータ 20には、 CPU23と、 CPU23の基本的動作プログラムが書き込まれた ROM24と、 CPU23の動作中の一時的な記憶手段として使用される RAMと、情報 を長期保存するためのハードディスクドライブ 26と、入力器 30及び表示器 40とのイン タフエースをとるインタフェース回路 27と、多チャンネル光検出器 19の波長チャンネ ノレと同数の A/D変換回路 21 , 21 , · ··, 21 と、それと同数のフレームメモリ 22 , 2
1 2 32 1
2 , · ··, 22 と力 S備えられる。フレームメモリ 22 , 22 , · ··, 22 、ノヽードディスクドライ
2 32 1 2 32
ブ 26、 CPU23、 ROM24、 RAM25、インタフェース回路 27は、バス 20Bを介して 接続されている。ハードディスクドライブ 26には、本システムに必要な CPU23の動作 プログラムが予め格納されて 、る。
[0015] 顕微鏡本体 10のレーザ光源 11からは、レーザ光（例えば、波長 488nm)が発せら れる。このレーザ光は、ダイクロイツクミラー 12を反射し、光スキャナ 13及び対物レン ズ 14を順に介して標本 15上の 1点に集光する。その集光点では蛍光 (例えば、波長 510〜550nm)が生じ、その蛍光は、対物レンズ 14及び光スキャナ 13を順に介して ダイクロイツクミラー 12へ入射すると、そのダイクロイツクミラー 12を透過し、観察レン ズ 16を介してピンホールマスク 17へと入射する。このピンホールマスク 17は、観察レ ンズ 16及び対物レンズ 14により標本 15と共役関係に結ばれており、標本 15で発生 した蛍光のうち、必要な光線のみを通過させる働きがある。これによつて、顕微鏡本 体 10の共焦点効果が得られる。ピンホールマスク 17を通過した蛍光は、分光素子 1 8へ入射すると、複数の波長成分に分離される。それらの各波長成分は、多チャンネ ル光検出器 19の互いに異なる波長チャンネルへ入射し、独立かつ同時に検出され る。
[0016] 多チャンネル光検出器 19の各波長チャンネル (ここでは 32個の波長チャンネル） は、例えば、 510nm〜550nmの波長範囲の 5nmずつ異なる 32種類の波長成分を 検出する。それら 32個の波長チャンネルから出力される各信号は、コンピュータ 20 へ並列に取り込まれ、 AZD変換回路 21 , 21 , · ··, 21 を介してフレームメモリ 22
1 2 32 1
, 22 , · ··, 22 へ個別に入力される。
2 32
[0017] この多チャンネル光検出器 19と光スキャナ 13とは同期駆動され、これによつて、標 本 15上魏光点で二次元的に走査している期間に、多チャンネル光検出器 19から 繰り返し信号が出力される。このとき、フレームメモリ 22 , 22 , · ··, 22 には、標本 15
1 2 32
の各波長チャンネルの画像が徐々に蓄積されることになる。フレームメモリ 22 , 22 ,
1 2
· ··, 22 に蓄積された各波長チャンネルの画像（チャンネル画像 D , D , · ··, D )は
32 1 2 32
、適当なタイミングで CPU23によって読み出され、 1つのスペクトル画像 Fに纏められ てから、ハードディスクドライブ 26へ格納される。
[0018] なお、コンピュータ 20のハードディスクドライブ 26には、このスペクトル画像 Fの他に 、標本 15に使用された蛍光試薬の発光スペクトルデータが予め格納されている。こ の発光スペクトルデータは、蛍光試薬のメーカ等が公開しているものであって、例え ばインターネットや記憶媒体などを介してコンピュータ 20へ取り込まれる。
次に、スペクトル画像 Fの取得後の CPU23の動作を説明する。
[0019] 図 2は、 CPU23の動作フローチャートである。図 2に示すとおり、 CPU23は、正規 化処理 (ステップ S1) ,平滑ィ匕処理 (ステップ S 2) ,逆正規ィ匕処理 (ステップ S3)から なるノイズ除去処理を実行した後に、アンミックス処理 (ステップ S4)、表示処理 (ステ ップ S5)を実行する。以下、これらのステップを順に説明する。
正規ィ匕処理 (ステップ S1) :
本ステップでは、先ず、 CPU23は、図 3 (A)に示すとおり、スペクトル画像 F力 各 画素のスペクトルカーブを参照する。図 3 (A)には、或る 4画素（第 1画素、第 2画素、 第 3画素、第 4画素）のスペクトルカーブのみを示した。スペクトルカーブの横軸は波 長チャンネルであり、縦軸は輝度値である。
[0020] 各画素のスペクトルカーブの輝度レベルは、図 3 (A)に示すとおり様々である。第 1 画素のスペクトルカーブの輝度積分値 Aは、第 1画素のトータル輝度を示しており、
1
第 2画素のスペクトルカーブの輝度積分値 Aは、第 2画素のトータル輝度を示してお
2
り、第 3画素のスペクトルカーブの輝度積分値 Aは、第 3画素のトータル輝度を示し ており、第 4画素のスペクトルカーブの輝度積分値 Aは、第 4画素のトータル輝度を
4
示している。
[0021] また、図 3 (A)に示すとおり、各画素の間では、スペクトルカーブの形状も様々であ る。近接した画素の間では、スペクトルカーブの大まかな形状が似る可能性は高いが 、ランダムな測定ノイズが重畳されるので、スペクトルカーブの微細な形状は、たとえ 画素が近接して ヽても互いに異なるものとなる。
次に、 CPU23は、図 3 (B)に示すとおり、各画素のスペクトルカーブを、その輝度 積分値 Aが 1となるように正規ィ匕する。各スペクトルカーブの正規ィ匕では、スペクトル カーブの各波長チャンネルの輝度値に対し、正規化係数 = (1Z現在の輝度積分値 )を乗算すればよい。
[0022] ここで、図 3の右側に示すように、正規化後のスペクトルカーブが成すスペクトル画 像 F'を参照すると、そのスペクトル画像 F，では、各画素のトータル輝度が何れも 1と なる。つまり、このスペクトル画像 F'からは、各画素のスペクトルカーブの輝度情報は 排除され、各画素のスペクトルカーブの形状情報のみが維持されることになる。以下 、このスペクトル画像 F，の各波長成分（チャンネル画像）を、 D，， D，， · ··, D ，とお
1 2 32 く。
[0023] 平滑化処理 (ステップ S2)：
本ステップでは、 CPU23は、図 4 (A)に示すとおり、上述したチャンネル画像 D ' ,
1
D ' , · ··, D ，の各々に対し平均フィルタ処理を施す。これ〖こより、チャンネル画像 D
2 32 1
' , D ' , · ··, D 'の各々は、空間方向に平滑ィ匕される。
2 32
チャンネル画像 D'に対する平均フィルタ処理では、例えば、縦 3画素'横 3画素の 開口を有したマスク（演算上のマスクである。）が使用される。このマスクがチャンネル 画像 Dに当てはめられ、マスクの開口中心に位置する着目画素の輝度値が、開口内 の全画素の輝度平均値に置換される。この処理力 チャネル画像 D'上のマスク位置 をずらしながら繰り返し行われることによって、画像全域の処理が完了する。
[0024] ここで、図 4の左下に示すように、平滑化後の各チャンネル画像を D ", D ", · ··, D
1 2 3
"とおき、それらチャンネル画像 D ", D ", · ··, D "が成すスペクトル画像 F"を参照
2 1 2 32
すると、そのスペクトル画像 F"では、図 4 (B)に示すとおり、各画素のスペクトルカー ブの形状が滑らかになっている。平滑ィ匕により、各画素のスペクトルカーブの形状が 、隣接画素のスペクトルカーブの形状に影響された力もである。このことは、各画素の スペクトルカーブの形状情報から、ノイズが除去されたことを示す。
[0025] 逆正規化処理 (ステップ S3) :
本ステップでは、 CPU23は、図 4 (C)に示すとおり、スペクトル画像 F"を構成する 各画素のスペクトルカーブを、その輝度積分値が正規化前の輝度積分値（図 3 (A) 参照）に戻るように逆正規ィ匕する。第 1画素のスペクトルカーブに関しては、その輝度 積分値が正規化前の値 Aに戻るよう逆正規ィ匕し、第 2画素のスペクトルカーブに関し
1
ては、その輝度積分値が正規化前の値 Aに戻るよう逆正規ィ匕し、第 3画素のスぺタト
2
ルカーブに関しては、その輝度積分値が正規化前の値 Aに戻るよう逆正規ィ匕し、第
3
4画素のスペクトルカーブに関しては、その輝度積分値が正規化前の値 A〖こ戻るよう
4 逆正規化する。各スペクトルカーブの逆正規化では、スペクトルカーブの各波長チヤ ンネルの輝度値に対し、逆正規化係数 = (正規化前の輝度積分値 z現在の輝度積 分値)を乗算すればよい。
[0026] 以上の逆正規ィ匕後のスペクトルカーブが成すスペクトル画像は、図 4右下に示すよ うに、スペクトル画像 Fとして改めてハードディスクドライブ 26へ格納される。
このスペクトル画像 Fでは、逆正規ィ匕により、各画素のスペクトルカーブの輝度情報 が回復している。し力も、各画素のスペクトルカーブの形状情報からは、前述したとお りノイズが除去されている。したがって、このスペクトル画像 Fは、標本 15の状態を正 確に表すことになる。
[0027] アンミックス処理 (ステップ S4)：
本ステップでは、先ず、 CPU23は、ハードディスクドライブ 26からスペクトル画像 F と、蛍光試薬の発光スペクトルデータとを読み出す。
発光スペクトルデータは、図 5 (A) , (B) , (C)に示すとおり、 3種類の蛍光試薬 (第 1試薬、第 2試薬、第 3試薬)の発光スペクトルカーブ S , S , Sを表す。これらの発光
1 2 3
スペクトルカーブ S , S , Sは、式（1)のような一次元行列で表現される。
1 2 3
[0028] [数 1]
Figure imgf000010_0001
[0029] 但し、式（1)中の要素 sは、第 j試薬の i番目の波長の輝度値である。この行列の波 長方向の要素数は、スペクトル画像 Fの波長方向のデータ量（=多チャンネル光検 出器 19の波長チャンネル数）に合わせて 32とした。
CPU23は、この発光スペクトルカーブ S , S , Sに基づきスペクトル画像 Fのアンミ
1 2 3
ックス処理を行う力 そのアンミックスはスペクトル画像 Fの画素毎に行われる。
[0030] スペクトル画像 Fに含まれる或る画素のスペクトルカーブ fは、式（2)のような一次元 行列で表現される。要素 fは、この画素の i番目の波長チャネルの輝度値である。
[0031] [数 2]
f2
Figure imgf000010_0002
L32 したがって、この画素に対する第 1試薬の寄与率を pとおき、第 2試薬の寄与率を p
1 ： とおき、第 3試薬の寄与率を pとおくと、この画素のスペクトルカーブ fは、式（3)で表 される。
[0033] [数 3]
Figure imgf000010_0003
さらに、 3種類の蛍光試薬の各々の発光スペクトルカーブを、式 (4)に示すとおり 1 つの行列 Sで纏めて表し、 3種類の蛍光試薬の各々の寄与率を、式（5)に示すとおり 1つの行列 Pで纏めて表すと、式（3)は式 (6)のとおり変形される。 [0035] [数 4]
Figure imgf000011_0001
[0036] [数 5]
Figure imgf000011_0002
[0037] [数 6]
Figure imgf000011_0003
[0038] よって、 CPU23は、式（6)に対し、この画素のスペクトルカーブ fの情報と、発光ス ベクトルカーブ Sの情報とを当てはめ、それを寄与率 Pについて解くことで、この画素 に関するアンミックスを行うことができる。
但し、本システムでは、上述したとおり、波長チャンネルの数 (ここでは 32)が蛍光試 薬の種類数 (ここでは 3)よりも多く設定されたので、 CPU23は、最小二乗法を適用 する。
[0039] 最小二乗法は、式 (6)において誤差 εを考慮した式 (7)を用意し、その誤差 εの 二乗値が最小となるような寄与率 Ρを求めるものである。
[0040] [数 7]
Figure imgf000011_0004
[0041] この最小二乗法による寄与率 Pの算出式を示すと、式 (8)の通りである。
[0042] [数 8]
Figure imgf000011_0005
[0043] 但し、 sTは、 sの転置行列である。
したがって、 CPU23は、この式（8)に対し、この画素のスペクトルカーブ fの情報と、 発光スペクトルカーブ Sの情報とを当てはめることにより、この画素に関するアンミック スを行う。そして、 CPU23は、このアンミックスを、スペクトル画像 Fの全画素について それぞれ行い、本ステップを終了する。
[0044] 以上、本ステップのアンミックス処理は、周知の最小二乗法によるものである力 上 述したとおり、スペクトル画像 Fが標本 15の状態を正確に表しているので、このアンミ ックス処理の精度は従来のそれよりも高!、。
表示処理 (ステップ S 5) :
本ステップでは、 CPU23は、アンミックス処理で求まった寄与率の情報（各画素に 対する各蛍光試薬の寄与率)を表示器 40へ表示する。寄与率の情報は、数値デー タとして表示してもよいが、ユーザへ直感的に知らせるため、 CPU23は、寄与率に 応じて色づけされたアンミックス画像を作成し、それを表示することが望ま 、。
[0045] 以上、本システムのコンピュータ 20は、アンミックス処理に先立ち、スペクトル画像 力 ノイズを除去する力 このノイズ除去処理は、上述したとおり、各画素のスペクトル カーブの輝度情報を何ら損なうことがないので、標本 15の状態を正確に表すスぺタト ル画像 Fを得ることができる。したがって、コンピュータ 20によるアンミックス処理の精 度、すなわち本システムの性能は、確実に向上する。
[0046] なお、本システムのノイズ除去処理 (ステップ S1〜S3)では、スペクトルカーブの正 規化及び逆正規化の基準を、スぺ外ルカーブの輝度積分値としたが、輝度積分値 の代わりに輝度最大値や輝度中間値などとしてもよい。
図 6、図 7には、正規ィ匕及び逆正規ィ匕の基準を輝度最大値とした場合のスペクトル カーブの変化を示した。図 6,図 7を参照すると、各画素のスペクトルカーブのピーク は、正規ィ匕前には I , 1 , 1 , 1であったのに対し、正規ィ匕後には全て 1となり、逆正規
1 2 3 4
化後には、正規化前の値 I , 1 , 1 , 1に戻っていることがわかる。
1 2 3 4
[0047] また、本システムの平滑化処理 (ステップ S 2)では、平均フィルタ処理を適用したが 、平均フィルタ処理の代わりに、重み付き平均フィルタ処理、メディアンフィルタ処理 などの他の空間フィルタ処理を適用してもよい。因みに、メディアンフィルタ処理は、 開口内の全画素の輝度平均値を算出する代わりに、その輝度中間値を見出すもの である。このようなフィルタ処理の種類は、顕微鏡本体 10で発生する測定ノイズの種 類に応じて適切に選定されることが望ましい。因みに、平均フィルタ処理は、チャンネ ル画像上で均一的にノイズが発生して 、る場合に有効であり、メディアンフィルタ処 理は、チャンネル画像上で突発的にノイズが発生して ヽる（ごま塩ノイズ)場合に有効 である。
[0048] また、本システムの平滑化処理 (ステップ S 2)では、マスクのサイズ（フィルタのサイ ズ）が 3画素 X 3画素 = 9画素であった力 他のサイズに代えてもよい。このサイズは、 顕微鏡本体 10で発生する測定ノイズの種類に応じて適切に選定されることが望まし い。
また、本システムのノイズ除去処理 (ステップ S1〜S3)では、平滑化処理の開始タ イミングが、全画素のスペクトルカーブの正規化後であった力 平滑化処理を行いつ つ、必要となった画素のスペクトルカーブを、その都度正規ィ匕することとしてもよい。
[0049] また、本システムでは、 CPU23の動作プログラムがハードディスクドライブ 26に予 め格納されていた力 そのプログラムの一部又は全部は、インターネットや記憶媒体 などを介して外部力もコンピュータ 20ヘインストールされたものであってもよい。
また、本システムでは、各処理がコンピュータ 20によって実行された力 コンビユー タ 20の一部又は全部の動作は、顕微鏡本体 10に専用の装置 (制御 '画像処理装置 )によって実行されてもよい。
[0050] また、本システムの顕微鏡本体 10は、入射光の各波長成分を検出するために多チ ヤンネル光検出器 19を使用している力 多チャンネル光検出器 19の代わりに、 1チ ヤンネル光検出器と可動マスクとの組み合わせ、複数の 1チャンネル光検出器と複数 のフィルタとの組み合わせなどを使用してもよい。但し、多チャンネル光検出器 19を 使用すると、省スペースが可能である点で有利である。
[0051] また、本システムの顕微鏡本体 10は、標本 15にて生じた蛍光を検出する蛍光顕微 鏡である力 標本 15を照明する光の透過光又は反射光を検出する顕微鏡であって も構わない。その場合、ダイクロイツクミラー 12の代わりにビームスプリッタが使用され る。
また、本システムの顕微鏡本体 10は、標本 15からの光を共焦点検出するコンフォ 一カル顕微鏡であるが、その共焦点検出の機能を省略しても構わない。その場合、 ピンホーノレマスク 17は不要となる。 また、本システムの顕微鏡本体 10は、標本 15上を光走査する走査型顕微鏡である 力 非走査型顕微鏡であっても構わない。その場合、光スキャナ 13は不要となる。 すなわち、本発明は、スペクトルイメージングを行う各種の装置に適用することが可 能である。

Claims

請求の範囲
[1] 被観察物のスペクトル画像に対し処理を施すスペクトル画像処理方法であって、 前記スペクトル画像を構成する各画素のスペクトル ( =分光輝度曲線)を輝度レべ ルが揃うように正規化する手順と、
前記正規化されたスペクトルを前記各画素の空間方向に平滑化する手順と、 前記平滑ィ匕によって得られた各画素のスペクトルに、それに対応する画素の輝度レ ベル又はそれに応じた値を乗ずる逆正規化の手順と、
を含むことを特徴とするスペクトル画像処理方法。
[2] 請求項 1に記載のスペクトル画像処理方法にお!、て、
前記正規化は、
前記スペクトルの輝度積分値が揃うように行われ、
前記逆正規化は、
前記スペクトルの輝度積分値が前記正規ィヒ前の値に戻るように行われる ことを特徴とするスペクトル画像処理方法。
[3] 請求項 1に記載のスペクトル画像処理方法にお!、て、
前記正規化は、
前記スペクトルの輝度最大値が揃うように行われ、
前記逆正規化は、
前記スペクトルの輝度最大値が前記正規化前の値に戻るように行われる ことを特徴とするスペクトル画像処理方法。
[4] 請求項 1〜請求項 3の何れか一項に記載のスペクトル画像処理方法を用いて画像 処理されたスペクトル画像と、前記被観察物に含まれる複数物質の発光スペクトル情 報とに基づき、前記スペクトル画像に対する前記複数物質の各々の寄与を分離して 求めるアンミックス手 j噴を含む
ことを特徴とするスペクトル画像処理方法。
[5] 請求項 1〜請求項 4の何れか一項に記載のスペクトル画像処理方法をコンピュータ に実行させることを特徴とするコンピュータ実行可能なスペクトル画像処理プログラム [6] 被観察物のスペクトル画像を取得するスペクトルイメージング装置と、 前記取得されたスペクトル画像を取り込み、請求項 1〜請求項 4の何れか一項に記 載のスペクトル画像処理方法を実行するスペクトル画像処理装置と
を備えたことを特徴とするスペクトルイメージングシステム。
PCT/JP2007/051698 2006-02-23 2007-02-01 スペクトル画像処理方法、コンピュータ実行可能なスペクトル画像処理プログラム、スペクトルイメージングシステム WO2007097170A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US11/913,281 US8055035B2 (en) 2006-02-23 2007-02-01 Spectral image processing method, computer-executable spectral image processing program, and spectral imaging system
JP2007526098A JP4826586B2 (ja) 2006-02-23 2007-02-01 スペクトル画像処理方法、コンピュータ実行可能なスペクトル画像処理プログラム、スペクトルイメージングシステム
EP07707884.8A EP1988383B1 (en) 2006-02-23 2007-02-01 Spectrum image processing method, computer-executable spectrum image processing program, and spectrum imaging system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006-046508 2006-02-23
JP2006046508 2006-02-23

Publications (1)

Publication Number Publication Date
WO2007097170A1 true WO2007097170A1 (ja) 2007-08-30

Family

ID=38437209

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/051698 WO2007097170A1 (ja) 2006-02-23 2007-02-01 スペクトル画像処理方法、コンピュータ実行可能なスペクトル画像処理プログラム、スペクトルイメージングシステム

Country Status (4)

Country Link
US (1) US8055035B2 (ja)
EP (1) EP1988383B1 (ja)
JP (1) JP4826586B2 (ja)
WO (1) WO2007097170A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011115087A1 (ja) * 2010-03-16 2011-09-22 オリンパス株式会社 蛍光内視鏡装置
JP2014167647A (ja) * 2014-05-02 2014-09-11 Nikon Corp レーザ励起蛍光顕微鏡
JP2017502286A (ja) * 2013-12-31 2017-01-19 ベンタナ メディカル システムズ， インコーポレイテッド ピクセルグループ化を使用して微視的画像をスペクトル純化するためのシステムおよび方法
JP2022003343A (ja) * 2017-09-08 2022-01-11 ソニーグループ株式会社 スペクトル型フローサイトメータシステム、情報処理装置および情報処理方法
JP2022119771A (ja) * 2017-06-28 2022-08-17 ヴェンタナ メディカル システムズ， インク． システムレベル較正

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4872914B2 (ja) * 2006-02-23 2012-02-08 株式会社ニコン スペクトル画像処理方法、スペクトル画像処理プログラム、及びスペクトルイメージングシステム
US8055035B2 (en) 2006-02-23 2011-11-08 Nikon Corporation Spectral image processing method, computer-executable spectral image processing program, and spectral imaging system
CN104939806B (zh) 2008-05-20 2021-12-10 大学健康网络 用于基于荧光的成像和监测的装置和方法
JP2010102196A (ja) * 2008-10-24 2010-05-06 Olympus Corp 顕微鏡画像の自動調整方法、顕微鏡システム
US20120061590A1 (en) * 2009-05-22 2012-03-15 British Columbia Cancer Agency Branch Selective excitation light fluorescence imaging methods and apparatus
JP5506443B2 (ja) * 2010-02-10 2014-05-28 オリンパス株式会社 蛍光観察装置
CN102074008B (zh) * 2011-01-05 2013-02-06 哈尔滨工程大学 高光谱图像的全约束最小二乘线性光谱混合分析方法
WO2014118326A2 (en) 2013-01-31 2014-08-07 Ventana Medical Systems, Inc. Systems and methods for calibrating, configuring and validating an imaging device or system for multiplex tissue assays
ES2894912T3 (es) 2014-07-24 2022-02-16 Univ Health Network Recopilación y análisis de datos con fines de diagnóstico
EP3166072A1 (en) * 2015-11-06 2017-05-10 Thomson Licensing Method for denoising an image and apparatus for denoising an image
WO2020197787A1 (en) * 2019-03-22 2020-10-01 Becton, Dickinson And Company Spectral unmixing of fluorescence imaging using radiofrequency-multiplexed excitation data
CN113175994B (zh) * 2021-03-26 2023-04-07 上海卫星工程研究所 星载傅里叶变换红外光谱仪光谱噪声分析方法、系统及介质
RU2767607C1 (ru) * 2021-04-23 2022-03-18 Российская Федерация, от имени которой выступает ФОНД ПЕРСПЕКТИВНЫХ ИССЛЕДОВАНИЙ Способ формирования сигналов разноспектральных изображений

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11185036A (ja) * 1997-12-18 1999-07-09 Ricoh Co Ltd 画像処理装置
JP2000511315A (ja) * 1996-05-29 2000-08-29 サイエンス アンド テクノロジー コーポレイション ディジタル画像を改善する方法
JP2002044570A (ja) * 2000-07-21 2002-02-08 Mitsubishi Electric Corp 画像表示装置および画像表示方法
JP2002152762A (ja) * 2000-08-30 2002-05-24 Nikon Corp 画像処理装置および画像処理プログラムを記録した記録媒体
JP3351536B2 (ja) * 1997-04-18 2002-11-25 アプライド スペクトラル イメージング リミテッド 染色体の分類方法
WO2005013622A1 (ja) * 2003-06-30 2005-02-10 Nikon Corporation 色成分の混在配列された画像を処理する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6015667A (en) 1996-06-03 2000-01-18 The Perkin-Emer Corporation Multicomponent analysis method including the determination of a statistical confidence interval
US6415233B1 (en) * 1999-03-04 2002-07-02 Sandia Corporation Classical least squares multivariate spectral analysis
US6341257B1 (en) * 1999-03-04 2002-01-22 Sandia Corporation Hybrid least squares multivariate spectral analysis methods
US6750964B2 (en) * 1999-08-06 2004-06-15 Cambridge Research And Instrumentation, Inc. Spectral imaging methods and systems
US6888963B2 (en) * 2000-07-18 2005-05-03 Matsushita Electric Industrial Co., Ltd. Image processing apparatus and image processing method
US6894699B2 (en) * 2000-07-21 2005-05-17 Mitsubishi Denki Kabushiki Kaisha Image display device employing selective or asymmetrical smoothing
US20020047907A1 (en) * 2000-08-30 2002-04-25 Nikon Corporation Image processing apparatus and storage medium for storing image processing program
JP3690271B2 (ja) * 2000-11-29 2005-08-31 株式会社島津製作所 核酸の塩基配列決定のためのマトリックス値を得る方法
US20040064299A1 (en) * 2001-08-10 2004-04-01 Howard Mark Automated system and method for spectroscopic analysis
JP2003083894A (ja) 2001-09-14 2003-03-19 Sumitomo Electric Ind Ltd 蛍光値補正方法、蛍光値補正装置、蛍光値補正プログラム及び前記蛍光値補正プログラムを記録した記録媒体
DE10222779A1 (de) * 2002-05-16 2004-03-04 Carl Zeiss Jena Gmbh Verfahren und Anordnung zur Untersuchung von Proben
US6763308B2 (en) * 2002-05-28 2004-07-13 Sas Institute Inc. Statistical outlier detection for gene expression microarray data
US6906859B2 (en) * 2002-06-05 2005-06-14 Nikon Corporation Epi-illumination apparatus for fluorescent observation and fluorescence microscope having the same
US7480083B2 (en) * 2002-07-30 2009-01-20 Canon Kabushiki Kaisha Image processing system, apparatus, and method, and color reproduction method
AU2003270619A1 (en) * 2002-09-12 2004-04-30 Molecular Probes, Inc. Site-specific labeling of affinity tags in fusion proteins
JP3903000B2 (ja) 2002-11-14 2007-04-11 アークレイ株式会社 測定装置、蛍光測定装置及び蛍光測定方法
US7471831B2 (en) * 2003-01-16 2008-12-30 California Institute Of Technology High throughput reconfigurable data analysis system
US7283684B1 (en) * 2003-05-20 2007-10-16 Sandia Corporation Spectral compression algorithms for the analysis of very large multivariate images
US7321791B2 (en) * 2003-09-23 2008-01-22 Cambridge Research And Instrumentation, Inc. Spectral imaging of deep tissue
EP1677097A4 (en) 2003-10-10 2010-09-01 Hamamatsu Photonics Kk METHOD AND SYSTEM FOR DETERMINING THE CONCENTRATION OF A FLUORESCENT PIGMENT
JP4021414B2 (ja) * 2003-11-26 2007-12-12 オリンパス株式会社 スペクトラルデコンボリューション法及びスペクトラルブラインドデコンボリューション法
US20050285023A1 (en) * 2004-06-23 2005-12-29 Lambda Solutions, Inc. Automatic background removal for input data
US7457472B2 (en) * 2005-03-31 2008-11-25 Euclid Discoveries, Llc Apparatus and method for processing video data
ATE527619T1 (de) * 2005-01-27 2011-10-15 Cambridge Res & Instrumentation Inc Klassifizierung der bildeigenschaften
US20070099535A1 (en) * 2005-11-03 2007-05-03 Riebersal Michael A Water throwing toy
US8055035B2 (en) 2006-02-23 2011-11-08 Nikon Corporation Spectral image processing method, computer-executable spectral image processing program, and spectral imaging system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000511315A (ja) * 1996-05-29 2000-08-29 サイエンス アンド テクノロジー コーポレイション ディジタル画像を改善する方法
JP3351536B2 (ja) * 1997-04-18 2002-11-25 アプライド スペクトラル イメージング リミテッド 染色体の分類方法
JPH11185036A (ja) * 1997-12-18 1999-07-09 Ricoh Co Ltd 画像処理装置
JP2002044570A (ja) * 2000-07-21 2002-02-08 Mitsubishi Electric Corp 画像表示装置および画像表示方法
JP2002152762A (ja) * 2000-08-30 2002-05-24 Nikon Corp 画像処理装置および画像処理プログラムを記録した記録媒体
WO2005013622A1 (ja) * 2003-06-30 2005-02-10 Nikon Corporation 色成分の混在配列された画像を処理する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DICKINSON M.E. ET AL.: "Multi-Spectral Imaging and Linear Unmixing Add a Whole New Dimension to Laser Scanning Fluorescence Microscopy", BIOTECHNIQUES, vol. 31, no. 6, 2001, pages 1272 - 1278, XP002331002 *
ZIMMERMANN T. ET AL.: "Spectral imaging and its application in live cell microscopy", FEBS LETTERS, vol. 546, 2003, pages 87 - 92, XP004433624 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011115087A1 (ja) * 2010-03-16 2011-09-22 オリンパス株式会社 蛍光内視鏡装置
CN102791179A (zh) * 2010-03-16 2012-11-21 奥林巴斯株式会社 荧光内窥镜装置
CN102791179B (zh) * 2010-03-16 2016-01-06 奥林巴斯株式会社 荧光内窥镜装置
US9521947B2 (en) 2010-03-16 2016-12-20 Olympus Corporation Fluorescence endoscope apparatus
JP2017502286A (ja) * 2013-12-31 2017-01-19 ベンタナ メディカル システムズ， インコーポレイテッド ピクセルグループ化を使用して微視的画像をスペクトル純化するためのシステムおよび方法
JP2014167647A (ja) * 2014-05-02 2014-09-11 Nikon Corp レーザ励起蛍光顕微鏡
JP2022119771A (ja) * 2017-06-28 2022-08-17 ヴェンタナ メディカル システムズ， インク． システムレベル較正
JP7368539B2 (ja) 2017-06-28 2023-10-24 ヴェンタナ メディカル システムズ， インク． システムレベル較正
JP2022003343A (ja) * 2017-09-08 2022-01-11 ソニーグループ株式会社 スペクトル型フローサイトメータシステム、情報処理装置および情報処理方法
US11480513B2 (en) 2017-09-08 2022-10-25 Sony Corporation Fine particle measurement apparatus, information processing apparatus, and information processing method
JP7176604B2 (ja) 2017-09-08 2022-11-22 ソニーグループ株式会社 スペクトル型フローサイトメータシステム、情報処理装置および情報処理方法

Also Published As

Publication number Publication date
US20090080722A1 (en) 2009-03-26
JP4826586B2 (ja) 2011-11-30
US8055035B2 (en) 2011-11-08
EP1988383B1 (en) 2020-09-30
EP1988383A4 (en) 2016-08-24
EP1988383A1 (en) 2008-11-05
JPWO2007097170A1 (ja) 2009-07-09

Similar Documents

Publication Publication Date Title
WO2007097170A1 (ja) スペクトル画像処理方法、コンピュータ実行可能なスペクトル画像処理プログラム、スペクトルイメージングシステム
JP4872914B2 (ja) スペクトル画像処理方法、スペクトル画像処理プログラム、及びスペクトルイメージングシステム
JP5489469B2 (ja) 蛍光信号解析装置および蛍光信号解析方法
Bolte et al. A guided tour into subcellular colocalization analysis in light microscopy
US7420674B2 (en) Method and arrangement for analyzing samples
US8849006B2 (en) Darkfield imaging system and methods for automated screening of cells
US8306317B2 (en) Image processing apparatus, method and computer program product
JP4964568B2 (ja) 蛍光検出装置、蛍光検出方法および蛍光検出プログラム
JP5228729B2 (ja) スペクトル画像処理方法、スペクトル画像処理プログラム、及びスペクトルイメージングシステム
WO2017217325A1 (ja) データ復元装置、顕微鏡システム、およびデータ復元方法
JP2023089967A (ja) 蛍光顕微鏡システムおよび方法
US11378515B2 (en) Image processing device, imaging system, actuation method of image processing device, and computer-readable recording medium
JP7090171B2 (ja) 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム
WO2021183967A1 (en) High throughput snapshot spectral encoding device for fluorescence spectral microscopy
EP4121743A1 (en) Fluorescence microscope and method for imaging an object
WO2022249583A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
US20230400411A1 (en) Controller for an imaging device and method
EP3735606B1 (en) Method and system for localisation microscopy
WO2023276219A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
WO2023189393A1 (ja) 生体試料観察システム、情報処理装置及び画像生成方法
US20240037755A1 (en) Imaging device and method
JP2018202044A (ja) 毛穴詰まり評価方法及び毛穴詰まり評価装置
EP4191234A1 (en) Method of analysing a mixed fluorescence response of a plurality of fluorophores, fluorescence analyser, fluorescence microscope and computer program
Van Benthem et al. Trilinear analysis of images obtained with a hyperspectral imaging confocal microscope
WO2023026742A1 (ja) 色素画像取得方法、色素画像取得装置、及び色素画像取得プログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2007526098

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2007707884

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 11913281

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE