WO2012056580A1 - 画像解析方法および画像解析装置 - Google Patents

画像解析方法および画像解析装置 Download PDF

Info

Publication number
WO2012056580A1
WO2012056580A1 PCT/JP2010/069367 JP2010069367W WO2012056580A1 WO 2012056580 A1 WO2012056580 A1 WO 2012056580A1 JP 2010069367 W JP2010069367 W JP 2010069367W WO 2012056580 A1 WO2012056580 A1 WO 2012056580A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
data
analysis
frame
pixel
Prior art date
Application number
PCT/JP2010/069367
Other languages
English (en)
French (fr)
Inventor
明美 鈴木
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to EP10858967.2A priority Critical patent/EP2623957B1/en
Priority to CN201080069870.4A priority patent/CN103189737B/zh
Priority to PCT/JP2010/069367 priority patent/WO2012056580A1/ja
Publication of WO2012056580A1 publication Critical patent/WO2012056580A1/ja
Priority to US13/870,711 priority patent/US9330338B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/44—Raman spectrometry; Scattering spectrometry ; Fluorescence spectrometry
    • G01J3/4406—Fluorescence spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6408—Fluorescence; Phosphorescence with measurement of decay time, time resolved fluorescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N2021/6417—Spectrofluorimetric devices
    • G01N2021/6419—Excitation at two or more wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N2021/6417—Spectrofluorimetric devices
    • G01N2021/6421—Measuring at two or more wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to an image analysis method and an image analysis apparatus.
  • Non-Patent Documents 1 and 2 have been proposed as Raster Image Correlation Spectroscopy (RICS).
  • RANS Raster Image Correlation Spectroscopy
  • a fluorescence image composed of a raster scan image of one frame or more is acquired.
  • an area of interest is determined in the sample to be image-analyzed, and the area is repeatedly scanned by the raster scanning method to obtain an image composed of a plurality of frames of fluorescence intensity.
  • the fluorescence intensity in the frame is expressed as data in pixel units.
  • Pieces of pixel data have different acquisition times and acquisition positions, so that the acquisition times and acquisition positions corresponding to the data are different.
  • correlation characteristics due to molecular fluctuations can be obtained by performing spatial correlation analysis using the data of these pixels.
  • the diffusion constant and the number of molecules can be obtained from the correlation characteristics of the molecules.
  • the number of pixels included in the analysis region is small (the number of pixels is, for example, 8 ⁇ 8).
  • the number of data used for RICS spatial correlation analysis is too small. This is because the RICS spatial correlation calculation is a kind of statistical calculation, and the accuracy increases as the number of data increases, and the error increases as the number of data decreases. In other words, if the number of data included in the area for spatial correlation analysis is too small, the accuracy of RICS analysis as a result of statistical calculation is reduced.
  • An object of the present invention is to provide an RICS image analysis method capable of performing spatial correlation analysis with high accuracy even in an analysis region with a small number of pixels.
  • An image analysis method includes an image acquisition step of acquiring, in a time series, an image of a plurality of frames including a plurality of pixels in which pixel data of each image is acquired in a time series, and an analysis region for the image
  • An analysis region setting step for setting an image
  • an image selection step for selecting an image of two or more frames to be used for analysis from the images, and two pixels having the same acquisition time interval in the analysis region of each of the selected images
  • calculating a correlation value by extracting a plurality of data pairs, each of which is a product-sum calculation for all of the selected images.
  • a RICS image analysis method capable of performing spatial correlation analysis with high accuracy even in an analysis region having a small number of pixels.
  • FIG. 1 schematically shows an image analysis apparatus according to an embodiment of the present invention.
  • FIG. 2 shows functional blocks of the control unit shown in FIG.
  • FIG. 3 is a flowchart of image analysis according to the embodiment of the present invention.
  • FIG. 4 shows a calculation procedure in step 4 in the flowchart of FIG.
  • FIG. 5 shows fluorescence images of a plurality of frames acquired in time series.
  • FIG. 6 shows an observation area and an analysis area.
  • FIG. 7 schematically shows a product-sum calculation part of the spatial correlation calculation using a plurality of frames of fluorescent images classified into a plurality of groups.
  • FIG. 8 is an image showing the calculation results of spatial correlation values by RICS for small molecules in luminance.
  • FIG. 9 shows the fitting result of the spatial correlation value by RICS for a small molecule.
  • FIG. 1 schematically shows an image analysis apparatus according to an embodiment of the present invention.
  • FIG. 2 shows functional blocks of the control unit shown in FIG.
  • FIG. 3 is a flowchart of image
  • FIG. 10 is an image showing the calculation result of the spatial correlation value by RICS for a large molecule in luminance.
  • FIG. 11 shows the fitting result of the spatial correlation value by RICS for a large molecule.
  • FIG. 12 shows the result of comparing the diffusion constant (D) of the EGFP solution while changing the ROI size in the analysis region.
  • FIG. 1 schematically shows an image analysis apparatus according to an embodiment of the present invention.
  • This image analysis apparatus is configured based on a scanning confocal optical microscope for fluorescence observation of a sample.
  • the image analysis apparatus 100 is necessary for image analysis, a light irradiation unit 110 that irradiates the sample S with excitation light, a light detection unit 130 that detects light emitted from a measurement point in the sample S, and the like. And a sample stage 190 that supports the sample S.
  • the sample S is accommodated in a sample container such as a microplate or a slide glass, and is placed on the sample stage 190.
  • the sample stage 190 supports the sample S so as to be movable in the lateral direction (xy direction) and the height direction (z direction) with respect to the light irradiation unit 110 and the light detection unit 130.
  • the sample stage 190 includes three stepping motors whose output axes are orthogonal to each other, and the sample S can be moved in the xyz direction by these stepping motors.
  • the image analysis apparatus 100 is a multiple light irradiation / multiple light detection type.
  • the light irradiation unit 110 includes an n-channel light source system 111, and the light detection unit 130 correspondingly includes an n-channel detection system 131.
  • Each of the n-channel detection systems 131 detects fluorescence generated by the excitation light emitted from the n-channel light source system 111.
  • the n channel includes channel 1, channel 2,... Channel n. The channel differs depending on the type of excitation light.
  • the n-channel light source system 111 of the light irradiation unit 110 includes light sources 112a, ..., 112n, collimating lenses 114a, ..., 114n, and dichroic mirrors 116a, ..., 116n.
  • the light sources 112a,..., 112n emit excitation light for exciting the fluorescent dye contained in the sample S to emit light (fluorescence) from the sample S.
  • the wavelengths of the excitation light emitted from the light sources 112a,..., 112n are different from each other corresponding to the type of fluorescent dye contained in the sample S.
  • the light sources 112a,..., 112n are constituted by, for example, laser light sources having oscillation wavelengths suitable for the fluorescent dye in the sample S.
  • the collimating lenses 114a,..., 114n collimate the excitation light emitted from the light sources 112a,.
  • the dichroic mirrors 116a,..., 116n reflect the excitation light that has passed through the collimating lenses 114a,.
  • Each of the dichroic mirrors 116a,..., 116n transmits the excitation light incident from above in FIG. 1 and reflects the excitation light incident from the right side in FIG.
  • the excitation lights having different wavelengths respectively emitted from the light sources 112a,..., 112n are combined into one beam after passing through the dichroic mirror 116a.
  • the dichroic mirror 116n does not need to transmit the excitation light, and may be changed to a simple mirror.
  • the light irradiation unit 110 further includes a dichroic mirror 122, a galvano mirror 124, an objective lens 126, and an objective lens driving mechanism 128.
  • the dichroic mirror 122 reflects the excitation light from the light source system 111 toward the galvanometer mirror 124 and transmits the fluorescence emitted from the sample S.
  • the galvanometer mirror 124 reflects the excitation light toward the objective lens 126 and changes the reflection direction thereof.
  • the objective lens 126 converges the excitation light and irradiates the measurement point in the sample S, and takes in the light from the measurement point in the sample S.
  • An objective lens 126 having a large NA (numerical aperture) is used to form a minute confocal region (measurement point).
  • the confocal region thus obtained has a substantially cylindrical shape with a diameter of about 0.6 ⁇ m and a length of about 2 ⁇ m.
  • the galvanometer mirror 124 constitutes xy scanning means for scanning the measurement point in the xy direction.
  • the xy scanning unit may be configured using an acousto-optic modulation element (AOM), a polygon mirror, a hologram scanner, or the like in addition to using a galvano mirror.
  • AOM acousto-optic modulation element
  • the objective lens driving mechanism 128 moves the objective lens 126 along the optical axis. Thereby, the measurement point is moved in the z direction. That is, the objective lens driving mechanism 128 constitutes z scanning means for scanning the measurement point in the z direction.
  • the light detection unit 130 shares the objective lens 126, the galvano mirror 124, and the dichroic mirror 122 with the light irradiation unit 110.
  • the light detection unit 130 further includes a converging lens 132, a pinhole 134, and a collimating lens 136.
  • the converging lens 132 converges the light transmitted through the dichroic mirror 122.
  • the pinhole 134 is disposed at the focal point of the converging lens 132. That is, the pinhole 134 is in a conjugate position with respect to the measurement point in the sample S, and selectively allows only light from the measurement point to pass through.
  • the collimating lens 136 collimates the light that has passed through the pinhole 134.
  • the light that has passed through the collimator lens 136 enters the n-channel detection system 131.
  • the n-channel detection system 131 includes dichroic mirrors 138a, ..., 138n, fluorescent filters 140a, ..., 140n, and photodetectors 142a, ..., 142n.
  • the dichroic mirrors 138a,..., 138n selectively reflect light having a wavelength in the vicinity of the fluorescent wavelength region generated from the sample S by the excitation light from the light sources 112a,.
  • the dichroic mirror 138n does not need to transmit light, and may be changed to a simple mirror.
  • the fluorescent filters 140a,..., 140n block the light having an undesired wavelength component from the light reflected by the dichroic mirrors 138a,..., 138n, respectively, and are generated by the excitation light from the light sources 112a,. Only the fluorescence is selectively transmitted.
  • the fluorescence transmitted through the fluorescent filters 140a,..., 140n is incident on the photodetectors 142a,.
  • the photodetectors 142a,..., 142n output signals corresponding to the intensity of incident light. That is, the photodetectors 142a,..., 142n output fluorescence intensity signals from the measurement points in the sample S.
  • the control unit 160 is constituted by a personal computer, for example.
  • the control unit 160 acquires, stores, and displays the fluorescence image of the observation region of the sample S, waits for input of the number of frames (number of frames) of the acquired fluorescence image and the setting of the analysis region, image analysis (calculation of correlation value), diffusion time Etc. are estimated.
  • the control unit 160 controls the galvanometer mirror 124 that is an xy scanning unit, the objective lens driving mechanism 128 that is a z scanning unit, the sample stage 190, and the like.
  • the control unit 160 includes a scan control unit 162, an image forming unit 164, a storage unit 166, a display unit 168, an input unit 170, an analysis region setting unit 172, an image selection unit 174, and a data extraction unit 176.
  • An analysis unit 178 and a stage control unit 180 are included.
  • the scanning control unit 162, the image forming unit 164, the storage unit 166, the stage control unit 180, the galvano mirror 124, the objective lens driving mechanism 128, the sample stage 190, and the photodetector 142 constitute an image acquisition unit.
  • the data extraction unit 176 and the analysis unit 178 constitute an arithmetic unit.
  • the scanning control unit 162 controls the galvanometer mirror 124 so as to raster scan the irradiation position of the excitation light with respect to the sample S when acquiring the fluorescence image of the sample S.
  • the scanning control unit 162 also controls the objective lens driving mechanism 128 so that the irradiation position of the excitation light is z-scanned with respect to the sample S if necessary.
  • the image forming unit 164 forms a fluorescent image of the sample S from the information on the irradiation position of the excitation light input from the scanning control unit 162 and the output signals of the photodetectors 142a,. Thereby, a fluorescence image is acquired.
  • the storage unit 166 sequentially stores the fluorescent images formed by the image forming unit 164.
  • the display unit 168 displays the fluorescence image of the sample S and the analysis result.
  • the input unit 170 includes, for example, a mouse and a keyboard, and constitutes a GUI in cooperation with the display unit 168. This GUI is used for setting the number of acquired frames, the observation area, and the analysis area.
  • the stage control unit 180 controls the sample stage 190 according to input information from the input unit 170, for example, in order to set an observation region.
  • the analysis area setting unit 172 sets an analysis area according to the input information from the input unit 170.
  • the image selection unit 174 selects fluorescent images of two or more frames used for analysis according to the input information from the input unit 170.
  • the data extraction unit 176 extracts necessary data from the fluorescence image stored in the storage unit 166 based on the input information from the analysis region setting unit 172 and the image selection unit 174.
  • the necessary data is a plurality of data pairs each composed of two pixels having the same acquisition time interval in each analysis region of the fluorescence image selected by the image selection unit 174.
  • the data included in the plurality of data pairs may be, for example, the data of all the pixels or the data of some pixels of all the fluorescent images stored in the storage unit 166, or the data stored in the storage unit 166.
  • the data of all pixels or the data of some pixels of a part of the fluorescent image that is being recorded may be used.
  • the analysis unit 178 calculates a correlation value described later on the data extracted by the data extraction unit 176.
  • excitation light emitted from light sources 112a,..., 112n passes through collimating lenses 114a,..., 114n, dichroic mirrors 116a,.
  • the measurement point is irradiated.
  • the measurement point irradiated with the excitation light is raster scanned in the xy direction by the galvanometer mirror 124. Further, if necessary, z scanning is performed by the objective lens driving mechanism 128.
  • the sample S that has received the excitation light emits fluorescence from the measurement point.
  • Light from the sample S (including undesired reflected light in addition to fluorescence) reaches the pinhole 134 through the objective lens 126, the galvanometer mirror 124, the dichroic mirror 122, and the converging lens 132.
  • the pinhole 134 Since the pinhole 134 is at a position conjugate with the measurement point, only light from the measurement point in the sample S passes through the pinhole 134.
  • the light that has passed through the pinhole 134 that is, the light from the measurement point in the sample S, enters the n-channel detection system 131 through the collimator lens 136.
  • the light incident on the n-channel detection system 131 is separated (that is, spectrally separated) by the dichroic mirrors 138a,..., 138n, and unwanted components are removed by the fluorescent filters 140a,.
  • the fluorescent filters 140a As a result, only the fluorescence generated by the excitation light from the light sources 112a,..., 112n enters the photodetectors 142a,.
  • Each of the photodetectors 142a,..., 142n outputs incident light, that is, a fluorescence intensity signal indicating the intensity of fluorescence emitted from a measurement point in the sample S.
  • This fluorescence intensity signal is input to the image forming unit 164.
  • the image forming unit 164 processes the input fluorescence intensity signal in synchronism with position information in the xy direction (and z direction) for each raster scan (and z scan), and the focal plane in the sample S
  • a fluorescence image of one frame (a flat surface or a curved surface where the measurement point has moved) is formed.
  • the formed fluorescent image is stored in the storage unit 166.
  • the series of operations described here is repeated for the set number of frames to be acquired, and a fluorescence image having the set number of frames is acquired.
  • Each fluorescent image is composed of a plurality of pixels from which pixel data is acquired in time series.
  • the fluorescent image stored in the storage unit 166 is processed as necessary and displayed on the display unit 168.
  • Step S1> The observation area of the sample S and the number of frames of the fluorescent image to be acquired are set. Fluorescence images of the set number of frames in the set observation area are acquired in time series. The fluorescence image is acquired by the same scanning method for the same observation region. In other words, when one set of scanning is performed from the irradiation of light toward a predetermined direction to the irradiation of light toward the predetermined direction again, at least two sets or more of the analysis region are scanned.
  • F k represents the fluorescence image of the k-th frame in one channel.
  • Each fluorescent image is composed of a plurality of pixels from which pixel data is acquired in time series. Pixel data is, for example, fluorescence intensity obtained from a two-dimensional or three-dimensional observation region.
  • a region (analysis region) R2 to be analyzed is set with respect to a region (observation region) R1 of the acquired fluorescence image.
  • the analysis region R2 is not limited to a part of the observation region R1, and may coincide with the observation region R1.
  • the analysis area R2 is set as an observation area R1, that is, a scanning area in step S1 by default in terms of application. This step is not necessary when analyzing the entire observation region R1.
  • Step S3> Select fluorescent images of 2 frames or more to be used for analysis.
  • the fluorescent image to be selected may be all of the fluorescent image acquired in step S1, or may be a part of the fluorescent image acquired in step S1.
  • a part of the fluorescence image acquired in step S1 may be continuous in time series or may not be continuous in time series.
  • Step S4> A plurality of data pairs having the same acquired time interval are extracted from the pixel data in each analysis region R2 of the fluorescence image selected in step S3. Then, the product-sum calculation of each data pair is performed for all of the selected fluorescent images to calculate the correlation value.
  • Each of the data pairs to be extracted may be the data itself of the corresponding pixel, or may be a statistical value of data of a plurality of pixels including the corresponding pixel.
  • the plurality of pixels may be, for example, a pixel of interest and a pixel adjacent thereto.
  • the statistical value may be, for example, any one of an average value, a maximum value, a minimum value, a relative difference, an absolute difference, and a relative ratio of pixel data. What statistics are used depends on what information is desired to be obtained by RICS analysis.
  • the correlation value may be calculated by reconstructing the images based on the pixel data, and calculating the correlation values for the reconstructed images. For example, the data of adjacent pixels is added to halve the number of pixel data. Alternatively, the data of one pixel is divided into a plurality of pieces. Originally, once the image is acquired, the number of pixel data does not increase, but it cannot be acquired on the assumption that the intensity of the acquired pixel data spreads around the pixel data in a Gaussian distribution. Supplement pixel data. Although the number of pixel data is not essentially increasing, it looks better.
  • the spatial autocorrelation value is calculated using the following equation (1).
  • G sa is the RICS spatial autocorrelation value
  • n is the number of frames used for the calculation
  • I ⁇ is the ⁇ th frame.
  • Pixel data, x and y are spatial coordinates of measurement points, ⁇ and ⁇ are changes in spatial coordinates from the measurement points, M 11 is the number of data product-sum calculations, and M ⁇ is the total number of data in the ⁇ frame. is there.
  • the number of frames n used for the calculation is represented by an integer of 2 or more and the number of frames of the acquired fluorescent image.
  • the calculation of a correlation value calculates a spatial cross-correlation value using following Formula (2), for example.
  • G sc is the RICS spatial cross-correlation value
  • n is the number of frames used in the calculation
  • I 1 ⁇ is the ⁇ th frame of channel 1
  • I 2 ⁇ is the fluorescence intensity data of the ⁇ frame of channel 2
  • x and y are the spatial coordinates of the measurement point
  • ⁇ and ⁇ are the changes in the spatial coordinates from the measurement point
  • M 12 is the data product
  • M 1 ⁇ is the total number of data in the ⁇ frame of channel 1
  • M 2 ⁇ is the total number of data in the ⁇ frame of channel 2.
  • Equation (2) is a formula for calculating a spatial cross-correlation value between channel 1 and channel 2, but the channel may be changed as appropriate.
  • the number of frames n used for the calculation is represented by an integer of 2 or more and the number of frames of the acquired fluorescent image.
  • FIG. 7 schematically shows the product-sum calculation in G s (2, 4).
  • ⁇ 1, and the product-sum calculation is performed on a pair of data of two pixels having a spatial shift (2, 4) with respect to the analysis region of the fluorescence image of the first frame.
  • a data pair of two pixels having a spatial deviation (2, 4) has a predetermined time interval for data acquisition. Means a pair of data that is time.
  • the product-sum calculation is performed on the data pair of two pixels having a spatial shift (2, 4) with respect to the analysis region of the fluorescence image of the ⁇ frame.
  • the correlation value is calculated by continuously performing the product-sum calculation for all analysis regions of the n-frame fluorescence image in this way.
  • Step S5> The calculation result of the spatial correlation value in the above step S4 is fitted by equation (3).
  • G s is the RICS spatial correlation value
  • S is the influence of scanning in the RICS analysis
  • G is the influence of time delay in the RICS analysis
  • D is the diffusion constant
  • ⁇ and ⁇ are the spatial coordinates from the measurement point.
  • ⁇ r is the pixel size
  • N is the number of molecules
  • W 0 is the lateral radius of the excitation laser beam
  • W Z is the longitudinal radius of the excitation laser beam
  • ⁇ p is the pixel time
  • ⁇ l is the line time
  • ⁇ is an arbitrary constant.
  • the pixel time means a shift in acquisition time between pixels.
  • the line time means a difference in acquisition time between the first pixel of an arbitrary line and the first pixel of the next line. That is, the line time means the time required to scan one line.
  • the diffusion time is estimated by fitting using equation (3).
  • the correlation value G sa or the correlation value G sc for different delay times is obtained using Formula (1) or Formula (2).
  • the delay time means the difference between the acquisition time of one pixel and the acquisition time of another pixel.
  • the difference between the correlation value G sa or the correlation value G sc obtained as the measurement value and the G s obtained as the theoretical value is minimized while varying the unknown diffusion constant D and the number of molecules N.
  • the fitting by the expression (3) is to estimate the optimal number of molecules or diffusion constant in the two-dimensional or three-dimensional observation region while changing the diffusion constant D and the number of molecules N.
  • D is a diffusion constant
  • ⁇ is a diffusion time
  • W 0 is a lateral radius of the excitation laser beam.
  • Step S6> Display the analysis results and save as appropriate. Specifically, the calculation result of the spatial correlation value obtained in step S4 and the fitting result of the spatial correlation value obtained in step S5 are displayed.
  • An example of the analysis result is shown in FIGS.
  • FIG. 8 is an image showing the calculation result of the spatial correlation value for a small molecule in luminance
  • FIG. 9 shows the fitting result
  • FIG. 10 is an image showing the calculation result of the spatial correlation value for a large molecule in luminance
  • FIG. 11 shows the fitting result.
  • FIG. 12 shows the result of comparing the diffusion constant (D) of the EGFP solution (the dye solution diluted with distilled water) while changing the ROI size in the analysis region.
  • D diffusion constant
  • ROI size 256 means that the number of pixels of 256 ⁇ 256 is included in the analysis region.
  • one correlation value is obtained by product-sum calculation for two pixels in the analysis region of one frame image.
  • a product-sum calculation is continuously performed on two pixels in an analysis region of an image of a plurality of frames to calculate one correlation value.
  • data used for calculating one correlation value is not limited to data in one frame image, and the number of frames of an image used for calculating one correlation value is increased. As a result, the number of data used for calculating the correlation value increases. Therefore, RICS analysis can be performed with high accuracy.
  • the image acquired by the raster scan has been described.
  • the image is not limited to the image acquired by the raster scan, and the pixel data is obtained from a plurality of pixels acquired in time series. And may be obtained by other scanning methods.
  • DESCRIPTION OF SYMBOLS 100 ... Image analysis apparatus 110 ... Light irradiation part, 112a, ..., 112n ... Light source, 114a, ..., 114n ... Collimating lens, 116a, ..., 116n ... Dichroic mirror, 122 ... Dichroic mirror, 124 ... Galvano mirror, 126 ... Objective lens 128 ... Objective lens drive mechanism 130 ... Photodetector 132 ... Converging lens 134 ... Pinhole 136 ... Collimator lens 138a ... 138n ... Dichroic mirror 140a ... 140n ... Fluorescent filter 142a ,..., 142 n... Photodetector, 160... Control unit, 162...
  • Scanning control unit 164 ... image forming unit, 166... Storage unit, 168 ... display unit, 170 ... input unit, 172.
  • Image selection unit 176 ... data extraction unit, 178 ... analysis unit, 180 ... stage Control unit, 190 ... sample stage, R1 ... observation area, R2 ... the analysis region.

Abstract

　ステップＳ１：複数フレームの蛍光画像を時系列的に取得する。各蛍光画像は、ピクセルのデータが時系列的に取得された複数のピクセルからなる。ステップＳ２：蛍光画像に対して解析領域を設定する。ステップＳ３：解析に利用する２フレーム以上の蛍光画像を選定する。ステップＳ４：ステップＳ３において選定した蛍光画像の各々の解析領域内の取得時間間隔が同じ二つのピクセルからその各々がなる複数のデータペアを抽出し、データペアの各々の積和計算を選定した蛍光画像の全てについて行なって相関値を算出する。

Description

画像解析方法および画像解析装置
　本発明は、画像解析方法および画像解析装置に関する。
　従来、ラスターイメージ相関分光法（ＲＩＣＳ：Raster Image Correlation Spectroscopy）として非特許文献１，２に示すような方法が提案されている。この画像解析方法において、１フレーム以上のラスター走査画像からなる蛍光画像を取得する。つまり、画像解析したい試料において、興味を持っている領域を決め、その領域をラスター走査方式で繰り返し走査し、複数フレームの蛍光強度からなる画像を取得する。フレーム中の蛍光強度はピクセル単位でデータとして表わされている。
　これらのピクセル単位のデータ（ピクセルのデータ）は、それぞれ取得された時間および取得された位置が異なるため、各データに対応する取得時間および取得位置はずれている。
　したがって、これらのピクセルのデータを用いて、空間相関解析することで、分子の揺らぎによる相関特性を得ることができる。ここで、分子の相関特性からは、拡散定数や分子数を求めることができる。
　このように、空間相関解析することで、分子拡散時間や、分子数等を評価することができるため、分子間の相互作用を観察することが可能である。
「Measuring Fast Dynamics in Solutions and Cells with a Laser Scanning Microscope」, Michelle A. Digman, Claire M. Brown, Parijat Sengupta, Paul W. Wiseman, Alan R. Horwitz, and Enrico Gratton, Biophysical Journal, Vol.89, P1317-1327, August 2005. 「Fluctuation Correlation Spectroscopy with a Laser-Scanning Microscope: Exploiting the Hidden Time Structure」, Michelle A. Digman, Parijat Sengupta, Paul W. Wiseman, Claire M. Brown, Alan R. Horwitz, and Enrico Gratton, Biophysical Journal: Biophysical Letters, L33-36, 2005.
　従来、ＲＩＣＳの空間相関解析において、一つのＲＩＣＳの解析結果を得るためには、１フレームの画像を構成するピクセルのデータだけを用いる。これは、１フレーム以上の画像を取得した場合であっても同様で、一つのＲＩＣＳの解析結果を得るためには、１フレームの画像を構成するピクセルのデータだけを用いる。すなわち、一つの画像を構成するピクセルのデータと、他の画像を構成するピクセルのデータを用いて、一つのＲＩＣＳの解析結果を得ていない。
　しかし、細胞観察のような細胞の核、膜、質などの異なる局所的な解析領域に限定してＲＩＣＳの解析を行なう場合、当該解析領域に含まれるピクセル数が少ない（ピクセル数は例えば８×８である）。このような領域について、空間相関解析を行う場合、ＲＩＣＳの空間相関解析に用いるデータ数が少なすぎるため、解析結果の精度が低下するという問題が生じる。何故なら、ＲＩＣＳの空間相関演算は統計計算の一種で、データ数が多いほど精度が高く、データ数が少ないほど誤差が大きくなるためである。つまり、空間相関解析をする領域に含まれるデータ数が少なすぎると、統計計算の結果としてのＲＩＣＳの解析精度が低下してしまう。
　本発明の目的は、ピクセル数の少ない解析領域に対しても高い精度で空間相関解析を行なえるＲＩＣＳの画像解析方法を提供することである。
　本発明による画像解析方法は、各画像のピクセルのデータが時系列的に取得された複数のピクセルからなる複数フレームの画像を時系列的に取得する画像取得ステップと、前記画像に対して解析領域を設定する解析領域設定ステップと、前記画像の中から解析に利用する２フレーム以上の画像を選定する画像選定ステップと、前記選定画像の各々の前記解析領域内の取得時間間隔が同じ二つのピクセルからその各々がなる複数のデータペアを抽出し、前記データペアの各々の積和計算を前記選定画像の全てについて行なって相関値を算出する演算ステップとを有している。
　本発明によれば、ピクセル数の少ない解析領域に対しても高い精度で空間相関解析を行なえるＲＩＣＳの画像解析方法が提供される。
図１は、本発明の実施形態による画像解析装置を概略的に示している。 図２は、図１に示される制御部の機能ブロックを示している。 図３は、本発明の実施形態による画像解析のフローチャートである。 図４は、図３のフローチャート中のステップ４における計算手順を示している。 図５は、時系列的に取得された複数フレームの蛍光画像を示している。 図６は、観察領域と解析領域を示している。 図７は、複数グループに分類された複数フレームの蛍光画像による空間相関演算の積和計算部分を模式的に示している。 図８は、小さい分子に対するＲＩＣＳによる空間相関値の算出結果を輝度で示した画像である。 図９は、小さい分子に対するＲＩＣＳによる空間相関値のフィッティング結果を示している。 図１０は、大きい分子に対するＲＩＣＳによる空間相関値の算出結果を輝度で示した画像である。 図１１は、大きい分子に対するＲＩＣＳによる空間相関値のフィッティング結果を示している。 図１２は、ＥＧＦＰ溶液の拡散定数（Ｄ）を解析領域のＲＯＩサイズを変えながら比較した結果を示している。
　以下、図面を参照しながら本発明の実施形態について説明する。
　図１は、本発明の実施形態による画像解析装置を概略的に示している。この画像解析装置は、試料の蛍光観察のための走査型共焦点光学顕微鏡をベースに構成されている。
　図１に示すように、画像解析装置１００は、試料Ｓに励起光を照射する光照射部１１０と、試料Ｓ内の測定点から発せられる光を検出する光検出部１３０と、画像解析に必要な制御を行なう制御部１６０と、試料Ｓを支持する試料ステージ１９０とを有している。
　試料Ｓはマイクロプレートやスライドガラスなどの試料容器に収容され、試料ステージ１９０に載置される。試料ステージ１９０は、例えば、試料Ｓを光照射部１１０および光検出部１３０に対して横方向（ｘｙ方向）および高さ方向（ｚ方向）に移動可能に支持する。例えば、試料ステージ１９０は、出力軸が互いに直交する三つのステッピング・モーターを含んでおり、これらのステッピング・モーターによって試料Ｓをｘｙｚ方向に移動し得る。
　画像解析装置１００は、多重光照射・多重光検出型である。このため、光照射部１１０はｎチャンネルの光源系１１１を含み、これに対応して光検出部１３０はｎチャンネルの検出系１３１を含んでいる。ｎチャンネルの検出系１３１は、それぞれ、ｎチャンネルの光源系１１１から射出された励起光によって生成された蛍光を検出する。ここで、ｎチャンネルは、チャンネル１、チャンネル２、・・・チャンネルｎによって構成される。チャンネルは、励起光の種類によってそれぞれ異なる。
　光照射部１１０のｎチャンネルの光源系１１１は、光源１１２ａ，…，１１２ｎとコリメートレンズ１１４ａ，…，１１４ｎとダイクロイックミラー１１６ａ，…，１１６ｎとを含んでいる。光源１１２ａ，…，１１２ｎは、試料Ｓに含まれる蛍光色素を励起して試料Ｓから光（蛍光）を発せさせるための励起光を発する。光源１１２ａ，…，１１２ｎから発せられる励起光の波長は、試料Ｓに含まれる蛍光色素の種類に対応して、互いに相違している。光源１１２ａ，…，１１２ｎは、例えば、試料Ｓ中の蛍光色素に合った発振波長のレーザー光源で構成される。コリメートレンズ１１４ａ，…，１１４ｎは、それぞれ、光源１１２ａ，…，１１２ｎから発せられた励起光をコリメートする。ダイクロイックミラー１１６ａ，…，１１６ｎは、それぞれ、コリメートレンズ１１４ａ，…，１１４ｎを通過した励起光を同じ方向に反射する。ダイクロイックミラー１１６ａ，…，１１６ｎは、それぞれ、図１の上方から入射する励起光を透過し、図１の右方から入射する励起光を反射する。その結果、光源１１２ａ，…，１１２ｎからそれぞれ射出された異なる波長の励起光は、ダイクロイックミラー１１６ａの通過後に一本のビームに合成される。ダイクロイックミラー１１６ｎは、励起光を透過する必要がないので、単なるミラーに変更されてもよい。
　光照射部１１０はさらに、ダイクロイックミラー１２２とガルバノミラー１２４と対物レンズ１２６と対物レンズ駆動機構１２８を含んでいる。ダイクロイックミラー１２２は、光源系１１１からの励起光をガルバノミラー１２４に向けて反射し、試料Ｓから発せられる蛍光を透過する。ガルバノミラー１２４は、励起光を対物レンズ１２６に向けて反射するとともに、その反射方向を変更する。対物レンズ１２６は、励起光を収束して試料Ｓ内の測定点に照射するとともに、試料Ｓ内の測定点からの光を取り込む。対物レンズ１２６には、微小な共焦点領域（測定点）の形成のために、ＮＡ（開口数）の大きいものが使用される。これにより得られる共焦点領域の大きさは、直径０．６μｍ程度、長さ２μｍ程度の略円筒状となる。ガルバノミラー１２４は、測定点をｘｙ方向に走査するｘｙ走査手段を構成している。ｘｙ走査手段は、ガルバノミラーを使用して構成するほかに、音響光学変調素子（ＡＯＭ）やポリゴンミラー、ホログラムスキャナーなどを使用して構成してもよい。対物レンズ駆動機構１２８は、対物レンズ１２６を光軸に沿って移動させる。これにより、測定点がｚ方向に移動される。つまり、対物レンズ駆動機構１２８は、測定点をｚ方向に走査するｚ走査手段を構成している。
　光検出部１３０は、対物レンズ１２６とガルバノミラー１２４とダイクロイックミラー１２２を光照射部１１０と共有している。光検出部１３０はさらに、収束レンズ１３２とピンホール１３４とコリメートレンズ１３６とを含んでいる。収束レンズ１３２は、ダイクロイックミラー１２２を透過した光を収束する。ピンホール１３４は、収束レンズ１３２の焦点に配置されている。つまり、ピンホール１３４は、試料Ｓ内の測定点に対して共役な位置にあり、測定点からの光だけを選択的に通す。コリメートレンズ１３６は、ピンホール１３４を通過した光を平行にする。コリメートレンズ１３６を通過した光は、ｎチャンネルの検出系１３１に入射する。
　ｎチャンネルの検出系１３１は、ダイクロイックミラー１３８ａ，…，１３８ｎと蛍光フィルター１４０ａ，…，１４０ｎと光検出器１４２ａ，…，１４２ｎとを含んでいる。
ダイクロイックミラー１３８ａ，…，１３８ｎは、それぞれ、光源１１２ａ，…，１１２ｎからの励起光によって試料Ｓから生成された蛍光の波長域付近の波長の光を選択的に反射する。ダイクロイックミラー１３８ｎは、光を透過する必要がないので、単なるミラーに変更されてもよい。蛍光フィルター１４０ａ，…，１４０ｎは、それぞれ、ダイクロイックミラー１３８ａ，…，１３８ｎによって反射された光から、不所望な波長成分の光を遮断し、光源１１２ａ，…，１１２ｎからの励起光によって生成された蛍光だけを選択的に透過する。蛍光フィルター１４０ａ，…，１４０ｎを透過した蛍光はそれぞれ光検出器１４２ａ，…，１４２ｎに入射する。光検出器１４２ａ，…，１４２ｎは、入射した光の強度に対応した信号を出力する。すなわち、光検出器１４２ａ，…，１４２ｎは、試料Ｓ内の測定点からの蛍光強度信号を出力する。
　制御部１６０は例えばパーソナルコンピューターで構成される。制御部１６０は、試料Ｓの観察領域の蛍光画像の取得と記憶と表示、取得する蛍光画像のフレーム数（枚数）や解析領域の設定の入力待ち、画像解析（相関値の算出）、拡散時間の推定などを行なう。また制御部１６０は、ｘｙ走査手段であるガルバノミラー１２４、ｚ走査手段である対物レンズ駆動機構１２８、試料ステージ１９０などの制御を行なう。
　図１に示される制御部の機能ブロックを図２に示す。制御部１６０は、図２に示すように、走査制御部１６２と画像形成部１６４と記憶部１６６と表示部１６８と入力部１７０と解析領域設定部１７２と画像選定部１７４とデータ抽出部１７６と解析部１７８とステージ制御部１８０とを含んでいる。ここで、走査制御部１６２と画像形成部１６４と記憶部１６６とステージ制御部１８０と上述したガルバノミラー１２４と対物レンズ駆動機構１２８と試料ステージ１９０と光検出器１４２とが画像取得部を構成し、データ抽出部１７６と解析部１７８とが演算部を構成する。
　走査制御部１６２は、試料Ｓの蛍光画像を取得する際、励起光の照射位置を試料Ｓに対してラスター走査するようにガルバノミラー１２４を制御する。走査制御部１６２はまた、必要であれば、励起光の照射位置を試料Ｓに対してｚ走査するように対物レンズ駆動機構１２８を制御する。画像形成部１６４は、走査制御部１６２から入力される励起光の照射位置の情報と光検出器１４２ａ，…，１４２ｎの出力信号とから試料Ｓの蛍光画像を形成する。これにより、蛍光画像が取得される。記憶部１６６は、画像形成部１６４で形成された蛍光画像を順次記憶する。表示部１６８は、試料Ｓの蛍光画像や解析結果を表示する。入力部１７０は、例えばマウスやキーボードを含み、表示部１６８と共同してＧＵＩを構成する。このＧＵＩは、取得フレーム数や観察領域や解析領域の設定などに利用される。ステージ制御部１８０は、例えば観察領域を設定するために、入力部１７０からの入力情報に従って試料ステージ１９０を制御する。解析領域設定部１７２は、入力部１７０からの入力情報に従って解析領域を設定する。画像選定部１７４は、入力部１７０からの入力情報に従って、解析に利用する２フレーム以上の蛍光画像を選定する。データ抽出部１７６は、解析領域設定部１７２と画像選定部１７４からの入力情報に基づいて、記憶部１６６に記憶されている蛍光画像から必要なデータを抽出する。必要なデータは、画像選定部１７４によって選定された蛍光画像の各々の解析領域内の取得時間間隔が同じ二つのピクセルからその各々がなる複数のデータペアである。これら複数のデータペアに含まれるデータは、例えば、記憶部１６６に記憶されているすべての蛍光画像のすべてのピクセルのデータまたは一部のピクセルのデータであってよく、あるいは、記憶部１６６に記憶されている一部の蛍光画像のすべてのピクセルのデータまたは一部のピクセルのデータであってもよい。解析部１７８は、データ抽出部１７６によって抽出されたデータに対して後述する相関値の演算を行なう。
　図１において、光源１１２ａ，…，１１２ｎから発せられた励起光は、コリメートレンズ１１４ａ，…，１１４ｎとダイクロイックミラー１１６ａ，…，１１６ｎとダイクロイックミラー１２２とガルバノミラー１２４と対物レンズ１２６を経て試料Ｓ内の測定点に照射される。励起光が照射される測定点は、ガルバノミラー１２４によってｘｙ方向にラスター走査される。さらに必要であれば、対物レンズ駆動機構１２８によってｚ走査される。励起光を受けた試料Ｓは測定点から蛍光を発する。試料Ｓからの光（蛍光のほかに不所望な反射光などを含む）は、対物レンズ１２６とガルバノミラー１２４とダイクロイックミラー１２２と収束レンズ１３２を経てピンホール１３４に至る。ピンホール１３４は測定点と共役な位置にあるため、試料Ｓ内の測定点からの光だけがピンホール１３４を通過する。ピンホール１３４を通過した光すなわち試料Ｓ内の測定点からの光はコリメートレンズ１３６を経てｎチャンネルの検出系１３１に入射する。ｎチャンネルの検出系１３１に入射した光は、ダイクロイックミラー１３８ａ，…，１３８ｎによって波長に従って分離される（つまり分光される）とともに、蛍光フィルター１４０ａ，…，１４０ｎによって不所望な成分が除去される。その結果、光源１１２ａ，…，１１２ｎからの励起光によって生成された蛍光だけが光検出器１４２ａ，…，１４２ｎにそれぞれ入射する。光検出器１４２ａ，…，１４２ｎは、それぞれ、入射光すなわち試料Ｓ内の測定点から発せられた蛍光の強度を示す蛍光強度信号を出力する。この蛍光強度信号は画像形成部１６４に入力される。画像形成部１６４は、１回のラスター走査（およびｚ走査）ごとに、入力される蛍光強度信号をｘｙ方向（およびｚ方向）の位置情報に同期させて処理して、試料Ｓ内の焦点面（測定点が移動した平面または曲面）の１フレームの蛍光画像を形成する。形成された蛍光画像は、記憶部１６６に保存される。ここに述べた一連の動作は、設定された取得するフレーム数だけ繰り返され、設定されたフレーム数の蛍光画像が取得される。各蛍光画像は、ピクセルのデータが時系列的に取得された複数のピクセルからなる。
　記憶部１６６に保存された蛍光画像は、必要に応じて処理され、表示部１６８に表示される。例えば、測定点のｚ位置を変えて複数フレームの蛍光画像を取得し、それらを合成して三次元画像を形成し、これを表示部１６８に表示することも可能である。
　以下、図３と図４を参照しながら画像解析の手順について説明する。また、各ステップについて、適宜、図５～図７を参照しながら説明する。
　＜ステップＳ１＞：
　試料Ｓの観察領域と取得する蛍光画像のフレーム数を設定する。設定した観察領域の設定したフレーム数の蛍光画像を時系列的に取得する。蛍光画像の取得は、同一の観察領域に対して同一の走査方法によって行なう。すなわち、所定の方向に向けて光を照射した後、再び当該所定の方向に向けて光を照射するまでを１セットの走査とした場合、少なくとも２セット以上、解析領域が走査される。
　取得した複数フレームの蛍光画像を模式的に図５に示す。図５において、Ｆｋは、一つのチャンネルにおけるｋフレーム目の蛍光画像を表している。各蛍光画像は、ピクセルのデータが時系列的に取得された複数のピクセルからなる。ピクセルのデータは、たとえば、２次元または３次元の観察領域から得られた蛍光強度である。
　＜ステップＳ２＞：
　図６に示すように、取得した蛍光画像の領域（観察領域）Ｒ１に対して解析する領域（解析領域）Ｒ２を設定する。解析領域Ｒ２は、観察領域Ｒ１の一部に限定されるものではなく、観察領域Ｒ１に一致していてもよい。解析領域Ｒ２は、アプリケーション的にはデフォルトで観察領域Ｒ１すなわちステップＳ１における走査領域に設定されている。観察領域Ｒ１の全体を解析する場合には、このステップは不要である。
　＜ステップＳ３＞：
　解析に利用する２フレーム以上の蛍光画像を選定する。選定する蛍光画像は、ステップＳ１において取得した蛍光画像の全てであってもよいし、ステップＳ１において取得した蛍光画像の一部であってもよい。また、ステップＳ１において取得した蛍光画像の一部は、時系列的に連続していてもよいし、時系列的に連続していていなくてもよい。
　＜ステップＳ４＞：
　ステップＳ３において選定した蛍光画像の各々の解析領域Ｒ２内のピクセルのデータの中から、取得された時間の間隔が同じであるデータペアを複数抽出する。そして、データペアの各々の積和計算を、選定した蛍光画像の全てについて行なって相関値を算出する。抽出するデータペアの各々は、それに対応するピクセルのデータそのものであってもよいし、それに対応するピクセルを含む複数のピクセルのデータの統計値であってもよい。複数のピクセルは、たとえば、注目のピクセルおよびこれに隣接するピクセルであってよい。統計値は、たとえば、ピクセルのデータの平均値、最大値、最小値、相対差、絶対差、相対比のいずれかであってよい。どのような統計値を使用するかは、ＲＩＣＳの解析によってどのような情報を得たいかによって決める。
　また相関値の演算は、ピクセルのデータに基づいて画像をそれぞれ構成し直し、構成し直した画像について相関値を演算してもよい。例えば、隣のピクセルのデータ同士を足して、ピクセルのデータの数を半分にする。または、一つのピクセルのデータを複数に分割する。本来ならば、一度画像を取得するとピクセルのデータの数は増えないが、取得したピクセルのデータの強度がそのピクセルのデータの周囲にガウシアン分布で広がっていると仮定して、本来取得できていないピクセルのデータを補う。本質的にピクセルのデータの数が増えている訳ではないが、見た目が良くなる。
　相関値の演算は、例えば、次式（１）を用いて空間自己相関値を算出する。
Figure JPOXMLDOC01-appb-M000007
ここで、ＧｓａはＲＩＣＳの空間自己相関値、ｎは計算に使用するフレーム数であり、ηはフレームを特定するパラメータ（η＝１，２，…，ｎ）、Ｉηはηフレーム目のピクセルのデータ、ｘ，ｙは測定点の空間的座標、ξ，ψは測定点からの空間的座標の変化量、Ｍ１１はデータ積和計算の回数、Ｍηはηフレーム目のデータ総数である。計算に使用するフレーム数ｎは、２以上かつ取得した蛍光画像のフレーム数以下の整数で表される。
　または、相関値の演算は、例えば、次式（２）を用いて空間相互相関値を算出する。
Figure JPOXMLDOC01-appb-M000008
ここで、ＧｓｃはＲＩＣＳの空間相互相関値、ｎは計算に使用するフレーム数、ηはフレームを特定するパラメータ（η＝１，２，…，ｎ）、Ｉ１ηはチャンネル１のηフレーム目の蛍光強度データ、Ｉ２ηはチャンネル２のηフレーム目の蛍光強度データ、ｘ，ｙは測定点の空間的座標、ξ，ψは測定点からの空間的座標の変化量、Ｍ１２はデータ積和計算の回数、Ｍ１ηはチャンネル１のηフレーム目のデータ総数、Ｍ２ηはチャンネル２のηフレーム目のデータ総数である。式（２）は、チャンネル１とチャンネル２との間の空間相互相関値の算出式であるが、チャンネルは適宜変更されてよい。計算に使用するフレーム数ｎは、２以上かつ取得した蛍光画像のフレーム数以下の整数で表される。
　ここで、式（１）または式（２）による計算の手順について図４と図７を参照して説明する。図７は、Ｇｓ（２，４）中の積和計算を模式的に示している。
　まず、η＝１とし、１フレーム目の蛍光画像の解析領域に対して、空間ずれ（２，４）を有する二つのピクセルのデータのペアについて積和計算を行なう。なお、ＲＩＣＳの解析では、ラスター走査方式で繰り返し解析領域を走査しているため、空間ずれ（２，４）を有する二つのピクセルのデータのペアとは、データが取得された時間の間隔が所定時間であるデータのペアを意味する。
　次に、ηに１を加算し、η＝２とし、２フレーム目の蛍光画像の解析領域に対して、空間ずれ（２，４）を有する二つのピクセルのデータのペアについて積和計算を継続して行なう。
　その後、ηに１を加算した値がｎ以下である限り、ηフレーム目の蛍光画像の解析領域に対して、空間ずれ（２，４）を有する二つのピクセルのデータのペアについて積和計算を継続して行なう。
　最終的に、このようにｎフレームの蛍光画像の全ての解析領域に対して積和計算を継続的に行なうことにより相関値を算出する。
　このように、本実施形態では、η＝１のときの、データペアについて積和計算を行った後、その積和計算の結果のみに基づいて一つの相関解析結果を得るのではなく、ηが１からｎのときの、データペアについて積和計算を行った後、それらの積和計算の結果に基づいて一つの相関解析結果を得る。
　また、別の言い方をすれば、ｎセットの走査により得られたそれぞれのピクセルのデータから、任意の２つのピクセルのデータの組み合わせであって、光が照射された時間の間隔が、所定時間である組み合わせを全て抽出し、抽出されたデータの全ての組み合わせについて一つの相関解析結果を得る。
　＜ステップＳ５＞：
　上記ステップＳ４の空間相関値の算出結果を式（３）によってフィッティングする。
Figure JPOXMLDOC01-appb-M000009
ここで、ＧｓはＲＩＣＳの空間相関値、ＳはＲＩＣＳの解析における走査の影響、ＧはＲＩＣＳの解析における時間遅延の影響、Ｄは拡散定数、ξ，ψは測定点からの空間的座標の変化量、δｒはピクセルサイズ、Ｎは分子数、Ｗ０は励起レーザビームの横方向の半径、ＷＺは励起レーザビームの縦方向の半径、τｐはピクセル時間、τｌはライン時間、γは任意の定数である。
　なお、γについては、システムに応じて適宜設定することができる。例えば、γ＝１としてフィッティングしてよい。
　また、ピクセル時間とは、ピクセル間の取得時間のずれを意味する。また、ライン時間とは、任意のラインの最初のピクセルと、その次のラインの最初のピクセルと、の間の取得時間のずれを意味する。すなわち、ライン時間は、一ライン走査するのに要する時間を意味する。
　このように式（３）を用いてフィッティングすることで、拡散時間の推定をする。具体的には、式（１）または式（２）を用いて、異なる遅延時間に対する相関値Ｇｓａまたは相関値Ｇｓｃをそれぞれ求める。ここで、遅延時間とは、一の画素の取得時間と、別の画素の取得時間と、の差を意味している。例えば、（ξ，ψ）＝（１，１）と、（ξ，ψ）＝（４，２）と、の遅延時間は、（４－１）τｐ＋（２－１）τｌで表される。
　ここで、式（３）において、遅延時間がゼロのときは（ξ＝０、ψ＝０）、Ｓは１であり、Ｇｓは１／Ｎで表せる。従って、分子数を求めることができる。これを新たに、式（３）に代入する。
　そして、未知数である拡散定数Ｄと分子数Ｎを変動させながら、測定値として得られる相関値Ｇｓａまたは相関値Ｇｓｃと、理論値として得られるＧｓと、の差が最小となるように、適切な拡散定数Ｄと分子数Ｎを求める。このように、式（３）によるフィッティングとは、拡散定数Ｄと分子数Ｎを変動させながら、２次元または３次元の観察領域における、最適な、分子数または拡散定数を推定することである。
　そして、拡散定数からは、拡散時間を求めることができる。
　すなわち、拡散定数と、拡散時間との関係は、次式（４）で表される。
Figure JPOXMLDOC01-appb-M000010
ここで、Ｄは拡散定数、τは拡散時間、Ｗ０は励起レーザビームの横方向の半径を意味する。
　＜ステップＳ６＞：
　解析結果を表示するとともに適宜保存する。具体的には、ステップＳ４で得た空間相関値の算出結果と、ステップＳ５で得た空間相関値のフィッティング結果を表示する。解析結果の一例を図８～図１１に示す。図８は、小さい分子に対する空間相関値の算出結果を輝度で示した画像であり、図９は、そのフィッティング結果を示している。また図１０は、大きい分子に対する空間相関値の算出結果を輝度で示した画像であり、図１１は、そのフィッティング結果を示している。
　従来、ＲＩＣＳのような画像データを計算の元とする空間的相関解析では、１フレームの画像の解析領域中のピクセルのデータを用いて一つの相関値を算出する。解析領域が小さくなると、積和計算に利用できるデータペアの数が減少する。このため、解析領域が非常に小さくなると、相関値が適切に算出できなくなる。図１２は、ＥＧＦＰ溶液（色素液を蒸留水で希釈したもの）の拡散定数（Ｄ）を解析領域のＲＯＩサイズを変えながら比較した結果を示している。図１２において、ＲＯＩサイズ＝２５６は、解析領域内に２５６×２５６のピクセル数が含まれていることを意味する。図１２から分かるように、解析領域のＲＯＩサイズが大きいほど、ＥＧＦＰ溶液の拡散定数９０（理論値）に近い値を示し、解析領域のＲＯＩサイズが小さいほど、ＥＧＦＰ溶液の拡散定数９０（理論値）から遠い値を示している。すなわち、ピクセルのデータが多いほど、正しい結果（理論値）に近い値（測定値）が得られることが分かる。
　これに対して、本実施形態では、ＲＩＣＳのような画像データを計算の元とする空間的相関解析において、１フレームの画像の解析領域内の二つのピクセルに対する積和計算によって一つの相関値を算出するのではなく、複数フレームの画像の解析領域内の二つのピクセルに対して積和計算を継続的に行なって一つの相関値を算出する。このため、一つの相関値の算出に用いるデータが１フレームの画像中のデータに制限されず、一つの相関値の算出に用いる画像のフレーム数が増加される。その結果として、相関値の算出に用いるデータの数が増大する。このため、高い精度でＲＩＣＳの解析を行なえる。
　これまで、図面を参照しながら本発明の実施形態を述べたが、本発明は、これらの実施形態に限定されるものではなく、その要旨を逸脱しない範囲において様々な変形や変更が施されてもよい。
　また実施形態では、ラスター走査によって取得された画像について説明したが、画像は、ラスター走査によって取得されたものに限定されるものではなく、ピクセルのデータが時系列的に取得された複数のピクセルからなる画像であればよく、他の走査方法によって取得されたものであってもよい。
１００…画像解析装置、１１０…光照射部、１１２ａ，…，１１２ｎ…光源、１１４ａ，…，１１４ｎ…コリメートレンズ、１１６ａ，…，１１６ｎ…ダイクロイックミラー、１２２…ダイクロイックミラー、１２４…ガルバノミラー、１２６…対物レンズ、１２８…対物レンズ駆動機構、１３０…光検出部、１３２…収束レンズ、１３４…ピンホール、１３６…コリメートレンズ、１３８ａ，…，１３８ｎ…ダイクロイックミラー、１４０ａ，…，１４０ｎ…蛍光フィルター、１４２ａ，…，１４２ｎ…光検出器、１６０…制御部、１６２…走査制御部、１６４…画像形成部、１６６…記憶部、１６８…表示部、１７０…入力部、１７２…解析領域設定部、１７４…画像選定部、１７６…データ抽出部、１７８…解析部、１８０…ステージ制御部、１９０…試料ステージ、Ｒ１…観察領域、Ｒ２…解析領域。

Claims (18)

  1. 　各画像のピクセルのデータが時系列的に取得された複数のピクセルからなる複数フレームの画像を時系列的に取得する画像取得ステップと、
    　前記画像に対して解析領域を設定する解析領域設定ステップと、
    　前記画像の中から解析に利用する２フレーム以上の画像を選定する画像選定ステップと、
    　前記選定画像の各々の前記解析領域内の取得時間間隔が同じ二つのピクセルからその各々がなる複数のデータペアを抽出し、前記データペアの各々の積和計算を前記選定画像の全てについて行なって相関値を算出する演算ステップとを有している画像解析方法。
  2. 　前記選定画像は、前記画像のすべてからなる、請求項１に記載の画像解析方法。
  3. 　前記選定画像は、前記画像の一部からなる、請求項１に記載の画像解析方法。
  4. 　前記データペアの各々は、前記ピクセルのデータの統計値であり、前記統計値は、前記ピクセルのデータの平均値、最大値、最小値、相対差、絶対差、相対比のいずれかである、請求項１に記載の画像解析方法。
  5. 　前記ピクセルのデータは、２次元または３次元の観察領域から得られた蛍光強度である、請求項１に記載の画像解析方法。
  6. 　前記演算ステップは、前記ピクセルのデータに基づいて、前記複数の画像をそれぞれ構成し直し、構成し直した画像について相関値を演算する、請求項１に記載の画像解析方法。
  7. 　前記画像は、走査型顕微鏡によって得られたものである、請求項１に記載の画像解析方法。
  8. 　前記演算ステップは、次式（１）または次式（２）を用いて、２次元または３次元の観察領域の自己相関または相互相関演算を行う、
    Figure JPOXMLDOC01-appb-M000001
     ここで、ＧｓａはＲＩＣＳの空間自己相関値、ｎは計算に使用するフレーム数、ηはフレームを特定するパラメータ（η＝１，２，…，ｎ）、Ｉηはηフレーム目のピクセルのデータ、ｘ，ｙは測定点の空間的座標、ξ，ψは測定点からの空間的座標の変化量、Ｍ１１はデータ積和計算の回数、Ｍηはηフレーム目のデータ総数であり、
    Figure JPOXMLDOC01-appb-M000002
     ここで、ＧｓｃはＲＩＣＳの空間相互相関値、ｎは計算に使用するフレーム数、ηはフレームを特定するパラメータ（η＝１，２，…，ｎ）、Ｉ１ηはチャンネル１のηフレーム目の蛍光強度データ、Ｉ２ηはチャンネル２のηフレーム目の蛍光強度データ、ｘ，ｙは測定点の空間的座標、ξ，ψは測定点からの空間的座標の変化量、Ｍ１２はデータ積和計算の回数、Ｍ１ηはチャンネル１のηフレーム目のデータ総数、Ｍ２ηはチャンネル２のηフレーム目のデータ総数である、請求項１に記載の画像解析方法。
  9. 　前記演算ステップは、次式（３）を用いて、前記空間相関値の算出結果をフィッティングし、分子数または拡散定数を推定する、
    Figure JPOXMLDOC01-appb-M000003
     ここで、ＧｓはＲＩＣＳの空間相関値、ＳはＲＩＣＳの解析における走査の影響、ＧはＲＩＣＳの解析における時間遅延の影響、Ｄは拡散定数、ξ，ψは測定点からの空間的座標の変化量、δｒはピクセルサイズ、Ｎは分子数、Ｗ０は励起レーザビームの横方向の半径、ＷＺは励起レーザビームの縦方向の半径、τｐはピクセル時間、τｌはライン時間、γは任意の定数である、請求項８に記載の画像解析方法。
  10. 　各画像のピクセルのデータが時系列的に取得された複数のピクセルからなる複数フレームの画像を時系列的に取得する画像取得手段と、
    　前記画像に対して解析領域を設定する解析領域設定手段と、
    　前記画像の中から解析に利用する２フレーム以上の画像を選定する画像選定手段と、
    　前記選定画像の各々の前記解析領域内の取得時間間隔が同じ二つのピクセルからその各々がなる複数のデータペアを抽出し、前記データペアの各々の積和計算を前記選定画像の全てについて行なって相関値を算出する演算手段とを有している画像解析装置。
  11. 　前記選定画像は、前記画像のすべてからなる、請求項１０に記載の画像解析装置。
  12. 　前記選定画像は、前記画像の一部からなる、請求項１０に記載の画像解析装置。
  13. 　前記データペアの各々は、前記ピクセルのデータの統計値であり、前記統計値は、前記ピクセルのデータの平均値、最大値、最小値、相対差、絶対差、相対比のいずれかである、請求項１０に記載の画像解析装置。
  14. 　　前記ピクセルのデータは、２次元または３次元の観察領域から得られた蛍光強度である、請求項１０に記載の画像解析装置。
  15. 　前記演算ステップは、前記ピクセルのデータに基づいて、前記複数の画像をそれぞれ構成し直し、構成し直した画像について相関値を演算する、請求項１０に記載の画像解析装置。
  16. 　前記画像は、走査型顕微鏡によって得られたものである、請求項１０に記載の画像解析装置。
  17. 　前記演算ステップは、次式（１）または次式（２）を用いて、２次元または３次元の観察領域の自己相関または相互相関演算を行う、
    Figure JPOXMLDOC01-appb-M000004
     ここで、ＧｓａはＲＩＣＳの空間自己相関値、ｎは計算に使用するフレーム数、ηはフレームを特定するパラメータ（η＝１，２，…，ｎ）、Ｉηはηフレーム目のピクセルのデータ、ｘ，ｙは測定点の空間的座標、ξ，ψは測定点からの空間的座標の変化量、Ｍ１１はデータ積和計算の回数、Ｍηはηフレーム目のデータ総数であり、
    Figure JPOXMLDOC01-appb-M000005
     ここで、ＧｓｃはＲＩＣＳの空間相互相関値、ｎは計算に使用するフレーム数、ηはフレームを特定するパラメータ（η＝１，２，…，ｎ）、Ｉ１ηはチャンネル１のηフレーム目の蛍光強度データ、Ｉ２ηはチャンネル２のηフレーム目の蛍光強度データ、ｘ，ｙは測定点の空間的座標、ξ，ψは測定点からの空間的座標の変化量、Ｍ１２はデータ積和計算の回数、Ｍ１ηはチャンネル１のηフレーム目のデータ総数、Ｍ２ηはチャンネル２のηフレーム目のデータ総数である、請求項１０に記載の画像解析装置。
  18. 　前記演算手段は、次式（３）を用いて、前記空間相関値の算出結果をフィッティングし、分子数または拡散定数を推定する、
    Figure JPOXMLDOC01-appb-M000006
     ここで、ＧｓはＲＩＣＳの空間相関値、ＳはＲＩＣＳの解析における走査の影響、ＧはＲＩＣＳの解析における時間遅延の影響、Ｄは拡散定数、ξ，ψは測定点からの空間的座標の変化量、δｒはピクセルサイズ、Ｎは分子数、Ｗ０は励起レーザビームの横方向の半径、ＷＺは励起レーザビームの縦方向の半径、τｐはピクセル時間、τｌはライン時間、γは任意の定数である、請求項１７に記載の画像解析装置。
PCT/JP2010/069367 2010-10-29 2010-10-29 画像解析方法および画像解析装置 WO2012056580A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP10858967.2A EP2623957B1 (en) 2010-10-29 2010-10-29 Image analysis method and image analysis device
CN201080069870.4A CN103189737B (zh) 2010-10-29 2010-10-29 图像分析方法以及图像分析装置
PCT/JP2010/069367 WO2012056580A1 (ja) 2010-10-29 2010-10-29 画像解析方法および画像解析装置
US13/870,711 US9330338B2 (en) 2010-10-29 2013-04-25 Image analysis method and image analysis device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/069367 WO2012056580A1 (ja) 2010-10-29 2010-10-29 画像解析方法および画像解析装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/870,711 Continuation US9330338B2 (en) 2010-10-29 2013-04-25 Image analysis method and image analysis device

Publications (1)

Publication Number Publication Date
WO2012056580A1 true WO2012056580A1 (ja) 2012-05-03

Family

ID=45993333

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/069367 WO2012056580A1 (ja) 2010-10-29 2010-10-29 画像解析方法および画像解析装置

Country Status (4)

Country Link
US (1) US9330338B2 (ja)
EP (1) EP2623957B1 (ja)
CN (1) CN103189737B (ja)
WO (1) WO2012056580A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6300496B2 (ja) 2013-11-22 2018-03-28 オリンパス株式会社 レーザ共焦点顕微鏡
CN103823977A (zh) * 2014-02-25 2014-05-28 北京农业信息技术研究中心 一种从空间采样点数据集中检测奇异样点的方法
CN105043544B (zh) * 2015-05-05 2017-06-20 中山大学 一种图像光谱跟踪方法及系统
US10394008B2 (en) * 2016-10-19 2019-08-27 Cornell University Hyperspectral multiphoton microscope for biomedical applications
CN115330657B (zh) * 2022-10-14 2023-01-31 威海凯思信息科技有限公司 一种海洋探测图像的处理方法、装置和服务器

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004108892A (ja) * 2002-09-17 2004-04-08 Olympus Corp 蛍光分光分析装置
JP2006078377A (ja) * 2004-09-10 2006-03-23 Olympus Corp 光信号解析方法
JP2010217761A (ja) * 2009-03-18 2010-09-30 Olympus Corp 画像取得装置、画像取得方法及びプログラム
JP2010217104A (ja) * 2009-03-18 2010-09-30 Olympus Corp 画像解析装置、画像解析方法及びプログラム
JP2010237116A (ja) * 2009-03-31 2010-10-21 Olympus Corp 画像解析方法および画像解析装置
JP2011017677A (ja) * 2009-07-10 2011-01-27 Olympus Corp 画像解析方法および画像解析装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3999701B2 (ja) 2003-05-30 2007-10-31 オリンパス株式会社 分光分析装置
JP4037381B2 (ja) 2004-03-31 2008-01-23 富士フイルム株式会社 光情報読取方法および装置
JP2005337920A (ja) * 2004-05-27 2005-12-08 Olympus Corp 光信号解析方法
EP1939607A1 (en) 2005-09-27 2008-07-02 Olympus Corporation Optical signal analyzing apparatus and optical signal analyzing method
JP4830087B2 (ja) 2005-09-27 2011-12-07 国立大学法人北海道大学 光信号解析装置
JP2007093370A (ja) * 2005-09-28 2007-04-12 Olympus Corp 蛍光分光分析装置
JP4891637B2 (ja) * 2006-03-14 2012-03-07 オリンパスメディカルシステムズ株式会社 画像解析装置
WO2008087869A1 (ja) 2007-01-16 2008-07-24 Olympus Corporation 蛍光信号解析装置および蛍光信号解析方法
JP5354938B2 (ja) * 2007-05-02 2013-11-27 オリンパス株式会社 蛍光顕微鏡装置
JP4959445B2 (ja) * 2007-07-04 2012-06-20 オリンパス株式会社 画像処理装置および画像処理プログラム
JP5312807B2 (ja) * 2008-01-08 2013-10-09 オリンパス株式会社 画像処理装置および画像処理プログラム
US20090238435A1 (en) * 2008-03-21 2009-09-24 Applied Imaging Corp. Multi-Exposure Imaging for Automated Fluorescent Microscope Slide Scanning
US8310531B2 (en) * 2009-08-03 2012-11-13 Genetix Corporation Methods and apparatuses for processing fluorescence images
JP5508809B2 (ja) * 2009-10-15 2014-06-04 オリンパス株式会社 画像解析方法および画像解析装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004108892A (ja) * 2002-09-17 2004-04-08 Olympus Corp 蛍光分光分析装置
JP2006078377A (ja) * 2004-09-10 2006-03-23 Olympus Corp 光信号解析方法
JP2010217761A (ja) * 2009-03-18 2010-09-30 Olympus Corp 画像取得装置、画像取得方法及びプログラム
JP2010217104A (ja) * 2009-03-18 2010-09-30 Olympus Corp 画像解析装置、画像解析方法及びプログラム
JP2010237116A (ja) * 2009-03-31 2010-10-21 Olympus Corp 画像解析方法および画像解析装置
JP2011017677A (ja) * 2009-07-10 2011-01-27 Olympus Corp 画像解析方法および画像解析装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MICHELLE A. DIGMAN; CLAIRE M. BROWN; PARIJAT SENGUPTA; PAUL W. WISEMAN; ALAN R, HORWITZ; ENRICO GRATTON: "Measuring Fast Dynamics in Solutions and Cells with a Laser Scanning Microscope", BIOPHYSICAL JOURNAL, vol. 89, August 2005 (2005-08-01), pages 1317 - 1327, XP002660727
MICHELLE A. DIGMAN; PARIJAT SENGUPTA; PAUL W. WISEMAN; CLAIRE M. BROWN; ALAN R. HORWITZ; ENRICO GRATTON: "Fluctuation Correlation Spectroscopy with a Laser-Scanning Microscope: Exploiting the Hidden Time Structure", BIOPHYSICAL JOURNAL: BIOPHYSICAL LETTERS, 2005, pages 33 - 36, XP055022912, DOI: doi:10.1529/biophysj.105.061788
See also references of EP2623957A4

Also Published As

Publication number Publication date
US20130236061A1 (en) 2013-09-12
EP2623957A1 (en) 2013-08-07
CN103189737B (zh) 2017-05-31
CN103189737A (zh) 2013-07-03
EP2623957A4 (en) 2016-01-27
EP2623957B1 (en) 2018-12-26
US9330338B2 (en) 2016-05-03

Similar Documents

Publication Publication Date Title
US8908993B2 (en) Image analysis method and image analysis apparatus
JP5508808B2 (ja) 画像解析方法および画像解析装置
US20190204577A1 (en) Hyperspectral imaging methods and apparatuses
JP5489469B2 (ja) 蛍光信号解析装置および蛍光信号解析方法
JP5468805B2 (ja) 画像解析方法および画像解析装置
US11237109B2 (en) Widefield, high-speed optical sectioning
JP5566055B2 (ja) 画像解析方法および画像解析装置
WO2012056580A1 (ja) 画像解析方法および画像解析装置
US9262667B2 (en) Image analysis method and image analysis apparatus
JP5508809B2 (ja) 画像解析方法および画像解析装置
WO2012056578A1 (ja) 画像解析方法および画像解析装置
JP5489541B2 (ja) 画像解析方法および画像解析装置
US20210018735A1 (en) Sample observation device and sample observation method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10858967

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2010858967

Country of ref document: EP