WO2012056578A1 - 画像解析方法および画像解析装置 - Google Patents

画像解析方法および画像解析装置 Download PDF

Info

Publication number
WO2012056578A1
WO2012056578A1 PCT/JP2010/069365 JP2010069365W WO2012056578A1 WO 2012056578 A1 WO2012056578 A1 WO 2012056578A1 JP 2010069365 W JP2010069365 W JP 2010069365W WO 2012056578 A1 WO2012056578 A1 WO 2012056578A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
value
analysis
data
pixel data
Prior art date
Application number
PCT/JP2010/069365
Other languages
English (en)
French (fr)
Inventor
明美 鈴木
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to EP10858965.6A priority Critical patent/EP2623956A4/en
Priority to PCT/JP2010/069365 priority patent/WO2012056578A1/ja
Priority to CN201080069838.6A priority patent/CN103180718B/zh
Publication of WO2012056578A1 publication Critical patent/WO2012056578A1/ja
Priority to US13/870,638 priority patent/US9378434B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6408—Fluorescence; Phosphorescence with measurement of decay time, time resolved fluorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to an image analysis method and an image analysis apparatus.
  • Non-Patent Documents 1 and 2 have been proposed as Raster Image Correlation Spectroscopy (RICS).
  • RANS Raster Image Correlation Spectroscopy
  • a fluorescence image composed of a raster scan image of one frame or more is acquired.
  • an area of interest is determined in the sample to be image-analyzed, and the area is repeatedly scanned by the raster scanning method to obtain an image composed of a plurality of frames of fluorescence intensity.
  • the fluorescence intensity in the frame is expressed as data in pixel units.
  • Non-Patent Documents 1 and 2 there is an average method as a technique for removing the influence of large molecules and immobile molecules.
  • an average image of the acquired frame data is calculated and subtracted from the original frame data.
  • the average image is calculated from a continuous part or all of the acquired frames regardless of whether the frame data includes the influence of large molecules or immobile molecules. Therefore, the influence of large molecules and immobile molecules is removed by subtraction processing of the same average image regardless of the change of the frame data.
  • the average image of the acquired frame data may be subtracted from all the images.
  • An object of the present invention is to provide an image analysis method of RICS that removes the influence of large molecules and immobile molecules in the right place.
  • An image analysis method includes an image acquisition step of acquiring, in a time series, an image of a plurality of frames including a plurality of pixels in which pixel data of each image is acquired in a time series, and an analysis region for the image
  • An analysis region setting step for setting a segment value
  • a segment value calculation step for calculating a segment value of the analysis region
  • a classification step for classifying the plurality of images into one or more groups based on the segment value, and for each group
  • a RICS image analysis method that removes the influence of large molecules or immobile molecules in the right place.
  • FIG. 1 schematically shows an image analysis apparatus according to an embodiment of the present invention.
  • FIG. 2 shows functional blocks of the control unit shown in FIG.
  • FIG. 3 is a flowchart of image analysis according to the embodiment of the present invention.
  • FIG. 4 shows fluorescence images of a plurality of frames acquired in time series.
  • FIG. 5 shows an observation area and an analysis area.
  • FIG. 6 schematically shows fluorescent images of a plurality of frames classified into a plurality of groups.
  • FIG. 7 is an image showing the calculation result of the spatial correlation value by RICS for small molecules in luminance.
  • FIG. 8 shows the spatial correlation value fitting results by RICS for small molecules.
  • FIG. 9 is an image showing the calculation result of the spatial correlation value by RICS for a large molecule in luminance.
  • FIG. 10 shows the fitting result of the spatial correlation value by RICS for a large molecule.
  • FIG. 1 schematically shows an image analysis apparatus according to an embodiment of the present invention.
  • This image analysis apparatus is configured based on a scanning confocal optical microscope for fluorescence observation of a sample.
  • the image analysis apparatus 100 is necessary for image analysis, a light irradiation unit 110 that irradiates the sample S with excitation light, a light detection unit 130 that detects light emitted from a measurement point in the sample S, and the like. And a sample stage 190 that supports the sample S.
  • the sample S is accommodated in a sample container such as a microplate or a slide glass, and is placed on the sample stage 190.
  • the sample stage 190 supports the sample S so as to be movable in the lateral direction (xy direction) and the height direction (z direction) with respect to the light irradiation unit 110 and the light detection unit 130.
  • the sample stage 190 includes three stepping motors whose output axes are orthogonal to each other, and the sample S can be moved in the xyz direction by these stepping motors.
  • the image analysis apparatus 100 is a multiple light irradiation / multiple light detection type.
  • the light irradiation unit 110 includes an n-channel light source system 111, and the light detection unit 130 correspondingly includes an n-channel detection system 131.
  • Each of the n-channel detection systems 131 detects fluorescence generated by the excitation light emitted from the n-channel light source system 111.
  • the n channel includes channel 1, channel 2,... Channel n. The channel differs depending on the type of excitation light.
  • the n-channel light source system 111 of the light irradiation unit 110 includes light sources 112a, ..., 112n, collimating lenses 114a, ..., 114n, and dichroic mirrors 116a, ..., 116n.
  • the light sources 112a,..., 112n emit excitation light for exciting the fluorescent dye contained in the sample S to emit light (fluorescence) from the sample S.
  • the wavelengths of the excitation light emitted from the light sources 112a,..., 112n are different from each other corresponding to the type of fluorescent dye contained in the sample S.
  • the collimating lenses 114a,..., 114n collimate the excitation light emitted from the light sources 112a,.
  • the dichroic mirrors 116a,..., 116n reflect the excitation light that has passed through the collimating lenses 114a,.
  • Each of the dichroic mirrors 116a,..., 116n transmits the excitation light incident from above in FIG. 1 and reflects the excitation light incident from the right side in FIG.
  • the excitation lights having different wavelengths respectively emitted from the light sources 112a,..., 112n are combined into one beam after passing through the dichroic mirror 116a.
  • the dichroic mirror 116n does not need to transmit the excitation light, and may be changed to a simple mirror.
  • the light irradiation unit 110 further includes a dichroic mirror 122, a galvano mirror 124, an objective lens 126, and an objective lens driving mechanism 128.
  • the dichroic mirror 122 reflects the excitation light from the light source system 111 toward the galvanometer mirror 124 and transmits the fluorescence emitted from the sample S.
  • the galvanometer mirror 124 reflects the excitation light toward the objective lens 126 and changes the reflection direction thereof.
  • the objective lens 126 converges the excitation light and irradiates the measurement point in the sample S, and takes in the light from the measurement point in the sample S.
  • An objective lens 126 having a large NA (numerical aperture) is used to form a minute confocal region (measurement point).
  • the confocal region thus obtained has a substantially cylindrical shape with a diameter of about 0.6 ⁇ m and a length of about 2 ⁇ m.
  • the galvanometer mirror 124 constitutes xy scanning means for scanning the measurement point in the xy direction.
  • the xy scanning unit may be configured using an acousto-optic modulation element (AOM), a polygon mirror, a hologram scanner, or the like in addition to using a galvano mirror.
  • AOM acousto-optic modulation element
  • the objective lens driving mechanism 128 moves the objective lens 126 along the optical axis. Thereby, the measurement point is moved in the z direction. That is, the objective lens driving mechanism 128 constitutes z scanning means for scanning the measurement point in the z direction.
  • the light detection unit 130 shares the objective lens 126, the galvano mirror 124, and the dichroic mirror 122 with the light irradiation unit 110.
  • the light detection unit 130 further includes a converging lens 132, a pinhole 134, and a collimating lens 136.
  • the converging lens 132 converges the light transmitted through the dichroic mirror 122.
  • the pinhole 134 is disposed at the focal point of the converging lens 132. That is, the pinhole 134 is in a conjugate position with respect to the measurement point in the sample S, and selectively allows only light from the measurement point to pass through.
  • the collimating lens 136 collimates the light that has passed through the pinhole 134.
  • the light that has passed through the collimator lens 136 enters the n-channel detection system 131.
  • the n-channel detection system 131 includes dichroic mirrors 138a, ..., 138n, fluorescent filters 140a, ..., 140n, and photodetectors 142a, ..., 142n.
  • the dichroic mirrors 138a,..., 138n selectively reflect light having a wavelength in the vicinity of the fluorescent wavelength region generated from the sample S by the excitation light from the light sources 112a,.
  • the dichroic mirror 138n does not need to transmit light, and may be changed to a simple mirror.
  • the fluorescence filters 140a,..., 140n block the light having an undesired wavelength component from the light reflected by the dichroic mirrors 138a,..., 138n, respectively, and are generated by the excitation light from the light sources 112a,.
  • the fluorescence transmitted through the fluorescent filters 140a,..., 140n is incident on the photodetectors 142a,.
  • the photodetectors 142a,..., 142n output signals corresponding to the intensity of incident light. That is, the photodetectors 142a,..., 142n output fluorescence intensity signals from the measurement points in the sample S.
  • the control unit 160 is constituted by a personal computer, for example.
  • the control unit 160 acquires, stores, and displays the fluorescence image of the observation region of the sample S, waits for input of the number of frames (number of frames) of the acquired fluorescence image and the setting of the analysis region, image analysis (calculation of correlation value), diffusion time Etc. are estimated.
  • the control unit 160 controls the galvanometer mirror 124 that is an xy scanning unit, the objective lens driving mechanism 128 that is a z scanning unit, the sample stage 190, and the like.
  • the control unit 160 includes a scanning control unit 162, an image forming unit 164, a storage unit 166, a display unit 168, an input unit 170, an analysis region setting unit 172, a data extraction unit 176, an analysis unit 178, and a stage. And a control unit 180.
  • the scanning control unit 162, the image forming unit 164, the storage unit 166, the stage control unit 180, the galvano mirror 124, the objective lens driving mechanism 128, the stage 190, and the photodetector 142 constitute an image acquisition unit.
  • the scanning control unit 162 controls the galvanometer mirror 124 so as to raster scan the irradiation position of the excitation light with respect to the sample S when acquiring the fluorescence image of the sample S.
  • the scanning control unit 162 also controls the objective lens driving mechanism 128 so that the irradiation position of the excitation light is z-scanned with respect to the sample S if necessary.
  • the image forming unit 164 forms a fluorescent image of the sample S from the information on the irradiation position of the excitation light input from the scanning control unit 162 and the output signals of the photodetectors 142a,. Thereby, a fluorescence image can be acquired.
  • the storage unit 166 sequentially stores the fluorescent images formed by the image forming unit 164.
  • the display unit 168 displays the fluorescence image of the sample S and the analysis result.
  • the input unit 170 includes, for example, a mouse and a keyboard, and constitutes a GUI in cooperation with the display unit 168. This GUI is used for setting the number of acquired frames, the observation area, and the analysis area.
  • the stage control unit 180 controls the sample stage 190 according to input information from the input unit 170, for example, in order to set an observation region.
  • the analysis area setting unit 172 sets an analysis area according to the input information from the input unit 170.
  • the data extraction unit 176 extracts necessary data from the fluorescence image stored in the storage unit 166 based on the input information from the analysis region setting unit 172.
  • the necessary data may be, for example, data of all pixels or data of some pixels of all fluorescent images stored in the storage unit 166, or some data stored in the storage unit 166. Data of all pixels or a part of pixels of the fluorescence image may be used.
  • the analysis unit 178 calculates a correlation value described later on the data extracted by the data extraction unit 176. More specifically, the analysis unit 178 calculates a segment value of an analysis region, which will be described later, and classifies the plurality of fluorescent images into one or more groups based on the segment value. Then, the analysis unit 178 calculates an average image of the analysis region for each group and then subtracts the average image from each image of the analysis region for each group to calculate a new image of the analysis region. Thereafter, the analysis unit 178 calculates a correlation value based on the new image for each group.
  • excitation light emitted from light sources 112a,..., 112n passes through collimating lenses 114a,..., 114n, dichroic mirrors 116a, ..., 116n, dichroic mirror 122, galvano mirror 124, and objective lens 126.
  • the measurement point is irradiated.
  • the measurement point irradiated with the excitation light is raster scanned in the xy direction by the galvanometer mirror 124. Further, if necessary, z scanning is performed by the objective lens driving mechanism 128.
  • the sample S that has received the excitation light emits fluorescence from the measurement point.
  • the light incident on the n-channel detection system 131 is separated (that is, spectrally separated) by the dichroic mirrors 138a,..., 138n, and undesired components are removed by the fluorescent filters 140a,.
  • the fluorescent filters 140a As a result, only the fluorescence generated by the excitation light from the light sources 112a,..., 112n enters the photodetectors 142a,.
  • Each of the photodetectors 142a,..., 142n outputs incident light, that is, a fluorescence intensity signal indicating the intensity of fluorescence emitted from a measurement point in the sample S. This fluorescence intensity signal is input to the image forming unit 164.
  • the image forming unit 164 processes the input fluorescence intensity signal in synchronization with the positional information in the xy direction (and z direction) for each raster scan (and z scan), and the focal plane in the sample S
  • a fluorescent image of one frame (a flat surface or a curved surface where the measurement point has moved) is formed.
  • the formed fluorescent image is stored in the storage unit 166.
  • the series of operations described here is repeated for the set number of frames to be acquired, and a fluorescence image having the set number of frames is acquired.
  • Each fluorescent image is composed of a plurality of pixels from which pixel data is acquired in time series.
  • the fluorescent image stored in the storage unit 166 is processed as necessary and displayed on the display unit 168.
  • Step S1> The observation area of the sample S and the number of frames of the fluorescent image to be acquired are set.
  • the fluorescent image of the set observation area is acquired for the set number of frames.
  • the fluorescence image is acquired by the same scanning method for the same observation region.
  • the acquired fluorescence images of a plurality of frames are images acquired in time series, and each image is composed of a plurality of pixels from which pixel data is acquired in time series.
  • FIG. 4 schematically shows a plurality of frames of fluorescence images acquired in time series.
  • F n represents the fluorescence image of the n th frame in one channel. That is, FIG. 4 shows an example in which an 80-frame fluorescence image is acquired.
  • a region (analysis region) R2 to be analyzed is set with respect to a region (observation region) R1 of the acquired fluorescence image.
  • the analysis region R2 is not limited to a part of the observation region R1, and may coincide with the observation region R1.
  • the analysis area R2 is set as an observation area R1, that is, a scanning area in step S1 by default in terms of application. This step is not necessary when analyzing the entire observation region R1.
  • the segment value of the analysis region R2 is calculated.
  • the division value is, for example, a statistical value of pixel data in the analysis region R2, and is any one of a maximum value, a minimum value, an average value, a relative difference, and a relative ratio of pixel data in the analysis region R2.
  • Pixel data is, for example, fluorescence intensity obtained from a two-dimensional or three-dimensional observation region.
  • the relative difference is, for example, a difference between a maximum value and a minimum value.
  • the fluorescence image F 1, ..., segment values of the analysis area of the F 20 is D a
  • the fluorescence image F 21, ..., segment values of the analysis area of the F 50 is significantly different from the D a D b
  • the fluorescence image F 51, ..., segment values of the analysis area of the F 80 is assumed to be D a.
  • Step S4> A plurality of images are classified into one or more groups based on the segment values. For example, the images are grouped before and after the segment value changes greatly. The number of groups is determined according to how the segment value changes.
  • FIG. 6 schematically shows fluorescence images of analysis regions of a plurality of frames classified into a plurality of groups.
  • Fa n represents the image of the analysis area of the n-th frame of the fluorescent image.
  • Figure 6 is a fluorescence image F 1 shown in FIG. 4, ..., the image Fa 1 analysis region of F 80, ..., Fa 80 the two groups G a, shows an example of classifying into G b.
  • the image Fa 1, ..., Fa 20 and the image Fa 51, ..., Fa 80 are classified into groups G a
  • image Fa 21, ..., Fa 50 are classified into groups G b.
  • Step S5> An average image of the analysis area is calculated for each group.
  • the average image may be an average value of all images included in each group, or may be an average value of some images included in each group.
  • the average image is calculated by calculating the number of images included in each group and calculating the average image of each group based on the calculated number of images.
  • an average value of pixel data is calculated for each pixel constituting the analysis region for all images included in each group. Then, an image composed of an average value of data of each pixel calculated for each pixel may be used as the average image.
  • the image Fa 1 included in the group G a, ..., Fa 20 and the image Fa 51, ..., the average image of Fa 80 and A a, the image Fa 21 included in the group G b, ..., the Fa 50 Let the average image be Ab .
  • Step S6> A new image in the analysis area is calculated by subtracting the average image from each image in the analysis area for each group.
  • the pixel data of the average image is subtracted from the pixel data of each image, and the calculated value is used. What is necessary is just to obtain the image which becomes.
  • the correlation value is calculated for each group based on the new image.
  • the data of each pixel used for the calculation of the correlation value may be the data of the pixel itself, or may be a statistical value of data of a plurality of pixels including the pixel.
  • the plurality of pixels may be, for example, a pixel of interest and a pixel adjacent thereto.
  • the statistical value may be, for example, any one of an average value, a maximum value, a minimum value, a relative difference, an absolute difference, and a relative ratio of pixel data. What statistics are used depends on what information is desired to be obtained by RICS analysis.
  • the minimum value of the pixel data is calculated for each group, the calculated minimum value is added to the data of all the pixels of the new image, and the correlation value is calculated for the new image obtained by adding the minimum value. To do.
  • This process makes all the pixel data of the new image positive.
  • the minimum value is added to make all the pixel data of the new image positive.
  • the value to be added is not limited to the minimum value, and an arbitrary value greater than the minimum value can be added. Good.
  • the correlation value may be calculated by reconstructing the images based on the pixel data, and calculating the correlation values for the reconstructed images. For example, the data of adjacent pixels is added to halve the number of pixel data. Alternatively, the data of one pixel is divided into a plurality of pieces. Originally, once the image is acquired, the number of pixel data does not increase, but it cannot be acquired on the assumption that the intensity of the acquired pixel data spreads around the pixel data in a Gaussian distribution. Supplement pixel data. Although the number of pixel data is not essentially increasing, it looks better.
  • the spatial autocorrelation value is calculated using the following equation (1).
  • Gsa is a RICS spatial autocorrelation value
  • I is pixel data
  • x and y are spatial coordinates of measurement points
  • ⁇ and ⁇ are changes in spatial coordinates from the measurement points
  • M 11 is a data product. the number of the sum calculation
  • M 1 is the total number of data.
  • the calculation of a correlation value calculates a spatial cross-correlation value using following Formula (2), for example.
  • G sc is the RICS spatial cross-correlation value
  • I 1 is the pixel 1 pixel data
  • I 2 is the channel 2 pixel data
  • x and y are the spatial coordinates of the measurement points
  • ⁇ and ⁇ are the measurement points.
  • M 12 is the number of data product-sum calculations
  • M 1 is the total number of data in channel 1
  • M 2 is the total number of data in channel 2.
  • Equation (2) is a formula for calculating a spatial cross-correlation value between channel 1 and channel 2, but the channel may be changed as appropriate.
  • Step S8> The calculation result of the spatial correlation value in the above step S7 is fitted by equation (3).
  • G s is the RICS spatial correlation value
  • S is the influence of scanning in the RICS analysis
  • G is the influence of time delay in the RICS analysis
  • D is the diffusion constant
  • ⁇ and ⁇ are the spatial coordinates from the measurement point.
  • ⁇ r is the pixel size
  • N is the number of molecules
  • W 0 is the lateral radius of the excitation laser beam
  • W Z is the longitudinal radius of the excitation laser beam
  • ⁇ p is the pixel time
  • ⁇ l is the line time
  • ⁇ Is an arbitrary constant.
  • the pixel time means a shift in acquisition time between pixels.
  • the line time means a difference in acquisition time between the first pixel of an arbitrary line and the first pixel of the next line. That is, the line time means the time required to scan one line.
  • the diffusion time is estimated by fitting using equation (3).
  • the correlation value G sa or the correlation value G sc for different delay times is obtained using Formula (1) or Formula (2).
  • the delay time means the difference between the acquisition time of one pixel and the acquisition time of another pixel.
  • the fitting by the equation (3) is to estimate the optimal number of molecules or diffusion constant in the two-dimensional or three-dimensional observation region while changing the diffusion constant D.
  • D is a diffusion constant
  • ⁇ is a diffusion time
  • W 0 is a lateral radius of the excitation laser beam.
  • Step S9> Display the analysis results and save as appropriate. Specifically, the calculation result of the spatial correlation value obtained in step S7 and the fitting result of the spatial correlation value obtained in step S8 are displayed. An example of the analysis result is shown in FIGS.
  • FIG. 7 is an image showing the calculation result of the spatial correlation value for a small molecule in luminance
  • FIG. 8 shows the fitting result
  • FIG. 9 is an image showing the calculation result of the spatial correlation value for a large molecule in luminance
  • FIG. 10 shows the fitting result.
  • images of a plurality of frames are classified into several groups according to changes in the frame data, and an average is obtained for each group.
  • Image subtraction processing is performed. In other words, avoid calculating and subtracting one average image from the frames where the effects of different large molecules and immobile molecules coexist, classify the effects of large molecules and immobile molecules in advance, and average images for each classified group Is calculated and subtracted. As a result, for each group corresponding to the change in the frame data, the influence of large molecules and immobile molecules is removed in the right place.
  • the image acquired by the raster scan has been described.
  • the image is not limited to the image acquired by the raster scan, and the pixel data is obtained from a plurality of pixels acquired in time series. And may be obtained by other scanning methods.
  • DESCRIPTION OF SYMBOLS 100 ... Image analysis apparatus 110 ... Light irradiation part, 112a, ..., 112n ... Light source, 114a, ..., 114n ... Collimating lens, 116a, ..., 116n ... Dichroic mirror, 122 ... Dichroic mirror, 124 ... Galvano mirror, 126 ... Objective lens 128 ... Objective lens drive mechanism 130 ... Photodetector 132 ... Converging lens 134 ... Pinhole 136 ... Collimator lens 138a ... 138n ... Dichroic mirror 140a ... 140n ... Fluorescent filter 142a ,..., 142 n... Photodetector, 160... Control section, 162... Scanning control section, 164... Image forming section, 166. Data extraction unit, 178 ... analysis unit, 180 ... stage control unit, 190 ... sample Stage, R1 ... observation area, R2 ... the analysis region.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

　ステップＳ１：複数フレームの蛍光画像を時系列的に取得する。各蛍光画像は、ピクセルのデータが時系列的に取得された複数のピクセルからなる。ステップＳ２：取得した蛍光画像に対して解析領域を設定する。ステップＳ３：解析領域Ｒ２の区分値を算出する。ステップＳ４：複数の画像を区分値に基づいて一以上のグループに分類する。ステップＳ５：グループごとに解析領域の平均画像を算出する。ステップＳ６：グループごとに解析領域の各画像から平均画像を減算して解析領域の新規画像を算出する。ステップＳ７：グループごとに新規画像に基づいて相関値を演算する。ステップＳ８：フィッティング式を用いて拡散時間または拡散定数、分子数等の推定を行う。

Description

画像解析方法および画像解析装置
　本発明は、画像解析方法および画像解析装置に関する。
　従来、ラスターイメージ相関分光法（ＲＩＣＳ：Raster Image Correlation Spectroscopy）として非特許文献１，２に示すような方法が提案されている。この画像解析方法において、１フレーム以上のラスター走査画像からなる蛍光画像を取得する。つまり、画像解析したい試料において、興味を持っている領域を決め、その領域をラスター走査方式で繰り返し走査し、複数フレームの蛍光強度からなる画像を取得する。フレーム中の蛍光強度はピクセル単位でデータとして表わされている。
　ここで、画像解析した試料の中には、大きい分子や小さい分子が混在している。このような場合、試料の中で、小さい分子について画像解析したいのであれば、大きい分子の影響を取り除く必要がある。
「Measuring Fast Dynamics in Solutions and Cells with a Laser Scanning Microscope」, Michelle A. Digman, Claire M. Brown, Parijat Sengupta, Paul W. Wiseman, Alan R. Horwitz, and Enrico Gratton, Biophysical Journal, Vol.89, P1317-1327, August 2005. 「Fluctuation Correlation Spectroscopy with a Laser-Scanning Microscope: Exploiting the Hidden Time Structure」, Michelle A. Digman, Parijat Sengupta, Paul W. Wiseman, Claire M. Brown, Alan R. Horwitz, and Enrico Gratton, Biophysical Journal: Biophysical Letters, L33-36, 2005.
　非特許文献１，２に示されるように、大きい分子や不動分子などの影響を取り除く手法としてアベレージ法がある。アベレージ法では、取得したフレームデータの平均画像を計算し、これを元のフレームデータから減算する。平均画像は、フレームデータに大きい分子や不動分子の影響が含まれているかどうかに関係なく、取得したフレームの連続した一部または全部から計算される。したがって、大きい分子や不動分子の影響は、フレームデータの変化と関係なく、同一の平均画像の減算処理で取り除かれる。
　ここで、取得した全ての画像に、共通する大きい分子や不動分子が存在する場合、全ての画像から、取得したフレームデータの平均画像を、それぞれ減算すれば良い。
　しかしながら、取得した全ての画像の内、一部の画像に、他の画像に共通する大きい分子や不動分子が存在しない場合がある。この場合、そもそも、当該一部の画像には大きい分子や不動分子が存在しないのであるから、当該一部の画像から、取得したフレームデータの平均画像を減算するのは適切ではない。このため、非特許文献１，２に示された方法によれば、大きい分子や不動分子の影響について、適材適所な除去（平均画像の減算）処理が行なわれていない。
　本発明の目的は、大きい分子や不動分子の影響を適材適所に除去するＲＩＣＳの画像解析方法を提供することである。
　本発明による画像解析方法は、各画像のピクセルのデータが時系列的に取得された複数のピクセルからなる複数フレームの画像を時系列的に取得する画像取得ステップと、前記画像に対して解析領域を設定する解析領域設定ステップと、前記解析領域の区分値を算出する区分値算出ステップと、前記複数の画像を前記区分値に基づいて一以上のグループに分類する分類ステップと、前記グループごとに前記解析領域の平均画像を算出する平均画像算出ステップと、前記グループごとに前記解析領域の各画像から前記平均画像を減算して前記解析領域の新規画像を算出する新規画像算出ステップと、前記グループごとに前記新規画像に基づいて相関値を演算する演算ステップとを有している。
　本発明によれば、大きい分子や不動分子の影響を適材適所に除去するＲＩＣＳの画像解析方法が提供される。
図１は、本発明の実施形態による画像解析装置を概略的に示している。 図２は、図１に示された制御部の機能ブロックを示している。 図３は、本発明の実施形態による画像解析のフローチャートである。 図４は、時系列的に取得された複数フレームの蛍光画像を示している。 図５は、観察領域と解析領域を示している。 図６は、複数グループに分類された複数フレームの蛍光画像を模式的に示している。 図７は、小さい分子に対するＲＩＣＳによる空間相関値の算出結果を輝度で示した画像である。 図８は、小さい分子に対するＲＩＣＳによる空間相関値のフィッティング結果を示している。 図９は、大きい分子に対するＲＩＣＳによる空間相関値の算出結果を輝度で示した画像である。 図１０は、大きい分子に対するＲＩＣＳによる空間相関値のフィッティング結果を示している。
　以下、図面を参照しながら本発明の実施形態について説明する。
　図１は、本発明の実施形態による画像解析装置を概略的に示している。この画像解析装置は、試料の蛍光観察のための走査型共焦点光学顕微鏡をベースに構成されている。
　図１に示すように、画像解析装置１００は、試料Ｓに励起光を照射する光照射部１１０と、試料Ｓ内の測定点から発せられる光を検出する光検出部１３０と、画像解析に必要な制御を行なう制御部１６０と、試料Ｓを支持する試料ステージ１９０とを有している。
　試料Ｓはマイクロプレートやスライドガラスなどの試料容器に収容され、試料ステージ１９０に載置される。試料ステージ１９０は、例えば、試料Ｓを光照射部１１０および光検出部１３０に対して横方向（ｘｙ方向）および高さ方向（ｚ方向）に移動可能に支持する。例えば、試料ステージ１９０は、出力軸が互いに直交する三つのステッピング・モーターを含んでおり、これらのステッピング・モーターによって試料Ｓをｘｙｚ方向に移動し得る。
　画像解析装置１００は、多重光照射・多重光検出型である。このため、光照射部１１０はｎチャンネルの光源系１１１を含み、これに対応して光検出部１３０はｎチャンネルの検出系１３１を含んでいる。ｎチャンネルの検出系１３１は、それぞれ、ｎチャンネルの光源系１１１から射出された励起光によって生成された蛍光を検出する。ここで、ｎチャンネルは、チャンネル１、チャンネル２、・・・チャンネルｎによって構成される。チャンネルは、励起光の種類によってそれぞれ異なる。
　光照射部１１０のｎチャンネルの光源系１１１は、光源１１２ａ，…，１１２ｎとコリメートレンズ１１４ａ，…，１１４ｎとダイクロイックミラー１１６ａ，…，１１６ｎとを含んでいる。光源１１２ａ，…，１１２ｎは、試料Ｓに含まれる蛍光色素を励起して試料Ｓから光（蛍光）を発せさせるための励起光を発する。光源１１２ａ，…，１１２ｎから発せられる励起光の波長は、試料Ｓに含まれる蛍光色素の種類に対応して、互いに相違している。光源１１２ａ，…，１１２ｎは、例えば、試料Ｓ中の蛍光色素に合った発振波長のレーザー光源で構成される。コリメートレンズ１１４ａ，…，１１４ｎは、それぞれ、光源１１２ａ，…，１１２ｎから発せられた励起光をコリメートする。ダイクロイックミラー１１６ａ，…，１１６ｎは、それぞれ、コリメートレンズ１１４ａ，…，１１４ｎを通過した励起光を同じ方向に反射する。ダイクロイックミラー１１６ａ，…，１１６ｎは、それぞれ、図１の上方から入射する励起光を透過し、図１の右方から入射する励起光を反射する。その結果、光源１１２ａ，…，１１２ｎからそれぞれ射出された異なる波長の励起光は、ダイクロイックミラー１１６ａの通過後に一本のビームに合成される。ダイクロイックミラー１１６ｎは、励起光を透過する必要がないので、単なるミラーに変更されてもよい。
　光照射部１１０はさらに、ダイクロイックミラー１２２とガルバノミラー１２４と対物レンズ１２６と対物レンズ駆動機構１２８を含んでいる。ダイクロイックミラー１２２は、光源系１１１からの励起光をガルバノミラー１２４に向けて反射し、試料Ｓから発せられる蛍光を透過する。ガルバノミラー１２４は、励起光を対物レンズ１２６に向けて反射するとともに、その反射方向を変更する。対物レンズ１２６は、励起光を収束して試料Ｓ内の測定点に照射するとともに、試料Ｓ内の測定点からの光を取り込む。対物レンズ１２６には、微小な共焦点領域（測定点）の形成のために、ＮＡ（開口数）の大きいものが使用される。これにより得られる共焦点領域の大きさは、直径０．６μｍ程度、長さ２μｍ程度の略円筒状となる。ガルバノミラー１２４は、測定点をｘｙ方向に走査するｘｙ走査手段を構成している。ｘｙ走査手段は、ガルバノミラーを使用して構成するほかに、音響光学変調素子（ＡＯＭ）やポリゴンミラー、ホログラムスキャナーなどを使用して構成してもよい。対物レンズ駆動機構１２８は、対物レンズ１２６を光軸に沿って移動させる。これにより、測定点がｚ方向に移動される。つまり、対物レンズ駆動機構１２８は、測定点をｚ方向に走査するｚ走査手段を構成している。
　光検出部１３０は、対物レンズ１２６とガルバノミラー１２４とダイクロイックミラー１２２を光照射部１１０と共有している。光検出部１３０はさらに、収束レンズ１３２とピンホール１３４とコリメートレンズ１３６とを含んでいる。収束レンズ１３２は、ダイクロイックミラー１２２を透過した光を収束する。ピンホール１３４は、収束レンズ１３２の焦点に配置されている。つまり、ピンホール１３４は、試料Ｓ内の測定点に対して共役な位置にあり、測定点からの光だけを選択的に通す。コリメートレンズ１３６は、ピンホール１３４を通過した光を平行にする。コリメートレンズ１３６を通過した光は、ｎチャンネルの検出系１３１に入射する。
　ｎチャンネルの検出系１３１は、ダイクロイックミラー１３８ａ，…，１３８ｎと蛍光フィルター１４０ａ，…，１４０ｎと光検出器１４２ａ，…，１４２ｎとを含んでいる。ダイクロイックミラー１３８ａ，…，１３８ｎは、それぞれ、光源１１２ａ，…，１１２ｎからの励起光によって試料Ｓから生成された蛍光の波長域付近の波長の光を選択的に反射する。ダイクロイックミラー１３８ｎは、光を透過する必要がないので、単なるミラーに変更されてもよい。蛍光フィルター１４０ａ，…，１４０ｎは、それぞれ、ダイクロイックミラー１３８ａ，…，１３８ｎによって反射された光から、不所望な波長成分の光を遮断し、光源１１２ａ，…，１１２ｎからの励起光によって生成された蛍光だけを選択的に透過する。蛍光フィルター１４０ａ，…，１４０ｎを透過した蛍光はそれぞれ光検出器１４２ａ，…，１４２ｎに入射する。光検出器１４２ａ，…，１４２ｎは、入射した光の強度に対応した信号を出力する。すなわち、光検出器１４２ａ，…，１４２ｎは、試料Ｓ内の測定点からの蛍光強度信号を出力する。
　制御部１６０は例えばパーソナルコンピューターで構成される。制御部１６０は、試料Ｓの観察領域の蛍光画像の取得と記憶と表示、取得する蛍光画像のフレーム数（枚数）や解析領域の設定の入力待ち、画像解析（相関値の算出）、拡散時間の推定などを行なう。また制御部１６０は、ｘｙ走査手段であるガルバノミラー１２４、ｚ走査手段である対物レンズ駆動機構１２８、試料ステージ１９０などの制御を行なう。
　図１に示される制御部の機能ブロックを図２に示す。制御部１６０は、図２に示すように、走査制御部１６２と画像形成部１６４と記憶部１６６と表示部１６８と入力部１７０と解析領域設定部１７２とデータ抽出部１７６と解析部１７８とステージ制御部１８０とを含んでいる。走査制御部１６２と画像形成部１６４と記憶部１６６とステージ制御部１８０とガルバノミラー１２４と対物レンズ駆動機構１２８とステージ１９０と光検出器１４２により、画像取得部が構成される。
　走査制御部１６２は、試料Ｓの蛍光画像を取得する際、励起光の照射位置を試料Ｓに対してラスター走査するようにガルバノミラー１２４を制御する。走査制御部１６２はまた、必要であれば、励起光の照射位置を試料Ｓに対してｚ走査するように対物レンズ駆動機構１２８を制御する。画像形成部１６４は、走査制御部１６２から入力される励起光の照射位置の情報と光検出器１４２ａ，…，１４２ｎの出力信号とから試料Ｓの蛍光画像を形成する。これにより、蛍光画像を取得することができる。記憶部１６６は、画像形成部１６４で形成された蛍光画像を順次記憶する。表示部１６８は、試料Ｓの蛍光画像や解析結果を表示する。入力部１７０は、例えばマウスやキーボードを含み、表示部１６８と共同してＧＵＩを構成する。このＧＵＩは、取得フレーム数や観察領域や解析領域の設定などに利用される。ステージ制御部１８０は、例えば観察領域を設定するために、入力部１７０からの入力情報に従って試料ステージ１９０を制御する。解析領域設定部１７２は、入力部１７０からの入力情報に従って解析領域を設定する。データ抽出部１７６は、解析領域設定部１７２からの入力情報に基づいて、記憶部１６６に記憶されている蛍光画像から必要なデータを抽出する。必要なデータは、例えば、記憶部１６６に記憶されているすべての蛍光画像のすべてのピクセルのデータまたは一部のピクセルのデータであってよく、あるいは、記憶部１６６に記憶されている一部の蛍光画像のすべてのピクセルのデータまたは一部のピクセルのデータであってもよい。解析部１７８は、データ抽出部１７６によって抽出されたデータに対して後述する相関値の演算を行なう。より具体的には、解析部１７８は、後述する解析領域の区分値を算出し、複数の蛍光画像を区分値に基づいて一以上のグループに分類する。そして、解析部１７８は、グループごとに、解析領域の平均画像を算出した上で、グループごとに解析領域の各画像から平均画像を減算して解析領域の新規画像を算出する。その後、解析部１７８は、グループごとに新規画像に基づいて相関値を演算する。
　図１において、光源１１２ａ，…，１１２ｎから発せられた励起光は、コリメートレンズ１１４ａ，…，１１４ｎとダイクロイックミラー１１６ａ，…，１１６ｎとダイクロイックミラー１２２とガルバノミラー１２４と対物レンズ１２６を経て試料Ｓ内の測定点に照射される。励起光が照射される測定点は、ガルバノミラー１２４によってｘｙ方向にラスター走査される。さらに必要であれば、対物レンズ駆動機構１２８によってｚ走査される。励起光を受けた試料Ｓは測定点から蛍光を発する。試料Ｓからの光（蛍光のほかに不所望な反射光などを含む）は、対物レンズ１２６とガルバノミラー１２４とダイクロイックミラー１２２と収束レンズ１３２を経てピンホール１３４に至る。ピンホール１３４は測定点と共役な位置にあるため、試料Ｓ内の測定点からの光だけがピンホール１３４を通過する。ピンホール１３４を通過した光すなわち試料Ｓ内の測定点からの光はコリメートレンズ１３６を経てｎチャンネルの検出系１３１に入射する。ｎチャンネルの検出系１３１に入射した光は、ダイクロイックミラー１３８ａ，…，１３８ｎによって波長に従って分離される（つまり分光される）とともに、蛍光フィルター１４０ａ，…，１４０ｎによって不所望な成分が除去される。その結果、光源１１２ａ，…，１１２ｎからの励起光によって生成された蛍光だけが光検出器１４２ａ，…，１４２ｎにそれぞれ入射する。光検出器１４２ａ，…，１４２ｎは、それぞれ、入射光すなわち試料Ｓ内の測定点から発せられた蛍光の強度を示す蛍光強度信号を出力する。この蛍光強度信号は画像形成部１６４に入力される。画像形成部１６４は、１回のラスター走査（およびｚ走査）ごとに、入力される蛍光強度信号をｘｙ方向（およびｚ方向）の位置情報に同期させて処理して、試料Ｓ内の焦点面（測定点が移動した平面または曲面）の１フレームの蛍光画像を形成する。形成された蛍光画像は、記憶部１６６に保存される。ここに述べた一連の動作は、設定された取得するフレーム数だけ繰り返され、設定されたフレーム数の蛍光画像が取得される。各蛍光画像は、ピクセルのデータが時系列的に取得された複数のピクセルからなる。
　記憶部１６６に保存された蛍光画像は、必要に応じて処理され、表示部１６８に表示される。例えば、測定点のｚ位置を変えて複数フレームの蛍光画像を取得し、それらを合成して三次元画像を形成し、これを表示部１６８に表示することも可能である。
　以下、図３を参照しながら画像解析の手順について説明する。また、各ステップについて、適宜、図４～図６を参照しながら説明する。
　＜ステップＳ１＞：
　試料Ｓの観察領域と取得する蛍光画像のフレーム数を設定する。設定した観察領域の蛍光画像を設定したフレーム数だけ取得する。蛍光画像の取得は、同一の観察領域に対して同一の走査方法によって行なう。取得する複数フレームの蛍光画像は、時系列的に取得された画像であり、各画像は、ピクセルのデータが時系列的に取得された複数のピクセルからなる。
　時系列的に取得された複数フレームの蛍光画像を模式的に図４に示す。図４において、Ｆｎは、一つのチャンネルにおけるｎフレーム目の蛍光画像を表している。つまり、図４は、８０フレームの蛍光画像を取得した例を示している。
　＜ステップＳ２＞：
　図５に示すように、取得した蛍光画像の領域（観察領域）Ｒ１に対して解析する領域（解析領域）Ｒ２を設定する。解析領域Ｒ２は、観察領域Ｒ１の一部に限定されるものではなく、観察領域Ｒ１に一致していてもよい。解析領域Ｒ２は、アプリケーション的にはデフォルトで観察領域Ｒ１すなわちステップＳ１における走査領域に設定されている。観察領域Ｒ１の全体を解析する場合には、このステップは不要である。
　＜ステップＳ３＞：
　解析領域Ｒ２の区分値を算出する。区分値は、例えば、解析領域Ｒ２のピクセルのデータの統計値であり、解析領域Ｒ２のピクセルのデータの最大値、最小値、平均値、相対差、相対比のいずれかである。ピクセルのデータは、例えば、２次元または３次元の観察領域から得られた蛍光強度である。相対差は、例えば、最大値と最小値との差である。
　続く説明では、蛍光画像Ｆ１，…，Ｆ２０の解析領域の区分値はＤａであり、蛍光画像Ｆ２１，…，Ｆ５０の解析領域の区分値は、Ｄａとは大きく異なるＤｂであり、蛍光画像Ｆ５１，…，Ｆ８０の解析領域の区分値はＤａであるとする。
　＜ステップＳ４＞：
　複数の画像を区分値に基づいて一以上のグループに分類する。例えば、区分値が大きく変化する前後で画像をグループ分けする。グループの数は、区分値の変化の仕方に応じて決まる。
　複数グループに分類された複数フレームの解析領域の蛍光画像を模式的に図６に示す。図６において、Ｆａｎはｎフレーム目の蛍光画像の解析領域の画像を表している。図６は、図４に示した蛍光画像Ｆ１，…，Ｆ８０の解析領域の画像Ｆａ１，…，Ｆａ８０を二つのグループＧａ，Ｇｂに分類した例を示している。図６では、画像Ｆａ１，…，Ｆａ２０と画像Ｆａ５１，…，Ｆａ８０がグループＧａに分類され、画像Ｆａ２１，…，Ｆａ５０がグループＧｂに分類されている。
　＜ステップＳ５＞：
　グループごとに解析領域の平均画像を算出する。平均画像は、各グループに含まれる全ての画像の平均値であってもよく、または各グループに含まれる一部の画像の平均値であってもよい。例えば、平均画像の算出は、各グループに含まれる画像の数を算出し、算出した画像の数に基づいて各グループの平均画像を算出する。
　より具体的には、各グループに含まれる全ての画像について、解析領域を構成するピクセルごとに、ピクセルのデータの平均値を算出する。そして、ピクセルごとに算出された各ピクセルのデータの平均値からなる画像を平均画像としてよい。
　続く説明では、グループＧａに含まれる画像Ｆａ１，…，Ｆａ２０と画像Ｆａ５１，…，Ｆａ８０の平均画像をＡａとし、グループＧｂに含まれる画像Ｆａ２１，…，Ｆａ５０の平均画像をＡｂとする。
　画像Ｆａ１，…，Ｆａ２０と画像Ｆａ５１，…，Ｆａ８０から一つの平均画像Ａａを算出する代わりに、画像Ｆａ１，…，Ｆａ２０からは平均画像Ａａ１を算出し、画像Ｆａ５１，…，Ｆａ８０からは別の平均画像Ａａ２を算出してもよい。
　＜ステップＳ６＞：
　グループごとに解析領域の各画像から平均画像を減算して解析領域の新規画像を算出する。ここで、解析領域の各画像から平均画像を減算するには、例えば、解析領域を構成するピクセルごとに、各画像のピクセルのデータから平均画像のピクセルのデータを減算し、算出された値からなる画像を得ればよい。
　ｎフレーム目の解析領域の新規画像をＦｂｎとする。グループＧａに含まれる画像Ｆａ１，…，Ｆａ２０，Ｆａ５１，…，Ｆａ８０に対しては、Ｆｂ１＝Ｆａ１－Ａａ，…，Ｆｂ２０＝Ｆａ２０－Ａａ，Ｆａ５１＝Ｆａ５１－Ａａ，…，Ｆａ５１＝Ｆａ２０－Ａａによって、新規画像Ｆｂ１，…，Ｆｂ２０，Ｆｂ５１，…，Ｆｂ８０を算出し、グループＧｂに含まれる画像Ｆａ２１，…，Ｆａ５０に対しては、Ｆｂ２１＝Ｆａ２１－Ａｂ，…，Ｆｂ５０＝Ｆａ５０－Ａｂによって、新規画像Ｆｂ２１，…，Ｆｂ５０を算出する。
　新規画像Ｆｂ１，…，Ｆｂ２０，Ｆｂ５１，…，Ｆｂ８０を算出するために、各画像Ｆａ１，…，Ｆａ２０，Ｆａ５１，…，Ｆａ８０から共通のＡａ，を減算する代わりに、各画像Ｆａ１，…，Ｆａ２０からは前述した平均画像Ａａ１を減算し、各画像Ｆａ５１，…，Ｆａ８０からは前述した平均画像Ａａ２を減算してもよい。
　＜ステップＳ７＞：
　グループごとに新規画像に基づいて相関値を演算する。相関値の演算に使用する各ピクセルのデータは、そのピクセルのデータそのものであってもよいし、そのピクセルを含む複数のピクセルのデータの統計値であってもよい。複数のピクセルは、たとえば、注目のピクセルおよびこれに隣接するピクセルであってよい。統計値は、たとえば、ピクセルのデータの平均値、最大値、最小値、相対差、絶対差、相対比のいずれかであってよい。どのような統計値を使用するかは、ＲＩＣＳの解析によってどのような情報を得たいかによって決める。
　相関値の演算は、例えば、グループごとにピクセルのデータの最小値を算出し、算出した最小値を新規画像の全てのピクセルのデータに加算し、最小値を加算した新規画像について相関値を演算する。この処理によって、新規画像のピクセルのデータが全て正になる。ここでは、新規画像のピクセルのデータを全て正にするために、最小値を加算する例をあげたが、加算する値は最小値に限らず、最小値よりも大きい任意の値を加算すればよい。
　また相関値の演算は、ピクセルのデータに基づいて画像をそれぞれ構成し直し、構成し直した画像について相関値を演算してもよい。例えば、隣のピクセルのデータ同士を足して、ピクセルのデータの数を半分にする。または、一つのピクセルのデータを複数に分割する。本来ならば、一度画像を取得するとピクセルのデータの数は増えないが、取得したピクセルのデータの強度がそのピクセルのデータの周囲にガウシアン分布で広がっていると仮定して、本来取得できていないピクセルのデータを補う。本質的にピクセルのデータの数が増えている訳ではないが、見た目が良くなる。
　相関値の演算は、例えば、次式（１）を用いて空間自己相関値を算出する。
Figure JPOXMLDOC01-appb-M000007
ここで、ＧｓａはＲＩＣＳの空間自己相関値、Ｉはピクセルのデータ、ｘ，ｙは測定点の空間的座標、ξ，ψは測定点からの空間的座標の変化量、Ｍ１1はデータ積和計算の回数、Ｍ１はデータ総数である。
　または、相関値の演算は、例えば、次式（２）を用いて空間相互相関値を算出する。
Figure JPOXMLDOC01-appb-M000008
ここで、ＧｓｃはＲＩＣＳの空間相互相関値、Ｉ１はチャンネル１のピクセルのデータ、Ｉ２はチャンネル２のピクセルのデータ、ｘ，ｙは測定点の空間的座標、ξ，ψは測定点からの空間的座標の変化量、Ｍ１２はデータ積和計算の回数、Ｍ１はチャンネル１のデータ総数、Ｍ２はチャンネル２のデータ総数である。式（２）は、チャンネル１とチャンネル２との間の空間相互相関値の算出式であるが、チャンネルは適宜変更されてよい。
　さらに、各新規画像に基づいて算出された相関値を平均化する。
　ｎフレーム目の解析領域の新規画像Ｆｂｎに基づいて算出した相関値をＧｓｎとする。そして、平均の相関値Ｇｓを、Ｇｓ＝（Ｇｓ１＋Ｇｓ２＋…＋Ｇｓ７９＋Ｇｓ８０）／８０によって算出する。
　＜ステップＳ８＞：
　上記ステップＳ７の空間相関値の算出結果を式（３）によってフィッティングする。
Figure JPOXMLDOC01-appb-M000009
ここで、ＧｓはＲＩＣＳの空間相関値、ＳはＲＩＣＳの解析におけるスキャンの影響、ＧはＲＩＣＳの解析における時間遅延の影響、Ｄは拡散定数、ξ，ψは測定点からの空間的座標の変化量、δｒはピクセルサイズ、Ｎは分子数、Ｗ０は励起レーザビームの横方向の半径、ＷＺは励起レーザビームの縦方向の半径、τｐはピクセル時間、τｌはライン時間、γは任意の定数である。
　なお、γについては、システムに応じて適宜設定することができる。例えば、γ＝１としてフィッティングしてよい。
　また、ピクセル時間とは、ピクセル間の取得時間のずれを意味する。また、ライン時間とは、任意のラインの最初のピクセルと、その次のラインの最初のピクセルと、の間の取得時間のずれを意味する。すなわち、ライン時間は、一ライン走査するのに要する時間を意味する。
　このように式（３）を用いてフィッティングすることで、拡散時間の推定をする。具体的には、式（１）または式（２）を用いて、異なる遅延時間に対する相関値Ｇｓａまたは相関値Ｇｓｃをそれぞれ求める。ここで、遅延時間とは、一の画素の取得時間と、別の画素の取得時間と、の差を意味している。例えば、（ξ，ψ）＝（１，１）と、（ξ，ψ）＝（４，２）と、の遅延時間は、（４－１）τｐ＋（２－１）τｌで表される。
　ここで、式（３）において、遅延時間がゼロのときは（ξ＝０、ψ＝０）、Ｓは１であり、Ｇｓは１／Ｎで表せる。従って、分子数を求めることができる。これを新たに、式（３）に代入する。
　そして、未知数である拡散定数Ｄを変動させながら、測定値として得られる相関値Ｇｓａまたは相関値Ｇｓｃと、理論値として得られるＧｓと、の差が最小となるように、適切な拡散定数Ｄを求める。このように、式（３）によるフィッティングとは、拡散定数Ｄを変動させながら、２次元または３次元の観察領域における、最適な、分子数または拡散定数を推定することである。
　そして、拡散定数からは、拡散時間を求めることができる。
　すなわち、拡散定数と、拡散時間との関係は、次式（４）で表される。
Figure JPOXMLDOC01-appb-M000010
ここで、Ｄは拡散定数、τは拡散時間、Ｗ０は励起レーザビームの横方向の半径を意味する。
　＜ステップＳ９＞：
　解析結果を表示するとともに適宜保存する。具体的には、ステップＳ７で得た空間相関値の算出結果と、ステップＳ８で得た空間相関値のフィッティング結果を表示する。解析結果の一例を図７～図１０に示す。図７は、小さい分子に対する空間相関値の算出結果を輝度で示した画像であり、図８は、そのフィッティング結果を示している。また図９は、大きい分子に対する空間相関値の算出結果を輝度で示した画像であり、図１０は、そのフィッティング結果を示している。
　このように本実施形態では、ＲＩＣＳのような画像データを計算の元とする空間的相関解析において、複数フレームの画像をフレームデータの変化に応じていくつかのグループに分類し、グループごとに平均画像の減算処理を行なっている。つまり、異なる大きい分子や不動分子の影響が混在するフレームから一つの平均画像を算出して減算処理することを避け、大きい分子や不動分子の影響を事前に分類し、分類したグループごとに平均画像を算出して減算処理している。これにより、フレームデータの変化に応じたグループごとに、大きい分子や不動分子の影響が適材適所に除去される。
　これまで、図面を参照しながら本発明の実施形態を述べたが、本発明は、これらの実施形態に限定されるものではなく、その要旨を逸脱しない範囲において様々な変形や変更が施されてもよい。
　また実施形態では、ラスター走査によって取得された画像について説明したが、画像は、ラスター走査によって取得されたものに限定されるものではなく、ピクセルのデータが時系列的に取得された複数のピクセルからなる画像であればよく、他の走査方法によって取得されたものであってもよい。
１００…画像解析装置、１１０…光照射部、１１２ａ，…，１１２ｎ…光源、１１４ａ，…，１１４ｎ…コリメートレンズ、１１６ａ，…，１１６ｎ…ダイクロイックミラー、１２２…ダイクロイックミラー、１２４…ガルバノミラー、１２６…対物レンズ、１２８…対物レンズ駆動機構、１３０…光検出部、１３２…収束レンズ、１３４…ピンホール、１３６…コリメートレンズ、１３８ａ，…，１３８ｎ…ダイクロイックミラー、１４０ａ，…，１４０ｎ…蛍光フィルター、１４２ａ，…，１４２ｎ…光検出器、１６０…制御部、１６２…走査制御部、１６４…画像形成部、１６６…記憶部、１６８…表示部、１７０…入力部、１７２…解析領域設定部、１７６…データ抽出部、１７８…解析部、１８０…ステージ制御部、１９０…試料ステージ、Ｒ１…観察領域、Ｒ２…解析領域。

Claims (18)

  1. 　各画像のピクセルのデータが時系列的に取得された複数のピクセルからなる複数フレームの画像を時系列的に取得する画像取得ステップと、
    　前記画像に対して解析領域を設定する解析領域設定ステップと、
    　前記解析領域の区分値を算出する区分値算出ステップと、
    　前記複数の画像を前記区分値に基づいて一以上のグループに分類する分類ステップと、
    　前記グループごとに前記解析領域の平均画像を算出する平均画像算出ステップと、
    　前記グループごとに前記解析領域の各画像から前記平均画像を減算して前記解析領域の新規画像を算出する新規画像算出ステップと、
    　前記グループごとに前記新規画像に基づいて相関値を演算する演算ステップとを有している画像解析方法。
  2. 　前記区分値は、前記解析領域のピクセルのデータの最大値、最小値、平均値、相対差、相対比のいずれかである、請求項１に記載の画像解析方法。
  3. 　前記ピクセルのデータは、２次元または３次元の観察領域から得られた蛍光強度である、請求項１に記載の画像解析方法。
  4. 　前記演算ステップは、前記グループごとに前記ピクセルのデータの最小値を算出し、算出した最小値を前記新規画像の全てのピクセルのデータに加算し、前記最小値を加算した新規画像について相関値を演算する、請求項１に記載の画像解析方法。
  5. 　前記平均画像算出ステップは、各グループに含まれる画像の数を算出し、算出した画像の数に基づいて各グループの平均画像を算出する、請求項１に記載の画像解析方法。
  6. 　前記演算ステップは、前記ピクセルのデータに基づいて、前記複数の画像をそれぞれ構成し直し、構成し直した画像について相関値を演算する、請求項１に記載の画像解析方法。
  7. 　前記画像は、走査型顕微鏡によって得られたものである、請求項１に記載の画像解析方法。
  8. 　前記演算ステップは、次式（１）または次式（２）を用いて、２次元または３次元の観察領域の相関演算を行う、
    Figure JPOXMLDOC01-appb-M000001
     ここで、ＧｓａはＲＩＣＳの空間自己相関値、Ｉはピクセルのデータ、ｘ，ｙは測定点の空間的座標、ξ，ψは測定点からの空間的座標の変化量、Ｍ１１はデータ積和計算の回数、Ｍ１はデータ総数であり、
    Figure JPOXMLDOC01-appb-M000002
     ここで、ＧｓｃはＲＩＣＳの空間相互相関値、Ｉ１はチャンネル１のピクセルのデータ、Ｉ２はチャンネル２のピクセルのデータ、ｘ，ｙは測定点の空間的座標、ξ，ψは測定点からの空間的座標の変化量、Ｍ１２はデータ積和計算の回数、Ｍ１はチャンネル１のデータ総数、Ｍ２はチャンネル２のデータ総数である、請求項１に記載の画像解析方法。
  9. 　前記演算ステップは、次式（３）を用いて、前記空間相関値の算出結果をフィッティングする、
    Figure JPOXMLDOC01-appb-M000003
     ここで、ＧｓはＲＩＣＳの空間相関値、ＳはＲＩＣＳの解析におけるスキャンの影響、ＧはＲＩＣＳの解析における時間遅延の影響、Ｄは拡散定数、ξ，ψは測定点からの空間的座標の変化量、δｒはピクセルサイズ、Ｎは分子数、Ｗ０は励起レーザビームの横方向の半径、ＷＺは励起レーザビームの縦方向の半径、τｐはピクセル時間、τｌはライン時間、γは任意の定数である、請求項８に記載の画像解析方法。
  10. 　各画像のピクセルのデータが時系列的に取得された複数のピクセルからなる複数フレームの画像を時系列的に取得する画像取得手段と、
    　前記画像に対して解析領域を設定する解析領域設定手段と、
    　前記解析領域の区分値を算出する区分値算出手段と、
    　前記複数の画像を前記区分値に基づいて一以上のグループに分類し、前記グループごとに前記解析領域の平均画像を算出し、前記グループごとに前記解析領域の画像から前記平均画像を減算して前記解析領域の新規画像を算出し、前記新規画像について相関値を演算する演算手段とを有している、画像解析装置。
  11. 　前記区分値は、前記解析領域のピクセルのデータの最大値、最小値、平均値、相対差、相対比のいずれかである、請求項１０に記載の画像解析装置。
  12. 　前記ピクセルのデータは、２次元または３次元の観察領域から得られた蛍光強度である、請求項１０に記載の画像解析装置。
  13. 　前記演算ステップは、前記グループごとに前記ピクセルのデータの最小値を算出し、算出した最小値を前記新規画像の全てのピクセルのデータに加算し、前記最小値を加算した新規画像について相関値を演算する、請求項１０に記載の画像解析装置。
  14. 　前記演算手段は、各グループに含まれる画像の数を算出し、前記画像の数に基づいて前記グループごとに前記平均画像を算出する、請求項１０に記載の画像解析装置。
  15. 　前記演算ステップは、前記ピクセルのデータに基づいて、前記複数の画像をそれぞれ構成し直し、構成し直した画像について相関値を演算する、請求項１０に記載の画像解析装置。
  16. 　前記画像は、走査型顕微鏡によって得られたものである、請求項１０に記載の画像解析装置。
  17. 　前記演算手段は、次式（１）と次式（２）に基づいて、２次元または３次元の観察領域の分子数または拡散定数を推定する、
    Figure JPOXMLDOC01-appb-M000004
     ここで、ＧｓａはＲＩＣＳの空間自己相関値、Ｉはピクセルのデータ、ｘ，ｙは測定点の空間的座標、ξ，ψは測定点からの空間的座標の変化量、Ｍ１１はデータ積和計算の回数、Ｍ１はデータ総数であり、
    Figure JPOXMLDOC01-appb-M000005
     ここで、ＧｓｃはＲＩＣＳの空間相互相関値、Ｉ１はチャンネル１のピクセルのデータ、Ｉ２はチャンネル２のピクセルのデータ、ｘ，ｙは測定点の空間的座標、ξ，ψは測定点からの空間的座標の変化量、Ｍ１２はデータ積和計算の回数、Ｍ１はチャンネル１のデータ総数、Ｍ２はチャンネル２のデータ総数である、請求項１０に記載の画像解析装置。
  18. 　前記演算手段は、次式（３）を用いて、前記空間相関値の算出結果をフィッティングする、
    Figure JPOXMLDOC01-appb-M000006
     ここで、ＧｓはＲＩＣＳの空間相関値、ＳはＲＩＣＳの解析におけるスキャンの影響、ＧはＲＩＣＳの解析における時間遅延の影響、Ｄは拡散定数、ξ，ψは測定点からの空間的座標の変化量、δｒはピクセルサイズ、Ｎは分子数、Ｗ０は励起レーザビームの横方向の半径、ＷＺは励起レーザビームの縦方向の半径、τｐはピクセル時間、τｌはライン時間、γは任意の定数である、請求項１７に記載の画像解析装置。
PCT/JP2010/069365 2010-10-29 2010-10-29 画像解析方法および画像解析装置 WO2012056578A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP10858965.6A EP2623956A4 (en) 2010-10-29 2010-10-29 IMAGE ANALYSIS METHOD AND IMAGE ANALYSIS DEVICE
PCT/JP2010/069365 WO2012056578A1 (ja) 2010-10-29 2010-10-29 画像解析方法および画像解析装置
CN201080069838.6A CN103180718B (zh) 2010-10-29 2010-10-29 图像分析方法以及图像分析装置
US13/870,638 US9378434B2 (en) 2010-10-29 2013-04-25 Image analysis method and image analysis device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/069365 WO2012056578A1 (ja) 2010-10-29 2010-10-29 画像解析方法および画像解析装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/870,638 Continuation US9378434B2 (en) 2010-10-29 2013-04-25 Image analysis method and image analysis device

Publications (1)

Publication Number Publication Date
WO2012056578A1 true WO2012056578A1 (ja) 2012-05-03

Family

ID=45993331

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/069365 WO2012056578A1 (ja) 2010-10-29 2010-10-29 画像解析方法および画像解析装置

Country Status (4)

Country Link
US (1) US9378434B2 (ja)
EP (1) EP2623956A4 (ja)
CN (1) CN103180718B (ja)
WO (1) WO2012056578A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015166684A1 (ja) * 2014-04-30 2015-11-05 ソニー株式会社 画像処理装置と画像処理方法
US10775241B2 (en) * 2017-06-27 2020-09-15 Canon U.S.A., Inc. Correlator with a variable sampling time scheme
US11803043B2 (en) * 2019-12-17 2023-10-31 University Of Washington System and apparatus for dynamically shaped focal surface with a scanning microscope

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004108892A (ja) * 2002-09-17 2004-04-08 Olympus Corp 蛍光分光分析装置
JP2006078377A (ja) * 2004-09-10 2006-03-23 Olympus Corp 光信号解析方法
JP2010217761A (ja) * 2009-03-18 2010-09-30 Olympus Corp 画像取得装置、画像取得方法及びプログラム
JP2010217104A (ja) * 2009-03-18 2010-09-30 Olympus Corp 画像解析装置、画像解析方法及びプログラム
JP2010237116A (ja) * 2009-03-31 2010-10-21 Olympus Corp 画像解析方法および画像解析装置
JP2010281735A (ja) * 2009-06-05 2010-12-16 Olympus Corp 画像解析方法および画像解析装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3999701B2 (ja) 2003-05-30 2007-10-31 オリンパス株式会社 分光分析装置
JP4037381B2 (ja) 2004-03-31 2008-01-23 富士フイルム株式会社 光情報読取方法および装置
JP4740952B2 (ja) 2005-09-27 2011-08-03 オリンパス株式会社 光信号解析装置および光信号解析方法
JP4830087B2 (ja) 2005-09-27 2011-12-07 国立大学法人北海道大学 光信号解析装置
WO2008087869A1 (ja) 2007-01-16 2008-07-24 Olympus Corporation 蛍光信号解析装置および蛍光信号解析方法
CN100433793C (zh) * 2007-04-19 2008-11-12 华中科技大学 基于运动检测指导的红外焦平面非均匀性校正方法
JP4959445B2 (ja) * 2007-07-04 2012-06-20 オリンパス株式会社 画像処理装置および画像処理プログラム
JP5312807B2 (ja) * 2008-01-08 2013-10-09 オリンパス株式会社 画像処理装置および画像処理プログラム
US20090238435A1 (en) * 2008-03-21 2009-09-24 Applied Imaging Corp. Multi-Exposure Imaging for Automated Fluorescent Microscope Slide Scanning
CN101621634B (zh) * 2009-07-24 2010-12-01 北京工业大学 动态前景分离的大幅面视频拼接方法
US8310531B2 (en) * 2009-08-03 2012-11-13 Genetix Corporation Methods and apparatuses for processing fluorescence images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004108892A (ja) * 2002-09-17 2004-04-08 Olympus Corp 蛍光分光分析装置
JP2006078377A (ja) * 2004-09-10 2006-03-23 Olympus Corp 光信号解析方法
JP2010217761A (ja) * 2009-03-18 2010-09-30 Olympus Corp 画像取得装置、画像取得方法及びプログラム
JP2010217104A (ja) * 2009-03-18 2010-09-30 Olympus Corp 画像解析装置、画像解析方法及びプログラム
JP2010237116A (ja) * 2009-03-31 2010-10-21 Olympus Corp 画像解析方法および画像解析装置
JP2010281735A (ja) * 2009-06-05 2010-12-16 Olympus Corp 画像解析方法および画像解析装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MICHELLE A. DIGMAN; CLAIRE M. BROWN; PARIJAT SENGUPTA; PAUL W. WISEMAN; ALAN R; HORWITZ; ENRICO GRATTON: "Measuring Fast Dynamics in Solutions and Cells with a Laser Scanning Microscope", BIOPHYSICAL JOURNAL, vol. 89, August 2005 (2005-08-01), pages 1317 - 1327
MICHELLE A. DIGMAN; PARIJAT SENGUPTA; PAUL W. WISEMAN; CLAIRE M. BROWN; ALAN R. HORWITZ; ENRICO GRATTON: "Fluctuation Correlation Spectroscopy with a Laser-Scanning Microscope: Exploiting the Hidden Time Structure", BIOPHYSICAL JOURNAL: BIOPHYSICAL LETTERS, 2005, pages 33 - 36
See also references of EP2623956A4

Also Published As

Publication number Publication date
EP2623956A1 (en) 2013-08-07
EP2623956A4 (en) 2014-10-08
CN103180718B (zh) 2016-01-13
US20130236060A1 (en) 2013-09-12
CN103180718A (zh) 2013-06-26
US9378434B2 (en) 2016-06-28

Similar Documents

Publication Publication Date Title
Diekmann et al. Chip-based wide field-of-view nanoscopy
US8908993B2 (en) Image analysis method and image analysis apparatus
Müller et al. Light sheet Raman micro-spectroscopy
US20220205919A1 (en) Widefield, high-speed optical sectioning
WO2011046211A1 (ja) 画像解析方法および画像解析装置
JP5468805B2 (ja) 画像解析方法および画像解析装置
JP5566055B2 (ja) 画像解析方法および画像解析装置
WO2012056580A1 (ja) 画像解析方法および画像解析装置
US9262667B2 (en) Image analysis method and image analysis apparatus
WO2012056578A1 (ja) 画像解析方法および画像解析装置
JP5508809B2 (ja) 画像解析方法および画像解析装置
JP5489541B2 (ja) 画像解析方法および画像解析装置
Fu et al. Single-shot optical sectioning microscopy based on structured illumination
Liu et al. Compressive sensing-based multi-focus line-scanning two-photon microscopy for fast 3D imaging
EP4321917A1 (en) Sample observation device and sample observation method
Duplinskiy et al. Tsang's resolution enhancement method for imaging with focused illumination
Mondal et al. Future Prespective of Fluorescence Microscopy

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10858965

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2010858965

Country of ref document: EP