WO2011046211A1 - 画像解析方法および画像解析装置 - Google Patents

画像解析方法および画像解析装置 Download PDF

Info

Publication number
WO2011046211A1
WO2011046211A1 PCT/JP2010/068191 JP2010068191W WO2011046211A1 WO 2011046211 A1 WO2011046211 A1 WO 2011046211A1 JP 2010068191 W JP2010068191 W JP 2010068191W WO 2011046211 A1 WO2011046211 A1 WO 2011046211A1
Authority
WO
WIPO (PCT)
Prior art keywords
analysis
image
data
channel
diffusion constant
Prior art date
Application number
PCT/JP2010/068191
Other languages
English (en)
French (fr)
Inventor
明美 鈴木
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201080044391.7A priority Critical patent/CN102575989B/zh
Priority to EP10823479.0A priority patent/EP2477026A4/en
Publication of WO2011046211A1 publication Critical patent/WO2011046211A1/ja
Priority to US13/445,332 priority patent/US8705865B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36—Investigating two or more bands of a spectrum by separate detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/44—Raman spectrometry; Scattering spectrometry ; Fluorescence spectrometry
    • G01J3/4406—Fluorescence spectrometry
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0088—Inverse microscopes

Definitions

  • the present invention relates to an image analysis method and an image analysis apparatus.
  • FCS fluorescence correlation spectroscopy
  • RICS Raster Image Correlation Spectroscopy
  • Non-Patent Document 2 a fluorescence image is acquired by detecting fluorescence generated while raster scanning excitation light on a sample.
  • the data of each pixel of the fluorescence image represents information on the intensity of the fluorescence generated from the corresponding point in the sample. That is, the pixel data has different acquisition times and acquisition positions.
  • the diffusion constant and the number of molecules are obtained by performing spatial correlation analysis using pixel data.
  • the information obtained from a large number of measurement points on the sample is preferably mapped and imaged for consideration in relation to the position in the sample.
  • the mapping results When the measurement results are mapped by setting a large number of measurement points on the sample using FCS, the time difference between the first measurement point and the last measurement point is large, and the mapping result is It will contain large errors due to the effects of changes and will be unreliable. For example, when mapping the number of molecules or the diffusion constant at 256 ⁇ 256 measurement points, if the time required to obtain the number of molecules or the diffusion constant at one measurement point is 10 seconds, it is long as 256 ⁇ 256 ⁇ 10 seconds. Measurement time is required. Even if the measurement results having such a long time interval are mapped, the mapping results are actually meaningless.
  • RICS information is obtained from many points in a sample, but generally only one piece of information (for example, the number of molecules or diffusion constant) is calculated for one image. That is, a plurality of information is not acquired from the scanning area. For this reason, of course, mapping the acquired information is not considered.
  • An object of the present invention is to provide a new RICS image analysis method for calculating and mapping a plurality of information from a scanning region.
  • An image analysis method includes an image acquisition step of acquiring an image of an observation area composed of a plurality of pixels each having a plurality of data acquired in time series, and an analysis area for the image of the observation area An analysis region setting step for setting the sub-analysis region, a sub-analysis region setting step for setting a sub-analysis region smaller than the analysis region, and a movement for moving the sub-analysis region intermittently with a pixel interval throughout the analysis region A correlation analysis step of performing correlation analysis using pixel data in the sub-analysis region for each movement to estimate at least either the number of molecules or the diffusion constant of the sub-analysis region; and the molecule An image forming step of mapping the number or diffusion constant to form an image of the number of molecules or diffusion constant. .
  • a RICS image analysis method for mapping and displaying the number of molecules or diffusion constant is provided.
  • FIG. 1 schematically shows an image analysis device according to an embodiment of the invention.
  • the functional block of the control part shown by FIG. 1 is shown.
  • the example of the fluorescence image of a two-dimensional image is shown.
  • the example of the fluorescence image of a three-dimensional image is shown.
  • 3 is a flowchart of image analysis according to an embodiment of the present invention.
  • a sub-analysis region set for a two-dimensional analysis region is schematically shown.
  • a sub-analysis region set for a three-dimensional analysis region is schematically shown.
  • An image of molecular number or diffusion constant is shown.
  • An image of extended molecular number or extended diffusion constant is shown.
  • the conversion of coordinate data between the pre-conversion image and the post-conversion image is shown.
  • An image before conversion and an image after conversion are shown.
  • FIG. 1 schematically shows an image analysis apparatus according to an embodiment of the present invention.
  • This image analysis apparatus is configured based on a scanning confocal optical microscope for fluorescence observation of a sample.
  • the image analysis apparatus 100 is necessary for image analysis, a light irradiation unit 110 that irradiates the sample S with excitation light, a light detection unit 130 that detects light emitted from a measurement point in the sample S, and the like. And a sample stage 190 that supports the sample S.
  • the sample S is accommodated in a sample container such as a microplate or a slide glass, and is placed on the sample stage 190.
  • the sample stage 190 supports the sample S so as to be movable in the lateral direction (xy direction) and the height direction (z direction) with respect to the light irradiation unit 110 and the light detection unit 130.
  • the sample stage 190 includes three stepping motors whose output axes are orthogonal to each other, and the sample S can be moved in the xyz direction by these stepping motors.
  • the image analysis apparatus 100 is a multiple light irradiation / multiple light detection type.
  • the light irradiation unit 110 includes an n-channel light source system 111, and the light detection unit 130 correspondingly includes an n-channel detection system 131.
  • Each of the n-channel detection systems 131 detects fluorescence generated by the excitation light emitted from the n-channel light source system 111.
  • the n channel includes channel 1, channel 2,... Channel n. The channel differs depending on the type of excitation light.
  • the n-channel light source system 111 of the light irradiation unit 110 includes light sources 112a, ..., 112n, collimating lenses 114a, ..., 114n, and dichroic mirrors 116a, ..., 116n.
  • the light sources 112a,..., 112n emit excitation light for exciting the fluorescent dye contained in the sample S to emit light (fluorescence) from the sample S.
  • the wavelengths of the excitation light emitted from the light sources 112a,..., 112n are different from each other corresponding to the type of fluorescent dye contained in the sample S.
  • the light sources 112a,..., 112n are constituted by, for example, laser light sources having an oscillation wavelength suitable for the fluorescent dye in the sample S.
  • the collimating lenses 114a,..., 114n collimate the excitation light emitted from the light sources 112a,.
  • the dichroic mirrors 116a,..., 116n reflect the excitation light that has passed through the collimating lenses 114a,.
  • Each of the dichroic mirrors 116a,..., 116n transmits the excitation light incident from above in FIG. 1 and reflects the excitation light incident from the right side in FIG.
  • the excitation lights having different wavelengths respectively emitted from the light sources 112a,..., 112n are combined into one beam after passing through the dichroic mirror 116a.
  • the dichroic mirror 116n does not need to transmit the excitation light, and may be changed to a simple mirror.
  • the light irradiation unit 110 further includes a dichroic mirror 122, a galvano mirror 124, an objective lens 126, and an objective lens driving mechanism 128.
  • the dichroic mirror 122 reflects the excitation light from the light source system 111 toward the galvanometer mirror 124 and transmits the fluorescence emitted from the sample S.
  • the galvanometer mirror 124 reflects the excitation light toward the objective lens 126 and changes the reflection direction thereof.
  • the objective lens 126 converges the excitation light and irradiates the measurement point in the sample S, and takes in the light from the measurement point in the sample S.
  • An objective lens 126 having a large NA (numerical aperture) is used to form a minute confocal region (measurement point).
  • the confocal region thus obtained has a substantially cylindrical shape with a diameter of about 0.6 ⁇ m and a length of about 2 ⁇ m.
  • the galvanometer mirror 124 constitutes an xy scanning mechanism that scans measurement points in the xy direction.
  • the xy scanning mechanism may be configured using an acousto-optic modulation element (AOM), a polygon mirror, a hologram scanner, or the like in addition to using a galvano mirror.
  • AOM acousto-optic modulation element
  • the objective lens driving mechanism 128 moves the objective lens 126 along the optical axis. Thereby, the measurement point is moved in the z direction. That is, the objective lens driving mechanism 128 constitutes a z scanning mechanism that scans the measurement point in the z direction.
  • the light detection unit 130 shares the objective lens 126, the galvano mirror 124, and the dichroic mirror 122 with the light irradiation unit 110.
  • the light detection unit 130 further includes a converging lens 132, a pinhole 134, and a collimating lens 136.
  • the converging lens 132 converges the light transmitted through the dichroic mirror 122.
  • the pinhole 134 is disposed at the focal point of the converging lens 132. That is, the pinhole 134 is in a conjugate position with respect to the measurement point in the sample S, and selectively allows only light from the measurement point to pass through.
  • the collimating lens 136 collimates the light that has passed through the pinhole 134.
  • the light that has passed through the collimator lens 136 enters the n-channel detection system 131.
  • the n-channel detection system 131 includes dichroic mirrors 138a, ..., 138n, fluorescent filters 140a, ..., 140n, and photodetectors 142a, ..., 142n.
  • the dichroic mirrors 138a,..., 138n selectively reflect light having a wavelength in the vicinity of the fluorescent wavelength region generated from the sample S by the excitation light from the light sources 112a,.
  • the dichroic mirror 138n does not need to transmit light, and may be changed to a simple mirror.
  • the fluorescence filters 140a,..., 140n block the light having an undesired wavelength component from the light reflected by the dichroic mirrors 138a,..., 138n, respectively, and are generated by the excitation light from the light sources 112a,. Only the fluorescence is selectively transmitted.
  • the fluorescence transmitted through the fluorescent filters 140a,..., 140n is incident on the photodetectors 142a,.
  • the photodetectors 142a,..., 142n output signals corresponding to the intensity of incident light. That is, the photodetectors 142a,..., 142n output fluorescence intensity signals from the measurement points in the sample S.
  • the control unit 160 is constituted by a personal computer, for example.
  • the control unit 160 waits for input such as acquisition / storage / display of the fluorescence image of the observation region of the sample S, setting of the analysis region / setting of the sub-analysis region / setting of the movement amount of the sub-analysis region, and image analysis processing (correlation) Calculation of values and estimation of the number of molecules and diffusion time).
  • the control unit 160 controls the galvano mirror 124 that is an xy scanning mechanism, the objective lens driving mechanism 128 that is a z scanning mechanism, the sample stage 190, and the like.
  • the control unit 160 includes a scan control unit 162, an image forming unit 164, a storage unit 166, a display unit 168, an input unit 170, an analysis region setting unit 172, a sub-analysis region adjustment unit 174, and an analysis processing unit. 176 and a stage control unit 180 are included.
  • the scanning control unit 162, the image forming unit 164, the storage unit 166, the stage control unit 180, the galvano mirror 124, the objective lens driving mechanism 128, the sample stage 190, and the photodetector 142 constitute an image acquisition unit. .
  • the scanning control unit 162 controls the galvanometer mirror 124 so as to raster scan the irradiation position of the excitation light with respect to the sample S when acquiring the fluorescence image of the sample S.
  • the scanning control unit 162 also controls the objective lens driving mechanism 128 so that the irradiation position of the excitation light is z-scanned with respect to the sample S if necessary.
  • the image forming unit 164 forms a fluorescent image of the sample S from the information on the irradiation position of the excitation light input from the scanning control unit 162 and the output signals of the photodetectors 142a,. Thereby, a fluorescence image is acquired.
  • the storage unit 166 stores the fluorescent image formed by the image forming unit 164.
  • the display unit 168 displays the fluorescence image of the sample S and the analysis processing result.
  • the input unit 170 includes, for example, a mouse and a keyboard, and constitutes a GUI in cooperation with the display unit 168. This GUI is used for setting an observation area, an analysis area, and a sub-analysis area.
  • the stage control unit 180 controls the sample stage 190 according to the input information from the input unit 170 in order to set an observation region, for example.
  • the analysis area setting unit 172 sets an analysis area according to the input information from the input unit 170.
  • the sub-analysis region adjustment unit 174 sets a sub-analysis region smaller than the analysis region according to the input information from the input unit 170.
  • the sub-analysis region adjustment unit 174 also moves the sub-analysis region intermittently with a pixel interval throughout the analysis region.
  • the analysis processing unit 176 performs correlation analysis using the pixel data in the sub-analysis region every time it moves, and estimates at least either the number of molecules or the diffusion constant in the sub-analysis region.
  • the analysis processing unit 176 also maps the estimated number of molecules or diffusion constant to form an image of the number of molecules or diffusion constant.
  • the analysis processing unit 176 further calculates the estimated number of molecules or diffusion constant using an extension function having a two-dimensional or three-dimensional distribution to obtain the extension molecule number or extension diffusion constant, and the extension molecule number or extension diffusion constant. Are mapped to form an image of extended molecular number or extended diffusion constant.
  • the analysis processing unit 176 converts the extended molecular number or extended diffusion constant image into the same image size as the analysis region using the position information of the extended molecular number or extended diffusion constant as a weighting coefficient. Details of the processing of the analysis processing unit 176 will be described later.
  • excitation light emitted from light sources 112a,..., 112n passes through collimating lenses 114a,..., 114n, dichroic mirrors 116a, ..., 116n, dichroic mirror 122, galvano mirror 124, and objective lens 126.
  • the measurement point is irradiated.
  • the measurement point irradiated with the excitation light is raster scanned in the xy direction by the galvanometer mirror 124 and, if necessary, z scanned by the objective lens driving mechanism 128 while being raster scanned.
  • the measurement point is scanned over the entire observation area.
  • the sample S that has received the excitation light emits fluorescence from the measurement point.
  • the photodetectors 142a,..., 142n each output incident light, that is, a fluorescence intensity signal indicating the intensity of fluorescence emitted from a measurement point in the sample S.
  • This fluorescence intensity signal is input to the image forming unit 164.
  • the image forming unit 164 processes the input fluorescence intensity signal in synchronization with position information in the xy direction (and z direction) to form a fluorescence image of the observation region in the sample S.
  • the formed fluorescent image is stored in the storage unit 166.
  • the fluorescence image stored in the storage unit 166 is displayed on the display unit 168 as it is or processed by the analysis processing unit 176, and the analysis processing result is displayed on the display unit 168.
  • the fluorescence image of the observation area is composed of a plurality of pixels having a plurality of data acquired in time series.
  • the measurement point actually has a spatial extent in the xyz direction, and the pixel has a size corresponding to the spatial extent of this measurement point.
  • the fluorescence image is a two-dimensional image in which pixels having sizes in the xy directions are two-dimensionally arranged.
  • the fluorescence image is a three-dimensional image in which pixels having a size in the xyz direction are three-dimensionally arranged. From another viewpoint, the three-dimensional image is composed of two-dimensional images of a plurality of frames having different z positions.
  • ⁇ p is a shift in acquisition time (pixel time) between a certain pixel and the next pixel adjacent thereto. That is, the pixel time ⁇ p is a time required to acquire data for one pixel.
  • ⁇ l is a shift in acquisition time (line time) between the first pixel of a line and the first pixel of the next line. That is, the line time ⁇ 1 means the time required to scan one line.
  • Equation (1) represents a spatial autocorrelation calculation formula used for RICS analysis on a two-dimensional image. Equation (1) is an example of an autocorrelation calculation equation for channel 1.
  • G sa is the RICS spatial autocorrelation value
  • I 1 is the fluorescence intensity data of the channel 1 (pixel data)
  • x and y are the spatial coordinates of the measurement point
  • ⁇ and ⁇ are the spatial coordinates from the measurement point.
  • M 11 is the number of product-sum calculations for data in channel 1
  • M 1 is the total number of data in channel 1.
  • equation (2) represents a spatial cross-correlation calculation formula used for analysis of RICS used for a two-dimensional image.
  • Formula (2) is an example of a cross-correlation calculation formula for channel 1 and channel 2.
  • G sc is the RICS spatial cross-correlation value
  • I 1 is the fluorescence intensity data of the channel 1 (pixel data)
  • I 2 is the fluorescence intensity data of the channel 2 (pixel data)
  • x and y are the measurement points.
  • Spatial coordinates, ⁇ , ⁇ are the amount of change in spatial coordinates from the measurement point
  • M 12 is the number of product-sum calculations for the data of channel 1 and channel 2
  • M 1 is the total number of data for channel 1
  • M 2 is channel 2 The total number of data.
  • Equation (3) represents a fitting equation used for RICS analysis on a two-dimensional image.
  • G s is the RICS spatial correlation value (spatial autocorrelation value G sa or spatial cross-correlation value G sc ), S is the influence of scanning in the RICS analysis, G is the influence of time delay in the RICS analysis, and D is Diffusion constant, ⁇ r is pixel size, N is the number of molecules, ⁇ , ⁇ is the amount of change in spatial coordinates from the measurement point, W 0 is the lateral radius of the excitation laser beam, and W Z is the longitudinal direction of the excitation laser beam , ⁇ p is the pixel time, and ⁇ l is the line time.
  • FIG. 4 An example of a three-dimensional image is shown in FIG.
  • ⁇ p is a pixel time
  • ⁇ l is a line time
  • ⁇ f is a shift in acquisition time (frame time) between the first pixel of a certain frame and the first pixel of the next frame. That is, the frame time ⁇ f means the time required to scan one frame.
  • Equation (4) represents a spatial autocorrelation calculation formula used for RICS analysis on a three-dimensional image. Equation (4) is an example of an autocorrelation calculation formula for channel 1.
  • G sa is the RICS spatial autocorrelation value
  • I 1 is the fluorescence intensity data of the channel 1 (pixel data)
  • x, y, and z are the spatial coordinates of the measurement point
  • ⁇ , ⁇ , and ⁇ are from the measurement point.
  • M 11 is the number of product-sum calculations for channel 1 data
  • M 1 is the total number of data for channel 1.
  • Equation (5) represents a spatial cross-correlation calculation formula used for RICS analysis on a three-dimensional image. Equation (5) is an example of a cross-correlation calculation formula for channel 1 and channel 2.
  • G sc is the RICS spatial cross-correlation value
  • I 1 is the fluorescence intensity data of the channel 1 (pixel data)
  • I 2 is the fluorescence intensity data of the channel 2 (pixel data)
  • x, y, and z are the measurements.
  • the spatial coordinates of the points, ⁇ , ⁇ , ⁇ are the changes in the spatial coordinates from the measurement point
  • M 12 is the number of product-sum calculations of the data in channel 1 and channel 2
  • M 1 is the total number of data in channel 1
  • M 2 is the total number of data of channel 2.
  • Equation (6) represents a fitting equation used for RICS analysis on a three-dimensional image.
  • G s is the RICS spatial correlation value (spatial autocorrelation value G sa or spatial cross-correlation value G sc ), S is the influence of scanning in the RICS analysis, G is the influence of time delay in the RICS analysis, and D is Diffusion constant, ⁇ r is the pixel size, N is the number of molecules, ⁇ , ⁇ , ⁇ is the amount of change in spatial coordinates, W 0 is the lateral radius of the excitation laser beam, W Z is the longitudinal radius of the excitation laser beam , ⁇ p is pixel time, ⁇ l is line time, and ⁇ f is frame time.
  • Step S1 A fluorescent image of the observation region of the sample S is acquired.
  • the observation region is a two-dimensional region or a three-dimensional region
  • the fluorescence image is a two-dimensional image or a three-dimensional image correspondingly.
  • the data of each pixel of the fluorescence image is, for example, the intensity of fluorescence emitted from the corresponding measurement point.
  • Step S2 An analysis region is set for the fluorescence image in the observation region.
  • the analysis region is a two-dimensional region for a two-dimensional observation region, and is usually a three-dimensional region for a three-dimensional observation region, but may be a two-dimensional region.
  • the analysis region may be a part of the observation region or may coincide with the observation region.
  • the analysis area is set as an observation area by default in terms of application.
  • Step S3 A sub-analysis region smaller than the analysis region is set in the analysis region.
  • the sub-analysis region Rs is a two-dimensional region.
  • the sub-analysis region Rs of the region is a three-dimensional analysis region.
  • Step S4 Set the amount of movement of the sub analysis area.
  • the sub-analysis region is moved intermittently through the sub-analysis region with pixel spacing throughout the analysis region.
  • the sub analysis area is set at the end of the analysis area as an initial position of movement.
  • the sub analysis area is moved within the analysis area.
  • the sub-analysis area is moved by a movement amount of 1 pixel or more.
  • the sub-analysis area is moved as follows with the upper left position as the initial position.
  • the sub-analysis region Rs is intermittently moved from the initial position in the x direction by a movement amount of dx. This movement in the x direction continues until the right end of the sub analysis region Rs reaches the end of the analysis region Ra.
  • the sub-analysis region Rs is moved to a position shifted by dy in the y direction with respect to the initial position of the line. Thereafter, in the same manner, the sub analysis region Rs is moved by one line in the x direction.
  • the sub analysis region Rs is moved in the y direction.
  • the movement in the y direction is continued until the lower end of the sub-analysis region Rs reaches the end of the analysis region Ra.
  • the sub-analysis region Rs is moved by one line in the x direction to finish.
  • the movement of the sub-analysis region Rs is performed repeatedly by moving the sub-analysis region Rs in the z direction by dz every time the movement in the xy direction is completed.
  • the movement in the z direction continues until the end of the sub analysis region Rs reaches the end of the analysis region Ra.
  • the sub analysis area Rs is moved by one frame in the xy direction, and the process ends.
  • Steps S5 to S7 The sub-analysis area is moved intermittently at pixel intervals throughout the analysis area.
  • a correlation analysis is performed on the sub-analysis region every time it moves. That is, correlation analysis is performed for the initial position and the sub-analysis region after each movement.
  • Step S5 The correlation calculation is performed using the pixel data in the sub-analysis region.
  • the spatial autocorrelation formula (1) when calculating the spatial autocorrelation value, use the spatial autocorrelation formula (1), and when calculating the spatial crosscorrelation value, the spatial crosscorrelation formula (2) Is used.
  • the spatial autocorrelation formula (4) when calculating the spatial autocorrelation value, use the spatial crosscorrelation formula (5) to calculate the spatial crosscorrelation value. Use an expression.
  • the data of each pixel used for the correlation calculation may be the data of the pixel itself, or may be a statistical value of data of a plurality of pixels including the pixel.
  • the plurality of pixels may be, for example, a pixel of interest and a pixel adjacent thereto.
  • the statistical value may be, for example, any one of an average value, a maximum value, a minimum value, a relative difference, an absolute difference, and a relative ratio of pixel data. What statistics are used depends on what information is desired to be obtained by RICS analysis.
  • the data used for the correlation calculation may be pixel time, line time, frame time, pixel positional relationship, pixel size, or a statistical value related thereto.
  • images may be reconstructed based on pixel data, and correlation may be calculated for the reconstructed image.
  • the data of adjacent pixels is added to halve the number of pixel data.
  • the data of one pixel is divided into a plurality of pieces.
  • Step S6 Fitting is performed on the result of the correlation calculation in step S5, and at least either the number of molecules or the diffusion time in the sub-analysis region is estimated.
  • the fitting formula of Equation (3) is used for the two-dimensional image
  • the fitting formula of Equation (6) is used for the three-dimensional image.
  • Equation (3) or Equation (6) finding a formula (1) Equation (2) or formula (3) and equation autocorrelation value G sa or cross-correlation value G sc for different delay time using (4), respectively. Then, from the relationship between the autocorrelation value Gsa or the cross-correlation value Gsc and the delay time, the diffusion constant and the number of molecules are obtained using Equation (3) or Equation (6).
  • Step S7 It is determined whether the position of the sub analysis area is the end position. If the position of the sub analysis area is not the end position, the sub analysis area is moved to the next position, and the process returns to step S5. If the position of the sub analysis area is the end position, the process proceeds to the next step S8.
  • step S7 When the step S7 is completed, a plurality of molecule numbers or diffusion constants at the respective positions in the sub-analysis region are obtained.
  • Step S8 The number of molecules or diffusion constant is mapped to form an image of the number of molecules or diffusion constant. An image of the number of molecules or diffusion constant is shown in FIG.
  • Step S9 An extended number of molecules or an extended diffusion constant is obtained by performing an extended calculation using an extended function having a two-dimensional or three-dimensional distribution.
  • the extension function is not limited to this, but may be a Gaussian function, for example.
  • the extended number of molecules or extended diffusion constant is the distribution of the number of molecules or diffusion constant, and the distribution range is selected to be wider than the sub-analysis region. Further, the extended molecular number or the extended diffusion constant is mapped to form an image of the extended molecular number or the extended diffusion constant. An image of the extended molecular number or extended diffusion constant is shown in FIG. By performing the extension calculation on the number of molecules or the diffusion constant in this way, an image with a smooth luminance change can be obtained as compared with the image of FIG.
  • the image size of the analysis region Ra is 256 pixels ⁇ 256 pixels
  • the image size of the sub analysis region Rs is 64 pixels ⁇ 64 pixels
  • dy 1 pixel
  • a molecular number or diffusion constant of 192 ⁇ 192 is obtained.
  • the image size of the extended molecular number or extended diffusion constant image Ia is 192 pixels ⁇ 192 pixels, which is smaller than the image size of the analysis region Ra, which is 256 pixels ⁇ 256 pixels.
  • the spatial position information of the extended molecular number or extended diffusion constant is consistent with the image Ia considering the comparison with the original image of the analysis region Ra. That is, it is desirable that the image Ia having the extended molecular number or the extended diffusion constant matches the image of the original analysis region Ra.
  • Step S10 Using the position information of the extended molecular number or extended diffusion constant as a weighting factor, the image of the extended molecular number or extended diffusion constant is converted to the same image size as the analysis region.
  • the image Ia having the extended number of molecules or the extended diffusion constant is changed from an image size of 192 ⁇ 192 to an image size of 256 ⁇ 256.
  • an image having an image size of 192 ⁇ 192 is referred to as a pre-conversion image
  • an image having an image size of 256 ⁇ 256 is referred to as an image after conversion.
  • FIG. 10 shows the conversion of coordinate data between the pre-conversion image and the post-conversion image.
  • the coordinates of pixel data a, b, c, and d located at the four corners of the unit cell of the coordinates of the pre-conversion image are a (Xa, Ya), b (Xb, Yb), and c, respectively.
  • the coordinates of a point located between a (Xa, Ya) and b (Xb, Yb) where the vertical axis of the pre-conversion image and the horizontal axis of the post-conversion image intersect are represented by e (Xe,
  • the coordinates of a point located between Ye), c (Xc, Yc) and d (Xd, Yd) are defined as f (Xf, Yf).
  • the coordinates of the converted image surrounded by a (Xa, Ya), b (Xb, Yb), c (Xc, Yc), and d (Xd, Yd) are defined as g (Xg, Yg).
  • E Calculate pixel data e (Xe, Ye) from a and b.
  • pixel data f of f (Xf, Yf) is calculated from c and d.
  • Pixel data g of g (Xg, Yg) is calculated from e and f.
  • Step S11 Display and save an image of the number of molecules or diffusion constant or an image of the number of extended molecules or extended diffusion constant.
  • DESCRIPTION OF SYMBOLS 100 ... Image analysis apparatus 110 ... Light irradiation part, 112a, ..., 112n ... Light source, 114a, ..., 114n ... Collimating lens, 116a, ..., 116n ... Dichroic mirror, 122 ... Dichroic mirror, 124 ... Galvano mirror, 126 ... Objective lens, 128 ... Objective lens drive mechanism, 130 ... Photodetector, 132 ... Converging lens, 134 ... Pinhole, 136 ... Collimate lens, 138a, ..., 138n ... Dichroic mirror, 140a, ..., 140n ... Fluorescent filter, 142a ,..., 142 n...
  • Photodetector 160... Control unit, 162... Scanning control unit, 164 ... image forming unit, 166... Storage unit, 168 ... display unit, 170 ... input unit, 172.

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

　Ｓ１：観察領域の画像を取得する。Ｓ２：観察領域の画像に対して解析領域を設定する。Ｓ３：解析領域よりも小さいサブ解析領域を設定する。Ｓ４～Ｓ７：解析領域の全体にわたりピクセル間隔をおいてサブ解析領域を断続的に移動させながら、移動のたびにサブ解析領域内のピクセルのデータを使用して相関解析を行なってサブ解析領域の少なくとも分子数または拡散定数のいずれかを推定する。Ｓ８：分子数または拡散定数をマッピングして分子数または拡散定数の画像を形成する。

Description

画像解析方法および画像解析装置
　本発明は、画像解析方法および画像解析装置に関する。
　従来、蛍光相関分光分析法（ＦＣＳ）と呼ばれる画像解析の手法が知られている。ＦＣＳは、たとえば非特許文献１に示されている。ＦＣＳでは、試料中の一つまたは複数の測定点に対して、ある程度の時間のあいだ（たとえば１０秒間）励起光を継続的に照射し、測定点から発する蛍光の強度の揺らぎを検出して相関解析を行なうことにより、分子数や拡散定数の推定を行なう。
　また、ラスターイメージ相関分光法（ＲＩＣＳ：Raster Image Correlation Spectroscopy）と呼ばれる画像解析の手法も知られている。ＲＩＣＳはたとえば非特許文献２に示されている。ＲＩＣＳでは、試料に対して励起光をラスター走査しながら発生する蛍光を検出することによって蛍光画像を取得する。蛍光画像の各ピクセルのデータは、対応する試料中の点から発生した蛍光の強度の情報を表す。つまり、ピクセルのデータは、それぞれ、取得時間および取得位置が異なる。ピクセルのデータを用いて空間相関解析することによる、拡散定数や分子数を求める。
「New Concept in Correlator Design」, Klaus Sch-tzel, Inst. Phys. Conf. Ser. No.77, P175, 1985. 「Measuring Fast Dynamics in Solutions and Cells with a Laser Scanning Microscope」, Michelle A. Digman, Claire M. Brown, Parijat Sengupta, Paul W. Wiseman, Alan R. Horwitz, and Enrico Gratton, Biophysical Journal, Vol.89, P1317-1327, August 2005.
　試料の多数の測定点から得られた情報は、試料内の位置と関連づけて考察するためにも、マッピングして画像化すると好ましい。
　ＦＣＳを用いて、試料に対して多数の測定点を設定して測定を行なって測定結果をマッピングした場合、最初の測定点と最後の測定点間の時間の差は大きく、マッピング結果は、経時変化の影響による大きな誤差を含んだものとなり、信頼性に欠けるものとなる。たとえば、２５６×２５６の測定点について分子数または拡散定数をマッピングする場合、一つ測定点における分子数または拡散定数を得るために必要な時間を１０秒とすると、２５６×２５６×１０秒という長い測定時間を要する。このように長い時間的隔たりがある測定結果をマッピングしても、マッピング結果は実際には意味をもたないものとなってしまう。
　ＲＩＣＳでは、試料中の多数の点から情報を得ているものの、一般的に一枚の画像について一つの情報（たとえば分子数または拡散定数）を算出しているに過ぎない。つまり、走査領域から複数の情報を取得することはしていない。このため、当然ながら、取得した情報をマッピングすることは考慮されない。
　本発明の目的は、走査領域から複数の情報を算出してマッピングする新しいＲＩＣＳの画像解析方法を提供することである。
　本発明による画像解析方法は、時系列的に取得された複数のデータをそれぞれ有する複数のピクセルから構成される観察領域の画像を取得する画像取得ステップと、前記観察領域の画像に対して解析領域を設定する解析領域設定ステップと、前記解析領域よりも小さいサブ解析領域を設定するサブ解析領域設定ステップと、前記解析領域の全体にわたりピクセル間隔をおいて前記サブ解析領域を断続的に移動させる移動ステップと、前記移動のたびに前記サブ解析領域内のピクセルのデータを使用して相関解析を行なって前記サブ解析領域の少なくとも分子数または拡散定数のいずれかを推定する相関解析ステップと、前記分子数または拡散定数をマッピングして前記分子数または拡散定数の画像を形成する画像形成ステップとを有している。
　本発明によれば、分子数または拡散定数をマッピングして表示するＲＩＣＳの画像解析方法が提供される。
本発明の実施形態による画像解析装置を概略的に示している。 図１に示される制御部の機能ブロックを示している。 二次元画像の蛍光画像の例を示す。 三次元画像の蛍光画像の例を示す。 本発明の実施形態による画像解析のフローチャートである。 二次元の解析領域に対して設定されたサブ解析領域を模式的に示している。 三次元の解析領域に対して設定されたサブ解析領域を模式的に示している。 分子数または拡散定数の画像を示している。 拡張分子数または拡張拡散定数の画像を示している。 変換前画像と変換後画像との間の座標データの変換を示している。 変換前画像と変換後画像を示している。
　以下、図面を参照しながら本発明の実施形態について説明する。
　[装置構成]
　図１は、本発明の実施形態による画像解析装置を概略的に示している。この画像解析装置は、試料の蛍光観察のための走査型共焦点光学顕微鏡をベースに構成されている。
　図１に示すように、画像解析装置１００は、試料Ｓに励起光を照射する光照射部１１０と、試料Ｓ内の測定点から発せられる光を検出する光検出部１３０と、画像解析に必要な制御を行なう制御部１６０と、試料Ｓを支持する試料ステージ１９０とを有している。
　試料Ｓはマイクロプレートやスライドガラスなどの試料容器に収容され、試料ステージ１９０に載置される。試料ステージ１９０は、たとえば、試料Ｓを光照射部１１０および光検出部１３０に対して横方向（ｘｙ方向）および高さ方向（ｚ方向）に移動可能に支持する。たとえば、試料ステージ１９０は、出力軸が互いに直交する三つのステッピング・モーターを含んでおり、これらのステッピング・モーターによって試料Ｓをｘｙｚ方向に移動し得る。
　画像解析装置１００は、多重光照射・多重光検出型である。このため、光照射部１１０はｎチャンネルの光源系１１１を含み、これに対応して光検出部１３０はｎチャンネルの検出系１３１を含んでいる。ｎチャンネルの検出系１３１は、それぞれ、ｎチャンネルの光源系１１１から射出された励起光によって生成された蛍光を検出する。ここで、ｎチャンネルは、チャンネル１、チャンネル２、・・・チャンネルｎによって構成される。チャンネルは、励起光の種類によってそれぞれ異なる。
　光照射部１１０のｎチャンネルの光源系１１１は、光源１１２ａ，…，１１２ｎとコリメートレンズ１１４ａ，…，１１４ｎとダイクロイックミラー１１６ａ，…，１１６ｎとを含んでいる。光源１１２ａ，…，１１２ｎは、試料Ｓに含まれる蛍光色素を励起して試料Ｓから光（蛍光）を発せさせるための励起光を発する。光源１１２ａ，…，１１２ｎから発せられる励起光の波長は、試料Ｓに含まれる蛍光色素の種類に対応して、互いに相違している。光源１１２ａ，…，１１２ｎは、たとえば、試料Ｓ中の蛍光色素に合った発振波長のレーザー光源で構成される。コリメートレンズ１１４ａ，…，１１４ｎは、それぞれ、光源１１２ａ，…，１１２ｎから発せられた励起光をコリメートする。ダイクロイックミラー１１６ａ，…，１１６ｎは、それぞれ、コリメートレンズ１１４ａ，…，１１４ｎを通過した励起光を同じ方向に反射する。ダイクロイックミラー１１６ａ，…，１１６ｎは、それぞれ、図１の上方から入射する励起光を透過し、図１の右方から入射する励起光を反射する。その結果、光源１１２ａ，…，１１２ｎからそれぞれ射出された異なる波長の励起光は、ダイクロイックミラー１１６ａの通過後に一本のビームに合成される。ダイクロイックミラー１１６ｎは、励起光を透過する必要がないので、単なるミラーに変更されてもよい。
　光照射部１１０はさらに、ダイクロイックミラー１２２とガルバノミラー１２４と対物レンズ１２６と対物レンズ駆動機構１２８を含んでいる。ダイクロイックミラー１２２は、光源系１１１からの励起光をガルバノミラー１２４に向けて反射し、試料Ｓから発せられる蛍光を透過する。ガルバノミラー１２４は、励起光を対物レンズ１２６に向けて反射するとともに、その反射方向を変更する。対物レンズ１２６は、励起光を収束して試料Ｓ内の測定点に照射するとともに、試料Ｓ内の測定点からの光を取り込む。対物レンズ１２６には、微小な共焦点領域（測定点）の形成のために、ＮＡ（開口数）の大きいものが使用される。これにより得られる共焦点領域の大きさは、直径０．６μｍ程度、長さ２μｍ程度の略円筒状となる。ガルバノミラー１２４は、測定点をｘｙ方向に走査するｘｙ走査機構を構成している。ｘｙ走査機構は、ガルバノミラーを使用して構成するほかに、音響光学変調素子（ＡＯＭ）やポリゴンミラー、ホログラムスキャナーなどを使用して構成してもよい。対物レンズ駆動機構１２８は、対物レンズ１２６を光軸に沿って移動させる。これにより、測定点がｚ方向に移動される。つまり、対物レンズ駆動機構１２８は、測定点をｚ方向に走査するｚ走査機構を構成している。
　光検出部１３０は、対物レンズ１２６とガルバノミラー１２４とダイクロイックミラー１２２を光照射部１１０と共有している。光検出部１３０はさらに、収束レンズ１３２とピンホール１３４とコリメートレンズ１３６とを含んでいる。収束レンズ１３２は、ダイクロイックミラー１２２を透過した光を収束する。ピンホール１３４は、収束レンズ１３２の焦点に配置されている。つまり、ピンホール１３４は、試料Ｓ内の測定点に対して共役な位置にあり、測定点からの光だけを選択的に通す。コリメートレンズ１３６は、ピンホール１３４を通過した光を平行にする。コリメートレンズ１３６を通過した光は、ｎチャンネルの検出系１３１に入射する。
　ｎチャンネルの検出系１３１は、ダイクロイックミラー１３８ａ，…，１３８ｎと蛍光フィルター１４０ａ，…，１４０ｎと光検出器１４２ａ，…，１４２ｎとを含んでいる。
ダイクロイックミラー１３８ａ，…，１３８ｎは、それぞれ、光源１１２ａ，…，１１２ｎからの励起光によって試料Ｓから生成された蛍光の波長域付近の波長の光を選択的に反射する。ダイクロイックミラー１３８ｎは、光を透過する必要がないので、単なるミラーに変更されてもよい。蛍光フィルター１４０ａ，…，１４０ｎは、それぞれ、ダイクロイックミラー１３８ａ，…，１３８ｎによって反射された光から、不所望な波長成分の光を遮断し、光源１１２ａ，…，１１２ｎからの励起光によって生成された蛍光だけを選択的に透過する。蛍光フィルター１４０ａ，…，１４０ｎを透過した蛍光はそれぞれ光検出器１４２ａ，…，１４２ｎに入射する。光検出器１４２ａ，…，１４２ｎは、入射した光の強度に対応した信号を出力する。すなわち、光検出器１４２ａ，…，１４２ｎは、試料Ｓ内の測定点からの蛍光強度信号を出力する。
　制御部１６０はたとえばパーソナルコンピューターで構成される。制御部１６０は、試料Ｓの観察領域の蛍光画像の取得・記憶・表示、解析領域の設定・サブ解析領域の設定・サブ解析領域の移動量の設定などの入力待ち、画像の解析処理（相関値の計算や分子数・拡散時間の推定など）を行なう。また制御部１６０は、ｘｙ走査機構であるガルバノミラー１２４、ｚ走査機構である対物レンズ駆動機構１２８、試料ステージ１９０などの制御を行なう。
　図１に示される制御部の機能ブロックを図２に示す。制御部１６０は、図２に示すように、走査制御部１６２と画像形成部１６４と記憶部１６６と表示部１６８と入力部１７０と解析領域設定部１７２とサブ解析領域調整部１７４と解析処理部１７６とステージ制御部１８０とを含んでいる。ここで、走査制御部１６２と画像形成部１６４と記憶部１６６とステージ制御部１８０と上述したガルバノミラー１２４と対物レンズ駆動機構１２８と試料ステージ１９０と光検出器１４２とが画像取得部を構成する。
　走査制御部１６２は、試料Ｓの蛍光画像を取得する際、励起光の照射位置を試料Ｓに対してラスター走査するようにガルバノミラー１２４を制御する。走査制御部１６２はまた、必要であれば、励起光の照射位置を試料Ｓに対してｚ走査するように対物レンズ駆動機構１２８を制御する。画像形成部１６４は、走査制御部１６２から入力される励起光の照射位置の情報と光検出器１４２ａ，…，１４２ｎの出力信号とから試料Ｓの蛍光画像を形成する。これにより、蛍光画像が取得される。記憶部１６６は、画像形成部１６４で形成された蛍光画像を記憶する。表示部１６８は、試料Ｓの蛍光画像や解析処理結果を表示する。入力部１７０は、たとえばマウスやキーボードを含み、表示部１６８と共同してＧＵＩを構成する。このＧＵＩは、観察領域や解析領域やサブ解析領域の設定などに利用される。ステージ制御部１８０は、たとえば観察領域を設定するために、入力部１７０からの入力情報にしたがって試料ステージ１９０を制御する。解析領域設定部１７２は、入力部１７０からの入力情報にしたがって解析領域を設定する。サブ解析領域調整部１７４は、入力部１７０からの入力情報にしたがって解析領域よりも小さいサブ解析領域を設定する。サブ解析領域調整部１７４はまた、解析領域の全体にわたりピクセル間隔をおいてサブ解析領域を断続的に移動させる。解析処理部１７６は、移動のたびにサブ解析領域内のピクセルのデータを使用して相関解析を行なってサブ解析領域の少なくとも分子数または拡散定数のいずれかを推定する。解析処理部１７６はまた、推定した分子数または拡散定数をマッピングして分子数または拡散定数の画像を形成する。解析処理部１７６はさらに、推定した分子数または拡散定数を二次元または三次元分布を有する拡張関数を用いて拡張計算して拡張分子数または拡張拡散定数を得て、拡張分子数または拡張拡散定数をマッピングして拡張分子数または拡張拡散定数の画像を形成する。さらに解析処理部１７６は、拡張分子数または拡張拡散定数の位置情報を重み係数として拡張分子数または拡張拡散定数の画像を解析領域と同じ画像サイズに変換する。解析処理部１７６の処理の詳細は後述する。
　図１において、光源１１２ａ，…，１１２ｎから発せられた励起光は、コリメートレンズ１１４ａ，…，１１４ｎとダイクロイックミラー１１６ａ，…，１１６ｎとダイクロイックミラー１２２とガルバノミラー１２４と対物レンズ１２６を経て試料Ｓ内の測定点に照射される。励起光が照射される測定点は、ガルバノミラー１２４によってｘｙ方向にラスター走査され、また必要であれば、ラスター走査されながら、対物レンズ駆動機構１２８によってｚ走査される。測定点は観察領域の全体にわたって走査される。励起光を受けた試料Ｓは測定点から蛍光を発する。試料Ｓからの光（蛍光のほかに不所望な反射光などを含む）は、対物レンズ１２６とガルバノミラー１２４とダイクロイックミラー１２２と収束レンズ１３２を経てピンホール１３４に至る。ピンホール１３４は測定点と共役な位置にあるため、試料Ｓ内の測定点からの光だけがピンホール１３４を通過する。ピンホール１３４を通過した光すなわち試料Ｓ内の測定点からの光はコリメートレンズ１３６を経てｎチャンネルの検出系１３１に入射する。ｎチャンネルの検出系１３１に入射した光は、ダイクロイックミラー１３８ａ，…，１３８ｎによって波長にしたがって分離される（つまり分光される）とともに、蛍光フィルター１４０ａ，…，１４０ｎによって不所望な成分が除去される。その結果、光源１１２ａ，…，１１２ｎからの励起光によって生成された蛍光だけが光検出器１４２ａ，…，１４２ｎにそれぞれ入射する。光検出器１４２ａ，…，１４２ｎは、それぞれ、入射光すなわち試料Ｓ内の測定点から発せられた蛍光の強度を示す蛍光強度信号を出力する。この蛍光強度信号は画像形成部１６４に入力される。画像形成部１６４は、入力される蛍光強度信号をｘｙ方向（およびｚ方向）の位置情報に同期させて処理して、試料Ｓ内の観察領域の蛍光画像を形成する。形成された蛍光画像は、記憶部１６６に保存される。記憶部１６６に保存された蛍光画像は、そのまま表示部１６８に表示されるか、解析処理部１７６によって処理され、解析処理結果が表示部１６８に表示される。
　[空間相関計算式]
　観察領域の蛍光画像は、時系列的に取得された複数のデータを有する複数のピクセルから構成される。測定点は、実際には、ｘｙｚ方向に空間的広がりを有しており、ピクセルは、この測定点の空間的広がりに対応した大きさを有する。観察領域が二次元的領域である場合、蛍光画像は、ｘｙ方向に大きさを持つピクセルが二次元的に配列された二次元画像である。また観察領域が三次元的領域である場合、蛍光画像は、ｘｙｚ方向に大きさを持つピクセルが三次元的に配列された三次元画像である。三次元画像はまた、別の見方をすれば、ｚ位置の異なる複数フレームの二次元画像から構成される。
　二次元画像の例を図３に示す。図３において、τｐは、あるピクセルとこれに隣接する次のピクセルとの間の取得時間のずれ（ピクセル時間）である。すなわち、ピクセル時間τｐは、１ピクセルのデータを取得するのに要する時間である。またτｌは、あるラインの最初のピクセルとその次のラインの最初のピクセルとの間の取得時間のずれ（ライン時間）である。すなわち、ライン時間τｌは、１ラインを走査するのに要する時間を意味する。
　次式（１）は、二次元画像に対するＲＩＣＳの解析に使用する空間自己相関計算式を表している。式（１）は、チャンネル１の自己相関計算式の例である。
Figure JPOXMLDOC01-appb-M000013
ここで、ＧｓａはＲＩＣＳの空間自己相関値、Ｉ１はチャンネル１の蛍光強度データ（ピクセルのデータ）、ｘ，ｙは測定点の空間的座標、ξ，ψは測定点からの空間的座標の変化量、Ｍ１１はチャンネル１のデータの積和計算の回数、Ｍ１はチャンネル１のデータ総数である。
　また次式（２）は、二次元画像に対する使用するＲＩＣＳの解析に使用する空間相互相関計算式を表している。式（２）は、チャンネル１とチャンネル２の相互相関計算式の例である。
Figure JPOXMLDOC01-appb-M000014
ここで、ＧｓｃはＲＩＣＳの空間相互相関値、Ｉ１はチャンネル１の蛍光強度データ（ピクセルのデータ）、Ｉ２はチャンネル２の蛍光強度データ（ピクセルのデータ）、ｘ，ｙは測定点の空間的座標、ξ，ψは測定点からの空間的座標の変化量、Ｍ１２はチャンネル１とチャンネル２のデータの積和計算の回数、Ｍ１はチャンネル１のデータ総数、Ｍ２はチャンネル２のデータ総数である。
　次式（３）は、二次元画像に対するＲＩＣＳの解析に使用するフィッティング式を表している。
Figure JPOXMLDOC01-appb-M000015
ここで、ＧｓはＲＩＣＳの空間相関値（空間自己相関値Ｇｓａまたは空間相互相関値Ｇｓｃ）、ＳはＲＩＣＳの解析におけるスキャンの影響、ＧはＲＩＣＳの解析における時間遅延の影響、Ｄは拡散定数、δｒはピクセルサイズ、Ｎは分子数、ξ，ψは測定点からの空間的座標の変化量、Ｗ０は励起レーザビームの横方向の半径、ＷＺは励起レーザビームの縦方向の半径、τｐはピクセル時間、τｌはライン時間である。
　三次元画像の例を図４に示す。図４において、τｐはピクセル時間、τｌはライン時間、τｆは、あるフレームの最初のピクセルとその次のフレームの最初のピクセルとの間の取得時間のずれ（フレーム時間）である。すなわち、フレーム時間τｆは、１フレームを走査するのに要する時間を意味する。
　次式（４）は、三次元画像に対するＲＩＣＳの解析に使用する空間自己相関計算式を表している。式（４）は、チャンネル１の自己相関計算式の例である。
Figure JPOXMLDOC01-appb-M000016
ここで、ＧｓａはＲＩＣＳの空間自己相関値、Ｉ１はチャンネル１の蛍光強度データ（ピクセルのデータ）、ｘ，ｙ，ｚは測定点の空間的座標、ξ，ψ，ηは測定点からの空間的座標の変化量、Ｍ１１はチャンネル１のデータの積和計算の回数、Ｍ１はチャンネル１のデータ総数である。
　また次式（５）は、三次元画像に対するＲＩＣＳの解析に使用する空間相互相関計算式を表している。式（５）は、チャンネル１とチャンネル２の相互相関計算式の例である。
Figure JPOXMLDOC01-appb-M000017
ここで、ＧｓｃはＲＩＣＳの空間相互相関値、Ｉ１はチャンネル１の蛍光強度データ（ピクセルのデータ）、Ｉ２はチャンネル２の蛍光強度データ（ピクセルのデータ）、ｘ，ｙ，ｚは測定点の空間的座標、ξ，ψ，ηは測定点からの空間的座標の変化量、Ｍ１２はチャンネル１とチャンネル２中のデータの積和計算の回数、Ｍ１はチャンネル１のデータ総数、Ｍ２はチャンネル２のデータ総数である。
　次式（６）は、三次元画像に対するＲＩＣＳの解析に使用するフィッティング式を表している。
Figure JPOXMLDOC01-appb-M000018
ここで、ＧｓはＲＩＣＳの空間相関値（空間自己相関値Ｇｓａまたは空間相互相関値Ｇｓｃ）、ＳはＲＩＣＳの解析におけるスキャンの影響、ＧはＲＩＣＳの解析における時間遅延の影響、Ｄは拡散定数、δｒはピクセルサイズ、Ｎは分子数、ξ，ψ，ηは空間的座標の変化量、Ｗ０は励起レーザビームの横方向の半径、ＷＺは励起レーザビームの縦方向の半径、τｐはピクセル時間、τｌはライン時間、τｆはフレーム時間である。
　[測定手順]
　以下、図５を参照しながら画像解析の手順について説明する。また、各ステップについて、適宜、図６～図１１を参照しながら説明する。
　（ステップＳ１）
　試料Ｓの観察領域の蛍光画像を取得する。観察領域は二次元の領域または三次元の領域あり、それに対応して蛍光画像は二次元画像または三次元画像である。蛍光画像の各ピクセルのデータは、たとえば、対応する測定点から発せられる蛍光の強度である。
　（ステップＳ２）
　観察領域の蛍光画像に対して解析領域を設定する。解析領域は、二次元の観察領域に対しては二次元の領域であり、三次元の観察領域に対しては、通常、三次元の領域であるが、二次元の領域であってもよい。解析領域は、観察領域の一部であってもよく、また観察領域に一致してもよい。たとえば、解析領域は、アプリケーション的にはデフォルトで観察領域に設定されている。
　（ステップＳ３）
　解析領域よりも小さいサブ解析領域を解析領域内に設定する。たとえば図６に示すように、二次元の解析領域Ｒａに対しては、サブ解析領域Ｒｓは二次元の領域である。また図７に示すように、三次元の解析領域Ｒａに対しては、領域のサブ解析領域Ｒｓは三次元の解析領域である。
　（ステップＳ４）
　サブ解析領域の移動量を設定する。サブ解析領域は、解析領域の全体にわたりピクセル間隔をおいてサブ解析領域を断続的に移動される。サブ解析領域は、移動の初期位置として、解析領域の端に設定される。サブ解析領域は解析領域の範囲内で移動される。またサブ解析領域は１ピクセル以上の移動量で移動される。
　サブ解析領域の移動は、たとえば図６の例では、左上の位置を初期位置として次のように行なう。まず、サブ解析領域Ｒｓを初期位置からｘ方向にｄｘの移動量で断続的に移動させる。このｘ方向の移動はサブ解析領域Ｒｓの右端が解析領域Ｒａの端に到達するまで続ける。ｘ方向に１ラインの移動が終了したら、そのラインの最初の位置に対してｙ方向にｄｙずれた位置にサブ解析領域Ｒｓを移動させる。その後、再び同様にしてサブ解析領域Ｒｓをｘ方向に１ライン分移動させる。以降、サブ解析領域Ｒｓのｘ方向の１ラインの移動が終了するたびに、サブ解析領域Ｒｓをｙ方向に移動させる。ｙ方向の移動はサブ解析領域Ｒｓの下端が解析領域Ｒａの端に到達するまで続ける。最後にサブ解析領域Ｒｓをｘ方向に１ライン分移動させて終了する。
　また図７の例では、サブ解析領域Ｒｓの移動は、上述したｘｙ方向の移動が終了するたびに、サブ解析領域Ｒｓをｚ方向にｄｚ移動させて、上述したｘｙ方向の移動を繰り返し行なう。ｚ方向の移動はサブ解析領域Ｒｓの端が解析領域Ｒａの端に到達するまで続ける。最後にサブ解析領域Ｒｓをｘｙ方向に１フレーム分移動させて終了する。
　（ステップＳ５～Ｓ７）
　解析領域の全体にわたりピクセル間隔をおいてサブ解析領域を断続的に移動させる。また、移動のたびにサブ解析領域について相関解析を行なう。すなわち、初期位置および各移動後のサブ解析領域について相関解析を行なう。
　（ステップＳ５）
　サブ解析領域内のピクセルのデータを使用して相関計算を行なう。二次元画像に対しては、空間自己相関値を計算する場合は式（１）の空間自己相関計算式を使用し、空間相互相関値を計算する場合は式（２）の空間相互相関計算式を使用する。また三次元画像に対しては、空間自己相関値を計算する場合は式（４）の空間自己相関計算式を使用し、空間相互相関値を計算する場合は式（５）の空間相互相関計算式を使用する。
　相関計算に使用する各ピクセルのデータは、そのピクセルのデータそのものであってもよいし、そのピクセルを含む複数のピクセルのデータの統計値であってもよい。複数のピクセルは、たとえば、注目のピクセルおよびこれに隣接するピクセルであってよい。統計値は、たとえば、ピクセルのデータの平均値、最大値、最小値、相対差、絶対差、相対比のいずれかであってよい。どのような統計値を使用するかは、ＲＩＣＳの解析によってどのような情報を得たいかによって決める。
　また相関計算に使用するデータは、ピクセル時間、ライン時間、フレーム時間、ピクセル位置関係、ピクセルサイズまたはそれについての統計値であってもよい。
　また相関計算は、ピクセルのデータに基づいて画像をそれぞれ再構成し、再構成した画像について相関計算してもよい。たとえば、隣のピクセルのデータ同士を足して、ピクセルのデータの数を半分にする。または、一つのピクセルのデータを複数に分割する。本来ならば、一度画像を取得するとピクセルのデータの数は増えないが、取得したピクセルのデータの強度がそのピクセルのデータの周囲にガウシアン分布で広がっていると仮定して、本来取得できていないピクセルのデータを補う。本質的にピクセルのデータの数が増えている訳ではないが、見た目が良くなる。
　（ステップＳ６）
　ステップＳ５の相関計算の結果に対してフィッティングを行なって、サブ解析領域の少なくとも分子数または拡散時間のいずれかを推定をする。二次元画像に対しては式（３）のフィッティング式を使用し、三次元画像に対しては式（６）のフィッティング式を使用する。
　具体的には、式（１）と式（２）または式（３）と式（４）を使用して異なる遅延時間に対する自己相関値Ｇｓａまたは相互相関値Ｇｓｃをそれぞれ求める。そして、自己相関値Ｇｓａまたは相互相関値Ｇｓｃと遅延時間との関係から、式（３）または式（６）を使用して、拡散定数と分子数を求める。
　式（３）および式（６）において、遅延時間がゼロのときはそれぞれ（ξ＝０，ψ＝０）および（ξ＝０，ψ＝０，η＝０）、Ｓは１であり、自己相関値Ｇｓａまたは相互相関値Ｇｓｃは１／Ｎで表せる。したがって、分子数を求めることができる。これを新たに、式（３）および式（６）に代入することにより、各遅延時間に対応した拡散定数を求めることができる。
　未知数である拡散定数Ｄと分子数Ｎを変動させながら、測定値として得られる相関値Ｇｓａまたは相関値Ｇｓｃと理論値として得られるＧｓとの差が最小となるように、適切な拡散定数Ｄと分子数Ｎを求める。このように、式（３）または式（６）によるフィッティングとは、拡散定数Ｄと分子数Ｎを変動させながら、二次元または三次元の観察領域における、最適な、分子数または拡散定数を推定することである。
　拡散定数と拡散時間との間には、次式（７）で表される関係がある。したがって、求めた拡散定数から拡散時間を求めることができる。
Figure JPOXMLDOC01-appb-M000019
　（ステップＳ７）
　サブ解析領域の位置が終了位置であるか判断する。サブ解析領域の位置が終了位置でない場合には、サブ解析領域を次の位置に移動させてステップＳ５に戻る。またサブ解析領域の位置が終了位置である場合には、次のステップＳ８に進む。
　ステップＳ７が終了した時点で、サブ解析領域のそれぞれの位置における複数の分子数または拡散定数が得られる。
　（ステップＳ８）
　分子数または拡散定数をマッピングして分子数または拡散定数の画像を形成する。分子数または拡散定数の画像を図８に示す。
　（ステップＳ９）
　分子数または拡散定数を二次元または三次元分布を有する拡張関数を用いて拡張計算して拡張分子数または拡張拡散定数を得る。拡張関数は、これに限らないが、たとえば、ガウシアン関数であってよい。拡張分子数または拡張拡散定数は分子数または拡散定数の分布であり、その分布範囲はサブ解析領域よりも広い範囲となるように選ばれる。また、拡張分子数または拡張拡散定数をマッピングして拡張分子数または拡張拡散定数の画像を形成する。拡張分子数または拡張拡散定数の画像を図９に示す。このように分子数または拡散定数に対して拡張計算を行なうことによって、図８の画像に比べて輝度変化の滑らかな画像が得られる。
　たとえば、図６の例において、解析領域Ｒａの画像サイズを２５６ピクセル×２５６ピクセル、サブ解析領域Ｒｓの画像サイズを６４ピクセル×６４ピクセル、サブ解析領域Ｒｓの移動量ｄｘ，ｄｙをそれぞれｄｘ＝１ピクセル，ｄｙ＝１ピクセルとした場合、１９２×１９２の分子数または拡散定数が得られる。その結果、拡張分子数または拡張拡散定数の画像Ｉａの画像サイズは１９２ピクセル×１９２ピクセルであり、解析領域Ｒａの画像サイズである２５６ピクセル×２５６ピクセルよりも小さい。
　拡張分子数または拡張拡散定数の画像Ｉａは、元の解析領域Ｒａの画像と比較検討することを考慮すると、両者の空間位置情報が一致していることが望ましい。すなわち、拡張分子数または拡張拡散定数の画像Ｉａは、画像サイズが元の解析領域Ｒａの画像と一致していることが望ましい。
　（ステップＳ１０）
　拡張分子数または拡張拡散定数の位置情報を重み係数として拡張分子数または拡張拡散定数の画像を解析領域と同じ画像サイズに変換する。
　たとえば、図９の例では、拡張分子数または拡張拡散定数の画像Ｉａを、１９２×１９２の画像サイズから２５６×２５６の画像サイズに変更する。続く説明では、１９２×１９２の画像サイズの画像を変換前画像と呼び、２５６×２５６の画像サイズの画像を変換後画像と呼ぶ。変換前画像と変換後画像との間の座標データの変換を図１０に示す。
　まず、図１０に示すように、変換前画像の座標の単位升目の四隅に位置するピクセルデータａ，ｂ，ｃ，ｄの座標をそれぞれａ（Ｘａ，Ｙａ），ｂ（Ｘｂ，Ｙｂ），ｃ（Ｘｃ，Ｙｃ），ｄ（Ｘｄ，Ｙｄ）とする。また、変換前画像の縦軸と変換後画像の横軸とが交差する点であって、ａ（Ｘａ，Ｙａ）とｂ（Ｘｂ，Ｙｂ）の間に位置する点の座標をｅ（Ｘｅ，Ｙｅ）、ｃ（Ｘｃ，Ｙｃ）とｄ（Ｘｄ，Ｙｄ）の間に位置する点の座標をｆ（Ｘｆ，Ｙｆ）とする。さらにａ（Ｘａ，Ｙａ），ｂ（Ｘｂ，Ｙｂ），ｃ（Ｘｃ，Ｙｃ），ｄ（Ｘｄ，Ｙｄ）によって囲まれる変換後画像の座標をｇ（Ｘｇ，Ｙｇ）とする。
　ａとｂからｅ（Ｘｅ，Ｙｅ）のピクセルデータｅを算出する。ピクセルデータｅは、ｅ＝（ｂ（Ｙｂ－Ｙｅ）＋ａ（Ｙｅ－Ｙａ））／（Ｙｂ－Ｙａ）で求められる。また、ｃとｄからｆ（Ｘｆ，Ｙｆ）のピクセルデータｆを算出する。ピクセルデータｆは、ｆ＝（ｄ（Ｙｄ－Ｙｆ）＋ｃ（Ｙｆ－Ｙｃ））／（Ｙｄ－Ｙｃ）で求められる。
　ｅとｆからｇ（Ｘｇ，Ｙｇ）のピクセルデータｇを算出する。ピクセルデータｇは、ｇ＝（ｅ（Ｘｅ－Ｘｇ）＋ｆ（Ｘｇ－Ｘｆ））／（Ｘｅ－Ｘｆ）で求められる。
　この変換を変換前画像のすべてのピクセルデータに適用することにより、２５６×２５６の画像サイズの変換後画像が得られる。変換前画像と変換後画像を図１１に示す。
　（ステップＳ１１）
　分子数または拡散定数の画像または拡張分子数または拡張拡散定数の画像を表示し保存する。
１００…画像解析装置、１１０…光照射部、１１２ａ，…，１１２ｎ…光源、１１４ａ，…，１１４ｎ…コリメートレンズ、１１６ａ，…，１１６ｎ…ダイクロイックミラー、１２２…ダイクロイックミラー、１２４…ガルバノミラー、１２６…対物レンズ、１２８…対物レンズ駆動機構、１３０…光検出部、１３２…収束レンズ、１３４…ピンホール、１３６…コリメートレンズ、１３８ａ，…，１３８ｎ…ダイクロイックミラー、１４０ａ，…，１４０ｎ…蛍光フィルター、１４２ａ，…，１４２ｎ…光検出器、１６０…制御部、１６２…走査制御部、１６４…画像形成部、１６６…記憶部、１６８…表示部、１７０…入力部、１７２…解析領域設定部、１７４…サブ解析領域調整部、１７６…解析処理部、１８０…ステージ制御部、１９０…試料ステージ。

Claims (24)

  1. 　時系列的に取得された複数のデータをそれぞれ有する複数のピクセルから構成される観察領域の画像を取得する画像取得ステップと、
    　前記観察領域の画像に対して解析領域を設定する解析領域設定ステップと、
    　前記解析領域よりも小さいサブ解析領域を設定するサブ解析領域設定ステップと、
    　前記解析領域の全体にわたりピクセル間隔をおいて前記サブ解析領域を断続的に移動させる移動ステップと、
    　前記移動のたびに前記サブ解析領域内のピクセルのデータを使用して相関解析を行なって前記サブ解析領域の少なくとも分子数または拡散定数のいずれかを推定する相関解析ステップと、
    　前記分子数または拡散定数をマッピングして前記分子数または拡散定数の画像を形成する画像形成ステップとを有している画像解析方法。
  2. 　前記観察領域の画像は二次元または三次元画像である請求項１に記載の画像解析方法。
  3. 　前記移動ステップは、前記解析領域の範囲内で前記サブ解析領域を移動させる請求項１に記載の画像解析方法。
  4. 　前記移動ステップは、１ピクセル以上の移動量で前記サブ解析領域を移動させる請求項１に記載の画像解析方法。
  5. 　前記相関解析ステップは、蛍光強度、ピクセル時間、ライン時間、フレーム時間、ピクセル位置関係、ピクセルサイズまたはそれについての統計値を使用して前記相関解析を行なう請求項１に記載の画像解析方法。
  6. 　前記相関解析ステップは、前記データの平均値、最大値、最小値、相対差または絶対差のいずれかを使用して前記相関解析を行なう請求項１に記載の画像解析方法。
  7. 　前記相関解析ステップは、前記データを再構成して得た再構成データを使用して前記相関解析を行なう請求項１に記載の画像解析方法。
  8. 　前記相関解析ステップは、下記の式（１）または式（２）を用いて相関計算を行ない、前記相関計算の結果に対して下記の式（３）を用いてフィッティングを行なって二次元解析領域の前記分子数または拡散定数を推定する請求項１に記載の画像解析方法、
    Figure JPOXMLDOC01-appb-M000001
     ここで、ＧｓａはＲＩＣＳの空間自己相関値、Ｉ１はチャンネル１の蛍光強度データ（ピクセルのデータ）、ｘ，ｙは測定点の空間的座標、ξ，ψは測定点からの空間的座標の変化量、Ｍ１１はチャンネル１のデータの積和計算の回数、Ｍ１はチャンネル１のデータ総数である、
    Figure JPOXMLDOC01-appb-M000002
     ここで、ＧｓｃはＲＩＣＳの空間相互相関値、Ｉ１はチャンネル１の蛍光強度データ（ピクセルのデータ）、Ｉ２はチャンネル２の蛍光強度データ（ピクセルのデータ）、ｘ，ｙは測定点の空間的座標、ξ，ψは測定点からの空間的座標の変化量、Ｍ１２はチャンネル１とチャンネル２のデータの積和計算の回数、Ｍ１はチャンネル１のデータ総数、Ｍ２はチャンネル２のデータ総数である、
    Figure JPOXMLDOC01-appb-M000003
     ここで、ＧｓはＲＩＣＳの空間相関値、ＳはＲＩＣＳの解析におけるスキャンの影響、ＧはＲＩＣＳの解析における時間遅延の影響、Ｄは拡散定数、δｒはピクセルサイズ、Ｎは分子数、ξ，ψは測定点からの空間的座標の変化量、Ｗ０は励起レーザビームの横方向の半径、ＷＺは励起レーザビームの縦方向の半径、τｐはピクセル時間、τｌはライン時間である。
  9. 　前記相関解析ステップは、下記の式（４）または式（５）を用いて相関計算を行ない、前記相関計算の結果に対して下記の式（６）を用いてフィッティングを行なって三次元解析領域の前記分子数または拡散定数を推定する請求項１に記載の画像解析方法、
    Figure JPOXMLDOC01-appb-M000004
     ここで、ＧｓａはＲＩＣＳの空間自己相関値、Ｉ１はチャンネル１の蛍光強度データ（ピクセルのデータ）、ｘ，ｙ，ｚは測定点の空間的座標、ξ，ψ，ηは測定点からの空間的座標の変化量、Ｍ１１はチャンネル１のデータの積和計算の回数、Ｍ１はチャンネル１のデータ総数である、
    Figure JPOXMLDOC01-appb-M000005
     ここで、ＧｓｃはＲＩＣＳの空間相互相関値、Ｉ１はチャンネル１の蛍光強度データ（ピクセルのデータ）、Ｉ２はチャンネル２の蛍光強度データ（ピクセルのデータ）、ｘ，ｙ，ｚは測定点の空間的座標、ξ，ψ，ηは測定点からの空間的座標の変化量、Ｍ１２はチャンネル１とチャンネル２中のデータの積和計算の回数、Ｍ１はチャンネル１のデータ総数、Ｍ２はチャンネル２のデータ総数である、
    Figure JPOXMLDOC01-appb-M000006
     ここで、ＧｓはＲＩＣＳの空間相関値（空間自己相関値Ｇｓａまたは空間相互相関値Ｇｓｃ）、ＳはＲＩＣＳの解析におけるスキャンの影響、ＧはＲＩＣＳの解析における時間遅延の影響、Ｄは拡散定数、δｒはピクセルサイズ、Ｎは分子数、ξ，ψ，ηは空間的座標の変化量、Ｗ０は励起レーザビームの横方向の半径、ＷＺは励起レーザビームの縦方向の半径、τｐはピクセル時間、τｌはライン時間、τｆはフレーム時間である。
  10. 　前記分子数または拡散定数を二次元または三次元分布を有する拡張関数を用いて拡張計算して拡張分子数または拡張拡散定数を得る拡張計算ステップと、
    　前記拡張分子数または拡張拡散定数をマッピングして前記拡張分子数または拡張拡散定数の画像を形成する拡張画像形成ステップとをさらに有している請求項１に記載の画像解析方法。
  11. 　前記拡張分子数または拡張拡散定数の位置情報を重み係数として前記拡張分子数または拡張拡散定数の画像を前記解析領域と同じ画像サイズに変換する画像変換ステップをさらに有している請求項１０に記載の画像解析方法。
  12. 　前記分子数または拡散定数の画像または前記拡張分子数または拡張拡散定数の画像を表示する表示ステップをさらに有している請求項１１に記載の画像解析方法。
  13. 　時系列的に取得された複数のデータをそれぞれ有する複数のピクセルから構成される観察領域の画像を取得する画像取得部と、
    　前記観察領域の画像に対して解析領域を設定する解析領域設定部と、
    　前記解析領域よりも小さいサブ解析領域を設定するとともに、前記解析領域の全体にわたりピクセル間隔をおいて前記サブ解析領域を断続的に移動させるサブ解析領域調整部と、
    　前記移動のたびに前記サブ解析領域内のピクセルのデータを使用して相関解析を行なって前記サブ解析領域の少なくとも分子数または拡散定数のいずれかを推定するとともに、前記分子数または拡散定数をマッピングして前記分子数または拡散定数の画像を形成する解析処理部とを有している画像解析装置。
  14. 　前記観察領域の画像は二次元または三次元画像である請求項１３に記載の画像解析装置。
  15. 　前記サブ解析領域調整部は、前記解析領域の範囲内で前記サブ解析領域を移動させる請求項１３に記載の画像解析装置。
  16. 　前記サブ解析領域調整部は、１ピクセル以上の移動量で前記サブ解析領域を移動させる請求項１３に記載の画像解析装置。
  17. 　前記解析処理部は、蛍光強度、ピクセル時間、ライン時間、フレーム時間、ピクセル位置関係、ピクセルサイズまたはそれについての統計値を使用して前記相関解析を行なう請求項１３に記載の画像解析装置。
  18. 　前記解析処理部は、前記データの平均値、最大値、最小値、相対差または絶対差のいずれかを使用して前記相関解析を行なう請求項１３に記載の画像解析装置。
  19. 　前記解析処理部は、前記データを再構成して得た再構成データを使用して前記相関解析を行なう請求項１３に記載の画像解析装置。
  20. 　前記解析処理部は、下記の式（１）または式（２）を用いて相関計算を行ない、前記相関計算の結果に対して下記の式（３）を用いてフィッティングを行なって二次元解析領域の前記分子数または拡散定数を推定する請求項１３に記載の画像解析装置、
    Figure JPOXMLDOC01-appb-M000007
     ここで、ＧｓａはＲＩＣＳの空間自己相関値、Ｉ１はチャンネル１の蛍光強度データ（ピクセルのデータ）、ｘ，ｙは測定点の空間的座標、ξ，ψは測定点からの空間的座標の変化量、Ｍ１１はチャンネル１のデータの積和計算の回数、Ｍ１はチャンネル１のデータ総数である、
    Figure JPOXMLDOC01-appb-M000008
     ここで、ＧｓｃはＲＩＣＳの空間相互相関値、Ｉ１はチャンネル１の蛍光強度データ（ピクセルのデータ）、Ｉ２はチャンネル２の蛍光強度データ（ピクセルのデータ）、ｘ，ｙは測定点の空間的座標、ξ，ψは測定点からの空間的座標の変化量、Ｍ１２はチャンネル１とチャンネル２のデータの積和計算の回数、Ｍ１はチャンネル１のデータ総数、Ｍ２はチャンネル２のデータ総数である、
    Figure JPOXMLDOC01-appb-M000009
     ここで、ＧｓはＲＩＣＳの空間相関値、ＳはＲＩＣＳの解析におけるスキャンの影響、ＧはＲＩＣＳの解析における時間遅延の影響、Ｄは拡散定数、δｒはピクセルサイズ、Ｎは分子数、ξ，ψは測定点からの空間的座標の変化量、Ｗ０は励起レーザビームの横方向の半径、ＷＺは励起レーザビームの縦方向の半径、τｐはピクセル時間、τｌはライン時間である。
  21. 　前記解析処理部は、下記の式（４）または式（５）を用いて相関計算を行ない、前記相関計算の結果に対して下記の式（６）を用いてフィッティングを行なって三次元解析領域の前記分子数または拡散定数を推定する請求項１３に記載の画像解析装置、
    Figure JPOXMLDOC01-appb-M000010
     ここで、ＧｓａはＲＩＣＳの空間自己相関値、Ｉ１はチャンネル１の蛍光強度データ（ピクセルのデータ）、ｘ，ｙ，ｚは測定点の空間的座標、ξ，ψ，ηは測定点からの空間的座標の変化量、Ｍ１１はチャンネル１のデータの積和計算の回数、Ｍ１はチャンネル１のデータ総数である、
    Figure JPOXMLDOC01-appb-M000011
     ここで、ＧｓｃはＲＩＣＳの空間相互相関値、Ｉ１はチャンネル１の蛍光強度データ（ピクセルのデータ）、Ｉ２はチャンネル２の蛍光強度データ（ピクセルのデータ）、ｘ，ｙ，ｚは測定点の空間的座標、ξ，ψ，ηは測定点からの空間的座標の変化量、Ｍ１２はチャンネル１とチャンネル２中のデータの積和計算の回数、Ｍ１はチャンネル１のデータ総数、Ｍ２はチャンネル２のデータ総数である、
    Figure JPOXMLDOC01-appb-M000012
     ここで、ＧｓはＲＩＣＳの空間相関値（空間自己相関値Ｇｓａまたは空間相互相関値Ｇｓｃ）、ＳはＲＩＣＳの解析におけるスキャンの影響、ＧはＲＩＣＳの解析における時間遅延の影響、Ｄは拡散定数、δｒはピクセルサイズ、Ｎは分子数、ξ，ψ，ηは空間的座標の変化量、Ｗ０は励起レーザビームの横方向の半径、ＷＺは励起レーザビームの縦方向の半径、τｐはピクセル時間、τｌはライン時間、τｆはフレーム時間である。
  22. 　前記解析処理部はさらに、前記分子数または拡散定数を二次元または三次元分布を有する拡張関数を用いて拡張計算して拡張分子数または拡張拡散定数を得るとともに、前記拡張分子数または拡張拡散定数をマッピングして前記拡張分子数または拡張拡散定数の画像を形成する請求項１３に記載の画像解析装置。
  23. 　前記解析処理部はさらに、前記拡張分子数または拡張拡散定数の位置情報を重み係数として前記拡張分子数または拡張拡散定数の画像を前記解析領域と同じ画像サイズに変換する請求項２２に記載の画像解析装置。
  24. 　前記分子数または拡散定数の画像または前記拡張分子数または拡張拡散定数の画像を表示する表示部をさらに有している請求項２３に記載の画像解析装置。
PCT/JP2010/068191 2009-10-15 2010-10-15 画像解析方法および画像解析装置 WO2011046211A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201080044391.7A CN102575989B (zh) 2009-10-15 2010-10-15 图像分析方法及图像分析装置
EP10823479.0A EP2477026A4 (en) 2009-10-15 2010-10-15 IMAGE ANALYSIS METHOD AND IMAGE ANALYSIS DEVICE
US13/445,332 US8705865B2 (en) 2009-10-15 2012-04-12 Image analysis method and image analysis apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-238441 2009-10-15
JP2009238441A JP5508808B2 (ja) 2009-10-15 2009-10-15 画像解析方法および画像解析装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/445,332 Continuation US8705865B2 (en) 2009-10-15 2012-04-12 Image analysis method and image analysis apparatus

Publications (1)

Publication Number Publication Date
WO2011046211A1 true WO2011046211A1 (ja) 2011-04-21

Family

ID=43876260

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/068191 WO2011046211A1 (ja) 2009-10-15 2010-10-15 画像解析方法および画像解析装置

Country Status (5)

Country Link
US (1) US8705865B2 (ja)
EP (1) EP2477026A4 (ja)
JP (1) JP5508808B2 (ja)
CN (1) CN102575989B (ja)
WO (1) WO2011046211A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012008055A (ja) * 2010-06-25 2012-01-12 Olympus Corp 画像解析方法および画像解析装置
CN103917860A (zh) * 2011-11-10 2014-07-09 奥林巴斯株式会社 图像解析方法和图像解析装置
JP2016091172A (ja) * 2014-10-31 2016-05-23 キヤノン株式会社 画像処理装置及びその制御方法、並びにプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9863887B2 (en) * 2012-11-15 2018-01-09 Nemor Technologies Ou Unit and method for optical non-contact oil detection
US9292927B2 (en) * 2012-12-27 2016-03-22 Intel Corporation Adaptive support windows for stereoscopic image correlation
US9829380B2 (en) * 2013-07-17 2017-11-28 Panasonic Intellectual Property Management Co., Ltd. Spectroscopic apparatus
EP3418710B1 (en) * 2016-02-19 2022-08-24 Nikon Corporation Sample preparation method and sample preparation device
DE102016103382B3 (de) * 2016-02-25 2017-08-10 Abberior Instruments Gmbh Verfahren, Vorrichtung und Laser-Scanning-Mikroskop zum Erzeugen von gerasterten Bildern
CN109357975B (zh) * 2018-10-31 2021-05-18 福州大学 一种测量生物分子有效扩散系数的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004108892A (ja) * 2002-09-17 2004-04-08 Olympus Corp 蛍光分光分析装置
JP2006078377A (ja) * 2004-09-10 2006-03-23 Olympus Corp 光信号解析方法
JP2008276191A (ja) * 2007-05-02 2008-11-13 Olympus Corp 蛍光顕微鏡装置
JP2010217761A (ja) * 2009-03-18 2010-09-30 Olympus Corp 画像取得装置、画像取得方法及びプログラム
JP2010237116A (ja) * 2009-03-31 2010-10-21 Olympus Corp 画像解析方法および画像解析装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5412468A (en) * 1993-03-09 1995-05-02 The Perkin-Elmer Corporation Grouping of spectral bands for data acquisition in a spectrophotometer
JPH0993588A (ja) * 1995-09-28 1997-04-04 Toshiba Corp 動画像処理方法
US5706083A (en) * 1995-12-21 1998-01-06 Shimadzu Corporation Spectrophotometer and its application to a colorimeter
JP4749637B2 (ja) * 2001-09-28 2011-08-17 オリンパス株式会社 画像解析方法、装置、及び記録媒体
CN1662810A (zh) * 2002-06-21 2005-08-31 奥林巴斯株式会社 生物分子分析装置
WO2004072624A1 (ja) * 2003-02-13 2004-08-26 Hamamatsu Photonics K.K. 蛍光相関分光解析装置
JP3999701B2 (ja) * 2003-05-30 2007-10-31 オリンパス株式会社 分光分析装置
JP4338590B2 (ja) * 2004-06-03 2009-10-07 独立行政法人科学技術振興機構 蛍光相関分光法による抗原の迅速検出及び／又は測定法。
CN100372947C (zh) * 2005-03-03 2008-03-05 华南师范大学 转基因物种的荧光相关光谱检测方法
KR100815977B1 (ko) * 2005-04-20 2008-03-24 주식회사 메디슨 연속되는 영상으로부터 움직임을 추정하는 방법 및 시스템
JP4740952B2 (ja) * 2005-09-27 2011-08-03 オリンパス株式会社 光信号解析装置および光信号解析方法
JP5161427B2 (ja) * 2006-02-20 2013-03-13 株式会社東芝 画像撮影装置、画像処理装置及びプログラム
WO2007103102A2 (en) * 2006-03-03 2007-09-13 Thermo Electron Scientific Instruments Llc Spectrometer signal quality improvement via background subtraction
WO2008087869A1 (ja) * 2007-01-16 2008-07-24 Olympus Corporation 蛍光信号解析装置および蛍光信号解析方法
DE102007052551B4 (de) * 2007-10-30 2019-06-19 Carl Zeiss Microscopy Gmbh Verfahren zur Durchführung einer Rasterbildkorrelationsspektroskopiemessung sowie Steuereinheit, Laser-Scanning-Mikroskop und Computerprogramm
DE102009006364A1 (de) * 2008-02-08 2009-09-10 Yokogawa Electric Corporation, Musashino Instrument zur Molekularitätsmessung und Verfahren zur Molekularitätsmessung

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004108892A (ja) * 2002-09-17 2004-04-08 Olympus Corp 蛍光分光分析装置
JP2006078377A (ja) * 2004-09-10 2006-03-23 Olympus Corp 光信号解析方法
JP2008276191A (ja) * 2007-05-02 2008-11-13 Olympus Corp 蛍光顕微鏡装置
JP2010217761A (ja) * 2009-03-18 2010-09-30 Olympus Corp 画像取得装置、画像取得方法及びプログラム
JP2010237116A (ja) * 2009-03-31 2010-10-21 Olympus Corp 画像解析方法および画像解析装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KLAUS SCH-TZEL: "New Concept in Correlator Design", INST. PHYS. CONF., 1985, pages 175
MICHELLE A. DIGMAN ET AL.: "Measuring Fast Dynamics in Solutions and Cells with a Laser Scanning Microscope", BIOPHYSICAL JOURNAL, vol. 89, August 2005 (2005-08-01), pages 1317 - 1327, XP002557976 *
MICHELLE A. DIGMAN; CLAIRE M. BROWN; PARIJAT SENGUPTA; PAUL W. WISEMAN; ALAN R. HORWITZ; ENRICO GRATTON: "Measuring Fast Dynamics in Solutions and Cells with a Laser Scanning Microscope", BIOPHYSICAL JOURNAL, vol. 89, August 2005 (2005-08-01), pages 1317 - 1327, XP002660727
See also references of EP2477026A4

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012008055A (ja) * 2010-06-25 2012-01-12 Olympus Corp 画像解析方法および画像解析装置
US8908993B2 (en) 2010-06-25 2014-12-09 Olympus Corporation Image analysis method and image analysis apparatus
US9383570B2 (en) 2010-06-25 2016-07-05 Olympus Corporation Image analysis method and image analysis apparatus
CN103917860A (zh) * 2011-11-10 2014-07-09 奥林巴斯株式会社 图像解析方法和图像解析装置
EP2778659A4 (en) * 2011-11-10 2015-06-17 Olympus Corp IMAGE ANALYSIS METHOD AND IMAGE ANALYSIS DEVICE
US9262667B2 (en) 2011-11-10 2016-02-16 Olympus Corporation Image analysis method and image analysis apparatus
CN103917860B (zh) * 2011-11-10 2017-02-15 奥林巴斯株式会社 图像解析方法和图像解析装置
JP2016091172A (ja) * 2014-10-31 2016-05-23 キヤノン株式会社 画像処理装置及びその制御方法、並びにプログラム

Also Published As

Publication number Publication date
JP5508808B2 (ja) 2014-06-04
CN102575989A (zh) 2012-07-11
EP2477026A1 (en) 2012-07-18
US20120201463A1 (en) 2012-08-09
CN102575989B (zh) 2014-11-05
EP2477026A4 (en) 2015-01-28
US8705865B2 (en) 2014-04-22
JP2011085485A (ja) 2011-04-28

Similar Documents

Publication Publication Date Title
JP5508808B2 (ja) 画像解析方法および画像解析装置
US10838190B2 (en) Hyperspectral imaging methods and apparatuses
US9383570B2 (en) Image analysis method and image analysis apparatus
US8619237B2 (en) Laser-scanning intersecting plane tomography such as for high speed volumetric optical imaging
WO2018089865A1 (en) Microscopy devices, methods and systems
JPWO2008087869A1 (ja) 蛍光信号解析装置および蛍光信号解析方法
JP7181537B2 (ja) 高空間分解能の時間分解イメージング法
EP2690425B1 (en) Optical coherence tomography observation device, method for determining relative position between images, and program for determining relative position between images
JP5468805B2 (ja) 画像解析方法および画像解析装置
EP3757647A1 (en) Multi-view light-sheet microscope with an optical arm combiner
WO2014024923A1 (ja) 観察装置
JP5566055B2 (ja) 画像解析方法および画像解析装置
WO2012056580A1 (ja) 画像解析方法および画像解析装置
US9262667B2 (en) Image analysis method and image analysis apparatus
JP5508809B2 (ja) 画像解析方法および画像解析装置
WO2012056578A1 (ja) 画像解析方法および画像解析装置
JP5489541B2 (ja) 画像解析方法および画像解析装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080044391.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10823479

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010823479

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE