WO2023248853A1 - 情報処理方法、情報処理装置、及び顕微鏡システム - Google Patents

情報処理方法、情報処理装置、及び顕微鏡システム Download PDF

Info

Publication number
WO2023248853A1
WO2023248853A1 PCT/JP2023/021790 JP2023021790W WO2023248853A1 WO 2023248853 A1 WO2023248853 A1 WO 2023248853A1 JP 2023021790 W JP2023021790 W JP 2023021790W WO 2023248853 A1 WO2023248853 A1 WO 2023248853A1
Authority
WO
WIPO (PCT)
Prior art keywords
fluorescence
fluorescence intensity
sample
thickness
image
Prior art date
Application number
PCT/JP2023/021790
Other languages
English (en)
French (fr)
Inventor
歩 田口
哲朗 桑山
寛和 辰田
友彦 中村
和博 中川
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023248853A1 publication Critical patent/WO2023248853A1/ja

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements

Definitions

  • the present disclosure relates to an information processing method, an information processing device, and a microscope system.
  • a fluorescence microscope is known that generates fluorescence in a fluorescently stained specimen (sample) stained with a fluorescent staining reagent by irradiating excitation light onto the specimen and captures an image of the fluorescence.
  • the information processing device disclosed in Patent Document 1 corrects the brightness of captured image information of a fluorescently stained specimen acquired by a fluorescence microscope based on a fading coefficient that indicates how easily the fluorescence intensity of a fluorescent staining reagent can be reduced. This makes it possible to reduce the influence of "fluorescent brown", in which the fluorescence intensity of the fluorescent substance decreases as the excitation light intensity and excitation light irradiation time elapses, on captured image information, and increases the excitation light intensity. , it is also possible to acquire captured image information in a shorter time.
  • a so-called confocal microscope is sometimes used to capture a fluorescent image of a sample stained with a fluorescent staining reagent.
  • a confocal microscope is equipped with an optical system (for example, an optical system with a pinhole or an elongated slit) that changes the fluorescence intensity in the captured image depending on the focal position, reducing the influence of fluorescence from other than the focal plane. , which is advantageous for capturing high-contrast, high-resolution fluorescence images.
  • fluorescence images e.g., fluorescence intensity
  • fluorescence images captured by a confocal microscope do not sufficiently reflect the fluorescence from fluorescent molecules located away from the focal plane. exhibits unique focal properties. Due to this focal characteristic, it may not be appropriate to treat a fluorescence image captured by a confocal microscope in the same way as a fluorescence image captured by a general dark-field microscope.
  • An object of the present disclosure is to provide a technique for handling a fluorescence image captured using an optical system in which the fluorescence intensity in the captured image changes depending on the focal position, taking into consideration the focal characteristics.
  • One aspect of the present disclosure is to analyze an observation fluorescence image that is a fluorescence image of an observation sample captured using an optical system in which the fluorescence intensity in the captured image changes depending on the focal position, and to analyze the fluorescence in the observation fluorescence image. a step of obtaining observed fluorescence intensity representing the intensity; and a step of deriving the fluorescent molecule concentration in the observed sample from the observed fluorescence intensity in light of reference standard data that correlates the reference fluorescent molecule concentration and the reference fluorescence intensity.
  • a plurality of reference fluorescence images are a plurality of fluorescence images of a reference sample captured using an optical system in which the fluorescence intensity in the captured image changes depending on the focal position, the focal position at the time of imaging is
  • the present invention relates to an information processing method in which reference standard data is obtained based on reference fluorescence intensities derived from a plurality of mutually different reference fluorescence images and a reference fluorescent molecule concentration obtained from the fluorescent molecule concentration in a reference sample.
  • the plurality of reference fluorescence images may be analyzed to obtain a reference fluorescence intensity representative of the fluorescence intensity in each reference fluorescence image, and from each reference fluorescence intensity of the plurality of reference fluorescence images, a focal position and a reference fluorescence intensity are determined.
  • a reference fluorescence intensity characteristic may be obtained that correlates the reference fluorescence intensity characteristics with each other, and based on the reference fluorescence intensity characteristic and the thickness of the reference sample in the optical axis direction, the fluorescence intensity characteristic of the reference sample assuming that it has a reference thickness.
  • a reference thickness reference fluorescence intensity characteristic representing the reference thickness may be derived, and the reference fluorescence intensity may be derived based on the thickness of the observation sample in the optical axis direction and the reference thickness reference fluorescence intensity characteristic.
  • the reference thickness reference fluorescence intensity characteristic may represent the fluorescence intensity characteristic of the reference sample assuming that it has an infinitely thin thickness.
  • a Fourier observation sample thickness function obtained based on the Fourier transform of a rectangular function corresponding to the thickness of the observation sample in the optical axis direction, and a Fourier reference thickness reference fluorescence intensity characteristic obtained based on the Fourier transform of the reference thickness reference fluorescence intensity characteristic.
  • a Fourier desired thickness fluorescence intensity characteristic may be obtained based on the inner product of
  • a reference fluorescence intensity may be obtained based on an inverse Fourier transform of the Fourier desired thickness fluorescence intensity characteristic.
  • the function obtained by Fourier transforming the reference fluorescence intensity characteristic is expressed as "F L (k)”, and the function obtained by Fourier transforming the rectangular function corresponding to the thickness of the reference sample in the optical axis direction is expressed as "G L (k)", the complex conjugate of the function obtained by Fourier transforming the rectangular function is expressed as "G L * (k)”, and an infinitesimal number other than 0 is expressed as " ⁇ ”, then the Fourier criterion
  • the thickness reference fluorescence intensity characteristic may be derived based on F L (k) ⁇ G L * (k)/(G L * (k) ⁇ G L (k)+ ⁇ 2 ).
  • the infinitesimal number may be a value that is 1/1000 or less of the maximum absolute value of the value indicated by the function obtained by Fourier transforming the reference fluorescence intensity characteristic.
  • Smoothing processing may be applied to the Fourier desired thickness fluorescence intensity characteristic, and the data of a singular point in the Fourier desired thickness fluorescence intensity characteristic may be corrected based on data before and after the singularity, and the data after the smoothing processing may be A reference fluorescence intensity may be obtained based on the Fourier desired thickness fluorescence intensity characteristic.
  • a singular point correction filter is applied to the Fourier desired thickness fluorescence intensity characteristic, and the data of the singular point of the Fourier desired thickness fluorescence intensity characteristic is obtained by linear interpolation based on the data before and after the data of the singular point.
  • the data may be modified to
  • Reference thickness The thickness of the reference sample in the optical axis direction used when deriving the reference fluorescence intensity characteristic is derived based on the frequency at which the amplitude of the function obtained by Fourier transforming the reference fluorescence intensity characteristic is zero. good.
  • the observed fluorescence intensity of each of the plurality of observed fluorescence images may be obtained by analyzing a plurality of observed fluorescence images having different focal positions at the time of imaging, and from the observed fluorescence intensity of each of the plurality of observed fluorescence images, An observed fluorescence intensity characteristic that correlates the focal position and observed fluorescence intensity may be obtained, and the observed fluorescence intensity characteristic is derived based on the frequency at which the amplitude of the function obtained by Fourier transforming the observed fluorescence intensity characteristic is zero.
  • a Fourier observation sample thickness function may be obtained based on the thickness of the sample in the optical axis direction.
  • sample fluorescence images which are a plurality of fluorescence images of a sample obtained using an optical system in which the fluorescence intensity in the captured image changes depending on the focal position, the focus at the time of imaging.
  • the present invention relates to an information processing method including a step of deriving .
  • the sample may be stained with a first fluorescent staining reagent that stains the sample depending on a specific cell state and a second fluorescent staining reagent that stains the sample regardless of the specific cell state, and a plurality of samples
  • the fluorescence image may be an image based on fluorescence of the second fluorescent staining reagent.
  • an image acquisition unit that captures and acquires an observation fluorescence image, which is a fluorescence image of an observation sample, using an optical system in which the fluorescence intensity in the captured image changes depending on the focal position; and an image acquisition unit that analyzes the observation fluorescence image. From the observed fluorescence intensity, a fluorescence intensity acquisition unit obtains an observed fluorescence intensity representing the fluorescence intensity in the observed fluorescence image, and a reference standard data that correlates the reference fluorescent molecule concentration and the reference fluorescence intensity.
  • a fluorescent molecule concentration deriving unit for deriving the fluorescent molecule concentration in the observation sample, and the plurality of fluorescence images of the reference sample are captured using an optical system in which the fluorescence intensity in the captured image changes depending on the focal position.
  • the excitation light is irradiated using a light irradiation unit that irradiates the observation sample with excitation light that excites a fluorescent reagent, and an optical system that changes the fluorescence intensity in the captured image depending on the focal position.
  • the information processing device includes an imaging device that captures a fluorescence image of a sample being observed, and an information processing device that analyzes the fluorescence image. The process of obtaining the observed fluorescence intensity representing the fluorescence intensity in the observed fluorescence image, and the process of obtaining the fluorescent molecules in the observed sample from the observed fluorescence intensity in light of the reference standard data that correlates the reference fluorescent molecule concentration and the reference fluorescence intensity.
  • a microscope system that can obtain reference standard data based on a reference fluorescence intensity derived from a plurality of reference fluorescence images having different focal positions at different times and a reference fluorescent molecule concentration obtained from a fluorescent molecule concentration in a reference sample.
  • FIG. 1 is a block diagram showing an example of the configuration of an information processing system.
  • FIG. 2 is a diagram showing a specific example of a fluorescence spectrum acquired by the fluorescence signal acquisition section.
  • FIG. 3 is a diagram illustrating a method of generating a coupled fluorescence spectrum using a coupling section.
  • FIG. 4 is a diagram showing the fluorescence spectra of AF546 and AF555 when the wavelength resolution is 8 nm.
  • FIG. 5 is a diagram showing the fluorescence spectra of AF546 and AF555 when the wavelength resolution is 1 nm.
  • FIG. 6 is a diagram showing an example of a concatenated fluorescence spectrum generated from the fluorescence spectra shown in FIGS. 3A to 3D.
  • FIG. 1 is a block diagram showing an example of the configuration of an information processing system.
  • FIG. 2 is a diagram showing a specific example of a fluorescence spectrum acquired by the fluorescence signal acquisition section.
  • FIG. 7 is a block diagram showing a more specific example of the configuration of the separation processing section of this embodiment.
  • FIG. 8 is a diagram showing a specific example of a coupled autofluorescence reference spectrum.
  • FIG. 9 is a diagram showing a specific example of a coupled fluorescence reference spectrum.
  • FIG. 10 is a diagram showing a schematic configuration of an example of a microscope system (information processing system).
  • FIG. 11 is a conceptual diagram of an example of an information processing system including an information processing device and a measurement system.
  • FIG. 12A is a conceptual diagram illustrating an example of a method for imaging a fluorescently stained specimen (observation sample) using a normal microscope (measurement system) that does not include a confocal optical system.
  • FIG. 12B is a conceptual diagram showing an example of a method for imaging a fluorescently stained specimen using a line confocal microscope.
  • FIG. 12C is a conceptual diagram showing an example of a method for imaging a fluorescently stained specimen using a line confocal microscope.
  • FIG. 13 is a diagram illustrating the concept of layered synthesis of fluorescence intensities in fluorescence images of fluorescently stained specimens captured by a confocal microscope using fluorescently stained specimens.
  • FIG. 14 is a diagram illustrating, using a graph, the concept of layered synthesis of fluorescence intensities in fluorescence images of fluorescence-stained specimens captured by a confocal microscope.
  • FIG. 15A is a diagram illustrating acquisition of fluorescence intensity characteristics of a reference sample with a desired thickness using a physical image.
  • FIG. 15B is a diagram illustrating acquisition of fluorescence intensity characteristics of a reference sample with a desired thickness using a graph.
  • FIG. 16 is a graph representing the function F( ⁇ ) derived by Fourier transformation of the fluorescence intensity characteristics of the sample.
  • FIG. 17 is a conceptual diagram for explaining a convolution operation using Fourier transform and inverse Fourier transform.
  • FIG. 18 is a flow diagram illustrating an example of a process for acquiring reference standard data.
  • FIG. 19A is a diagram illustrating an example of estimating the thickness of a reference sample.
  • FIG. 19B is a diagram illustrating an example of estimating the thickness of a reference sample.
  • FIG. 19A is a diagram illustrating an example of estimating the thickness of a reference sample.
  • FIG. 19B is a diagram illustrating an example of estimating the thickness of a reference sample.
  • FIG. 19C is a diagram illustrating an example of estimating the thickness of a reference sample.
  • FIG. 20 is a graph illustrating, in Fourier space, the process of calculating the fluorescence intensity characteristics of a virtual reference sample having the same thickness as the observed sample.
  • FIG. 21A shows the fluorescence intensity characteristics of a virtual reference sample having a desired thickness obtained through calculation processing and the fluorescence intensity characteristics of an actual reference sample having a desired thickness obtained from actual measurements in Fourier space. This is a graph for comparison.
  • FIG. 21B is a graph showing an enlarged range indicated by the symbol "XXIB" in FIG. 21A.
  • FIG. 22A is a graph showing the same “fluorescence intensity characteristics of the reference sample” as FIGS.
  • FIG. 22B shows a graph obtained by applying a singularity correction filter to the graph shown in FIG. 22A (in particular, the fluorescence intensity characteristics of a reference sample having a desired thickness obtained by calculation processing).
  • FIG. 23 is a graph showing, in real space, an example of measured values and calculated values of fluorescence intensity characteristics of a reference sample having a desired thickness.
  • FIG. 24A is a flow diagram illustrating an example of a process for obtaining the concentration of fluorescent molecules in an observation sample.
  • FIG. 24B is a flow diagram showing another example of the process of acquiring the fluorescent molecule concentration in the observation sample.
  • FIG. 1 is a block diagram showing an example of the configuration of an information processing system.
  • the information processing system shown in FIG. 1 includes an information processing device 100 and a database 200.
  • Fluorescent reagent 10 is a chemical used to stain specimen 20.
  • the fluorescent reagent 10 it is possible to use, for example, a fluorescent antibody (including a primary antibody used for direct labeling and a secondary antibody used for indirect labeling), a fluorescent probe, a nuclear staining reagent, etc. 10 is not limited to these.
  • the fluorescent reagent 10 is attached with identification information (also referred to as "reagent identification information 11") that can identify the fluorescent reagent 10 (or the manufacturing lot of the fluorescent reagent 10), and is managed by the reagent identification information 11.
  • the reagent identification information 11 is configured as, for example, barcode information (for example, one-dimensional barcode information or two-dimensional barcode information), but is not limited to barcode information.
  • barcode information for example, one-dimensional barcode information or two-dimensional barcode information
  • the reagent identification information 11 is configured as, for example, barcode information (for example, one-dimensional barcode information or two-dimensional barcode information), but is not limited to barcode information.
  • the fluorescent reagent 10 is the same product, its properties may vary depending on the production lot depending on the production method, the state of the cells from which the antibody was obtained, and the like.
  • the spectrum, quantum yield, fluorescent labeling rate, etc. may vary depending on the manufacturing lot. Therefore, the fluorescent reagent 10 of this embodiment is managed for each production lot by being attached with reagent identification information 11. Thereby, the information processing apparatus 100 can perform fluorescence separation while taking into account slight differences in properties that appear from manufacturing lot to manufacturing lot.
  • the specimen 20 is prepared from a specimen or tissue sample collected from a human body for the purpose of pathological diagnosis or the like.
  • the specimen 20 may be a tissue section, a cell, or a particulate.
  • the type of tissue used e.g. organ, etc.
  • the type of disease targeted e.g. age, sex, blood type, race, etc.
  • the subject's lifestyle habits e.g. diet. Lifestyle, exercise habits, smoking habits, etc.
  • lifestyle, exercise habits, smoking habits, etc. are not limited.
  • Tissue sections include, for example, unstained sections of tissue sections to be stained (also simply referred to as “sections”), sections adjacent to stained sections, and sections different from the stained sections in the same block (sampled from the same location as the stained sections). This may include sections from different blocks of the same tissue (sections sampled from different locations than the stained section), sections taken from different patients, and the like.
  • the specimens 20 are given identification information (also referred to as "specimen identification information 21") that allows each specimen 20 to be identified, and are managed by the specimen identification information 21.
  • the specimen identification information 21 is configured as, for example, barcode information (for example, one-dimensional barcode information or two-dimensional barcode information), but is not limited to barcode information.
  • the properties of the specimen 20 may vary depending on the type of tissue used, the type of disease targeted, the attributes of the subject, the lifestyle of the subject, and the like.
  • the measurement channels or spectra differ depending on the type of tissue used. Therefore, the specimens 20 of this embodiment are individually managed by being assigned specimen identification information 21. Thereby, the information processing apparatus 100 can perform fluorescence separation while taking into account slight differences in properties that appear for each specimen 20.
  • the fluorescently stained specimen 30 is produced by staining the specimen 20 with the fluorescent reagent 10. It is assumed that the fluorescently stained specimen 30 of this embodiment is obtained by staining the specimen 20 with one or more fluorescent reagents 10.
  • the number of fluorescent reagents 10 used for staining the specimen 20 is not particularly limited. Further, the staining method is not limited, and an appropriate method is determined depending on the combination of the specimen 20 and the fluorescent reagent 10.
  • the information processing device 100 includes an acquisition section 110, a storage section 120, a processing section 130, a display section 140, a control section 150, and an operation section 160, as shown in FIG.
  • the information processing device 100 may be, for example, a fluorescence microscope, but is not necessarily limited to a fluorescence microscope. That is, the information processing device 100 can be configured by any device (for example, a PC (Personal Computer)), and the specific configuration and usage are not limited.
  • the acquisition unit 110 is configured to acquire information used in various processes of the information processing apparatus 100. As shown in FIG. 1, the acquisition section 110 includes an information acquisition section 111 and a fluorescence signal acquisition section 112.
  • the information acquisition unit 111 acquires information regarding the fluorescent reagent 10 (also referred to as "reagent information”) and information regarding the specimen 20 (also referred to as "specimen information"). More specifically, the information acquisition unit 111 acquires the reagent identification information 11 attached to the fluorescent reagent 10 used to generate the fluorescently stained specimen 30 and the specimen identification information 21 attached to the specimen 20. For example, the information acquisition unit 111 acquires the reagent identification information 11 and the specimen identification information 21 using a barcode reader or the like. The information acquisition unit 111 then acquires reagent information from the database 200 based on the reagent identification information 11 and acquires specimen information from the database 200 based on the specimen identification information 21. The information acquisition unit 111 stores the reagent information and specimen information acquired in this way in the information storage unit 121, which will be described later.
  • the specimen information includes a concatenated autofluorescence reference spectrum in which the spectra of the autofluorescent substances in the specimen 20 are concatenated in the wavelength direction, and the reagent information includes the spectra of the fluorescent substances in the fluorescently stained specimen 30 in the wavelength direction.
  • a concatenated fluorescence reference spectrum concatenated in the directions is included.
  • the coupled autofluorescence reference spectrum and the coupled fluorescence reference spectrum are also collectively referred to as a "reference spectrum.”
  • the fluorescence signal acquisition unit 112 acquires a plurality of fluorescence signals corresponding to each of the plurality of excitation lights when the fluorescently stained specimen 30 is irradiated with a plurality of excitation lights having different wavelengths. More specifically, the fluorescence signal acquisition unit 112 receives light, outputs a detection signal according to the amount of received light, and acquires the fluorescence spectrum of the fluorescently stained specimen 30 based on the detection signal. The characteristics of the excitation light (including wavelength, intensity, etc.) are determined based on reagent information (in other words, information regarding the fluorescent reagent 10, etc.).
  • the fluorescence signal here is not limited as long as it is a signal derived from fluorescence, and may be a fluorescence spectrum, for example.
  • a to D in FIG. 2 are specific examples of fluorescence spectra acquired by the fluorescence signal acquisition unit 112.
  • the fluorescent stained specimen 30 used to obtain the fluorescence spectra shown by A to D in FIG. 2 contains four types of fluorescent substances: DAPI, CK/AF488, PgR/AF594, and ER/AF647.
  • the excitation wavelengths of the respective fluorescent substances are 392 [nm] (A in Fig. 2), 470 [nm] (B in Fig. 2), 549 [nm] (C in Fig. 2), and 628 [nm] (in Fig. 2).
  • the fluorescence signal acquisition unit 112 stores the fluorescence spectrum acquired in this manner in a fluorescence signal storage unit 122, which will be described later.
  • the storage unit 120 stores information used in various processes of the information processing apparatus 100 and information obtained by the various processes.
  • the storage unit 120 shown in FIG. 1 includes an information storage unit 121 and a fluorescence signal storage unit 122.
  • the information storage unit 121 stores, for example, reagent information and specimen information acquired by the information acquisition unit 111.
  • the fluorescence signal storage unit 122 stores the fluorescence signal of the fluorescently stained specimen 30 acquired by the fluorescence signal acquisition unit 112.
  • the processing unit 130 is configured to perform various processes including fluorescence separation processing. As shown in FIG. 1, the processing section 130 includes a coupling section 131, a separation processing section 132, and an image generation section 134.
  • the linking unit 131 generates a linked fluorescence spectrum by linking at least a portion of the plurality of fluorescence spectra acquired by the fluorescence signal acquisition unit 112 and stored in the fluorescence signal storage unit 122 in the wavelength direction.
  • the connecting unit 131 selects a predetermined value in each fluorescence spectrum so as to include the maximum value of the fluorescence intensity of each of the four fluorescence spectra (see A to D in FIG. 3) acquired by the fluorescence signal acquisition unit 112 described above. Extract width data.
  • the width of the wavelength band from which the connecting unit 131 extracts data can be determined based on reagent information, excitation wavelength, fluorescence wavelength, etc., and may be different for each fluorescent substance.
  • the width of the wavelength band from which the connecting unit 131 extracts data may be different for each of the fluorescence spectra shown in A to D in FIG. 3. Then, as shown in E of FIG. 3, the connecting unit 131 generates one combined fluorescence spectrum by connecting the extracted data with each other in the wavelength direction. Since the combined fluorescence spectrum is constructed based on data extracted from multiple fluorescence spectra, the wavelengths are not continuous at the boundaries between the combined data.
  • the connection unit 131 performs the data connection described above after aligning the intensities of excitation light corresponding to each of the plurality of fluorescence spectra based on the intensity of the excitation light (in other words, after correcting the plurality of fluorescence spectra). . More specifically, the connection unit 131 divides each fluorescence spectrum by the excitation power density representing the intensity of excitation light to equalize the intensity of excitation light corresponding to each of the plurality of fluorescence spectra, and then performs the data connection described above. I do. As a result, the fluorescence spectrum obtained when excitation light of the same intensity is irradiated is determined.
  • the intensity of the irradiated excitation light differs, the intensity of the spectrum absorbed by the fluorescently stained specimen 30 (also referred to as "absorption spectrum”) differs depending on the irradiation intensity of the excitation light. Therefore, by aligning the intensities of excitation light corresponding to each of a plurality of fluorescence spectra as described above, absorption spectra can be appropriately evaluated.
  • the intensity of the excitation light in this description may be the excitation power or excitation power density, as described above.
  • the excitation power or excitation power density may be the power or power density obtained by actually measuring the excitation light emitted from the light source, or may be the power or power density determined from the driving voltage applied to the light source.
  • the intensity of the excitation light in this description refers to the excitation power density, the absorption rate of each excitation light in the section to be observed, and the detection by the detection system (fluorescence signal acquisition unit 112, etc.) that detects the fluorescence emitted from the section. It may be a value obtained by correcting the signal amplification factor or the like.
  • the intensity of the excitation light in this explanation may be the power density of the excitation light that actually contributed to the excitation of the fluorescent substance, or it may be a value obtained by correcting the power density with the amplification factor of the detection system, etc. It may be.
  • corrections that take into account absorption factors, amplification factors, etc. it is possible to appropriately obtain the intensity of excitation light that changes depending on changes in machine conditions and environment, etc., making it possible to perform color separation with higher precision. This makes it possible to generate a coupled fluorescence spectrum.
  • the correction value (also referred to as intensity correction value) based on the intensity of excitation light for each fluorescence spectrum is not limited to a value for equalizing the intensity of excitation light corresponding to each of a plurality of fluorescence spectra, and can be changed in various ways. You can.
  • the signal intensity of a fluorescence spectrum that has an intensity peak on the long wavelength side tends to be lower than the signal intensity of a fluorescence spectrum that has an intensity peak on the short wavelength side. Therefore, when a coupled fluorescence spectrum includes both a fluorescence spectrum with an intensity peak on the long wavelength side and a fluorescence spectrum with an intensity peak on the short wavelength side, the fluorescence spectrum with an intensity peak on the long wavelength side is hardly taken into account.
  • fluorescence spectra with intensity peaks on the short wavelength side are extracted.
  • a larger intensity correction value for a fluorescence spectrum that has an intensity peak on the long wavelength side it is possible to improve the separation accuracy of the fluorescence spectrum that has an intensity peak on the short wavelength side.
  • the connecting unit 131 may correct the wavelength resolution of each of the plurality of fluorescence spectra to be connected independently from other fluorescence spectra.
  • the fluorescence spectrum of AF546 and the fluorescence spectrum of AF555 have almost the same spectrum shape and peak wavelength.
  • the difference between the fluorescence spectrum of AF546 and the fluorescence spectrum of AF555 is that the fluorescence spectrum of AF555 has a shoulder on the high wavelength side, whereas the fluorescence spectrum of AF546 does not have a shoulder. In this way, when two fluorescence spectra are close, it may be difficult to color-separate them by spectrum extraction.
  • FIG. 4 is a diagram showing the fluorescence spectra of AF546 and AF555 when the wavelength resolution is 8 nm.
  • FIG. 5 is a diagram showing the fluorescence spectra of AF546 and AF555 when the wavelength resolution is 1 nm.
  • the wavelength resolution is 8 nm
  • the spectral shape and peak wavelength of AF546 and the spectral shape and peak wavelength of AF555 almost match. Therefore, it is practically difficult to color-separate these using, for example, the least squares method.
  • FIG. 5 when the wavelength resolution is set to eight times the wavelength resolution shown in FIG.
  • the spectral shape and peak wavelength of AF546 are clearly separated from the spectral shape and peak wavelength of AF555. be able to. This shows that even when using multiple fluorescence spectra with similar spectral shapes and peak wavelengths, it is possible to perform color separation using these multiple fluorescence spectra with increased wavelength resolution.
  • the connecting part 131 is designed to increase the wavelength resolution of the fluorescence spectrum that is assumed to be difficult to color separate among the plurality of fluorescence spectra to be connected, and it is assumed that the color separation is easy. Correction is performed so that the wavelength resolution of the fluorescence spectrum is lowered. Thereby, it is possible to improve color separation accuracy while suppressing an increase in data amount.
  • FIG. 6 is a diagram showing an example of a coupled fluorescence spectrum generated from the fluorescence spectra shown in A to D of FIG. 3.
  • the connecting unit 131 extracts a fluorescence spectrum SP1 having an excitation wavelength of 392 nm or more and 591 nm or less from the fluorescence spectrum shown in A of FIG.
  • the fluorescence spectrum SP2 in the wavelength band above 669 nm is extracted, the fluorescence spectrum SP3 in the excitation wavelength range 549 nm to 748 nm is extracted from the fluorescence spectrum shown in C in FIG.
  • a fluorescence spectrum SP4 in a wavelength band of 628 nm or more and 827 nm or less is extracted.
  • the connecting unit 131 corrects the wavelength resolution of the extracted fluorescence spectrum SP1 to 16 nm (no intensity correction), corrects the intensity of the fluorescence spectrum SP2 to 1.2 times, and corrects the wavelength resolution to 8 nm,
  • the intensity of the fluorescence spectrum SP3 is corrected to 1.5 times (no wavelength resolution correction)
  • the intensity of the fluorescence spectrum SP4 is corrected to 4.0 times
  • the wavelength resolution is corrected to 4 nm.
  • the connecting unit 131 generates a combined fluorescence spectrum as shown in FIG. 6 by sequentially connecting the corrected fluorescence spectra SP1 to SP4.
  • FIG. 6 shows a case where the connecting unit 131 extracts and connects fluorescence spectra SP1 to SP4 of a predetermined bandwidth (200 nm width in FIG. 6) from the excitation wavelength at which each fluorescence spectrum was acquired.
  • the bandwidths of the fluorescence spectra extracted by the connecting unit 131 do not need to be the same for each fluorescence spectrum, and may be different. That is, the region extracted from each fluorescence spectrum by the coupling unit 131 may be a region including the peak wavelength of each fluorescence spectrum, and the wavelength band and bandwidth thereof may be changed as appropriate. At that time, a shift in spectral wavelength due to Stokes shift may be taken into consideration. In this way, by narrowing down the wavelength band to be extracted, it is possible to reduce the amount of data, so it is possible to perform fluorescence separation processing at higher speed.
  • the separation processing unit 132 separates the combined fluorescence spectrum into molecules.
  • FIG. 7 is a block diagram showing a more specific example of the configuration of the separation processing unit 132 of this embodiment.
  • the separation processing section 132 shown in FIG. 7 includes a color separation section 1321 and a spectrum extraction section 1322.
  • the color separation unit 1321 includes, for example, a first color separation unit 1321a and a second color separation unit 1321b, and color-separates the combined fluorescence spectra of the stained sections (also referred to as stained samples) input from the connection unit 131 for each molecule. .
  • the spectrum extraction unit 1322 improves the coupled autofluorescence reference spectrum so that more accurate color separation results can be obtained. That is, the spectrum extraction unit 1322 extracts the connected autofluorescence reference spectrum included in the specimen information input from the information storage unit 121 based on the color separation result by the color separation unit 1321 so that a more accurate color separation result can be obtained. Adjust to.
  • the first color separation unit 1321a performs color separation processing using the combined fluorescence reference spectrum and the combined autofluorescence reference spectrum on the combined fluorescence spectrum of the stained sample input from the connection unit 131. .
  • the combined fluorescence spectrum is separated into spectra for each molecule.
  • the first color separation unit 1321a performs the color separation process using the linked fluorescence reference spectrum included in the reagent information from the information storage unit 121 and the linked autofluorescence reference spectrum included in the specimen information from the information storage unit 121. I do.
  • the color separation process may use, for example, the least squares method (LSM), the weighted least squares method (WLSM), or the like.
  • the spectrum extraction unit 1322 performs spectrum extraction processing on the connected autofluorescence reference spectrum input from the information storage unit 121 using the color separation results input from the first color separation unit 1321a.
  • the spectrum extraction unit 1322 adjusts the combined autofluorescence reference spectrum based on the result, thereby improving the combined autofluorescence reference spectrum so that more accurate color separation results can be obtained.
  • NMF non-negative matrix factorization
  • SVD singular value decomposition
  • the second color separation unit 1321b performs color separation processing on the combined fluorescence spectrum of the dyed sample input from the connection unit 131 using the adjusted combined autofluorescence reference spectrum input from the spectrum extraction unit 1322. . Thereby, the second color separation unit 1321b separates the combined fluorescence spectrum into spectra for each molecule.
  • the color separation process may use, for example, the least squares method (LSM), the weighted least squares method (WLSM), or the like, similarly to the first color separation unit 1321a.
  • FIG. 7 illustrates a case where the adjustment of the coupled autofluorescence reference spectrum is performed only once
  • the present invention is not limited to this. After inputting the color separation result by the second color separation unit 1321b to the spectrum extraction unit 1322 and repeating the process of adjusting the connected autofluorescence reference spectrum again in the spectrum extraction unit 1322 one or more times, the final color separation result is obtained. may be obtained.
  • FIG. 8 shows specific examples of coupled autofluorescence reference spectra when the autofluorescent substances are Hemoglobin, Archidonic Acid, Catalase, Collagen, FAD, NADPH, and ProLongDiamond.
  • FIG. 9 shows a specific example of a combined fluorescence reference spectrum when the fluorescent substances are CK, ER, PgR, and DAPI. Both the coupled fluorescence reference spectrum and the coupled autofluorescence reference spectrum can be generated in the same manner as the coupled fluorescence spectrum by the coupling unit 131, but may also be generated in any other method.
  • the coupled fluorescence reference spectrum and the coupled autofluorescence reference spectrum are defined as a plurality of spectra obtained by a plurality of excitation lights containing the same excitation wavelength as the excitation wavelength used to generate the coupled fluorescence spectrum. It can be generated by concatenating wavelength bandwidth data in the wavelength direction. In this case, it is assumed that the intensities of the excitation light corresponding to each of the plurality of spectra are aligned based on the intensity of the excitation light (for example, excitation power density), but the invention is not necessarily limited to this.
  • the method for generating the coupled fluorescence reference spectrum and the coupled autofluorescence reference spectrum is not limited to the above method.
  • the combined fluorescence reference spectrum and the combined autofluorescence reference spectrum may be generated based on theoretical values, catalog values, etc. of spectra of each substance.
  • the least squares method is a calculation method that calculates the color mixture ratio by fitting a reference spectrum to the fluorescence spectrum, which is the pixel value of each pixel in the input specimen fluorescence spectrum (for example, the stained specimen fluorescence spectrum (stained specimen image)).
  • the color mixing rate is an index indicating the degree to which each substance is mixed.
  • the following formula (1) represents the residual obtained by subtracting the reference spectrum St (fluorescence reference spectrum and autofluorescence reference spectrum) mixed at a color mixing rate a from the fluorescence spectrum (Signal). .
  • Signal is a matrix representing one or more fluorescence spectra.
  • St number of substances ⁇ number of channels
  • a (1 ⁇ number of substances) indicates that a color mixing rate a is set for each substance (fluorescent substance and autofluorescent substance).
  • a is a matrix representing the color mixing rate of each reference spectrum in the fluorescence spectrum.
  • the separation processing unit 132 calculates the color mixing rate a of each substance that minimizes the sum of squares of equation (1) representing the residual.
  • the sum of squares of the residuals is minimized when the result of partial differentiation with respect to the color mixture rate a is 0 for Equation (1) representing the residuals. Therefore, the separation processing unit 132 calculates the color mixing rate a of each substance that minimizes the sum of squares of the residuals by solving Equation (2) below.
  • Equation (2) Equation (2) indicates a transposed matrix of the reference spectrum St.
  • inv(St*St') indicates the inverse matrix of St*St'.
  • the separation processing unit 132 may extract a spectrum for each fluorescent substance from the fluorescence spectrum by performing calculations related to the Weighted Least Square Method instead of the least squares method.
  • weighting is applied so as to emphasize errors at low signal levels, taking advantage of the fact that noise in the fluorescence spectrum (signal), which is a measured value, has a Poisson distribution.
  • the upper limit value at which weighting is not performed in the weighted least squares method is defined as the Offset value.
  • the offset value is determined by the characteristics of the sensor used for measurement, and requires separate optimization when an image sensor is used as the sensor.
  • NMF About non-negative matrix factorization
  • NMF Non-negative matrix factorization
  • SMD singular value decomposition
  • PCA principal component analysis
  • FIG. 5 is a diagram explaining the outline of NMF.
  • the NMF converts a non-negative N-row, M-column (N ⁇ M) into a matrix H.
  • Matrix W and matrix H are determined so that the mean square residual D between matrix A and the product (W*H) of matrix W and matrix H is minimized.
  • matrix A corresponds to the spectrum (N is the number of pixels and M is the number of wavelength channels) before the autofluorescence reference spectrum is extracted.
  • the matrix H corresponds to the extracted autofluorescence reference spectra (k is the number of autofluorescence reference spectra (in other words, the number of autofluorescent substances); M is the number of wavelength channels).
  • the mean square residual D is expressed by the following equation (10). Note that "norm (D, 'fro')" refers to the Frobenius norm of the mean squared residual D.
  • NMF For factorization in NMF, an iterative method is used that starts with random initial values for matrix W and matrix H.
  • the value of k (the number of autofluorescence reference spectra) is essential, but the initial values of matrix W and matrix H are not essential and can be set as options, and the initial values of matrix W and matrix H are set. Then the solution becomes constant.
  • the initial values of the matrix W and the matrix H are not set, these initial values are set at random, and the solution is not constant.
  • the properties of the specimen 20 vary depending on the type of tissue used, the type of disease targeted, the attributes of the subject, the lifestyle habits of the subject, etc., and the autofluorescence spectrum also differs. Therefore, by actually measuring the autofluorescence reference spectrum for each specimen 20 as described above, the information processing apparatus 100 can realize color separation processing with higher accuracy.
  • clustering for example, among stained images, spectra that are similar in the wavelength direction and intensity direction are classified into the same class. As a result, an image with a smaller number of pixels than the stained image is generated, so it is possible to reduce the size of the matrix A' that uses this image as input.
  • the fluorescence information analysis unit 133 performs analysis processing of the image spectrum data (including the dyed fluorescence component image (fluorescence image)) from the separation processing unit 132.
  • the specific processing contents, processing method, and processing results of the analysis processing that can be executed by the fluorescence information analysis unit 133 are not limited.
  • the fluorescence information analysis unit 133 of this embodiment executes analysis processing to derive the fluorescent molecule concentration in the sample (reference sample and/or observation sample) from the fluorescence intensity in the fluorescence image of the sample. Further, the fluorescence information analysis unit 133 executes an analysis process for deriving the thickness of the sample (reference sample and/or observation sample) from the fluorescence image (particularly the focus position characteristics of the fluorescence intensity) of the sample, as necessary. Detailed examples of these analysis processes will be described later.
  • the fluorescence information analysis unit 133 may read data used for analysis processing from the information storage unit 121. Further, the fluorescence information analysis section 133 can store data used in the analysis process and data obtained as a result of the analysis process in the information storage section 121. The data used by the fluorescence information analysis unit 133 for analysis processing and the data obtained as a result of the analysis processing may be provided directly from the fluorescence information analysis unit 133 to various processing units, or may be provided to the information storage unit 121 by the various processing units. It may be read from the file and used for various processing as necessary.
  • data representing the concentration of fluorescent molecules in the sample obtained by the fluorescence information analysis section 133 as a result of analysis processing may be sent to the image generation section 134 and used in image generation processing described below in the image generation section 134.
  • the data representing the concentration of fluorescent molecules in the sample acquired by the fluorescence information analysis section 133 is provided to the display section 140 and the control section 150 and displayed on the display section 140 or It may also be used for control processing.
  • the image generation unit 134 shown in FIG. 1 generates image information based on image spectrum data (including stained fluorescence component images) obtained as a result of a series of processing (including color separation processing for fluorescence spectra) in the separation processing unit 132. generate.
  • the image generation unit 134 may acquire such image spectrum data from the separation processing unit 132 or from a processing unit other than the separation processing unit 132 (for example, the fluorescence information analysis unit 133).
  • the image generation unit 134 generates image information using a fluorescence spectrum corresponding to one or more fluorescent substances, or generates image information using an autofluorescence spectrum corresponding to one or more autofluorescent substances. can be generated.
  • the number and combination of fluorescent substances (molecules) or autofluorescent substances (molecules) used by the image generation unit 134 to generate image information are not particularly limited. Furthermore, when various processes (for example, segmentation, S/N value calculation, etc.) are performed using the separated fluorescence spectrum or autofluorescence spectrum, the image generation unit 134 generates image information indicating the results of the various processes. You can.
  • the display unit 140 presents the image information to the practitioner (user) by displaying the image information generated by the image generation unit 134 on a display.
  • the display unit 140 may also display data acquired by the fluorescence information analysis unit 133 (for example, the fluorescent molecule concentration in the observation sample and various data derived from the fluorescent molecule concentration) on a display to notify the operator. good.
  • the type of display used as the display section 140 is not particularly limited.
  • the image information generated by the image generation unit 134 is presented to the operator by being projected by a projector (display unit 140) or printed by a printer (display unit 140). You can. In other words, the method of outputting image information is not particularly limited.
  • the control unit 150 is a functional configuration that centrally controls the overall processing performed by the information processing device 100.
  • the control unit 150 controls the start and end of various processes as described above based on the operation input by the operator via the operation unit 160.
  • the various processes include, for example, a process for adjusting the placement position of the fluorescently stained specimen 30, a process for irradiating the fluorescently stained specimen 30 with excitation light, a process for acquiring a spectrum, a process for generating an autofluorescence component corrected image, a color separation process, and image information. generation processing, image information display processing, etc.
  • the control content of the control unit 150 is not particularly limited.
  • the control unit 150 may control processing commonly performed in general-purpose computers, PCs, tablet PCs, etc. (for example, processing related to an OS (Operating System)).
  • the operation unit 160 receives operation input from the practitioner (user). More specifically, the operation unit 160 includes various input means such as a keyboard, a mouse, buttons, a touch panel, and/or a microphone, and the operator can input various inputs to the information processing apparatus 100 by operating the input means. It can be carried out. Information regarding inputs made via the operation unit 160 is provided to the control unit 150.
  • the database 200 is a device that manages reagent information, specimen information, and the like. More specifically, the database 200 manages the reagent identification information 11 and the reagent information, and the specimen identification information 21 and the specimen information in association with each other. Thereby, the information acquisition unit 111 can acquire reagent information from the database 200 based on the reagent identification information 11 of the fluorescent reagent 10 and specimen information based on the specimen identification information 21 of the specimen 20.
  • the reagent information managed by the database 200 is assumed to include (but is not necessarily limited to) a measurement channel specific to the fluorescent substance of the fluorescent reagent 10 and a linked fluorescence reference spectrum.
  • "Measurement channel” is a concept indicating a fluorescent substance contained in the fluorescent reagent 10, and in the example of FIG. 9, it is a concept indicating CK, ER, PgR, and DAPI. Since the number of fluorescent substances varies depending on the fluorescent reagents 10, the measurement channels are managed in association with each fluorescent reagent 10 as reagent information. Further, the linked fluorescence reference spectrum included in the reagent information is, as described above, the fluorescence spectra of each of the fluorescent substances included in the measurement channel linked in the wavelength direction.
  • the specimen information managed by the database 200 is assumed to include (but is not necessarily limited to) a measurement channel specific to the autofluorescent substance of the specimen 20 and a coupled autofluorescence reference spectrum.
  • "Measurement channel” is a concept indicating an autofluorescent substance contained in the specimen 20, and in the example of FIG. 8, it is a concept indicating Hemoglobin, Archidonic Acid, Catalase, Collagen, FAD, NADPH, and ProLongDiamond. Since the number of autofluorescent substances varies depending on the specimen 20, the measurement channels are managed in association with each specimen 20 as specimen information.
  • the linked autofluorescence reference spectrum included in the sample information is, as described above, the autofluorescence spectra of each of the autofluorescent substances included in the measurement channel linked in the wavelength direction.
  • the information managed by the database 200 is not necessarily limited to the above.
  • the above system configuration described with reference to FIG. 1 is just an example, and the configuration of the information processing system described above is not limited to the above example.
  • the information processing device 100 does not necessarily have to include all of the configurations shown in FIG. 1, or may include configurations that are not shown in FIG.
  • the above-mentioned information processing system may include an imaging device (for example, a scanner) that acquires a fluorescence spectrum of a sample, and an information processing device 100 that performs processing using the fluorescence spectrum.
  • the fluorescence signal acquisition unit 112 shown in FIG. 1 may be realized by an imaging device.
  • the above-mentioned information processing system may include an imaging device that acquires a fluorescence spectrum of a sample, and software used for processing using the fluorescence spectrum.
  • the information processing system does not need to have a physical configuration (for example, a memory, a processor, etc.) that stores or executes the software.
  • the software may be provided to the information processing apparatus 100 via a network (for example, from a website, a cloud server, etc.), or may be provided to the information processing apparatus via an arbitrary storage medium (for example, a disk, etc.).
  • the information processing device 100 on which the software is executed may be a variety of servers (for example, a cloud server, etc.), a general-purpose computer, a PC, a tablet PC, or the like.
  • the method and information processing device by which the software is provided to the information processing device 100 are not limited to the above-described embodiment.
  • the configuration of the information processing system is not limited to the above-mentioned form, and the above-described information processing system can be realized by a configuration that can be devised by a person skilled in the art based on the technical level at the time of use.
  • the information processing system described above may be realized as a microscope system.
  • FIG. 10 is a diagram showing a schematic configuration of an example of a microscope system (information processing system).
  • the microscope system of this embodiment is configured as a line confocal microscope system, and includes a measurement system that acquires an image of the entire imaging region or region of interest by line scanning.
  • the image acquisition method in the microscope system is not limited; for example, the technology of the microscope system of this embodiment can be applied to a confocal microscope system that adopts a method other than the line scan method. It is.
  • the "confocal microscope” referred to in the following description includes a "line confocal microscope", and a line confocal microscope may also be simply referred to as a confocal microscope.
  • the description regarding the line confocal microscope basically applies to other confocal microscopes as well.
  • the information processing system shown in FIG. 10 includes a measurement system and an information processing device 100.
  • the measurement system includes an XY stage 501, an excitation light source 510, a beam splitter 511, an objective lens 512, a spectrometer 513, and a photodetector 514.
  • the XY stage 501 is a stage on which the fluorescently stained specimen 30 (or specimen 20) to be analyzed is placed, and is movable in a plane (XY plane) parallel to the mounting surface of the fluorescently stained specimen 30 (or specimen 20). It is.
  • the excitation light source 510 is a light source that emits excitation light to excite the fluorescently stained specimen 30 (or specimen 20), and emits, for example, a plurality of excitation lights having different wavelengths along a predetermined optical axis.
  • the fluorescent molecules are evenly distributed in the fluorescently stained specimen 30, it is not necessarily necessary to use a variable wavelength laser light source as the excitation light source 510, and the measurement system can be configured using a simple and/or inexpensive optical system. sell.
  • the beam splitter 511 is composed of, for example, a dichroic mirror, and reflects the excitation light from the excitation light source 510 and transmits the fluorescence from the fluorescently stained specimen 30 (or specimen 20).
  • the objective lens 512 irradiates the excitation light reflected by the beam splitter 511 onto the fluorescently stained specimen 30 (or specimen 20) on the XY stage 501.
  • the spectrometer 513 is configured using one or more prisms, lenses, etc., and spectrally spectra the fluorescence emitted from the fluorescently stained specimen 30 (or specimen 20) and transmitted through the objective lens 512 and beam splitter 511 in a predetermined direction.
  • the photodetector 514 detects the light intensity of each wavelength of the fluorescence separated by the spectrometer 513, and uses the obtained fluorescence signal (fluorescence spectrum and/or autofluorescence spectrum) to acquire the fluorescence signal of the information processing device 100. 112 (see FIG. 1).
  • the XY stage 501 is moved for each photographing to move the field of view.
  • the field of view is photographed sequentially.
  • tiling the image data obtained by photographing each field of view also referred to as "field of view image data”
  • wide field of view image data of the entire photographing area is generated.
  • the generated wide-field image data is stored, for example, in the fluorescence signal storage unit 122 (see FIG. 1).
  • tiling of the visual field image data may be executed in the acquisition unit 110 of the information processing device 100, may be executed in the storage unit 120, or may be executed in the processing unit 130.
  • the processing unit 130 executes the above-described processing on the wide-field image data obtained in this manner, thereby obtaining, for example, a fluorescence separated image for each fluorescent molecule (or an autofluorescence separated image for each autofluorescent molecule). be able to.
  • FIG. 11 is a conceptual diagram of an example of an information processing system 102 including an information processing device 100 and a measurement system 101.
  • the information processing system 102 (particularly the measurement system 101) irradiates a fluorescently stained specimen 30 (sample) with excitation light L1, and detects fluorescence L2 (especially The fluorescence L2) after spectroscopy is imaged. As a result, a fluorescence spectrum 210 (fluorescence image) of the fluorescently stained specimen 30 is obtained.
  • a linear excitation light L1 extending in the x direction is irradiated onto the fluorescently stained specimen 30 at once, and imaging is performed while the excitation light L1 and the fluorescently stained specimen 30 move relatively in the y direction perpendicular to the x direction. It will be done. Note that if the x-direction range of the imaging area of the fluorescently stained specimen 30 is larger than the x-direction range of the linear excitation light L1, the scanning position of the excitation light L1 on the fluorescently stained specimen 30 is sequentially shifted in the x direction. Imaging is performed while
  • the measurement system 101 images and acquires a fluorescence spectrum 210 configured as three-dimensional data (x, y, ⁇ ). That is, the fluorescence spectrum 210 acquired by the measurement system 101 includes a plurality of image information data, each image information data being image information of an xy plane, and a plurality of xy spectra having different wavelengths/wavelength bands ( ⁇ ) regarding the same xy plane. A planar image is included in the fluorescence spectrum 210.
  • the fluorescence spectrum 210 acquired by the measurement system 101 in this manner is provided to the information processing device 100 and undergoes various processes (see FIG. 1) in the information processing device 100.
  • Fluorescence information analysis Next, an example of fluorescence information analysis performed by the fluorescence information analysis section 133 (see FIG. 1) described above will be described.
  • fluorescence intensity characteristics characteristics of the fluorescence intensity in a fluorescence image captured by a confocal microscope depending on the focal position. This will be explained by comparing it with the fluorescence intensity characteristics of the image.
  • the description regarding the "thickness" of the sample (specimen) is, in principle, the description regarding the “thickness in the optical axis direction of the measurement system (confocal microscope)".
  • FIG. 12A is a conceptual diagram showing an example of a method for imaging a fluorescently stained specimen 30 (observation sample) using a normal microscope (measurement system) not equipped with a confocal optical system.
  • FIGS. 12B and 12C are conceptual diagrams showing an example of a method for imaging a fluorescently stained specimen 30 using a line confocal microscope.
  • the fluorescently stained specimen 30 shown in FIGS. 12A to 12C emits fluorescence L2 when it is irradiated with linear excitation light L1 while housed in each of a plurality of column-shaped containers.
  • the thickness d1 of the fluorescently stained specimen 30 in FIG. 12B is different from the thickness d2 of the fluorescently stained specimen 30 in FIG. 12C.
  • cell tissues are stained using a fluorescent antibody reagent that binds to the specific protein.
  • fluorescent antibody reagent that binds to the specific protein. Fluorescent molecules bound and fixed to specific proteins in cells emit fluorescence with unique wavelength characteristics when excited by excitation light.
  • a specific protein (antigen) in a cell is detected based on the fluorescence intensity in a captured image (fluorescence image) of a cell tissue, which is obtained by irradiating excitation light onto a fluorescently stained cell tissue and the fluorescent molecules are emitting fluorescence.
  • the density (concentration) of can be quantified.
  • the concentration of fluorescent molecules in the observation sample can be derived. .
  • the fluorescence intensity in the fluorescence image depends on the focal position of the optical system used for imaging. Does not depend or does not depend much.
  • the concentration of fluorescent molecules can be determined from the fluorescence intensity in the fluorescence image in a simple manner.
  • a fluorescence image of a reference sample that has been fluorescently stained and has a known number of fluorescent molecules per unit area (fluorescent molecule concentration) is captured, and the fluorescence intensity in the fluorescence image is derived. Then, the fluorescence intensity ratio between the fluorescence image of the reference sample and the fluorescence image of the observed sample is determined, and by multiplying the fluorescence intensity ratio by the fluorescent molecule concentration of the reference sample, the fluorescent molecule concentration of the observed sample is calculated. Calculated.
  • the observation sample can be calculated based on the fluorescence intensity of the observation sample's fluorescence image without considering the fluorescence intensity characteristics of the observation sample. It is possible to accurately calculate the concentration of fluorescent molecules inside. This is because in fluorescence images captured by a general dark-field microscope, although image blur may occur depending on the focal position, the total fluorescence intensity within the fluorescence image does not depend on the focal position, or it hardly depends on the focal position. It is.
  • a fluorescently stained specimen 30 is irradiated with excitation light L1, and fluorescence L2 emitted from each fluorescent molecule of the fluorescently stained specimen 30 is transmitted to an image sensor via an optical system and a spectrometer (not shown). The light is received by 60.
  • the focal position of the optical system changes, the total intensity of the fluorescence L2 (fluorescence spectrum) emitted from the fluorescently stained specimen 30 having the thickness d and received by the image sensor 60 basically does not change.
  • the fluorescence intensity in the fluorescence image largely depends on the focal position of the optical system used for imaging. Therefore, in order to appropriately determine the concentration of fluorescent molecules from the fluorescence intensity in the fluorescence image of the observation sample, it is necessary to determine the concentration of fluorescent molecules in the observation sample by considering the focus dependence of the fluorescence intensity in the fluorescence image.
  • a light passage restricting element 61 shading plate having a slit 62 is provided between the fluorescently stained specimen 30 and the image sensor (not shown).
  • the image sensor not shown.
  • the fluorescence L2 emitted from the fluorescent molecules in the fluorescently stained specimen 30 that have been irradiated with the linear excitation light L1 and excited only the fluorescence L2 that has passed through the slit 62 is received by the image sensor.
  • a one-dimensional fluorescence spectrum of the fluorescently stained specimen 30 is imaged and acquired.
  • imaging of the fluorescently stained specimen 30 is continuously performed while the excitation light L1 and the fluorescently stained specimen 30 move relative to each other, so as a result, a planar image (xy A planar image (fluorescence spectrum image) is captured.
  • the fluorescence intensity in a fluorescence image captured using an optical system incorporating a slit in this manner shows dependence on the focal position.
  • an optical system including a light passage restricting element a light shielding plate having a slit
  • a light shielding plate having a slit that restricts the passage of fluorescence toward the image sensor has the characteristics of a confocal optical system.
  • Fluorescence emitted from fluorescent molecules located at the focal plane (focal plane) of the fluorescently stained specimen passes through the slit and is appropriately received by the image sensor.
  • the image sensor On the other hand, at least a portion of the fluorescence emitted from the fluorescent molecules located back and forth in the focal depth direction from the focal plane cannot pass through the slit and is not received by the image sensor.
  • the fluorescence intensity in the fluorescence image captured by a confocal microscope is higher than that captured by a normal microscope (see FIG. 12A). It does not match the fluorescence intensity in the fluorescence image.
  • the line confocal microscope see FIGS. 12B and 12C
  • part of the fluorescence is blocked by the light passage restriction element, so the fluorescence intensity in the fluorescence image captured by the line confocal microscope is higher than that captured by a normal microscope. This tends to be underestimated compared to the fluorescence intensity in fluorescence images.
  • the relationship between the fluorescence intensity in the fluorescence image and the concentration of fluorescent molecules in the observation sample becomes smaller than the relationship between the fluorescence intensity and the concentration of fluorescent molecules in the fluorescence image captured by a normal microscope.
  • the above-described simple method based on fluorescence images captured by a conventional microscope cannot appropriately determine the concentration of fluorescent molecules in an observation sample from the fluorescence intensity in the fluorescence image captured by a confocal microscope.
  • the ratio of fluorescence intensities between samples of different thickness is the ratio of the total number of fluorescent molecules contained in the sample. is not necessarily proportional to. Therefore, when analyzing a fluorescence image captured by a confocal microscope, it is necessary to take into account the thickness of the sample and the dependence of fluorescence detection sensitivity on the focal position.
  • the reference sample has the same thickness as the observation sample and that fluorescent molecules are uniformly distributed in the reference sample, calculate the fluorescence intensity emitted from a unit of fluorescent antibody per unit area from the fluorescence image of the reference sample. Obtainable. Based on the relationship between the fluorescence intensity and fluorescent molecule concentration obtained from the fluorescence image of the reference sample in this way, the number of fluorescent molecules per unit area of the observation sample is determined from the fluorescence intensity ratio between the reference sample and the observation sample. (fluorescent molecule concentration) can be determined.
  • the appropriate thickness (thickness in the optical axis direction) required for the observation sample may differ depending on the type of cell.
  • thin film section samples obtained by slicing cells several ⁇ m (micrometers) thick using a slicer are often used as observation samples, but there are limits to the accuracy of the thickness of such observation samples. . Therefore, it is assumed that observation samples having various thicknesses are used in a confocal microscope.
  • the "thickness dependence of focal characteristics" of reference samples of various thicknesses is measured in advance, and a table based on the measurement results is used to correct the nonlinearity of the fluorescence intensity in the fluorescence image of the observation sample with respect to the thickness of the observation sample. It is possible to do so. However, since the dependence of the fluorescence intensity in the fluorescence image of the sample on the thickness of the sample also changes depending on the following factors, such correction does not necessarily fully optimize the fluorescence intensity in the fluorescence image.
  • the focal characteristics of an observation sample having an arbitrary thickness are estimated based on the measurement results of the focus dependence of the fluorescence intensity of a fluorescently stained reference sample, based on the concept of layered synthesis described later. Ru.
  • the above method for accurately obtaining the thickness of the reference sample can also be used to accurately obtain the thickness of the observation sample.
  • FIG. 13 is a diagram illustrating, using a fluorescently stained specimen 30, the concept of layered synthesis of fluorescence intensities in fluorescence images of the fluorescently stained specimen 30 captured by a confocal microscope.
  • the inventor of the present invention has determined that the focal characteristics of a fluorescent image of a fluorescent stained specimen 30 having a certain thickness in the focal direction (i.e., the optical axis direction) are different from those of a fluorescent image of a fluorescent stained specimen 30 having a smaller thickness.
  • a new method of approximately representing it by composition (addition) is a new method of approximately representing it by composition (addition).
  • a plurality of divided fluorescently stained specimens 30-1 to 30-5 are assumed to be obtained by dividing the fluorescently stained specimen 30 into a plurality of parts (five in the example of FIG. 13) in the optical axis direction.
  • the original fluorescence staining is performed using the fluorescence intensity characteristics obtained by combining (adding) the fluorescence intensity characteristics of the fluorescence L2-1 to L2-5 emitted from the plurality of divided fluorescently stained specimens 30-1 to 30-5.
  • the fluorescence intensity characteristics of the specimen 30 are approximated.
  • fluorescent staining is performed by synthesizing the fluorescence intensity characteristics in the fluorescent images obtained while shifting the divided fluorescently stained specimen having a smaller thickness in the thickness direction (optical axis direction).
  • the fluorescence intensity characteristics of the entire specimen 30 can be approximately obtained.
  • FIG. 14 is a diagram illustrating, using a graph, the concept of layered synthesis of fluorescence intensities in fluorescence images of fluorescently stained specimens captured by a confocal microscope.
  • the vertical axis in FIG. 14 indicates the fluorescence intensity in a fluorescence image captured by a confocal microscope.
  • the horizontal axis in FIG. 14 indicates the focal position of the optical system used to capture the fluorescence image, and the reference focal position is indicated by the origin (“0 (zero)”).
  • FIG. 14 shows the fluorescence intensity characteristics q1 to q3 for each of the three divided fluorescently stained specimens, and the calculated value Qc (solid line) and measured value Qr (dotted line) of the fluorescence intensity characteristics of the fluorescently stained specimen. .
  • the calculated value Qc of the fluorescence intensity characteristic of the fluorescently stained specimen is obtained by combining (adding) the fluorescence intensity characteristics q1 to q3 for each of the three divided fluorescently stained specimens.
  • the measured value Qr of the fluorescence intensity characteristic of the fluorescently stained specimen is derived based on the fluorescence intensity in a fluorescence image of the fluorescently stained specimen that is imaged and acquired using a confocal microscope while changing the focal position of the optical system. Both the calculated value Qc and the measured value Qr of the fluorescence intensity characteristics of the fluorescently stained specimen shown in FIG. 14 have a maximum value (peak value) at the reference focal point position (0).
  • the present inventor has developed a new method to obtain the fluorescence intensity characteristics of a virtual reference sample having an arbitrary thickness (desired thickness) based on the fluorescence intensity characteristics of the actual reference sample.
  • the method was further devised. Thereby, it is possible to calculate the fluorescence intensity characteristics of a virtual reference sample having the same thickness as the observed sample.
  • the fluorescence intensity characteristics of the virtual reference sample calculated in this way are based on the reference standard data (in particular, the reference fluorescence concentration).
  • FIG. 15A is a diagram illustrating the acquisition of fluorescence intensity characteristics of a reference sample with a desired thickness using a physical image.
  • FIG. 15B is a diagram illustrating acquisition of fluorescence intensity characteristics of a reference sample with a desired thickness using a graph.
  • FIG. 15B shows an example of the reference thickness reference fluorescence intensity characteristic 35 based on the focal position (vertical axis) and the fluorescence intensity (horizontal axis), and also shows the focal position (vertical axis) and "0, 1" (horizontal axis).
  • a rectangular function (desired thickness rectangular function 36) corresponding to the desired thickness is shown based on the axis).
  • the fluorescence intensity characteristic of the reference sample having the standard thickness (in this embodiment, the infinitely thin thickness) ( A standard thickness reference fluorescence intensity characteristic 35) is derived.
  • “Infinitely thin thickness” as used herein means a thickness as close to 0 ⁇ m as possible.
  • a range (desired thickness rectangular function 36) corresponding to the desired thickness (2d) of the reference sample a plurality of fluorescence intensity characteristics obtained by shifting the reference thickness reference fluorescence intensity characteristics 35 by the reference thickness are synthesized. . Thereby, the fluorescence intensity characteristics of the reference sample having the desired thickness (2d) can be obtained.
  • the reference thickness reference fluorescence intensity characteristic 35 described above is calculated by deconvoluting the fluorescence intensity characteristic of the reference sample imaged and acquired by a confocal microscope and the actual thickness of the reference sample.
  • the fluorescence intensity characteristic of the reference sample having the above-mentioned desired thickness (2d) is calculated by convolution of the reference thickness reference fluorescence intensity characteristic 35 and the desired thickness rectangular function 36.
  • f s (x) represents the fluorescence intensity characteristic of a reference sample having a desired thickness
  • F L (k) represents the fluorescence intensity characteristic of the actual reference sample imaged by a confocal microscope.
  • reference fluorescence intensity characteristic represents a function after Fourier transformation of a rectangular wave (rectangular function) corresponding to the thickness of the actual reference sample
  • G s (k) represents a function after Fourier transformation of a rectangular wave (rectangular function) corresponding to the desired thickness. represents the function after the Fourier transform of the function).
  • F ⁇ 1 [k][x] is an operator representing inverse Fourier transform.
  • the inventor of the present invention applied the logic for calculating the fluorescence intensity characteristics of a virtual reference sample of a desired thickness based on Equation 1 above, and calculated the fluorescence intensity characteristics of the actual reference sample from the fluorescence intensity characteristics of the actual reference sample.
  • the reference sample having the desired thickness can be calculated by convolving the function representing the fluorescence intensity characteristic of the reference sample having the standard thickness (infinitely thin thickness) with the rectangular function corresponding to the desired thickness. It can be seen that the fluorescence intensity characteristics are calculated.
  • FIG. 16 is a graph representing the function F( ⁇ ) derived by Fourier transform (FFT: Finite Fourier Transform) of the fluorescence intensity characteristics of the sample.
  • FFT Fourier transform
  • the origin is set at the position where the Fourier transform function shows a peak value, and the Fourier transform function shows "0 (zero)" at the zero crossing point (z, -z).
  • FIG. 17 is a conceptual diagram for explaining a convolution operation using Fourier transform and inverse Fourier transform.
  • the Fourier transform function of the fluorescence intensity characteristics of a reference sample with a desired thickness is the Fourier transform function of the fluorescence intensity characteristics of an infinitely thin reference sample, and the Fourier transform function of a rectangular function with a desired thickness. is equal to the inner product of That is, the Fourier transform function of the fluorescence intensity characteristic of the reference sample with the desired thickness is equal to the inner product of the reference thickness reference fluorescence intensity characteristic 35 and the desired thickness rectangular function 36.
  • the Fourier transform function of the rectangular function corresponding to the actual thickness of the reference sample becomes zero, the Fourier transform function of the actual fluorescence intensity characteristic of the reference sample always becomes zero. Therefore, the actual thickness of the reference sample can be derived from the zero point position in the Fourier transform function of the actual fluorescence intensity characteristics of the reference sample.
  • the zero point position in the Fourier transform function of the fluorescence intensity characteristics of the reference sample is in addition to the zero point position originating from the zero point ("d" and "-d") of the rectangular function, as well as the zero point position originating from the thickness of the reference sample. Note that point locations may also be included. Therefore, when determining the thickness of the reference sample based on the above calculation, select the one that best matches the expected value of the actual thickness of the reference sample from among multiple combinations of zero point positions in the Fourier transform function of the fluorescence intensity characteristics of the reference sample. It may be necessary to select compatible combinations.
  • the fluorescence intensity in the following explanation of the information processing method is the intensity of fluorescence emitted by a specific fluorescent reagent used for staining the observation sample, and is the intensity of the image spectrum data after color separation processing in the separation processing unit 132 (see FIG. 1). Fluorescence images).
  • the specific configuration of the information processing system that executes the following information processing method is not limited.
  • the fluorescence information analysis section 133 can perform various processes using fluorescence images described below.
  • FIG. 18 is a flow diagram illustrating an example of a process for acquiring reference standard data.
  • ⁇ Preparation of reference sample> First, a reference sample is prepared, and the concentration of fluorescent molecules in the reference sample is obtained (S1 in FIG. 18).
  • a reference sample may be prepared by sealing a sample in a container with a liquid in which a desired concentration of phosphor is dissolved.
  • a reference sample may be made by encapsulating a sample and a fluorescent material in solid glass and making fluorescent glass with a desired thickness from the solid glass.
  • a reference sample may be prepared by placing a cell tissue and a phosphor in a container between flat glasses having a desired spacing (usually a spacing of several ⁇ m to several tens of ⁇ m).
  • the cell tissue used for the reference sample is usually collected from substantially the same site as the cell tissue used for the observation sample.
  • the reference sample may be made to have a greater thickness than the observation sample.
  • the thickness of the reference sample is not limited, and may be less than or equal to the thickness of the observation sample.
  • the fluorophore used in the preparation of the reference sample is the fluorophore (fluorescent reagent) used for staining the observation sample, or the fluorophore that exhibits fluorescence wavelength characteristics equivalent to that of the fluorescent reagent.
  • the concentration of fluorescent molecules in the reference sample is, for example, known data obtained from the concentration of the fluorescent substance in the material used during the production of the reference sample (including the production of the material from which the reference sample is made).
  • the fluorescence intensity characteristics of the reference sample are acquired by an information processing system including the above-described line confocal microscope and information processing device (S2). Specifically, a plurality of fluorescence images of the reference sample are acquired using a line confocal microscope while changing the focal position z of the optical system.
  • the fluorescence imaging of the reference sample and the fluorescence imaging of the observation sample are performed using the same line confocal microscope (in particular, the same optical system).
  • the fluorescence imaging of the reference sample and the fluorescence imaging of the observation sample may be performed using different line confocal microscopes (particularly different optical systems).
  • "different line confocal microscopes (particularly different optical systems)" exhibiting substantially the same optical properties (particularly focal properties) are used to image the fluorescence of the reference sample and the fluorescence of the observation sample.
  • a plurality of fluorescence images of the reference sample obtained in this manner are analyzed by the information processing device, and a fluorescence intensity characteristic f(z) of the reference sample is derived.
  • the thickness of the reference sample is calculated from the zero point position of the Fourier transform function F(k) of the fluorescence intensity characteristic f(z) of the reference sample (S3).
  • the absolute value of the complex number is zero or values close to zero constitute a data string that is approximately symmetrical about the focal position.
  • the thickness of the reference sample (thickness candidates) corresponding to each of multiple pairs of zero points showing symmetry around the origin is calculated, and the thickness of the reference sample is considered to be closest to the thickness of the reference sample from among the multiple thickness candidates.
  • Select thickness candidates are used.
  • the thickness candidates selected in this way can be regarded as the "actual thickness of the reference sample.”
  • the number of zero point pairs in the Fourier transform function F(k) of the fluorescence intensity characteristics of the actual reference sample is usually several (for example, about 2 to 5), and the number of zero point pairs is selected from among multiple thickness candidates. It is fully possible to select the thickness candidate that is considered to be closest to the thickness.
  • FIGS. 19A to 19C are diagrams illustrating an example of estimating the thickness of a reference sample.
  • FIG. 19A shows the fluorescence intensity characteristics of the reference sample in real space.
  • FIG. 19B shows the fluorescence intensity characteristic of the reference sample in Fourier space, which corresponds to the fluorescence intensity characteristic in real space of FIG. 19A.
  • FIG. 19C shows an enlarged view of the range indicated by the symbol "XIXC" among the fluorescence intensity characteristics shown in FIG. 19B.
  • the inventor of the present invention verified whether the thickness of the reference sample calculated based on the estimation method described above matches the actually measured value of the thickness of the reference sample.
  • an information processing system equipped with a line confocal microscope acquires the fluorescence intensity characteristics of each of two reference samples with thicknesses of 20 ⁇ m and 6.6 ⁇ m (see FIG. 19A), and performs a Fourier transform of the fluorescence intensity characteristics using FFT. A function was derived (see Figure 19B). At this time, the fluorescence intensity characteristics of the reference sample were divided into 10240 parts in the focal position range of "-1024 ⁇ m to +1024 ⁇ m". One scale in the Fourier transform function of the fluorescence intensity characteristic obtained in this way corresponds to "2 ⁇ /1024 ⁇ m".
  • the zero cross width (2z) was approximately “103”. Further, in the Fourier transform function of the fluorescence intensity characteristics of the reference sample having a thickness of 6.6 ⁇ m, the zero cross width (2z) was approximately “310”.
  • the thickness of the reference sample calculated based on the above-mentioned estimation method sufficiently matches the actual measured value of the thickness of the reference sample.
  • the fluorescence intensity characteristics (reference fluorescence intensity) of a reference sample having the same thickness as the observation sample are calculated according to the above equation 1 (layered synthesis).
  • the Fourier transform function (F L (k)) of the fluorescence intensity characteristics of the actual reference sample is the "Fourier transform function of the fluorescence intensity characteristics of the reference sample" used to calculate the thickness of the reference sample. May be used.
  • the "Fourier transform function of the actual reference sample thickness" (G L (k)) is the actual thickness of the reference sample calculated from the fluorescence intensity characteristics of the reference sample as described above (see FIGS. 19A to 19C). can be obtained by Fourier transform.
  • a reference thickness reference fluorescence intensity characteristic 35 (see FIGS. 15A and 15B) is calculated by deconvolution calculation (F L (k)/G L (k)) of the fluorescence intensity characteristic of the reference sample and the thickness of the reference sample. (S4).
  • the reference thickness reference fluorescence intensity characteristic 35 obtained in this manner represents the fluorescence intensity characteristic of a reference sample having an infinitely thin thickness. Therefore, by convolving the reference thickness reference fluorescence intensity characteristic 35 and the rectangular function (desired thickness rectangular function 36) corresponding to the thickness of the observation sample, the fluorescence intensity characteristic (reference fluorescence intensity) of the reference sample having the same thickness as the observation sample is calculated. (S5).
  • the reference thickness reference fluorescence intensity characteristic 35 (Fourier reference thickness reference fluorescence intensity characteristic) expressed as a Fourier transform function and the Fourier transform function (G s (k); Multiplication (inner product) with the Fourier observation sample thickness function is performed. Then, by performing the inverse Fourier transform of the Fourier transform function (Fourier desired thickness fluorescence intensity characteristic) obtained as a result of the multiplication, the real space fluorescence intensity characteristic ( A desired thickness fluorescence intensity characteristic (reference fluorescence intensity) is obtained.
  • Equation 1 ⁇ Avoiding division by zero>
  • G L (k) Frier transform function of the actual thickness of the reference sample
  • Equation 5 as in Equation 1, "f s (x)” represents the fluorescence intensity characteristic of the reference sample having a desired thickness, and “F L (k)” represents the fluorescence intensity characteristic of the reference sample imaged by a confocal microscope. Represents the fluorescence intensity characteristics of the sample.
  • “G L (k)” represents a function after Fourier transformation of a rectangular wave (rectangular function) corresponding to the actual thickness of the reference sample
  • G s (k) represents a function after Fourier transformation of a rectangular wave (rectangular function) corresponding to the desired thickness. represents the function after the Fourier transform of the function).
  • “F ⁇ 1 [k][x]” is an operator representing inverse Fourier transform.
  • G L * (k) represents the complex conjugate of "G L (k)".
  • ⁇ represents an infinitesimal number other than "0 (zero)".
  • Equation 5 each of the numerator and denominator of Equation 1 above is multiplied by the complex conjugate (G L * (k)) of a square wave Fourier transform function corresponding to the actual thickness of the reference sample. Further, in the above equation 5, the square of the infinitesimal number ( ⁇ 2 ) is added to the denominator.
  • F L (k)/G L (k) in Equation 1 and "F L (k) ⁇ G L * (k)/(G L * (k) ⁇ G L (k) + ⁇ 2" in Equation 5 ) )” represents the Fourier transform function of the fluorescence intensity characteristics of a reference sample with an infinitely thin thickness.
  • FIG. 20 is a graph illustrating, in Fourier space, the process of calculating the fluorescence intensity characteristics of a virtual reference sample having the same thickness as the observed sample.
  • F1 (dotted line) represents the fluorescence intensity characteristic (F L (k)) of the reference sample imaged by a confocal microscope.
  • F2 one-dot chain line
  • F2 represents a conversion function for converting the fluorescence intensity characteristics of the reference sample to the fluorescence intensity characteristics of the observation sample, and " F2" on the right side of each of the above equations 1 and 5.
  • (k)" corresponds to a set of items other than ".
  • F3 solid line
  • the inventor of the present invention used an actual reference sample having a thickness of "20 ⁇ m" in the optical axis direction to evaluate the fluorescence intensity characteristics of a hypothetical reference sample having a desired thickness of "6.6 ⁇ m” in the optical axis direction. Calculated according to the method described above. On the other hand, the present inventor prepared an actual reference sample having a thickness of "6.6 ⁇ m" in the optical axis direction, and acquired fluorescence intensity characteristics based on actual measurements of the reference sample.
  • FIG. 21A shows the fluorescence intensity characteristics of a virtual reference sample having a desired thickness obtained through calculation processing and the fluorescence intensity characteristics of an actual reference sample having a desired thickness obtained from actual measurements in Fourier space. This is a graph for comparison.
  • FIG. 21A shows only a part of the fluorescence intensity characteristics of the reference sample (in particular, only the range near the central singular point in the fluorescence intensity characteristics of the reference sample).
  • FIG. 21B is a graph showing an enlarged range indicated by the symbol "XXIB" in FIG. 21A.
  • F1 (dotted line) represents the fluorescence intensity characteristic (F L (k)) of the reference sample imaged by a confocal microscope.
  • F2 (dotted chain line) represents a conversion function for converting the fluorescence intensity characteristics of the reference sample to the fluorescence intensity characteristics of the observation sample.
  • F3 (thin solid line) represents the fluorescence intensity characteristic of a reference sample having a desired thickness, which is obtained based on actual measurement values.
  • F4" (thick solid line) represents the fluorescence intensity characteristic of a reference sample having a desired thickness, which is obtained by the inner product of F1 and F2.
  • FIG. 22A is a graph showing the same "fluorescence intensity characteristics of the reference sample" as FIGS. 21A and 21B, but includes a range not shown in FIGS. 21A and 21B.
  • FIG. 22B shows a graph obtained by applying a singularity correction filter to the graph shown in FIG. 22A (in particular, the fluorescence intensity characteristic F4 of a reference sample having a desired thickness obtained by calculation processing).
  • the fluorescence intensity characteristic (F4) of the virtual reference sample with the desired thickness obtained by the above calculation process suddenly becomes steep at the second singularity and at a higher-order singularity. (also referred to as "spurious" behavior). Such spurs that may occur in the fluorescence intensity characteristic (F4) of the reference sample are considered to represent the limits of measurement accuracy and model accuracy.
  • the range (area) occupied by spurious signals in the fluorescence intensity characteristics of the reference sample is sufficiently small. Therefore, the influence of the spurious on the calculation results of the fluorescence intensity characteristics of the reference sample having the desired thickness is very small.
  • smoothing processing may be further performed to reduce spurious on the "fluorescence intensity characteristics of a reference sample having a desired thickness" obtained as a result of the above-described calculation processing (see FIG. 22B).
  • the specific processing content of such smoothing processing is not limited.
  • smoothing processing is performed on the Fourier transform function (Fourier desired thickness fluorescence intensity characteristic) of the "fluorescence intensity characteristic of a reference sample having a desired thickness", and the data of the singular point in the Fourier desired thickness fluorescence intensity characteristic is It may be corrected based on data before and after the singular point.
  • the singular point correction filter applied to the Fourier desired thickness fluorescence intensity characteristic, the data of the singular point of the Fourier desired thickness fluorescence intensity characteristic becomes linear based on the data before and after the data of the singular point.
  • the data obtained by interpolation may be modified.
  • FIG. 23 is a graph showing, in real space, an example of the measured values (F3) and calculated values (F4) of the fluorescence intensity characteristics of a reference sample having a desired thickness.
  • reference standard data is obtained (S6 in FIG. 18).
  • FIG. 24A is a flow diagram illustrating an example of a process for obtaining the concentration of fluorescent molecules in an observation sample.
  • an observation sample is prepared (S11 in FIG. 24A). Preparation of the observation sample can be performed by any method.
  • the observation sample is produced using a method similar to that for producing the reference sample described above (see S1 in FIG. 18).
  • the fluorescence intensity in the fluorescence image of the observation sample is acquired by the information processing system including the above-described line confocal microscope and information processing device (S12 in FIG. 24A). Specifically, the fluorescence intensity in the fluorescence image of the observation sample is acquired using the same method as the acquisition of the fluorescence intensity characteristics of the reference sample described above (see S2 in FIG. 18).
  • the fluorescence image of the observation sample may be captured only at a single focal position (for example, the origin). That is, the line confocal microscope may acquire a fluorescence image of the observation sample by imaging the observation sample while the focal position of the optical system is fixed.
  • the concentration of fluorescent molecules in the observation sample is calculated from the fluorescence intensity of the observation sample in light of the reference standard data (S13 in FIG. 24A).
  • the reference standard data used in the calculation process is obtained from the fluorescent molecule concentration and fluorescence intensity characteristics of the reference sample (see S1 to S6 in FIG. 18).
  • the fluorescent molecule concentration ratio between the reference sample and the observation sample is equal to the ratio of fluorescence intensities in the fluorescence images between the reference sample and the observation sample. Therefore, the fluorescence intensity ratio between the reference sample and the observation sample is calculated from the fluorescence intensity of the observation sample obtained in step S12 described above and the corresponding fluorescence intensity of the reference sample obtained from the reference standard data. Then, the fluorescent molecule concentration in the observed sample is derived by multiplying the reference fluorescent molecule concentration obtained from the reference standard data by the fluorescence intensity ratio of the reference sample and the observed sample.
  • the focal position of a line confocal microscope is set to a reference focal position (origin of the focal position), and often coincides with the center position in the optical axis direction of the sample to be imaged (reference sample and observation sample).
  • the focal position of the line confocal microscope may be shifted from the reference focal position (origin of the focal position), and does not need to coincide with the center position in the optical axis direction of the sample to be imaged.
  • the shift in the focus position of the line confocal microscope is predicted in advance using a separate optical system, and based on the fluorescence intensity of the reference sample at the predicted focus position (i.e., a focus position shifted from the reference focus position),
  • the concentration of fluorescent molecules in the observation sample may be calculated.
  • the fluorescence intensity related to the actual focal position of the optical system when capturing the fluorescence image of the observation sample is used when calculating the fluorescent molecule concentration in the observation sample. It may be used as a reference fluorescence concentration of reference standard data.
  • FIG. 24B is a flow diagram showing another example of the process of acquiring the concentration of fluorescent molecules in the observation sample.
  • reference standard data is prepared according to the known thickness of the observation sample, but similarly to the thickness of the reference sample, the thickness of the observation sample is calculated from the fluorescence intensity characteristics of the observation sample. may be done.
  • an observation sample is prepared (S21 in FIG. 24B), and then the fluorescence intensity characteristics of the observation sample are acquired (S22).
  • the line confocal microscope acquires multiple fluorescence images by imaging the observation sample while changing the focal position of the optical system, and the information processing device acquires the fluorescence intensity of the multiple fluorescence images.
  • the fluorescence intensity characteristics of the observed sample are derived.
  • the thickness of the observation sample is calculated from the fluorescence intensity characteristics of the observation sample using a method similar to the above-mentioned "method of calculating the thickness of the reference sample from the fluorescence intensity characteristics of the reference sample" (see S3 in FIG. 18). That is, the thickness of the observed sample is calculated from the zero point position of the Fourier transform function of the fluorescence intensity characteristics of the observed sample (S23 in FIG. 24B).
  • the concentration of fluorescent molecules in the observed sample is calculated from the fluorescence intensity characteristics (fluorescence intensity) of the observed sample in light of the reference standard data. (S26 in FIG. 24B).
  • the measurement system (image acquisition section) of the line confocal microscope is an optical system in which the fluorescence intensity in the captured image changes depending on the focal position. Obtain a fluorescence image of the observation sample (observation fluorescence image) using the . Then, the fluorescence information analysis unit 133 (see FIG. 1; fluorescence intensity acquisition unit) of the information processing device 100 analyzes the observed fluorescence image and acquires the fluorescence intensity in the observed fluorescence image (observed fluorescence intensity).
  • the fluorescence information analysis unit 133 (fluorescent molecule concentration deriving unit) derives the fluorescent molecule concentration in the observation sample from the observed fluorescence intensity in light of the reference standard data that correlates the reference fluorescent molecule concentration and the reference fluorescence intensity. do.
  • the reference fluorescence intensity is a plurality of fluorescence images (reference fluorescence images) of a reference sample acquired using an optical system in which the fluorescence intensity in the captured image changes depending on the focal position, and the focal positions at the time of imaging are different from each other.
  • the fluorescence information analysis unit 133 derives the fluorescence information from a plurality of reference fluorescence images that are different from each other.
  • the reference fluorescent molecule concentration is obtained by the fluorescence information analysis unit 133 from the fluorescent molecule concentration in the reference sample.
  • the reference standard data is obtained by the fluorescence information analysis unit 133 based on the reference fluorescence intensity and reference fluorescent molecule concentration thus obtained.
  • a plurality of reference fluorescence images are analyzed, and the fluorescence intensity in each reference fluorescence image (reference fluorescence intensity) is obtained. Then, a reference fluorescence intensity characteristic that correlates the focal position and the reference fluorescence intensity is acquired from the reference fluorescence intensity of each of the plurality of reference fluorescence images. Then, based on the reference fluorescence intensity characteristics and the thickness of the reference sample in the optical axis direction, the fluorescence intensity characteristics of the reference sample assuming that it has the reference thickness (reference thickness reference fluorescence intensity characteristics) are derived. Then, the reference fluorescence intensity is derived based on the thickness of the observation sample in the optical axis direction and the reference thickness reference fluorescence intensity characteristics.
  • the thickness of the observation sample can change, an appropriate standard fluorescence intensity according to the thickness of the observation sample is reflected in the reference standard data, and as a result, the concentration of fluorescent molecules in the observation sample can be determined with high accuracy. Can be done.
  • the reference thickness reference fluorescence intensity characteristic in this embodiment represents the fluorescence intensity characteristic of the reference sample assuming that it has an infinitely thin thickness.
  • the fluorescence intensity characteristics of a reference sample having such an infinitely thin thickness can be easily calculated by deconvolution of the reference fluorescence intensity characteristics and the thickness of the reference sample in the optical axis direction.
  • a Fourier observation sample thickness function is obtained based on the Fourier transform of a rectangular function corresponding to the thickness of the observation sample in the optical axis direction.
  • a Fourier reference thickness reference fluorescence intensity characteristic is obtained based on the Fourier transform of the reference thickness reference fluorescence intensity characteristic.
  • a Fourier desired thickness fluorescence intensity characteristic is obtained based on the inner product of the Fourier observation sample thickness function and the Fourier reference thickness reference fluorescence intensity characteristic.
  • a reference fluorescence intensity is obtained based on an inverse Fourier transform of the desired Fourier thickness fluorescence intensity characteristic.
  • a function obtained by Fourier transforming the reference fluorescence intensity characteristic is expressed as "F L (k)".
  • the function obtained by Fourier transforming a rectangular function corresponding to the thickness of the reference sample in the optical axis direction is expressed as “G L (k)”
  • the complex conjugate of the function obtained by Fourier transforming the rectangular function is expressed as “ GL * (k)”.
  • a minute number other than 0 is represented by " ⁇ ”.
  • the Fourier reference thickness reference fluorescence intensity characteristic which is the Fourier transform function of the reference thickness reference fluorescence intensity characteristic, is F L (k) ⁇ G L * (k)/(G L * (k) ⁇ G L (k) + ⁇ 2 ).
  • the above-mentioned infinitesimal number " ⁇ " is a value that is 1/1000 or less of the maximum absolute value of the value indicated by the function (F L (k)) obtained by Fourier transforming the reference fluorescence intensity characteristic. You can.
  • smoothing processing is applied to the Fourier desired thickness fluorescence intensity characteristic, and data at a singular point in the Fourier desired thickness fluorescence intensity characteristic is corrected based on data before and after the singularity. Then, a reference fluorescence intensity is obtained based on the Fourier desired thickness fluorescence intensity characteristic after the smoothing process.
  • a singular point correction filter is applied to the Fourier desired thickness fluorescence intensity characteristic, and the data of the singular point of the Fourier desired thickness fluorescence intensity characteristic is processed by linear interpolation based on the data before and after the data of the singular point. The data will be corrected as obtained.
  • the thickness of the reference sample in the optical axis direction used when deriving the reference thickness reference fluorescence intensity characteristic is determined at the frequency (zero point position) at which the amplitude of the function obtained by Fourier transforming the reference fluorescence intensity characteristic is zero. derived based on
  • the thickness of the reference sample in the optical axis direction can be determined with high accuracy based on the "frequency" and "amplitude" in the frequency domain after Fourier transformation, and as a result, the reference thickness reference fluorescence intensity characteristics can be appropriately derived. can do.
  • the reference sample becomes thinner, it becomes difficult to accurately measure the thickness of the reference sample using a measuring instrument, but the behavior of the reference fluorescence intensity characteristics in the frequency domain suggests that Even if the reference sample is thin, the thickness of the reference sample can be obtained with high accuracy.
  • the observed fluorescence intensity of each of the plurality of observed fluorescence images may be obtained by analyzing a plurality of observed fluorescence images having different focal positions at the time of imaging.
  • an observation fluorescence intensity characteristic that correlates the focal position and the observation fluorescence intensity may be obtained from the observation fluorescence intensity of each of the plurality of observation fluorescence images.
  • the thickness of the observation sample in the optical axis direction can be obtained with high precision, and in turn, appropriate reference standard data (especially reference fluorescence intensity) can be obtained.
  • the above-mentioned information processing system includes a light irradiation unit (for example, an excitation light source 510, a beam splitter 511, and an objective lens 512 shown in FIG. 10), an imaging device (for example, a photodetector 514 shown in FIG. 10), and an information processing system (microscope system). Equipped with a processing device.
  • the light irradiation unit irradiates the observation sample with excitation light that excites the fluorescent reagent.
  • the imaging device uses an optical system (for example, a light passage restricting element 61 having a slit 62 shown in FIGS.
  • the information processing device analyzes the fluorescence image and derives the concentration of fluorescent molecules in the observation sample from the observed fluorescence intensity as described above.
  • the concentration of fluorescent molecules in the observation sample is obtained by taking into account the focal characteristics of the fluorescence image captured by the confocal microscope, but the technique described above may be applied to other uses. For example, even when the fluorescent molecule concentration in the observation sample is not obtained, the above-described technique that takes focal characteristics into consideration may be used to derive the thickness of the sample (fluorescently stained specimen).
  • a plurality of sample fluorescence images which are a plurality of fluorescence images of a target sample, may be captured and acquired using an optical system in which the fluorescence intensity in the captured image changes depending on the focal position.
  • the sample fluorescence intensity representing the fluorescence intensity in each sample fluorescence image can be obtained by analyzing a plurality of sample fluorescence images having different focal positions at the time of imaging. Then, from the sample fluorescence intensity of each of the plurality of sample fluorescence images, it is possible to obtain a sample fluorescence intensity characteristic that correlates the focal position and the sample fluorescence intensity. Then, the thickness of the sample in the optical axis direction can be derived based on the frequency at which the amplitude of the function obtained by Fourier transforming the sample fluorescence intensity characteristics is zero.
  • the sample contains a first fluorescent staining reagent that stains the sample depending on a specific cell state (for example, the status of a specific protein (antigen)), and a second fluorescent staining reagent that stains the sample regardless of the specific cell state. , may be stained by.
  • a specific cell state for example, the status of a specific protein (antigen)
  • a second fluorescent staining reagent that stains the sample regardless of the specific cell state.
  • the thickness of the sample in the optical axis direction can be derived by obtaining the reagent fluorescence intensity of the second fluorescent staining reagent using an image based on the fluorescence of the second fluorescent staining reagent as the plurality of sample fluorescence images described above. is possible.
  • a staining reagent different from the staining reagent (first staining reagent) for detecting a specific cell state of the sample may be used.
  • second staining reagent different from the staining reagent (first staining reagent) for detecting a specific cell state of the sample.
  • second fluorescent staining reagent that stains the sample regardless of the specific cell state, it is possible to accurately derive the sample thickness regardless of the specific cell state of the sample. It is possible.
  • the staining reagent (second staining reagent) used to derive the thickness of the sample is preferably a reagent that can uniformly stain the entire sample, and is also a reagent that can stain the sample (living tissue) uniformly. Preferably, it is a reagent that is uninviting.
  • the thickness distribution within each sample may be obtained.
  • the above-described method of deriving the thickness of the sample from the fluorescence intensity characteristics basically derives the thickness of the sample at the imaging location of the fluorescence image, which constitutes basic data for deriving the fluorescence intensity characteristics. Therefore, from the fluorescence intensity characteristics of fluorescence images at multiple locations on the sample, it is possible to derive the thickness at each of the multiple locations on the sample.
  • reference standard data standard fluorescence intensity derived from the reference fluorescence image
  • reference standard data is based on the thickness distribution of the observation sample. It is preferable to obtain In this case, it is possible to derive the fluorescent molecule concentration in the observation sample using reference standard data that is optimized according to the thickness of each of the plurality of locations on the observation sample.
  • the above-described process can be executed by any information processing device, for example, by the fluorescence information analysis unit 133 shown in FIG.
  • the technical categories that embody the above technical ideas are not limited.
  • the above technical idea may be embodied by a computer program for causing a computer to execute one or more procedures (steps) included in the method of manufacturing or using the above-described device.
  • the above-mentioned technical idea may be embodied by a computer-readable non-transitory recording medium on which such a computer program is recorded.
  • An observed fluorescence image which is a fluorescence image of an observation sample, imaged and acquired using an optical system that changes the fluorescence intensity in the captured image depending on the focal position is analyzed to obtain an observed fluorescence intensity representing the fluorescence intensity in the observed fluorescence image. and the steps to obtain deriving the fluorescent molecule concentration in the observation sample from the observed fluorescence intensity in light of reference standard data that correlates the reference fluorescent molecule concentration and the reference fluorescence intensity;
  • a plurality of reference fluorescence images which are a plurality of fluorescence images of a reference sample captured using an optical system in which the fluorescence intensity in the captured image changes depending on the focal position, the plurality of reference fluorescence images having different focal positions at the time of imaging.
  • the reference standard data is obtained based on the reference fluorescence intensity derived from the reference fluorescence image of and the reference fluorescent molecule concentration obtained from the fluorescent molecule concentration in the reference sample.
  • the reference thickness reference fluorescence intensity characteristic represents the fluorescence intensity characteristic of the reference sample assuming that it has an infinitely thin thickness. Information processing method described in item 2.
  • a Fourier observation sample thickness function obtained based on Fourier transformation of a rectangular function corresponding to the thickness of the observation sample in the optical axis direction, and a Fourier reference thickness reference fluorescence intensity obtained based on Fourier transformation of the reference thickness reference fluorescence intensity characteristic.
  • a Fourier desired thickness fluorescence intensity characteristic is obtained based on the inner product of the characteristic and the reference fluorescence intensity is obtained based on an inverse Fourier transform of the Fourier desired thickness fluorescence intensity characteristic; The information processing method described in item 2 or 3.
  • a function obtained by Fourier transforming the reference fluorescence intensity characteristic is expressed as "F L (k)”
  • a function obtained by Fourier transforming the rectangular function corresponding to the thickness of the reference sample in the optical axis direction is expressed as "G L (k)”
  • the complex conjugate of the function obtained by Fourier transforming the rectangular function. is expressed as "G L * (k)”
  • ⁇ an infinitesimal number other than 0
  • the Fourier standard thickness reference fluorescence intensity characteristic is derived based on F L (k) ⁇ G L * (k)/(G L * (k) ⁇ G L (k) + ⁇ 2 ), Information processing method described in item 4.
  • the infinitesimal number is a value that is 1/1000 or less of the maximum absolute value of the value indicated by a function obtained by Fourier transforming the reference fluorescence intensity characteristic. Information processing method described in item 5.
  • a singular point correction filter is applied to the Fourier desired thickness fluorescence intensity characteristic, so that the data of the singular point of the Fourier desired thickness fluorescence intensity characteristic is linearized based on the data before and after the data of the singular point. corrected to data obtained by interpolation, Information processing method described in item 7.
  • the thickness of the reference sample in the optical axis direction used in deriving the reference thickness reference fluorescence intensity characteristic is derived based on a frequency at which the amplitude of a function obtained by Fourier transforming the reference fluorescence intensity characteristic is zero. be done, The information processing method described in any of items 2 to 8.
  • the observed fluorescence intensity of each of the plurality of observed fluorescence images is obtained by analyzing a plurality of observed fluorescence images having different focal positions at the time of imaging, From the observed fluorescence intensity of each of the plurality of observed fluorescence images, an observed fluorescence intensity characteristic that correlates a focal position and the observed fluorescence intensity is obtained, The Fourier observation sample thickness function is obtained based on the thickness of the observation sample in the optical axis direction, which is derived based on the frequency in which the amplitude of the function obtained by Fourier transforming the observation fluorescence intensity characteristic is zero.
  • a plurality of sample fluorescence images are multiple fluorescence images of a sample captured using an optical system in which the fluorescence intensity in the imaged image changes depending on the focal position, and multiple samples have different focal positions at the time of imaging.
  • analyzing the fluorescence images to obtain a sample fluorescence intensity representing the fluorescence intensity in each sample fluorescence image; acquiring a sample fluorescence intensity characteristic that mutually associates a focal position and the sample fluorescence intensity from the sample fluorescence intensity of each of the plurality of sample fluorescence images; Deriving the thickness of the sample in the optical axis direction based on a frequency at which the amplitude of a function obtained by Fourier transforming the sample fluorescence intensity characteristic is zero; Information processing methods including.
  • the sample is stained with a first fluorescent staining reagent that stains the sample depending on a specific cell state, and a second fluorescent staining reagent that stains the sample regardless of the specific cell state,
  • the plurality of sample fluorescence images are images based on fluorescence of a second fluorescent staining reagent, The information processing method described in item 11.
  • an image acquisition unit that captures and acquires an observation fluorescence image, which is a fluorescence image of an observation sample, using an optical system in which the fluorescence intensity in the captured image changes depending on the focal position; a fluorescence intensity acquisition unit that analyzes the observed fluorescence image to obtain observed fluorescence intensity representing the fluorescence intensity in the observed fluorescence image; a fluorescent molecule concentration deriving unit that derives the fluorescent molecule concentration in the observation sample from the observed fluorescence intensity in light of reference standard data that correlates the reference fluorescent molecule concentration and the reference fluorescence intensity;
  • a plurality of reference fluorescence images are a plurality of fluorescence images of a reference sample taken using an optical system in which the fluorescence intensity in the captured image changes depending on the focal position, and the plurality of reference fluorescence images have different focal positions at the time of imaging.
  • the reference standard data is obtained based on the reference fluorescence intensity derived from the reference fluorescence image and the reference fluorescent molecule concentration obtained from the fluorescent molecule concentration in the reference
  • a light irradiation unit that irradiates the observation sample with excitation light that excites the fluorescent reagent; an imaging device that images a sample irradiated with the excitation light to obtain a fluorescence image using an optical system that changes the fluorescence intensity in the captured image depending on the focal position; an information processing device that analyzes the fluorescence image;
  • the information processing device includes: analyzing an observed fluorescence image that is a fluorescence image of the observation sample to obtain an observed fluorescence intensity representing the fluorescence intensity in the observed fluorescence image; deriving the fluorescent molecule concentration in the observation sample from the observed fluorescence intensity in light of reference standard data that correlates the reference fluorescent molecule concentration and the reference fluorescence intensity,
  • a plurality of reference fluorescence images are a plurality of fluorescence images of a reference sample taken using an optical system in which the fluorescence intensity in the captured image changes depending on the focal position, and the plurality of reference fluorescence images have different focal positions at the time of imaging.

Abstract

［課題］焦点位置に応じて撮像画像中の蛍光強度が変わる光学系を使って撮像取得される蛍光画像を、焦点特性を考慮して取り扱う技術を提供する。 ［解決手段］情報処理方法は、焦点位置に応じて撮像画像中の蛍光強度が変わる光学系を使って撮像取得された観察蛍光画像を解析して観察蛍光強度を取得するステップと、基準蛍光分子濃度と基準蛍光強度とを相互に対応づける参照基準データに照らして、観察蛍光強度から、観察試料中の蛍光分子濃度を導出するステップと、を含む。焦点位置に応じて撮像画像中の蛍光強度が変わる光学系を使って撮像取得された参照試料の複数の蛍光画像である複数の参照蛍光画像であって、撮像時の焦点位置がお互いに異なる複数の参照蛍光画像から導出される基準蛍光強度と、参照試料中の蛍光分子濃度から得られる基準蛍光分子濃度とに基づいて、参照基準データが得られる。

Description

情報処理方法、情報処理装置、及び顕微鏡システム
　本開示は、情報処理方法、情報処理装置、及び顕微鏡システムに関する。
　蛍光染色試薬により染色された蛍光染色標本（試料）に励起光を照射することで当該蛍光染色標本において蛍光を発生させ、当該蛍光の画像を撮像する蛍光顕微鏡が知られている。
　特許文献１が開示する情報処理装置は、蛍光顕微鏡によって取得される蛍光染色標本の撮像画像情報の輝度を、蛍光染色試薬の蛍光強度の低減しやすさを示す褪色係数に基づいて補正する。これにより励起光の強度及び励起光の照射時間の経過に応じて蛍光物質の蛍光強度が低下する「蛍光物質の褐色」が撮像画像情報に及ぼす影響を低減でき、励起光の強度を増大させて、より短時間で撮像画像情報を取得することも可能である。
国際公開第２０２０／０２２０３８号
　蛍光染色試薬により染色された試料の蛍光画像を撮像取得するために、いわゆる共焦点顕微鏡が用いられることがある。共焦点顕微鏡は、焦点位置に応じて撮像画像中の蛍光強度が変わる光学系（例えばピンホール又は細長スリットを有する光学系）を具備しており、焦点面以外からの蛍光の影響を低減して、高コントラストで高解像の蛍光画像を撮像するのに有利である。
　その一方で、共焦点顕微鏡によって撮像取得される蛍光画像（例えば蛍光強度）は、焦点面からズレた箇所の蛍光分子からの蛍光が十分には反映されないため、試料の厚み方向（光軸方向）に関して特有の焦点特性を示す。この焦点特性に起因して、共焦点顕微鏡によって撮像取得される蛍光画像は、一般の暗視野顕微鏡によって撮像取得される蛍光画像と同様に取り扱うことが適切ではないことがある。
　本開示は、焦点位置に応じて撮像画像中の蛍光強度が変わる光学系を使って撮像取得される蛍光画像を、焦点特性を考慮して取り扱う技術を提供することを目的とする。
　本開示の一態様は、焦点位置に応じて撮像画像中の蛍光強度が変わる光学系を使って撮像取得された観察試料の蛍光画像である観察蛍光画像を解析して、観察蛍光画像中の蛍光強度を表す観察蛍光強度を取得するステップと、基準蛍光分子濃度と基準蛍光強度とを相互に対応づける参照基準データに照らして、観察蛍光強度から、観察試料中の蛍光分子濃度を導出するステップと、を含み、焦点位置に応じて撮像画像中の蛍光強度が変わる光学系を使って撮像取得された参照試料の複数の蛍光画像である複数の参照蛍光画像であって、撮像時の焦点位置がお互いに異なる複数の参照蛍光画像から導出される基準蛍光強度と、参照試料中の蛍光分子濃度から得られる基準蛍光分子濃度とに基づいて、参照基準データが得られる、情報処理方法に関する。
　複数の参照蛍光画像を解析して、各参照蛍光画像中の蛍光強度を表す参照蛍光強度が取得されてもよく、複数の参照蛍光画像のそれぞれの参照蛍光強度から、焦点位置と参照蛍光強度とを相互に対応づける参照蛍光強度特性が取得されてもよく、参照蛍光強度特性と、参照試料の光軸方向の厚みとに基づいて、基準厚みを有すると仮定した場合の参照試料の蛍光強度特性を表す基準厚参照蛍光強度特性が導出されてもよく、観察試料の光軸方向の厚み及び基準厚参照蛍光強度特性に基づいて、基準蛍光強度が導出されてもよい。
　基準厚参照蛍光強度特性は、無限薄の厚みを有すると仮定した場合の参照試料の蛍光強度特性を表してもよい。
　観察試料の光軸方向の厚みに対応する矩形関数のフーリエ変換に基づいて得られるフーリエ観察試料厚み関数と、基準厚参照蛍光強度特性のフーリエ変換に基づいて得られるフーリエ基準厚参照蛍光強度特性と、の内積に基づいてフーリエ所望厚蛍光強度特性が取得されてもよく、フーリエ所望厚蛍光強度特性のフーリエ逆変換に基づいて、基準蛍光強度が取得されてもよい。
　参照蛍光強度特性をフーリエ変換することで得られる関数を「ＦＬ（ｋ）」で表し、参照試料の光軸方向の厚みに対応する矩形関数をフーリエ変換することで得られる関数を「ＧＬ（ｋ）」で表し、当該矩形関数をフーリエ変換することで得られる関数の複素共役を「ＧＬ ＊（ｋ）」で表し、０以外の微小数を「ε」で表した場合、フーリエ基準厚参照蛍光強度特性は、ＦＬ（ｋ）・ＧＬ ＊（ｋ）／（ＧＬ ＊（ｋ）・ＧＬ（ｋ）＋ε２）、に基づいて導出されてもよい。
　微小数は、参照蛍光強度特性をフーリエ変換することで得られる関数によって示される値の絶対値の最大値の１／１０００以下の値であってもよい。
　フーリエ所望厚蛍光強度特性に対して平滑化処理が適用されて、フーリエ所望厚蛍光強度特性における特異点のデータが当該特異点の前後のデータに基づいて修正されてもよく、平滑化処理後のフーリエ所望厚蛍光強度特性に基づいて、基準蛍光強度が取得されてもよい。
　平滑化処理においてフーリエ所望厚蛍光強度特性に対して特異点修正フィルタが適用されて、フーリエ所望厚蛍光強度特性の特異点のデータが、当該特異点のデータの前後のデータに基づく線形補間により得られるデータに修正されてもよい。
　基準厚参照蛍光強度特性を導出する際に用いられる参照試料の光軸方向の厚みは、参照蛍光強度特性をフーリエ変換することで得られる関数の振幅がゼロを示す周波数に基づいて導出されてもよい。
　撮像時の焦点位置がお互いに異なる複数の観察蛍光画像を解析して、複数の観察蛍光画像のそれぞれの観察蛍光強度が取得されてもよく、複数の観察蛍光画像のそれぞれの観察蛍光強度から、焦点位置と観察蛍光強度とを相互に対応づける観察蛍光強度特性が取得されてもよく、観察蛍光強度特性をフーリエ変換することで得られる関数の振幅がゼロを示す周波数に基づいて導出される観察試料の光軸方向の厚みに基づいて、フーリエ観察試料厚み関数が得られてもよい。
　本開示の他の態様は、焦点位置に応じて撮像画像中の蛍光強度が変わる光学系を使って撮像取得された試料の複数の蛍光画像である複数の試料蛍光画像あって、撮像時の焦点位置がお互いに異なる複数の試料蛍光画像を解析して、各試料蛍光画像中の蛍光強度を表す試料蛍光強度を取得するステップと、複数の試料蛍光画像のそれぞれの試料蛍光強度から、焦点位置と試料蛍光強度とを相互に対応づける試料蛍光強度特性を取得するステップと、試料蛍光強度特性をフーリエ変換することで得られる関数の振幅がゼロを示す周波数に基づいて、試料の光軸方向の厚みを導出するステップと、を含む情報処理方法に関する。
　試料は、特定の細胞状態に応じて試料を染色する第１蛍光染色試薬と、特定の細胞状態とは無関係に試料を染色する第２蛍光染色試薬と、によって染色されてもよく、複数の試料蛍光画像は、第２蛍光染色試薬の蛍光に基づく画像であってもよい。
　本開示の他の態様は、焦点位置に応じて撮像画像中の蛍光強度が変わる光学系を使って観察試料の蛍光画像である観察蛍光画像を撮像取得する画像取得部と、観察蛍光画像を解析して、観察蛍光画像中の蛍光強度を表す観察蛍光強度を取得する蛍光強度取得部と、基準蛍光分子濃度と基準蛍光強度とを相互に対応づける参照基準データに照らして、観察蛍光強度から、観察試料中の蛍光分子濃度を導出する蛍光分子濃度導出部と、を備え、焦点位置に応じて撮像画像中の蛍光強度が変わる光学系を使って撮像された参照試料の複数の蛍光画像である複数の参照蛍光画像であって、撮像時の焦点位置がお互いに異なる複数の参照蛍光画像から導出される基準蛍光強度と、参照試料中の蛍光分子濃度から得られる基準蛍光分子濃度とに基づいて、参照基準データが得られる、情報処理装置に関する。
　本開示の他の態様は、蛍光試薬を励起させる励起光を観察試料に照射する光照射部と、焦点位置に応じて撮像画像中の蛍光強度が変わる光学系を使って、励起光が照射されている試料を撮像して蛍光画像を取得する撮像装置と、蛍光画像の解析を行う情報処理装置と、を備え、情報処理装置は、観察試料の蛍光画像である観察蛍光画像を解析して、観察蛍光画像中の蛍光強度を表す観察蛍光強度を取得する工程と、基準蛍光分子濃度と基準蛍光強度とを相互に対応づける参照基準データに照らして、観察蛍光強度から、観察試料中の蛍光分子濃度を導出する工程と、を含み、焦点位置に応じて撮像画像中の蛍光強度が変わる光学系を使って撮像された参照試料の複数の蛍光画像である複数の参照蛍光画像であって、撮像時の焦点位置がお互いに異なる複数の参照蛍光画像から導出される基準蛍光強度と、参照試料中の蛍光分子濃度から得られる基準蛍光分子濃度とに基づいて、参照基準データが得られる、顕微鏡システムに関する。
図１は、情報処理システムの構成例を示すブロック図である。 図２は、蛍光信号取得部によって取得された蛍光スペクトルの具体例を示す図である。 図３は、連結部による連結蛍光スペクトルの生成方法を説明する図である。 図４は、波長分解能を８ｎｍとした場合のＡＦ５４６及びＡＦ５５５の蛍光スペクトルを示す図である。 図５は、波長分解能を１ｎｍとした場合のＡＦ５４６及びＡＦ５５５の蛍光スペクトルを示す図である。 図６は、図３のＡ～Ｄに示す蛍光スペクトルから生成される連結蛍光スペクトルの一例を示す図である。 図７は、本実施形態の分離処理部のより具体的な構成例を示すブロック図である。 図８は、連結自家蛍光参照スペクトルの具体例を示す図である。 図９は、連結蛍光参照スペクトルの具体例を示す図である。 図１０は、顕微鏡システム（情報処理システム）の一例の概略構成を示す図である。 図１１は、情報処理装置及び測定系を備える情報処理システムの一例の概念図である。 図１２Ａは、共焦点光学系を具備しない通常の顕微鏡（測定系）による蛍光染色標本（観察試料）の撮像方法の一例を示す概念図である。 図１２Ｂは、ライン共焦点顕微鏡による蛍光染色標本の撮像方法の一例を示す概念図である。 図１２Ｃは、ライン共焦点顕微鏡による蛍光染色標本の撮像方法の一例を示す概念図である。 図１３は、共焦点顕微鏡によって撮像取得される蛍光染色標本の蛍光画像中の蛍光強度の積層合成の考え方を、蛍光染色標本を使って説明する図である。 図１４は、共焦点顕微鏡によって撮像取得される蛍光染色標本の蛍光画像中の蛍光強度の積層合成の考え方を、グラフを使って説明する図である。 図１５Ａは、物理的なイメージによって、所望厚の参照試料の蛍光強度特性の取得を説明する図である。 図１５Ｂは、グラフによって、所望厚の参照試料の蛍光強度特性の取得を説明する図である。 図１６は、試料の蛍光強度特性のフーリエ変換によって導出される関数Ｆ（ω）を表すグラフである。 図１７は、フーリエ変換及びフーリエ逆変換を利用したコンボリューション演算を説明するための概念図である。 図１８は、参照基準データを取得する処理の一例を示すフロー図である。 図１９Ａは、参照試料の厚み推定の一例を説明する図である。 図１９Ｂは、参照試料の厚み推定の一例を説明する図である。 図１９Ｃは、参照試料の厚み推定の一例を説明する図である。 図２０は、観察試料と同じ厚みを有する仮想的な参照試料の蛍光強度特性の算出処理を、フーリエ空間上で説明するグラフである。 図２１Ａは、算出処理により得られる所望の厚みを有する仮想的な参照試料の蛍光強度特性と、実測値により得られる所望の厚みを有する実際の参照試料の蛍光強度特性とを、フーリエ空間上で比較するグラフである。 図２１Ｂは、図２１Ａにおいて符号「ＸＸＩＢ」によって示される範囲を拡大して示すグラフである。 図２２Ａは、図２１Ａ及び図２１Ｂと同じ「参照試料の蛍光強度特性」を示すグラフであるが、図２１Ａ及び図２１Ｂには示されていない範囲を含む。 図２２Ｂは、図２２Ａに示すグラフ（特に、算出処理によって得られる所望の厚みを有する参照試料の蛍光強度特性）に対し、特異点修正フィルタを適用することで得られるグラフを示す。 図２３は、所望の厚みを有する参照試料の蛍光強度特性の実測値及び算出値の一例を、実空間上で示すグラフである。 図２４Ａは、観察試料中の蛍光分子濃度を取得する処理の一例を示すフロー図である。 図２４Ｂは、観察試料中の蛍光分子濃度を取得する処理の他の例を示すフロー図である。
　以下、添付図面を参照して、本開示の実施形態について例示的に説明する。以下の説明及び図面において、実質的に同一の機能を有する要素には、同一の符号を付す。
　図１は、情報処理システムの構成例を示すブロック図である。
　図１に示す情報処理システムは、情報処理装置１００及びデータベース２００を備える。
［蛍光試薬１０］
　蛍光試薬１０は、標本２０の染色に使用される薬品である。蛍光試薬１０として、例えば蛍光抗体（直接標識に使用される一次抗体及び間接標識に使用される二次抗体を含む）、蛍光プローブ、及び核染色試薬等を用いることが可能であるが、蛍光試薬１０はこれらに限定されない。蛍光試薬１０は、蛍光試薬１０（又は蛍光試薬１０の製造ロット）を識別可能な識別情報（「試薬識別情報１１」とも称する）が付され、当該試薬識別情報１１によって管理される。試薬識別情報１１は、例えばバーコード情報（例えば一次元バーコード情報又は二次元バーコード情報）とし構成されるが、バーコード情報には限定されない。蛍光試薬１０は、同一の製品であっても、製造方法や抗体が取得された細胞の状態等に応じて製造ロット毎にその性質が異なりうる。例えば、蛍光試薬１０において、製造ロット毎にスペクトル、量子収率、及び蛍光標識率等が異なりうる。そこで本実施形態の蛍光試薬１０は、試薬識別情報１１が付されることによって、製造ロット毎に管理される。これによって、情報処理装置１００は、製造ロット毎に現れる僅かな性質の違いを考慮した上で、蛍光分離を行うことができる。
［標本２０］
　標本２０は、人体から採取された検体又は組織サンプルから病理診断などを目的に作製される。標本２０は、組織切片や細胞や微粒子でもよい。標本２０について、使用される組織（例えば臓器等）の種類、対象となる疾病の種類、対象者の属性（例えば年齢、性別、血液型及び人種等）、及び対象者の生活習慣（例えば食生活、運動習慣及び喫煙習慣等）は限定されない。組織切片には、例えば、染色対象の組織切片（単に「切片」ともいう）の染色前切片、染色切片に隣接する切片、同一ブロックにおける染色切片と異なる切片（染色切片と同一の場所からサンプリングされた切片）、同一組織における異なるブロックにおける切片（染色切片と異なる場所からサンプリングされた切片）、及び異なる患者から採取した切片などが含まれうる。標本２０は、各標本２０を識別可能な識別情報（「標本識別情報２１」とも称する）が付され、当該標本識別情報２１によって管理される。標本識別情報２１は、試薬識別情報１１と同様に、例えばバーコード情報（例えば一次元バーコード情報又は二次元バーコード情報）とし構成されるが、バーコード情報には限定されない。標本２０の性質は、使用される組織の種類、対象となる疾病の種類、対象者の属性、及び対象者の生活習慣等に応じて、異なりうる。例えば、標本２０において、使用される組織の種類等に応じて計測チャネル又はスペクトル等が異なる。そこで本実施形態の標本２０は、標本識別情報２１が付されることによって、個々に管理される。これによって、情報処理装置１００は、標本２０毎に現れる僅かな性質の違いを考慮した上で、蛍光分離を行うことができる。
［蛍光染色標本３０］
　蛍光染色標本３０は、標本２０が蛍光試薬１０により染色されることで作られる。本実施形態の蛍光染色標本３０は、標本２０が１以上の蛍光試薬１０によって染色されることで得られることが想定される。標本２０の染色に用いられる蛍光試薬１０の数は特に限定されない。また染色方法は、標本２０及び蛍光試薬１０の組み合わせ等によって適切な手法が決められ、限定されない。
［情報処理装置１００］
　情報処理装置１００は、図１に示すように、取得部１１０、保存部１２０、処理部１３０、表示部１４０、制御部１５０、及び操作部１６０を備える。情報処理装置１００は、例えば蛍光顕微鏡でありうるが、必ずしも蛍光顕微鏡には限定されない。すなわち情報処理装置１００は、任意の装置（例えばＰＣ（Personal Computer））により構成可能であり、具体的な構成及び用途は限定されない。
［取得部１１０］
　取得部１１０は、情報処理装置１００の各種処理に使用される情報を取得する構成である。図１に示すように、取得部１１０は、情報取得部１１１と、蛍光信号取得部１１２と、を備える。
［情報取得部１１１］
　情報取得部１１１は、蛍光試薬１０に関する情報（「試薬情報」とも称する）及び標本２０に関する情報（「標本情報」とも称する）を取得する。より具体的には、情報取得部１１１は、蛍光染色標本３０の生成に使用された蛍光試薬１０に付された試薬識別情報１１と、標本２０に付された標本識別情報２１とを取得する。例えば、情報取得部１１１は、バーコードリーダー等を用いて試薬識別情報１１及び標本識別情報２１を取得する。そして情報取得部１１１は、試薬識別情報１１に基づいて試薬情報をデータベース２００から取得し、標本識別情報２１に基づいて標本情報をデータベース２００から取得する。情報取得部１１１は、このようにして取得される試薬情報及び標本情報を、後述する情報保存部１２１に保存する。
　本実施形態において、標本情報には、標本２０における自家蛍光物質のスペクトルが波長方向に連結された連結自家蛍光参照スペクトルが含まれ、試薬情報には、蛍光染色標本３０における蛍光物質のスペクトルが波長方向に連結された連結蛍光参照スペクトルが含まれる。連結自家蛍光参照スペクトル及び連結蛍光参照スペクトルを併せて「参照スペクトル」とも称する。
［蛍光信号取得部１１２］
　蛍光信号取得部１１２は、波長が互いに異なる複数の励起光が蛍光染色標本３０に照射された場合の、これらの複数の励起光のそれぞれに対応する複数の蛍光信号を取得する。より具体的には、蛍光信号取得部１１２は、光を受光し、その受光量に応じた検出信号を出力し、当該検出信号に基づいて蛍光染色標本３０の蛍光スペクトルが取得される。励起光の特性（波長及び強度等を含む）は、試薬情報等（換言すると蛍光試薬１０に関する情報等）に基づいて決定される。ここでいう蛍光信号は蛍光に由来する信号であれば限定されず、例えば蛍光スペクトルであってもよい。
　図２のＡ～Ｄは、蛍光信号取得部１１２によって取得された蛍光スペクトルの具体例である。図２のＡ～Ｄによって表される蛍光スペクトルの取得に用いられた蛍光染色標本３０は、ＤＡＰＩ、ＣＫ／ＡＦ４８８、ＰｇＲ／ＡＦ５９４、及びＥＲ／ＡＦ６４７という４種の蛍光物質を含む。それぞれの蛍光物質の励起波長である３９２［ｎｍ］（図２のＡ）、４７０［ｎｍ］（図２のＢ）、５４９［ｎｍ］（図２のＣ）、６２８［ｎｍ］（図２のＤ）の光成分を含む励起光が蛍光染色標本３０に照射されることで、図２のＡ～Ｄに示す蛍光スペクトルが得られる。なお、蛍光発光のためにエネルギーが放出されることに起因して、蛍光波長は励起波長よりも長波長側にシフトする（ストークスシフト）。蛍光染色標本３０に含まれる蛍光物質及び励起光の波長は限定されない。蛍光信号取得部１１２は、このようにして取得した蛍光スペクトルを、後述する蛍光信号保存部１２２に保存する。
［保存部１２０］
　保存部１２０は、情報処理装置１００の各種処理に使用される情報と、各種処理によって得られる情報と、を保存する。図１に示す保存部１２０は、情報保存部１２１及び蛍光信号保存部１２２を備える。
［情報保存部１２１］
　情報保存部１２１は、例えば、情報取得部１１１によって取得される試薬情報及び標本情報を保存する。
［蛍光信号保存部１２２］
　蛍光信号保存部１２２は、蛍光信号取得部１１２によって取得される蛍光染色標本３０の蛍光信号を保存する。
［処理部１３０］
　処理部１３０は、蛍光分離処理を含む各種処理を行う構成である。図１に示すように、処理部１３０は、連結部１３１と、分離処理部１３２と、画像生成部１３４と、を備える。
［連結部１３１］
　連結部１３１は、蛍光信号取得部１１２により取得されて蛍光信号保存部１２２に保存される複数の蛍光スペクトルの少なくとも一部を波長方向に連結することで、連結蛍光スペクトルを生成する。例えば、連結部１３１は、上記の蛍光信号取得部１１２によって取得された４つの蛍光スペクトル（図３のＡ～Ｄ参照）のそれぞれの蛍光強度の最大値を含むように、それぞれの蛍光スペクトルにおける所定幅のデータを抽出する。連結部１３１がデータを抽出する波長帯域の幅は、試薬情報、励起波長及び蛍光波長等に基づいて決定されうるものであり、蛍光物質毎に異なっていてもよい。換言すると、連結部１３１がデータを抽出する波長帯域の幅は、図３のＡ～Ｄに示される蛍光スペクトルのそれぞれにおいてお互いに異なっていてもよい。そして図３のＥに示すように、連結部１３１は、抽出したデータを波長方向に互いに連結することで、一つの連結蛍光スペクトルを生成する。連結蛍光スペクトルは、複数の蛍光スペクトルから抽出されるデータに基づいて構成されるため、連結されたデータ間の境界では波長が連続していない。
　連結部１３１は、励起光の強度に基づいて、複数の蛍光スペクトルのそれぞれに対応する励起光の強度を揃えた後に（換言すると、複数の蛍光スペクトルを補正した後に）、上記のデータ連結を行う。より具体的には、連結部１３１は、励起光の強度を表す励起パワー密度によって各蛍光スペクトルを除算して複数の蛍光スペクトルのそれぞれに対応する励起光の強度を揃えた後、上記のデータ連結を行う。これによって、同一強度の励起光が照射された場合の蛍光スペクトルが求められる。照射される励起光の強度が異なる場合、その励起光照射強度に応じて、蛍光染色標本３０に吸収されるスペクトル（「吸収スペクトル」とも称する）の強度が異なる。したがって上記のように複数の蛍光スペクトルのそれぞれに対応する励起光の強度が揃えられることで、吸収スペクトルを適切に評価することができる。
　本説明における励起光の強度は、上述したように、励起パワーや励起パワー密度であってよい。励起パワー又は励起パワー密度は、光源から出射した励起光を実測することで得られるパワー又はパワー密度であってもよいし、光源に与える駆動電圧から求まるパワー又はパワー密度であってもよい。本説明における励起光の強度は、上記励起パワー密度を、観測対象である切片における各励起光の吸収率、及び、切片から放射した蛍光を検出する検出系（蛍光信号取得部１１２等）における検出信号の増幅率、等で補正することで得られた値であってもよい。すなわち本説明における励起光の強度は、蛍光物質の励起に実際に寄与した励起光のパワー密度であってもよいし、そのパワー密度を検出系の増幅率等で補正することで得られる値等であってもよい。そのような吸収率及び増幅率等を考慮した補正によって、マシン状態及び環境等の変化に応じて変化する励起光の強度を適切に得ることが可能であり、より高い精度の色分離を可能にする連結蛍光スペクトルを生成することが可能となる。
　なお、各蛍光スペクトルに対する励起光の強度に基づいた補正値（強度補正値ともいう）は、複数の蛍光スペクトルのそれぞれに対応する励起光の強度を揃えるための値に限定されず、種々変えられてもよい。例えば、長波長側に強度ピークを持つ蛍光スペクトルのシグナル強度は、短波長側に強度ピークを蛍光スペクトルのシグナル強度よりも低い傾向にある。そのため、連結蛍光スペクトルが、長波長側に強度ピークを持つ蛍光スペクトルと短波長側に強度ピークを持つ蛍光スペクトルとの両方を含む場合、長波長側に強度ピークを持つ蛍光スペクトルが殆ど加味されず、短波長側に強度ピークを持つ蛍光スペクトルだけが抽出されてしまう場合がある。そのような場合、例えば、長波長側に強度ピークを持つ蛍光スペクトルに対する強度補正値をより大きな値とすることで、短波長側に強度ピークを持つ蛍光スペクトルの分離精度を高めることが可能である。
　また、連結部１３１は、連結する複数の蛍光スペクトルのそれぞれの波長分解能を他の蛍光スペクトルから独立して補正してもよい。例えば、ＡＦ５４６の蛍光スペクトルとＡＦ５５５の蛍光スペクトルとは、スペクトル形状及びピーク波長が殆ど同じである。ＡＦ５４６の蛍光スペクトルとＡＦ５５５の蛍光スペクトルとの間の違いとして、ＡＦ５５５の蛍光スペクトルには高波長側の裾部分にショルダがあるのに対し、ＡＦ５４６の蛍光スペクトルにはそれが無い点が挙げられる。このように、２つの蛍光スペクトルが近い場合、スペクトル抽出によって両者を色分離することが難しい場合がある。
　これは、連結蛍光スペクトルの波長分解能を高くすることで解決できる場合がある。図４は、波長分解能を８ｎｍとした場合のＡＦ５４６及びＡＦ５５５の蛍光スペクトルを示す図である。図５は、波長分解能を１ｎｍとした場合のＡＦ５４６及びＡＦ５５５の蛍光スペクトルを示す図である。図４に示すように波長分解能を８ｎｍとした場合、ＡＦ５４６のスペクトル形状及びピーク波長とＡＦ５５５のスペクトル形状及びピーク波長とは略一致してしまう。そのため、例えば最小二乗法を用いてこれらを色分離することは事実上困難である。それに対し、図５に示すように波長分解能を図４に示す波長分解能の８倍、すなわち１ｎｍとした場合、ＡＦ５４６のスペクトル形状及びピーク波長と、ＡＦ５５５のスペクトル形状及びピーク波長とを明確に分離することができる。これは、スペクトル形状及びピーク波長が近い複数の蛍光スペクトルを用いる場合でも、波長分解能が高められたそれらの複数の蛍光スペクトルを用いて色分離することが可能であることを示す。
　ただし波長分解能を高めると連結蛍光スペクトルのデータ量が大きくなり、必要なメモリ容量、及び蛍光分離処理における計算コスト等が増大してしまう。そこで連結部１３１は、連結する複数の蛍光スペクトルのうち、色分離が困難であることが想定される蛍光スペクトルの波長分解能が高くなるように、且つ、色分離が容易であることが想定される蛍光スペクトルの波長分解能が低くなるように補正を行う。これにより、データ量の増大を抑制しつつ、色分離精度を向上させることが可能である。
　ここで、連結部１３１による連結蛍光スペクトルの生成方法について、具体例を挙げて説明する。本説明では、図３を用いて上述した連結蛍光スペクトルの生成方法と同様に、ＤＡＰＩ、ＣＫ／ＡＦ４８８、ＰｇＲ／ＡＦ５９４、及びＥＲ／ＡＦ６４７という４種の蛍光物質を含む蛍光染色標本３０に、それぞれの励起波長として３９２ｎｍ、４７０ｎｍ、５４９ｎｍ、６２８ｎｍを有する励起光を照射することで得られた４つの蛍光スペクトルを連結する場合を例示する。
　図６は、図３のＡ～Ｄに示す蛍光スペクトルから生成される連結蛍光スペクトルの一例を示す図である。図６に示すように、連結部１３１は、図３のＡに示す蛍光スペクトルから励起波長３９２ｎｍ以上５９１ｎｍ以下の波長帯域の蛍光スペクトルＳＰ１を抽出し、図３のＢに示す蛍光スペクトルから励起波長４７０ｎｍ以上６６９ｎｍ以下の波長帯域の蛍光スペクトルＳＰ２を抽出し、図３のＣに示す蛍光スペクトルから励起波長５４９ｎｍ以上７４８ｎｍ以下の波長帯域の蛍光スペクトルＳＰ３を抽出し、図３のＤに示す蛍光スペクトルから励起波長６２８ｎｍ以上８２７ｎｍ以下の波長帯域の蛍光スペクトルＳＰ４を抽出する。次に、連結部１３１は、抽出した蛍光スペクトルＳＰ１の波長分解能を１６ｎｍに補正し（強度補正は無し）、蛍光スペクトルＳＰ２の強度を１．２倍に補正するとともに波長分解能を８ｎｍに補正し、蛍光スペクトルＳＰ３の強度を１．５倍に補正し（波長分解能の補正は無し）、蛍光スペクトルＳＰ４の強度を４．０倍に補正するとともに波長分解能を４ｎｍに補正する。そして、連結部１３１は、補正後の蛍光スペクトルＳＰ１～ＳＰ４を順番に連結することで、図６に示すような連結蛍光スペクトルを生成する。
　なお、図６には、連結部１３１が各蛍光スペクトルを取得した際の励起波長から所定帯域幅（図６では２００ｎｍ幅）の蛍光スペクトルＳＰ１～ＳＰ４を抽出して連結した場合が示されているが、連結部１３１が抽出する蛍光スペクトルの帯域幅は、各蛍光スペクトルで一致している必要はなく、異なっていてもよい。すなわち、連結部１３１が各蛍光スペクトルから抽出する領域は、各蛍光スペクトルのピーク波長を含む領域であればよく、その波長帯域及び帯域幅については適宜変更されてよい。その際、ストークスシフトによるスペクトル波長のズレが考慮されてもよい。このように、抽出する波長帯域を絞り込むことで、データ量を削減することが可能となるため、より高速に蛍光分離処理を実行することが可能となる。
［分離処理部１３２］
　分離処理部１３２は、連結蛍光スペクトルを分子毎に分離する。図７は、本実施形態の分離処理部１３２のより具体的な構成例を示すブロック図である。図７に示す分離処理部１３２は、色分離部１３２１及びスペクトル抽出部１３２２を備える。
　色分離部１３２１は、例えば、第１色分離部１３２１ａ及び第２色分離部１３２１ｂを備え、連結部１３１から入力される染色切片（染色サンプルとも称する）の連結蛍光スペクトルを分子毎に色分離する。
　スペクトル抽出部１３２２は、連結自家蛍光参照スペクトルを、より精度の高い色分離結果を得ることができるように改良する。すなわちスペクトル抽出部１３２２は、情報保存部１２１から入力される標本情報に含まれる連結自家蛍光参照スペクトルを、色分離部１３２１による色分離結果に基づいて、より精度の高い色分離結果が得られるように調整する。
　より具体的には、第１色分離部１３２１ａは、連結部１３１から入力される染色サンプルの連結蛍光スペクトルに対して、連結蛍光参照スペクトル及び連結自家蛍光参照スペクトルを用いた色分離処理を実行する。これにより連結蛍光スペクトルは、分子毎のスペクトルに分離される。第１色分離部１３２１ａは、情報保存部１２１からの試薬情報に含まれる連結蛍光参照スペクトルと、情報保存部１２１からの標本情報に含まれる連結自家蛍光参照スペクトルとを用いて、当該色分離処理を行う。なお、色分離処理には、例えば、最小二乗法（ＬＳＭ）や重み付き最小二乗法（ＷＬＳＭ）等が用いられてもよい。
　スペクトル抽出部１３２２は、情報保存部１２１から入力される連結自家蛍光参照スペクトルに対して、第１色分離部１３２１ａから入力される色分離結果を用いたスペクトル抽出処理を実行する。スペクトル抽出部１３２２は、その結果に基づいて連結自家蛍光参照スペクトルを調整することで、連結自家蛍光参照スペクトルを、より精度の高い色分離結果が得られるように改良する。なお、スペクトル抽出処理には、例えば、非負値行列因子分解（ＮＭＦ）や特異値分解（ＳＶＤ）等が用いられてもよい。
　第２色分離部１３２１ｂは、連結部１３１から入力される染色サンプルの連結蛍光スペクトルに対して、スペクトル抽出部１３２２から入力された調整後の連結自家蛍光参照スペクトルを用いた色分離処理を実行する。これにより第２色分離部１３２１ｂは、連結蛍光スペクトルを分子毎のスペクトルに分離する。なお、色分離処理には、第１色分離部１３２１ａと同様に、例えば、最小二乗法（ＬＳＭ）や重み付最小二乗法（ＷＬＳＭ）等が用いられてもよい。
　図７には、連結自家蛍光参照スペクトルの調整が１回だけ行われる場合が例示されるが、これには限定されない。第２色分離部１３２１ｂによる色分離結果をスペクトル抽出部１３２２に入力し、スペクトル抽出部１３２２において連結自家蛍光参照スペクトルの調整を再度実行する処理を１回以上繰り返した後に、最終的な色分離結果が取得されてもよい。
　図８には、自家蛍光物質がHemoglobin、ArchidonicAcid、Catalase、Collagen、FAD、NADPH、及びProLongDiamondである場合の連結自家蛍光参照スペクトルの具体例が示されている。図９には、蛍光物質がCK、ER、PgR、及びDAPIである場合の連結蛍光参照スペクトルの具体例が示されている。連結蛍光参照スペクトル及び連結自家蛍光参照スペクトルは、共に、連結部１３１による連結蛍光スペクトルと同様の方法で生成されうるが、他の任意の方法で生成されてもよい。具体的には、連結蛍光参照スペクトル及び連結自家蛍光参照スペクトルは、連結蛍光スペクトルを生成する際に用いられる励起波長と同一の波長を含む複数の励起光によって取得される複数のスペクトルにおいて、所定の波長帯域幅のデータが波長方向に連結されることで生成されうる。この場合、励起光の強度（例えば励起パワー密度）に基づいて、複数のスペクトルのそれぞれに対応する励起光の強度が揃えられていることが想定されるが、必ずしもこれに限定されない。なお、連結蛍光参照スペクトル及び連結自家蛍光参照スペクトルの生成方法は、上記の方法に限定されない。例えば、連結蛍光参照スペクトル及び連結自家蛍光参照スペクトルは、各物質が有するスペクトルの理論値やカタログ値等に基づいて生成されてもよい。
　ここで、分離処理部１３２による色分離処理において用いられうる最小二乗法について説明する。最小二乗法は、入力された標本蛍光スペクトル（例えば染色標本蛍光スペクトル（染色標本画像））における各画素の画素値である蛍光スペクトルに参照スペクトルをフィッティングすることで、混色率を算出する計算法である。なお、混色率は、各物質が混ざり合う度合を示す指標である。以下の式（１）は、蛍光スペクトル（Signal）から、参照スペクトルＳｔ（蛍光参照スペクトル及び自家蛍光参照スペクトル）が混色率ａで混色されたものを減算して得られる残差を表す式である。なお、式（１）における「Signal（１×チャネル数）」とは、蛍光スペクトル（Signal）が波長のチャネル数だけ存在することを示している。例えば、Signalは、１以上の蛍光スペクトルを表す行列である。また、「Ｓｔ（物質数×チャネル数）」とは、参照スペクトルが、それぞれの物質（蛍光物質及び自家蛍光物質）について波長のチャネル数だけ存在することを示している。例えば、Ｓｔは、１以上の参照スペクトルを表す行列である。また、「ａ（１×物質数）」とは、混色率ａが各物質（蛍光物質及び自家蛍光物質）について設けられることを示している。例えば、ａは、蛍光スペクトルにおける参照スペクトルそれぞれの混色率を表す行列である。
Figure JPOXMLDOC01-appb-M000001
　そして、分離処理部１３２は、残差を表す式（１）の２乗和が最小となる各物質の混色率ａを算出する。残差の２乗和が最小となるのは、残差を表す式（１）について、混色率ａに関する偏微分の結果が０である場合である。そのため、分離処理部１３２は、以下の式（２）を解くことで残差の２乗和が最小となる各物質の混色率ａを算出する。なお、式（２）における「Ｓｔ´」は、参照スペクトルＳｔの転置行列を示す。また、「ｉｎｖ（Ｓｔ＊Ｓｔ´）」は、Ｓｔ＊Ｓｔ´の逆行列を示している。
Figure JPOXMLDOC01-appb-M000002
　ここで、上記式（１）の各値の具体例を以下の式（３）～式（５）に示す。式（３）～式（５）の例では、蛍光スペクトル（Signal）において、３種の物質（物質数が３）の参照スペクトル（Ｓｔ）がそれぞれ異なる混色率ａで混色される場合が示されている。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　そして、式（３）及び式（５）の各値による上記式（２）の計算結果の具体例を以下の式（６）に示す。式（６）のとおり、計算結果として正しく「ａ＝（３　２　１）」（すなわち上記式（４）と同一の値）が算出されることがわかる。
Figure JPOXMLDOC01-appb-M000006
　なお、分離処理部１３２は、上述したように、最小二乗法ではなく重み付け最小二乗法（Weighted Least Square Method）に関する計算を行うことにより、蛍光スペクトルから蛍光物質毎のスペクトルを抽出してもよい。重み付け最小二乗法においては、測定値である蛍光スペクトル（Signal）のノイズがポアソン分布になることを利用して、低いシグナルレベルの誤差を重視するように重みが付けられる。ただし、重み付け最小二乗法で加重が行われない上限値をOffset値とする。Offset値は測定に使用されるセンサの特性によって決まり、センサとして撮像素子が使用される場合には別途最適化が必要である。重み付け最小二乗法が行われる場合には、上記の式（１）及び式（２）における参照スペクトルＳｔが以下の式（７）で表されるＳｔ＿に置換される。なお、以下の式（７）は、行列で表されるＳｔの各要素（各成分）を、同じく行列で表される「Signal＋Offset値」においてそれぞれ対応する各要素（各成分）で除算（換言すると、要素除算）することでＳｔ＿を算出することを意味する。
Figure JPOXMLDOC01-appb-M000007
　ここで、Offset値が１であり、参照スペクトルＳｔ及び蛍光スペクトルSignalの値がそれぞれ上記の式（３）及び式（５）で表される場合の、上記式（７）で表されるＳｔ＿の具体例を以下の式（８）に示す。
Figure JPOXMLDOC01-appb-M000008
　そして、この場合の混色率ａの計算結果の具体例を以下の式（９）に示す。式（９）のとおり、計算結果として正しく「ａ＝（３　２　１）」が算出されることがわかる。
Figure JPOXMLDOC01-appb-M000009
（非負値行列因子分解（ＮＭＦ）について）
　分離処理部１３２が自家蛍光スペクトル及び／又は蛍光スペクトルの抽出に用いる非負値行列因子分解（ＮＭＦ）について説明する。ただし、非負値行列因子分解（ＮＭＦ）に限定されず、特異値分解（ＳＶＤ）や主成分分析（ＰＣＡ）等が用いられてもよい。
　図５は、ＮＭＦの概要を説明する図である。図５に示すように、ＮＭＦは、非負のＮ行Ｍ列（Ｎ×Ｍ）の行列Ａを、非負のＮ行ｋ列（Ｎ×ｋ）の行列Ｗ、及び非負のｋ行Ｍ列（ｋ×Ｍ）の行列Ｈに分解する。行列Ａと、行列Ｗ及び行列Ｈの積（Ｗ＊Ｈ）間の平均平方二乗残差Ｄが最小となるように行列Ｗ及び行列Ｈが決定される。本実施形態においては、行列Ａが、自家蛍光参照スペクトルが抽出される前のスペクトル（Ｎが画素数であり、Ｍが波長チャネル数である）に相当する。行列Ｈが、抽出された自家蛍光参照スペクトル（ｋが自家蛍光参照スペクトルの数（換言すると、自家蛍光物質の数）である。Ｍが波長チャネル数である）に相当する。ここで、平均平方二乗残差Ｄは、以下の式（１０）で表される。なお、「ｎｏｒｍ（Ｄ，’ｆｒｏ’）」とは、平均平方二乗残差Ｄのフロベニウスノルムを指す。
Figure JPOXMLDOC01-appb-M000010
　ＮＭＦにおける因子分解は、行列Ｗ及び行列Ｈに対する無作為な初期値で始まる反復法が用いられる。ＮＭＦにおいてｋの値（自家蛍光参照スペクトルの数）は必須であるが、行列Ｗ及び行列Ｈの初期値は必須ではなくオプションとして設定されうるものであり、行列Ｗ及び行列Ｈの初期値が設定されると解が一定となる。一方で、行列Ｗ及び行列Ｈの初期値が設定されない場合、これらの初期値は無作為に設定され、解が一定とならない。
　標本２０は、使用される組織の種類、対象となる疾病の種類、対象者の属性、又は対象者の生活習慣等に応じてその性質が異なり、自家蛍光スペクトルも異なる。そのため、情報処理装置１００が、上記のように、標本２０毎に自家蛍光参照スペクトルを実測することで、より精度の高い色分離処理を実現することができる。
　なお、ＮＭＦの入力である行列Ａは、上述したように、染色標本画像の画素数Ｎ（＝Ｈｐｉｘ×Ｖｐｉｘ）と同数の行と、波長チャネル数Ｍと同数の列とからなる行列である。そのため、染色標本画像の画素数が大きい場合や波長チャネル数Ｍが大きい場合には、行列Ａが非常に大きな行列となり、ＮＭＦの計算コストが増大して処理時間が長くなる。
　そのような場合には、例えば、図６に示すように、染色画像の画素数Ｎ（＝Ｈｐｉｘ×Ｖｐｉｘ）を指定しておいたクラス数Ｎ（＜Ｈｐｉｘ×Ｖｐｉｘ）にクラスタリングすることで、行列Ａの巨大化による処理時間の冗長化を抑制することができる。
　クラスタリングでは、例えば、染色画像のうち、波長方向や強度方向において類似したスペクトル同士が同じクラスに分類される。これにより、染色画像よりも画素数の小さい画像が生成されるため、この画像を入力とした行列Ａ’の規模を縮小することが可能となる。
［蛍光情報解析部１３３］
　蛍光情報解析部１３３は、分離処理部１３２からの画像スペクトルデータ（染色蛍光成分画像（蛍光画像）を含む）の解析処理を行う。蛍光情報解析部１３３が実行可能な解析処理の具体的な処理内容、処理方法及び処理結果は限定されない。
　ただし本実施形態の蛍光情報解析部１３３は、試料（参照試料及び／又は観察試料）の蛍光画像中の蛍光強度から当該試料中の蛍光分子濃度を導出する解析処理を実行する。また蛍光情報解析部１３３は、必要に応じて、試料（参照試料及び／又は観察試料）の蛍光画像（特に蛍光強度の焦点位置特性）から当該試料の厚みを導出する解析処理を実行する。これらの解析処理の詳細例は後述する。
　蛍光情報解析部１３３は、解析処理に用いるデータを情報保存部１２１から読み出してもよい。また蛍光情報解析部１３３は、解析処理に用いたデータ及び解析処理の結果得たデータを、情報保存部１２１に保存することできる。蛍光情報解析部１３３が解析処理に用いたデータ及び解析処理の結果得たデータは、蛍光情報解析部１３３から直接的に各種処理部に提供されてもよいし、各種処理部によって情報保存部１２１から読み出されてもよく、必要に応じて各種処理に使われる。
　例えば、蛍光情報解析部１３３が解析処理の結果取得した試料中の蛍光分子濃度を表すデータは、画像生成部１３４に送られて、画像生成部１３４における後述の画像生成処理に用いられてもよい。また図示はされていないが、蛍光情報解析部１３３が取得した試料中の蛍光分子濃度を表すデータは、表示部１４０及び制御部１５０に提供されて、表示部１４０で表示されたり、制御部１５０の制御処理に使われたりしてもよい。
［画像生成部１３４］
　図１に示す画像生成部１３４は、分離処理部１３２における一連の処理（蛍光スペクトルに対する色分離処理を含む）の結果得られる画像スペクトルデータ（染色蛍光成分画像を含む）に基づいて、画像情報を生成する。画像生成部１３４は、そのような画像スペクトルデータを、分離処理部１３２から取得してもよいし、分離処理部１３２以外の処理部（例えば蛍光情報解析部１３３）から取得してもよい。例えば、画像生成部１３４は、１つ又は複数の蛍光物質に対応する蛍光スペクトルを用いて画像情報を生成したり、１つ又は複数の自家蛍光物質に対応する自家蛍光スペクトルを用いて画像情報を生成したりすることができる。なお、画像生成部１３４が画像情報の生成に用いる蛍光物質（分子）又は自家蛍光物質（分子）の数や組み合わせは特に限定されない。また、分離後の蛍光スペクトル又は自家蛍光スペクトルを用いた各種処理（例えばセグメンテーションやＳ／Ｎ値算出等）が行われた場合、画像生成部１３４は、各種処理の結果を示す画像情報を生成してもよい。
［表示部１４０］
　表示部１４０は、画像生成部１３４によって生成された画像情報をディスプレイに表示することで、実施者（ユーザ）へ画像情報を提示する。また表示部１４０は、蛍光情報解析部１３３によって取得されるデータ（例えば観察試料中の蛍光分子濃度及び当該蛍光分子濃度から導出される各種データ）をディスプレイに表示して、実施者に知らせてもよい。なお、表示部１４０として用いられるディスプレイの種類は特に限定されない。また、詳細に説明しないが、画像生成部１３４によって生成された画像情報は、プロジェクター（表示部１４０）によって投影されたり、プリンタ（表示部１４０）によってプリントされたりすることで、実施者へ提示されてもよい。換言すると、画像情報の出力方法は特に限定されない。
［制御部１５０］
　制御部１５０は、情報処理装置１００が行う処理全般を統括的に制御する機能構成である。例えば、制御部１５０は、操作部１６０を介して行われる実施者による操作入力に基づいて、上記で説明したような各種処理の開始や終了等を制御する。当該各種処理として、例えば、蛍光染色標本３０の載置位置の調整処理、蛍光染色標本３０に対する励起光の照射処理、スペクトルの取得処理、自家蛍光成分補正画像の生成処理、色分離処理、画像情報の生成処理、及び画像情報の表示処理等が挙げられる。なお、制御部１５０の制御内容は特に限定されない。例えば、制御部１５０は、汎用コンピュータ、ＰＣ、タブレットＰＣ等において一般的に行われる処理（例えば、ＯＳ（Operating System）に関する処理）を制御してもよい。
［操作部１６０］
　操作部１６０は、実施者（ユーザ）からの操作入力を受ける。より具体的には、操作部１６０は、キーボード、マウス、ボタン、タッチパネル及び／又はマイクロフォン等の各種入力手段を備え、実施者は当該入力手段を操作することで情報処理装置１００に対する様々な入力を行うことができる。操作部１６０を介して行われた入力に関する情報は制御部１５０に提供される。
［データベース２００］
　データベース２００は、試薬情報及び標本情報等を管理する装置である。より具体的に説明すると、データベース２００は、試薬識別情報１１と試薬情報、標本識別情報２１と標本情報をそれぞれ紐づけて管理する。これによって、情報取得部１１１は、蛍光試薬１０の試薬識別情報１１に基づいて試薬情報を、標本２０の標本識別情報２１に基づいて標本情報をデータベース２００から取得することができる。
　データベース２００が管理する試薬情報は、蛍光試薬１０が有する蛍光物質固有の計測チャネル及び連結蛍光参照スペクトルを含む情報であることを想定している（必ずしもこれらに限定されない）。「計測チャネル」とは、蛍光試薬１０に含まれる蛍光物質を示す概念であり、図９の例では、ＣＫ、ＥＲ、ＰｇＲ、及びＤＡＰＩを指す概念である。蛍光物質の数は蛍光試薬１０によって様々であるため、計測チャネルは、試薬情報として各蛍光試薬１０に紐づけられて管理されている。また、試薬情報に含まれる連結蛍光参照スペクトルとは、上記のとおり、計測チャネルに含まれる蛍光物質それぞれについて、蛍光スペクトルが波長方向に連結されたものである。
　また、データベース２００が管理する標本情報は、標本２０が有する自家蛍光物質固有の計測チャネル及び連結自家蛍光参照スペクトルを含む情報であることを想定している（必ずしもこれらに限定されない）。「計測チャネル」とは、標本２０に含まれる自家蛍光物質を示す概念であり、図８の例では、Hemoglobin、ArchidonicAcid、Catalase、Collagen、FAD、NADPH、及びProLongDiamondを指す概念である。自家蛍光物質の数は標本２０によって様々であるため、計測チャネルは、標本情報として各標本２０に紐づけられて管理されている。また、標本情報に含まれる連結自家蛍光参照スペクトルとは、上記のとおり、計測チャネルに含まれる自家蛍光物質それぞれについて、自家蛍光スペクトルが波長方向に連結されたものである。なお、データベース２００で管理される情報は必ずしも上記に限定されない。
　図１を参照して説明した上記のシステム構成はあくまで一例であり、上述の情報処理システムの構成は上記例に限定されない。例えば、情報処理装置１００は、図１に示す構成の全てを必ずしも備えなくてもよいし、図１に示されていない構成を備えてもよい。
　上述の情報処理システムは、試料の蛍光スペクトルを取得する撮像装置（例えばスキャナ等）と、蛍光スペクトルを用いて処理を行う情報処理装置１００とを備えていてもよい。この場合、図１に示す蛍光信号取得部１１２は撮像装置によって実現されてもよい。また上述の情報処理システムは、試料の蛍光スペクトルを取得する撮像装置と、蛍光スペクトルを用いる処理に使われるソフトウェアと、を備えていてもよい。換言すると、当該ソフトウェアを記憶したり実行したりする物理構成（例えばメモリやプロセッサ等）を情報処理システムが備えていなくてもよい。この場合、図１に示す蛍光信号取得部１１２は撮像装置によって実現されてもよく、情報処理システムのその他の構成は当該ソフトウェアが実行される情報処理装置１００及びデータベース２００によって実現されてもよい。当該ソフトウェアは、ネットワークを介して（例えばウェブサイトやクラウドサーバ等から）情報処理装置１００に提供されたり、任意の記憶媒体（例えば、ディスク等）を介して情報処理装置に提供されたりしうる。また、当該ソフトウェアが実行される情報処理装置１００は、各種サーバ（例えばクラウドサーバ等）、汎用コンピュータ、ＰＣ、またはタブレットＰＣ等であってもよい。当該ソフトウェアが情報処理装置１００に提供される方法及び情報処理装置は、上記形態に限定されない。また情報処理システムの構成は上記形態に限定されず、使用時の技術水準に基づいて、当業者が想到可能な構成によって上述の情報処理システムを実現しうる。
　一例として、上述の情報処理システムは、顕微鏡システムとして実現されてもよい。
　図１０は、顕微鏡システム（情報処理システム）の一例の概略構成を示す図である。
　本実施形態の顕微鏡システムは、ライン共焦点顕微鏡システムとして構成されており、ラインスキャンによって撮影領域全体又は関心領域の画像を取得する測定系を備える。ただし顕微鏡システム（情報処理システム）における画像取得方式は限定されず、例えばラインスキャン方式以外の方式を採用する共焦点顕微鏡システムに対しても、本実施形態の顕微鏡システムの技術を応用することが可能である。以下の説明で言及される「共焦点顕微鏡」は「ライン共焦点顕微鏡」を含み、ライン共焦点顕微鏡を単に共焦点顕微鏡とも呼びうる。またライン共焦点顕微鏡に関する記述は、基本的に、他の共焦点顕微鏡に対しても同様に適用される。
　図１０に示す情報処理システムは測定系及び情報処理装置１００を備える。測定系は、ＸＹステージ５０１、励起光源５１０、ビームスプリッタ５１１、対物レンズ５１２、分光器５１３、及び光検出器５１４を含む。
　ＸＹステージ５０１は、解析対象の蛍光染色標本３０（又は標本２０）が載置されるステージであり、蛍光染色標本３０（又は標本２０）の載置面と平行な平面（ＸＹ平面）において移動可能である。
　励起光源５１０は、蛍光染色標本３０（又は標本２０）を励起させるため励起光を発する光源であり、例えば波長が互いに異なる複数の励起光を所定の光軸に沿って出射する。
　なお蛍光染色標本３０において蛍光分子が均等に分布していれば、励起光源５１０として必ずしも波長可変なレーザ光源が用いられる必要はなく、簡素及び／又は安価な光学系を用いて測定系を構成しうる。
　ビームスプリッタ５１１は、例えばダイクロイックミラー等で構成され、励起光源５１０からの励起光を反射し、蛍光染色標本３０（又は標本２０）からの蛍光を透過する。
　対物レンズ５１２は、ビームスプリッタ５１１で反射した励起光をＸＹステージ５０１上の蛍光染色標本３０（又は標本２０）に照射する。
　分光器５１３は、１以上のプリズムやレンズ等を用いて構成され、蛍光染色標本３０（又は標本２０）から放射し、対物レンズ５１２及びビームスプリッタ５１１を透過した蛍光を所定方向に分光する。
　光検出器５１４は、分光器５１３で分光された蛍光の波長毎の光強度を検出し、これにより得られた蛍光信号（蛍光スペクトル及び／又は自家蛍光スペクトル）を情報処理装置１００の蛍光信号取得部１１２（図１参照）に入力する。
　図１０に示す情報処理システムにおいて、撮影領域の全体が１回で撮影できる領域（「視野」とも称する）を超える場合、１回の撮影毎にＸＹステージ５０１を動かして視野を移動させることで各視野の撮影が順次行われる。そして、それぞれの視野の撮影により得られた画像データ（「視野画像データ」とも称する）をタイリングすることで、撮影領域全体の広視野画像データが生成される。生成された広視野画像データは、例えば、蛍光信号保存部１２２（図１参照）に保存される。なお、視野画像データのタイリングは、情報処理装置１００の取得部１１０において実行されてもよいし、保存部１２０において実行されてもよいし、処理部１３０において実行されてもよい。
　処理部１３０は、このようにして得られる広視野画像データに対して上述の処理を実行することで、例えば蛍光分子毎の蛍光分離画像（又は自家蛍光分子毎の自家蛍光分離画像）を取得することができる。
　図１１は、情報処理装置１００及び測定系１０１を備える情報処理システム１０２の一例の概念図である。
　情報処理システム１０２（特に測定系１０１）は、蛍光染色標本３０（試料）に励起光Ｌ１を照射し、当該励起光Ｌ１により励起された蛍光染色標本３０中の蛍光分子から発せられる蛍光Ｌ２（特に分光後の蛍光Ｌ２）を撮像する。これにより蛍光染色標本３０の蛍光スペクトル２１０（蛍光画像）が得られる。
　本実施形態では、ｘ方向に延びるライン状の励起光Ｌ１が蛍光染色標本３０に一度に照射され、ｘ方向と垂直を成すｙ方向へ励起光Ｌ１及び蛍光染色標本３０が相対移動しつつ撮像が行われる。なお蛍光染色標本３０の撮像予定エリアのｘ方向範囲が、ライン状の励起光Ｌ１のｘ方向範囲よりも大きい場合には、蛍光染色標本３０上における励起光Ｌ１のスキャン位置がｘ方向に順次ずらされながら、撮像が行われる。
　このように１次元空間的な広がりを有するライン状の励起光Ｌ１を利用することによって、空間情報及びスペクトル情報の両方を含む蛍光Ｌ２を撮像することができる。その結果、測定系１０１は、３次元データ（ｘ、ｙ、λ）として構成される蛍光スペクトル２１０を撮像取得する。すなわち測定系１０１によって取得される蛍光スペクトル２１０は複数の画像情報データを含み、各画像情報データはｘｙ平面の画像情報であり、同一のｘｙ平面に関して波長／波長帯域（λ）が異なる複数のｘｙ平面画像が蛍光スペクトル２１０に含まれる。
　このようにして測定系１０１により取得される蛍光スペクトル２１０は、情報処理装置１００に提供され、情報処理装置１００において各種処理（図１参照）を受ける。
［蛍光情報解析］
　次に、上述の蛍光情報解析部１３３（図１参照）によって行われる蛍光情報解析例について説明する。
　まず共焦点顕微鏡によって撮像取得される蛍光画像中の蛍光強度の、焦点位置に応じた特性（「蛍光強度特性」とも称する）について、共焦点光学系を具備しない通常の顕微鏡によって撮像取得される蛍光画像の蛍光強度特性と比較して、説明する。
　以下の説明において、試料（標本）の「厚み」に関する記述は、特に断りがない限り、原則「測定系（共焦点顕微鏡）の光軸方向の厚み」に関する記述である。
　図１２Ａは、共焦点光学系を具備しない通常の顕微鏡（測定系）による蛍光染色標本３０（観察試料）の撮像方法の一例を示す概念図である。図１２Ｂ及び図１２Ｃは、ライン共焦点顕微鏡による蛍光染色標本３０の撮像方法の一例を示す概念図である。図１２Ａ～図１２Ｃに示される蛍光染色標本３０は、複数のコラム状容器の各々に収容された状態でライン状の励起光Ｌ１が照射されることで、蛍光Ｌ２を発する。図１２Ｂにおける蛍光染色標本３０の厚みｄ１は、図１２Ｃにおける蛍光染色標本３０の厚みｄ２と異なる。
　一般に、細胞に存在しうる特定蛋白（抗原）の検出のために、当該特定蛋白に結合する蛍光抗体試薬を用いて細胞組織が染色される。細胞中の特定蛋白に結合定着した蛍光分子は、励起光によって励起されることで、固有の波長特性を持つ蛍光を発する。
　蛍光染色された細胞組織に励起光を照射して蛍光分子が蛍光を発している状態で取得される細胞組織の撮像画像（蛍光画像）中の蛍光強度に基づいて、細胞における特定蛋白（抗原）の密度（濃度）を定量化できる。
　このようにして観察試料の蛍光画像から蛍光分子濃度を求めるには、蛍光画像中の蛍光強度と蛍光分子濃度との間の対応関係の基準を、事前に明らかにしておくことが求められる。すなわち蛍光画像中の蛍光強度と蛍光分子濃度とを相互に対応づける参照基準データに対し、観察試料の蛍光画像中の蛍光強度を照らし合わせることによって、観察試料中の蛍光分子濃度を導き出すことができる。
　蛍光検出感度に関する焦点依存性がない又は殆どない一般的な暗視野顕微鏡によって観察試料の蛍光画像が撮像取得される場合、蛍光画像中の蛍光強度は、撮像に使用された光学系の焦点位置に依存しない又は殆ど依存しない。
　したがって一般的な暗視野顕微鏡が撮像取得した観察試料の蛍光画像が用いられる場合には、単純なやり方で、蛍光画像中の蛍光強度から蛍光分子濃度を求めることできる。
　すなわち観察試料の蛍光画像中の蛍光濃度を、基準となる対応関係に照らし合わせることで、観察試料中の蛍光分子濃度や蛍光分子数分布を精度良く算出することが可能である。この際に用いられる「蛍光強度及び蛍光分子濃度の対応関係」の基準は、参照試料を使って求められる。
　具体的には、蛍光染色され且つ単位面積当たりの蛍光分子数（蛍光分子濃度）が既知である参照試料の蛍光画像を撮像取得し、当該蛍光画像中の蛍光強度が導出される。そして参照試料の蛍光画像と観察試料の蛍光画像との間の蛍光強度比が求められ、当該蛍光強度比に対して参照試料の蛍光分子濃度が乗算されることで、観察試料の蛍光分子濃度が算出される。
　このように焦点依存性がない又は殆どない顕微鏡システムを使って観察試料の蛍光画像が取得される場合、蛍光画像の蛍光強度特性を考慮せずに、観察試料の蛍光画像の蛍光強度から観察試料中の蛍光分子濃度を精度良く算出することが可能である。これは、一般的な暗視野顕微鏡によって撮像される蛍光画像では、焦点位置によって画像ボケが生じることはあっても、蛍光画像内の蛍光強度の総和は、焦点位置に依存しない又は殆ど依存しないからである。
　例えば図１２Ａに示す通常の顕微鏡では、蛍光染色標本３０に励起光Ｌ１が照射されて蛍光染色標本３０の個々の蛍光分子から発せられる蛍光Ｌ２は、図示しない光学系及び分光器を介してイメージセンサ６０により受光される。この場合、光学系の焦点位置が変わっても、厚みｄの蛍光染色標本３０から発せられてイメージセンサ６０により受光される蛍光Ｌ２（蛍光スペクトル）の強度の総和は、基本的には変わらない。
　一方、共焦点顕微鏡が観察試料の蛍光画像を撮像取得する場合、蛍光画像中の蛍光強度は、撮像に使用された光学系の焦点位置に大きく依存する。そのため観察試料の蛍光画像中の蛍光強度から蛍光分子濃度を適切に求めるためには、蛍光画像中の蛍光強度の焦点依存性を考慮して観察試料の蛍光分子濃度を求める必要がある。
　図１２Ｂ及び図１２Ｃに示すライン共焦点顕微鏡では、蛍光染色標本３０とイメージセンサ（図示省略）との間に、スリット６２を有する光通過制限素子６１（遮光板）が設けられる。ライン状の励起光Ｌ１が照射されて励起された蛍光染色標本３０中の蛍光分子から発せられる蛍光Ｌ２のうち、スリット６２を通過した蛍光Ｌ２のみがイメージセンサによって受光される。
　これにより蛍光染色標本３０の１次元蛍光スペクトルが撮像取得される。このような蛍光染色標本３０の撮像は、上述のように、励起光Ｌ１及び蛍光染色標本３０が相対的に移動しつつ継続的に行われるため、結果的に蛍光染色標本３０の平面画像（ｘｙ平面画像：蛍光スペクトル画像）が撮像取得される。
　このようにスリットが組み込まれた光学系を用いて撮像取得される蛍光画像中の蛍光強度は、焦点位置に対する依存性を示す。すなわちイメージセンサに向かう蛍光の通過を制限する光通過制限素子（スリットを有する遮光板）を具備する光学系は、共焦点光学系としての性質を帯びる。
　蛍光染色標本のうち焦点面（合焦面）に位置する蛍光分子から発せられる蛍光は、スリットを通過し、イメージセンサによって適切に受光される。一方、焦点面から焦点深度方向へ前後にズレて位置する蛍光分子から発せられる蛍光の少なくとも一部は、スリットを通過することができず、イメージセンサによって受光されない。
　したがって蛍光分子が均一的に分散して一定の蛍光分子濃度を観察試料が有する場合でも、共焦点顕微鏡が撮像取得した蛍光画像中の蛍光強度は、通常の顕微鏡（図１２Ａ参照）が撮像取得する蛍光画像中の蛍光強度とは一致しない。ライン共焦点顕微鏡（図１２Ｂ及び図１２Ｃ参照）では光通過制限素子によって一部の蛍光が遮られるため、ライン共焦点顕微鏡が撮像取得する蛍光画像中の蛍光強度は、通常の顕微鏡が撮像取得する蛍光画像中の蛍光強度に比べ、過小評価される傾向がある。
　特に観察試料の厚みが大きくなるに従って、蛍光画像中の蛍光強度と観察試料中の蛍光分子濃度との間の関係は、通常の顕微鏡が撮像取得する蛍光画像中の蛍光強度と蛍光分子濃度との間の比例関係から、より大きく逸脱する傾向がある。したがって通常の顕微鏡が撮像取得した蛍光画像に基づく上述の単純なやり方では、共焦点顕微鏡が撮像取得した蛍光画像中の蛍光強度から観察試料中の蛍光分子濃度を適切に求めることができない。
　このように共焦点顕微鏡が撮像取得する蛍光画像中の蛍光強度の焦点依存性に起因して、厚みの異なる試料間では、蛍光強度の比が、当該試料中に含まれる蛍光分子の総数の比に必ずしも比例しない。そのため共焦点顕微鏡によって撮像取得される蛍光画像を解析する際には、試料の厚みと、焦点位置に対する蛍光検出感度の依存性とを加味する必要がある。
　一例として、観察試料と同じ厚みの容器を用意し、観察試料の蛍光画像の取得の際に用いられる既知濃度の蛍光体とともに容器に密封された試料を、参照試料として用いることが可能である。この場合、観察試料の蛍光画像の撮像を行う共焦点顕微鏡と同じ共焦点顕微鏡を用いて、参照試料の蛍光画像の撮像を行うことで、基準として使用可能な「蛍光強度と蛍光分子濃度との間の対応関係」を取得できる。
　すなわち参照試料が観察試料と同じ厚みを持ち、参照試料中に蛍光分子が均一に分布していると仮定して、参照試料の蛍光画像から、単位面積当たりの単位蛍光抗体から発せられる蛍光強度を得ることができる。このようにして参照試料の蛍光画像から得られる蛍光強度と蛍光分子濃度との間の関係に基づき、参照試料と観察試料との間の蛍光強度比から、観察試料の単位面積当たりの蛍光分子数（蛍光分子濃度）を求めることが可能である。
　しかしながら観察試料に必要とされる適切な厚み（光軸方向の厚み）は、細胞の種類毎に異なりうる。またスライサーを用いて細胞を数μｍ（マイクロメートル）の厚みでスライスすることで得られる薄膜切片試料が観察試料として用いられることが多いが、そのような観察試料の厚みの精度にも限界がある。したがって共焦点顕微鏡では、様々な厚みを持つ観察試料が用いられることが想定される。
　このように様々な厚みを持つ観察試料の使用が想定される状況下で、これらの観察試料と全く同じ厚みを持ち且つ同じ蛍光体により同じ濃度で染色された参照試料を毎回作ることは、技術的且つコスト的観点から現実的ではない。また想定される全ての厚みのそれぞれに関して参照試料を準備することも、同様に現実的ではない。
　そのため特定光学系を用いて特定蛍光分子の特性を模擬すること、及び個別光学系を用いて予め全ての要因の組み合わせを想定して準備（計測）を行うことは、現実的ではない。
　また各種厚みの参照試料の「焦点特性の厚み依存性」を事前に測定し、当該測定結果に基づくテーブルを用いて、観察試料の厚みに対する観察試料の蛍光画像中の蛍光強度の非線形性を補正することが考えられる。しかしながら試料の厚みに対する試料の蛍光画像中の蛍光強度の依存性は、以下の要因によっても変わるため、そのような補正では蛍光画像中の蛍光強度が必ずしも十分には適正化されない。
・　光源光学特性の個体差
・　光学系の光学特性の微小なズレの集積
・　励起光の３次元的強度分布に依存して発せられる蛍光と、当該蛍光の集光効率の空間依存性と、の機種依存性
・　各種要因（上記要因を含む）の経時的な変化 
　また非常に薄い試料を厚み精度良く作ること自体が非常に難しい。特に、個々の試料内においても厚みがばらつくことがあり、そのような個々の試料内の厚みのばらつきの計測及び補正が求められることがある。
　上述の試料間の厚みのばらつきや個々の試料内の厚みのばらつきを計測する装置は存在するが、外部干渉光学系を別途必要としたり、励起光として可変波長のレーザを用いたりするなど、装置の構成複雑化及び高コスト化を招く。
　また光学系の焦点位置を変えつつ試料の撮像を行って複数の蛍光画像を取得し、当該複数の蛍光画像を使ってスリットの影響を平均化して低減することも考えられる。しかしながら励起光の照射に起因する試料中の蛍光分子の退色などの細胞劣化が懸念されるため、試料中の同一箇所を対象とする複数回の撮像を行うことが難しい場合もある。
　以下に説明する実施形態では、後述の積層合成の考え方に基づき、蛍光染色された参照試料の蛍光強度の焦点依存性の測定結果に基づいて、任意の厚みを有する観察試料の焦点特性が推定される。
　また参照試料の蛍光強度特性を精度良く得るためには、参照試料の厚みを正確に把握することが望ましい。そこで後述のように、参照試料の蛍光強度特性のフーリエ変換関数を利用することで、参照試料の厚みを簡便且つ正確に得ることが可能である。
　さらに参照試料の厚みを正確に得るための上記方法は、観察試料の厚みを正確に得るためにも用いることが可能である。その結果、個々の観察試料内の厚み分布を考慮した「観察試料中の蛍光分子濃度の取得」も可能である。
［積層合成］
　図１３は、共焦点顕微鏡によって撮像取得される蛍光染色標本３０の蛍光画像中の蛍光強度の積層合成の考え方を、蛍光染色標本３０を使って説明する図である。
　本件発明者は、鋭意研究の結果、焦点方向（すなわち光軸方向）にある厚みを持つ蛍光染色標本３０の蛍光画像の焦点特性を、より小さな厚みを持つ蛍光染色試料の蛍光画像の焦点特性の合成（加算）によって近似的に表す手法を新たに見出した。
　すなわち、蛍光染色標本３０を光軸方向に複数（図１３の例では５つ）に分割することで得られる複数の分割蛍光染色標本３０－１～３０－５を想定する。
　この場合、これらの複数の分割蛍光染色標本３０－１～３０－５から発せられる蛍光Ｌ２－１～Ｌ２－５の蛍光強度特性の合成（加算）により得られる蛍光強度特性によって、本来の蛍光染色標本３０の蛍光強度特性が近似される。換言すれば、蛍光染色標本３０の厚み範囲において、より小さな厚みを有する分割蛍光染色標本を厚み方向（光軸方向）にずらしつつ撮像取得される蛍光画像中の蛍光強度特性の合成によって、蛍光染色標本３０の全体の蛍光強度特性が近似的に得られる。
　図１４は、共焦点顕微鏡によって撮像取得される蛍光染色標本の蛍光画像中の蛍光強度の積層合成の考え方を、グラフを使って説明する図である。図１４の縦軸は、共焦点顕微鏡によって撮像取得される蛍光画像中の蛍光強度を示す。図１４の横軸は、蛍光画像の撮像取得に使われた光学系の焦点位置を示し、基準焦点位置が原点（「０（ゼロ）」）によって示される。
　図１４に示されている各種グラフは、蛍光染色標本が３つの分割蛍光染色標本に分割されるケースに基づいている。すなわち図１４には、３つの分割蛍光染色標本のそれぞれに関する蛍光強度特性ｑ１～ｑ３と、蛍光染色標本の蛍光強度特性の演算値Ｑｃ（実線）及び実測値Ｑｒ（点線）とが示されている。
　蛍光染色標本の蛍光強度特性の演算値Ｑｃは、３つの分割蛍光染色標本のそれぞれに関する蛍光強度特性ｑ１～ｑ３の合成（加算）によって得られる。蛍光染色標本の蛍光強度特性の実測値Ｑｒは、共焦点顕微鏡を使って光学系の焦点位置を変えつつ撮像取得された蛍光染色標本の蛍光画像中の蛍光強度に基づいて、導出される。図１４に示す蛍光染色標本の蛍光強度特性の演算値Ｑｃ及び実測値Ｑｒは、ともに基準焦点位置（０）において最大値（ピーク値）を示す。
　上述の積層合成の考え方（図１３参照）が正しいことは、図１４に示される蛍光染色標本の蛍光強度特性の演算値Ｑｃ及び実測値Ｑｒの一致の程度からも明らかである。
　本件発明者は、上述の積層合成の考え方を踏まえ、実際の参照試料の蛍光強度特性に基づいて、任意の厚み（所望の厚み）を有する仮想的な参照試料の蛍光強度特性を取得する新たな手法を更に考案した。これにより、観察試料と同じ厚みを有する仮想的な参照試料の蛍光強度特性を算出することが可能である。このようにして算出される仮想的な参照試料の蛍光強度特性は、観察試料の蛍光画像中の蛍光強度から観察試料中の蛍光分子濃度を算出するために参照される参照基準データ（特に基準蛍光濃度）として使用可能である。
　図１５Ａは、物理的なイメージによって、所望厚の参照試料の蛍光強度特性の取得を説明する図である。図１５Ｂは、グラフによって、所望厚の参照試料の蛍光強度特性の取得を説明する図である。図１５Ｂには、焦点位置（縦軸）及び蛍光強度（横軸）に基づく基準厚参照蛍光強度特性３５の一例が示されており、また焦点位置（縦軸）及び「０、１」（横軸）に基づいて所望厚に対応する矩形関数（所望厚矩形関数３６）が示されている。
　ライン共焦点顕微鏡によって撮像取得される参照試料の蛍光画像中の蛍光強度と、参照試料の実際の厚みとから、基準厚み（本実施形態では無限薄の厚み）を有する参照試料の蛍光強度特性（基準厚参照蛍光強度特性３５）が導出される。ここでいう「無限薄の厚み」は、限りなく０μｍに近づけられた厚みを意味する。
　そして参照試料の所望厚（２ｄ）に相当する範囲（所望厚矩形関数３６）で、基準厚みずつ、基準厚参照蛍光強度特性３５がシフトされることで得られる複数の蛍光強度特性が合成される。これにより、所望の厚み（２ｄ）を有する参照試料の蛍光強度特性を取得することができる。
　実際の演算において、上述の基準厚参照蛍光強度特性３５は、共焦点顕微鏡によって撮像取得される参照試料の蛍光強度特性と、参照試料の実際の厚みとのデコンボリューションによって算出される。そして上述の所望の厚み（２ｄ）を有する参照試料の蛍光強度特性は、基準厚参照蛍光強度特性３５及び所望厚矩形関数３６のコンボリューションによって算出される。
　これらの演算式は、原理的には、フーリエ変換を利用した下記の式１によって表現される。
Figure JPOXMLDOC01-appb-M000011
　上記式１において「ｆｓ（ｘ）」は所望の厚みを有する参照試料の蛍光強度特性を表し、「ＦＬ（ｋ）」は共焦点顕微鏡によって撮像取得される実際の参照試料の蛍光強度特性（参照蛍光強度特性）を表す。「ＧＬ（ｋ）」は実際の参照試料の厚みに対応する矩形波（矩形関数）のフーリエ変換後の関数を表し、「Ｇｓ（ｋ）」は所望の厚みに対応する矩形波（矩形関数）のフーリエ変換後の関数を表す。「Ｆ－１［ｋ］［ｘ］」はフーリエ逆変換を表す演算子である。
［試料の厚みの算出］
　次に、試料の蛍光強度特性に基づいて、当該試料の厚みを精度良く推定する方法について例示的に説明する。
　上記の式１に基づいて所望の厚みを有する参照試料の蛍光強度特性（ｆｓ（ｘ））を正確に算出するには、参照試料の実際の厚み（「ＧＬ（ｋ）」参照）を正確に把握することが要求される。
　本件発明者は、鋭意研究の結果、上記の式１に基づいて所望厚の仮想的な参照試料の蛍光強度特性を算出するロジックを応用して、実際の参照試料の蛍光強度特性から実際の参照試料の厚みを精度良く求める手法を新たに見出した。
　すなわち上記の式１から、基準厚み（無限薄の厚み）を有する参照試料の蛍光強度特性を表す関数と、所望の厚みに対応する矩形関数とのコンボリューションによって、所望の厚みを有する参照試料の蛍光強度特性が算出されることがわかる。
　ところで矩形関数の基本的な性質として、矩形関数（下記の式２）のフーリエ変換はＳｉｎｃ関数（下記の式３）で表される。
Figure JPOXMLDOC01-appb-M000012
Figure JPOXMLDOC01-appb-M000013
　上記式３からも明らかなように、矩形関数のフーリエ変換後の関数Ｆ（ω）は、「ωｄ」が「πｎ（ただしｎは０を除く整数）」の場合に「０（ゼロ）」となる（すなわち「ωｄ＝πｎ」の場合、Ｆ（ω）＝０）。したがって「ω＝πｎ／ｄ」の場合、矩形関数のフーリエ変換後の関数Ｆ（ω）は「０（ゼロ）」になる。
　図１６は、試料の蛍光強度特性のフーリエ変換（ＦＦＴ：Finite Fourier Transform）によって導出される関数Ｆ（ω）を表すグラフである。図１６の縦軸（ω）は、実空間上の「焦点位置」に対応し、図１６の横軸（Ｆ（ω））は、実空間上の「蛍光強度」に対応する。図１６において原点は「０（ゼロ）」点によって表されている。
　フーリエ変換（ＦＦＴ）を用いた光学系の演算において、焦点位置に関する演算範囲（サンプリング区間）が「－Ｌ（μｍ）」～「Ｌ（μｍ）」で表される場合、フーリエ空間上の１目盛りは「２π／ Ｌ」を示す。
　したがって試料の厚みに対応する矩形関数のフーリエ変換後の関数（「フーリエ変換関数」とも称する）のゼロクロス幅（２ｚ）と、試料の厚み２ｄとは、以下の式４の関係を満たす。
Figure JPOXMLDOC01-appb-M000014
　なおゼロクロス幅（２ｚ）は、原点（＝０）を中心にお互いに反対の位置に出現するゼロクロス点（ｚ、－ｚ）の間の距離によって表される。原点は、フーリエ変換関数がピーク値を示す位置に設定され、ゼロクロス点（ｚ、－ｚ）においてフーリエ変換関数は「０（ゼロ）」を示す。
　図１７は、フーリエ変換及びフーリエ逆変換を利用したコンボリューション演算を説明するための概念図である。
　畳み込み定理によれば、実空間上の関数同士（図１７の「ｆ（ｘ）」及び「ｇ（ｘ）」参照）のコンボリューションは、フーリエ空間上の関数同士の内積（図１７の「Ｆ（ｋ）・Ｇ（ｋ）」参照）と等価である。
　上述の積層合成の考え方を踏まえると、所望厚の参照試料の蛍光強度特性のフーリエ変換関数は、無限薄の参照試料の蛍光強度特性のフーリエ変換関数と、所望厚の矩形関数のフーリエ変換関数との内積に等しい。すなわち所望厚の参照試料の蛍光強度特性のフーリエ変換関数は、基準厚参照蛍光強度特性３５及び所望厚矩形関数３６の内積に等しい。
　一方、参照試料の実際の厚みに対応する矩形関数のフーリエ変換関数がゼロとなる点で、参照試料の実際の蛍光強度特性のフーリエ変換関数は必ずゼロになる。したがって参照試料の実際の蛍光強度特性のフーリエ変換関数におけるゼロ点位置から、参照試料の実際の厚みを導き出すことができる。
　具体的には、上記式４に示すように、参照試料の蛍光強度特性のフーリエ変換関数がゼロを示すゼロ点位置ｚと、参照試料の厚み２ｄとは、「ｄ＝ｎＬ／（２ｚ）」、すなわち「ｚ＝ｎＬ／（２ｄ）」の関係を満たす。したがって当該関係「ｚ＝ｎＬ／（２ｄ）」に基づいて、参照試料の実際の蛍光強度特性のフーリエ変換関数におけるゼロ点位置から、参照試料の実際の厚みを導き出すことができる。
　なお、参照試料の蛍光強度特性のフーリエ変換関数におけるゼロ点位置は、矩形関数のゼロ点（「ｄ」及び「－ｄ」）に由来するゼロ点位置に加え、参照試料の厚みに由来しないゼロ点位置も含まれうることに留意される。そのため参照試料の厚みを上記演算に基づいて求める際には、参照試料の蛍光強度特性のフーリエ変換関数におけるゼロ点位置の複数の組み合わせの中から、参照試料の実際の厚みの予想値に最も良く適合する組み合わせを選択することが必要になる場合もある。
［情報処理方法］
　次に、ライン共焦点顕微鏡によって撮像取得される観察試料の蛍光画像中の蛍光強度から、観察試料中の蛍光分子濃度を取得する方法の一例について説明する。
　以下の情報処理方法の説明における蛍光強度は、観察試料の染色に用いられる特定の蛍光試薬が発する蛍光の強度であり、分離処理部１３２（図１参照）における色分離処理後の画像スペクトルデータ（蛍光画像）から得られる。
　以下の情報処理方法を実行する情報処理システムの具体的な構成は限定されない。例えば図１に示す機能構成を有する情報処理装置１００が使用される場合、蛍光情報解析部１３３が、以下に説明される蛍光画像を使った各種処理を行うことが可能である。
［参照基準データの取得］
　図１８は、参照基準データを取得する処理の一例を示すフロー図である。
　＜参照試料の準備＞
　まず参照試料が作製され、参照試料中の蛍光分子濃度の取得される（図１８のＳ１）。
　参照試料の作製方法は限定されない。例えば、所望濃度の蛍光体が溶解した液体とともに試料を容器に封入することによって、参照試料が作られてもよい。また固形ガラス中に試料及び蛍光体を封入して、当該固形ガラスから所望の厚みを持つ蛍光ガラスを作ることで、参照試料が作られてもよい。
　したがって例えば、細胞組織及び蛍光体が所望間隔（通常は数μｍ～数十μｍの間隔）を持つ平板ガラス間で容器内に配置されることで、参照試料が作製されてもよい。参照試料に使われる細胞組織は、通常、観察試料に使われる細胞組織と実質的に同じ部位から採取される。
　一般に、生体試料（標本）が薄くなるに従って、生体試料の作製は難しくなり、生体試料の性状が不安定になりやすい。したがって参照試料は、観察試料よりも大きな厚みを持つように作られてもよい。ただし参照試料の厚みは限定されず、観察試料の厚み以下であってもよい。
　参照試料の作製の際に用いられる蛍光体は、観察試料の染色に用いられる蛍光体（蛍光試薬）或いは当該蛍光試薬と同等の蛍光波長特性を示す蛍光体である。
　参照試料中の蛍光分子濃度は、例えば、参照試料の作製（参照試料の元になる材料の作製を含む）の際に用いられる材料中の蛍光体の濃度から取得される既知データである。
　＜参照試料の厚み算出＞
　その後、上述のライン共焦点顕微鏡及び情報処理装置を含む情報処理システムによって、参照試料の蛍光強度特性が取得される（Ｓ２）。具体的には、ライン共焦点顕微鏡によって、光学系の焦点位置ｚを変えつつ参照試料の蛍光画像が複数取得される。
　参照試料の蛍光の撮像及び観察試料の蛍光の撮像は、同じライン共焦点顕微鏡（特に同じ光学系）を使って行われる。ただし参照試料の蛍光の撮像及び観察試料の蛍光の撮像は、異なるライン共焦点顕微鏡（特に異なる光学系）を使って行われてもよい。その場合、実質的に同じ光学特性（特に焦点特性）を示す「異なるライン共焦点顕微鏡（特に異なる光学系）」を使って、参照試料の蛍光の撮像及び観察試料の蛍光の撮像が行われる。
　このようにして取得される参照試料の複数の蛍光画像が情報処理装置により解析されて、参照試料の蛍光強度特性ｆ（ｚ）が導き出される。
　その後、参照試料の蛍光強度特性ｆ（ｚ）のフーリエ変換関数Ｆ（ｋ）のゼロ点位置から、参照試料の厚みが算出される（Ｓ３）。
　具体的には、任意の手法（例えばＦＦＴ）に基づく離散フーリエ変換を参照試料の蛍光強度特性ｆ（ｚ）に適用することで、参照試料の蛍光強度特性のフーリエ変換関数Ｆ（ｋ）（＝Ｆｏｕｒｉｅ［ｆ（ｚ）、ｋ］）が取得される。
　そして当該フーリエ変換関数Ｆ（ｋ）の複素数の絶対値の２乗（｜Ｆ（ｋ）｜＾２）がゼロ又はゼロ近傍の値（すなわち他のデータに比べ十分小さい極小値）を示す焦点位置が取得される。
　フーリエ変換関数Ｆ（ｋ）において、複素数の絶対値がゼロ又はゼロ近傍の値は、合焦位置を中心としたほぼ対称のデータ列を構成する。
　そのためフーリエ変換関数Ｆ（ｋ）のゼロ点位置は、フーリエ変換関数Ｆ（ｋ）の原点（Ｆ（０））を中心としてほぼ対称の位置に出現することが多い。例えば「ｋ１」がゼロ点（すなわちＦ（ｋ１）＝０）の場合、「－ｋ１」もゼロ点を示す（すなわちＦ（－ｋ１）＝０）ことが多い。
　このようなフーリエ変換関数Ｆ（ｋ）のゼロ点位置の対称性を利用することによって、対を成すゼロ点位置を精度良く検出することが可能である。
　なおフーリエ変換関数Ｆ（ｋ）において複素数の絶対値の２乗がゼロ及びゼロ近傍値を示す点を、それぞれ「ゼロ点」及び「ゼロ近傍点」とも呼ぶ。そして対称性を示す「ゼロ点」及び「ゼロ近傍点」の対を「ゼロ点対」とも呼ぶ。
　フーリエ変換関数Ｆ（ｋ）においてゼロ点対が複数生じる場合には、参照試料の厚みに最も近い厚みに相当するゼロ点対を選定することが有効である。
　具体的には原点を中心に対称性を示す複数のゼロ点対のそれぞれに対応する参照試料の厚み（厚み候補）を算出し、当該複数の厚み候補から参照試料の厚みに最も近いと考えられる厚み候補を選び出す。なおゼロ点対から対応の参照試料の厚み（厚み候補）を算出する際には、例えば上記の式４の「ｄ＝ｎＬ／（２ｚ）（すなわちω＝π／２Ｌ＊ｚ＝πｎ／２ｄ）」の関係を利用できる。
　このようにして選び出される厚み候補を「参照試料の実際の厚み」とみなすことが可能である。実際の参照試料の蛍光強度特性のフーリエ変換関数Ｆ（ｋ）においてゼロ点対の数は、通常、数組（例えば２～５組程度）であり、複数の厚み候補の中から「参照試料の厚みに最も近いと考えられる厚み候補を選定することは十分に可能である。
　＜参照試料の厚み推定例＞
　図１９Ａ～図１９Ｃは、参照試料の厚み推定の一例を説明する図である。
　図１９Ａは、実空間上の参照試料の蛍光強度特性を示す。図１９Ｂは、図１９Ａの実空間上の蛍光強度特性に対応する、フーリエ空間上の参照試料の蛍光強度特性を示す。図１９Ｃは、図１９Ｂに示される蛍光強度特性のうち符号「ＸＩＸＣ」で示される範囲を拡大して示す。
　本件発明者は、上述の推定手法に基づいて算出される参照試料の厚みが、参照試料の厚みの実測値に適合するか検証を行った。
　具体的には、２０μｍ及び６．６μｍの厚みを持つ２つの参照試料が準備され、上述の推定手法に従ってこれらの参照試料の各々の蛍光強度特性から各参照試料の厚みを算出した。
　すなわちライン共焦点顕微鏡を具備する情報処理システムによって、２０μｍ及び６．６μｍの厚みを持つ２つの参照試料の各々の蛍光強度特性が取得され（図１９Ａ参照）、ＦＦＴによって当該蛍光強度特性のフーリエ変換関数が導出された（図１９Ｂ参照）。この際、参照試料の蛍光強度特性は「－１０２４μｍ～＋１０２４μｍ」の焦点位置範囲において１０２４０分割された。このようにして得られる蛍光強度特性のフーリエ変換関数における１目盛りは「２π／１０２４μｍ」に相当する。
　その結果、２０μｍの厚みの参照試料の蛍光強度特性のフーリエ変換関数では、ゼロクロス幅（２ｚ）が概ね「１０３」であった。また６．６μｍの厚みの参照試料の蛍光強度特性のフーリエ変換関数では、ゼロクロス幅（２ｚ）が概ね「３１０」であった。
　上記式４（ｄ＝ｎＬ／（２ｚ））によれば、参照試料の厚み２ｄは「２ｄ＝ｎＬ／ｚ」によって表される。一方、２０μｍの厚みの参照試料について、上述のように「Ｌ＝１０２４μｍ」及び「ｚ＝１０３／２」が満たされる。したがって２０μｍの厚みの参照試料の厚み算出値２ｄは、「１９．８８μｍ」（＝２０４８μｍ／１０３＝１×１０２４μｍ／（１０３／２））として得られた（ただし「ｎ＝１」）。また６．６μｍの厚みの参照試料の厚み算出値２ｄは、「６．６１μｍ」（＝２０４８μｍ／３１０＝１×１０２４μｍ／（３１０／２））として得られた（ただし「ｎ＝１」）。
　これらの算出結果からも明らかなように、上述の推定手法に基づいて算出される参照試料の厚みは、参照試料の厚みの実測値に十分に適合する。
　＜基準蛍光強度の算出＞
　その後、観察試料と同じ厚みの参照試料の蛍光強度特性（基準蛍光強度）が算出される（図１８のＳ４、Ｓ５）。
　具体的には、上記式１（積層合成）に従って、観察試料と同じ厚みの参照試料の蛍光強度特性（基準蛍光強度）が算出される。
　上記式１において、実際の参照試料の蛍光強度特性のフーリエ変換関数（ＦＬ（ｋ））は、参照試料の厚みを算出する際に使った「参照試料の蛍光強度特性のフーリエ変換関数」が使われてもよい。また「実際の参照試料の厚みのフーリエ変換関数」（ＧＬ（ｋ））は、上述のように参照試料の蛍光強度特性から算出される参照試料の実際の厚み（図１９Ａ～図１９Ｃ参照）をフーリエ変換することで得られる。
　そして参照試料の蛍光強度特性及び参照試料の厚みのデコンボリューション演算（ＦＬ（ｋ）／ＧＬ（ｋ））によって、基準厚参照蛍光強度特性３５（図１５Ａ及び図１５Ｂ参照）が算出される（Ｓ４）。
　このようにして求められる基準厚参照蛍光強度特性３５は、無限薄の厚みを持つ参照試料の蛍光強度特性を表す。したがって基準厚参照蛍光強度特性３５及び観察試料の厚みに対応する矩形関数（所望厚矩形関数３６）のコンボリューション演算によって、観察試料と同じ厚みの参照試料の蛍光強度特性（基準蛍光強度）が算出される（Ｓ５）。
　具体的には、フーリエ変換関数として表される基準厚参照蛍光強度特性３５（フーリエ基準厚参照蛍光強度特性）と、観察試料の厚みに対応する矩形関数のフーリエ変換関数（Ｇｓ（ｋ）；フーリエ観察試料厚み関数）との乗算（内積）が行われる。そして、当該乗算の結果取得されるフーリエ変換関数（フーリエ所望厚蛍光強度特性）のフーリエ逆変換を行うことで、観察試料と同じ厚みを有する仮想的な参照試料の実空間上の蛍光強度特性（所望厚蛍光強度特性；基準蛍光強度）が得られる。
　＜ゼロ除算の回避＞
　上述の算出処理において用いられうる上記式１には、「ＧＬ（ｋ）（参照試料の実際の厚みのフーリエ変換関数）」が分母に存在する。そのため上記式１において「ＧＬ（ｋ）」のゼロ点（及びゼロ近傍点）は特異点となり、「０（ゼロ）」による除算に起因して上記式１の演算安定性及び演算精度が損なわれる。
　したがって演算安定性及び演算精度を確保する観点から、上述の算出処理において、上記の式１の代わりに、下記の式５が用いられることが望ましい。
Figure JPOXMLDOC01-appb-M000015
　上記式５において、式１と同様に、「ｆｓ（ｘ）」は所望の厚みを有する参照試料の蛍光強度特性を表し、「ＦＬ（ｋ）」は共焦点顕微鏡によって撮像取得される参照試料の蛍光強度特性を表す。「ＧＬ（ｋ）」は参照試料の実際の厚みに対応する矩形波（矩形関数）のフーリエ変換後の関数を表し、「Ｇｓ（ｋ）」は所望の厚みに対応する矩形波（矩形関数）のフーリエ変換後の関数を表す。「Ｆ－１［ｋ］［ｘ］」はフーリエ逆変換を表す演算子である。
　「ＧＬ ＊（ｋ）」は、「ＧＬ（ｋ）」の複素共役を表す。「ε」は「０（ゼロ）」以外の微小数を表す。
　上記式５では、上記式１の分子及び分母の各々に対し、参照試料の実際の厚みに対応する矩形波のフーリエ変換関数の複素共役（ＧＬ ＊（ｋ））が掛けられている。また上記式５では、微小数の２乗（ε２）が分母に加えられている。
　上記式５では、上記式１で「分母＝０」をもたらす特異点に関しても分母は「０」以外の値となる。したがって上記式５によれば、「０」による除算が回避されて、演算の安定性及び精度が向上する。
　なお式１の「ＦＬ（ｋ）／ＧＬ（ｋ）」及び式５の「ＦＬ（ｋ）・ＧＬ ＊（ｋ）／（ＧＬ ＊（ｋ）・ＧＬ（ｋ）＋ε２）」は、無限薄の厚みを有する参照試料の蛍光強度特性のフーリエ変換関数を表す。
　図２０は、観察試料と同じ厚みを有する仮想的な参照試料の蛍光強度特性の算出処理を、フーリエ空間上で説明するグラフである。
　図２０において「Ｆ１」（点線）は、共焦点顕微鏡によって撮像取得される参照試料の蛍光強度特性（ＦＬ（ｋ））を表す。図２０において「Ｆ２」（一点鎖線）は、参照試料の蛍光強度特性を観察試料の蛍光強度特性に変換するための変換関数を表し、上記の式１及び式５の各々の右辺の「ＦＬ（ｋ）」以外の項目の集合に対応する。図２０において「Ｆ３」（実線）は、所望の厚みを有する参照試料の蛍光強度特性を表す。
　図２０において、理想的には、Ｆ１及びＦ２の内積がＦ３に一致する。
　しかしながらＦ１のゼロ点とＦ２の特異点とが一致しない場合、Ｆ１及びＦ２の内積は、当該ゼロ点及び当該特異点の近傍で符号が２回変わり、その結果、同一符号を持つことができなくなって急峻な挙動を示す。このようにＦ１のゼロ点及びＦ２の特異点の近傍では、Ｆ１及びＦ２の内積がＦ３から大きく乖離しやすい。
　Ｆ１及びＦ２の内積に基づく関数が急峻な挙動を示すことに起因して、最終的に得られる「所望の厚みを有する参照試料の蛍光強度特性」が不安定になる。そのため「所望の厚みを有する参照試料の蛍光強度特性」の安定化の観点からは、Ｆ１のゼロ点とＦ２の特異点とを一致させることが好ましい。
　＜所望の厚みを有する参照試料の蛍光強度特性の検証＞
　本件発明者は、光軸方向に「２０μｍ」の厚みを有する実際の参照試料を使って、所望厚みとして光軸方向に「６．６μｍ」の厚みを有する仮想的な参照試料の蛍光強度特性を上述の手法に従って算出した。一方、本件発明者は、光軸方向に「６．６μｍ」の厚みを有する実際の参照試料を準備し、当該参照試料の実測値に基づく蛍光強度特性を取得した。
　図２１Ａは、算出処理により得られる所望の厚みを有する仮想的な参照試料の蛍光強度特性と、実測値により得られる所望の厚みを有する実際の参照試料の蛍光強度特性とを、フーリエ空間上で比較するグラフである。図２１Ａには、参照試料の蛍光強度特性の一部のみ（特に参照試料の蛍光強度特性における中心部の特異点の近傍範囲のみ）が示されている。図２１Ｂは、図２１Ａにおいて符号「ＸＸＩＢ」によって示される範囲を拡大して示すグラフである。
　図２１Ａ及び図２１Ｂにおいて「Ｆ１」（点線）は、共焦点顕微鏡によって撮像取得される参照試料の蛍光強度特性（ＦＬ（ｋ））を表す。図２１Ａ及び図２１Ｂにおいて「Ｆ２」（一点鎖線）は、参照試料の蛍光強度特性を観察試料の蛍光強度特性に変換するための変換関数を表す。図２１Ａ及び図２１Ｂにおいて「Ｆ３」（細実線）は、実測値に基づいて得られる、所望の厚みを有する参照試料の蛍光強度特性を表す。図２１Ａ及び図２１Ｂにおいて「Ｆ４」（太実線）は、Ｆ１及びＦ２の内積によって得られる、所望の厚みを有する参照試料の蛍光強度特性を表す。
　図２１Ａ及び図２１Ｂにおいて、Ｆ３に対するＦ４の一致度が高いほど、上述の算出処理によって得られる「所望の厚みを有する参照試料の蛍光強度特性」の正確性が高い。
　図２１Ａ及び図２１ＢからはＦ３に対するＦ４の一致度が非常に高いことがわかる。そのため、上述の算出処理によって得られる「所望の厚みを有する参照試料の蛍光強度特性」の正確性は非常に高いといえる。
　図２２Ａは、図２１Ａ及び図２１Ｂと同じ「参照試料の蛍光強度特性」を示すグラフであるが、図２１Ａ及び図２１Ｂには示されていない範囲を含む。図２２Ｂは、図２２Ａに示すグラフ（特に、算出処理によって得られる所望の厚みを有する参照試料の蛍光強度特性Ｆ４）に対し、特異点修正フィルタを適用することで得られるグラフを示す。
　図２２Ａに示すように、上述の算出処理によって得られる所望厚の仮想的な参照試料の蛍光強度特性（Ｆ４）は、２つ目の特異点及び更に高次の特異点において、突発的に急峻な挙動（「スプリアス」とも称する）を示すことがある。参照試料の蛍光強度特性（Ｆ４）において発生しうるそのようなスプリアスは、測定精度及びモデル精度の限界を示すものと考えられる。
　通常、参照試料の蛍光強度特性においてスプリアスが占める範囲（面積）は十分小さい。そのためスプリアスが、所望の厚みを有する参照試料の蛍光強度特性の算出結果に及ぼす影響は、非常に小さい。
　ただし所望の厚みを有する参照試料の蛍光強度特性の算出精度を向上させる観点からは、スプリアスを可能な限り低減することが有効であると考えられる。したがって、上述の算出処理の結果得られる「所望の厚みを有する参照試料の蛍光強度特性」に対して、スプリアスを低減するための平滑化処理が更に行われてもよい（図２２Ｂ参照）。
　そのような平滑化処理の具体的な処理内容は限定されない。
　一例として「所望の厚みを有する参照試料の蛍光強度特性」のフーリエ変換関数（フーリエ所望厚蛍光強度特性）に対して平滑化処理が行われて、フーリエ所望厚蛍光強度特性における特異点のデータが当該特異点の前後のデータに基づいて修正されてもよい。具体的には、フーリエ所望厚蛍光強度特性に対して特異点修正フィルタが適用されることで、フーリエ所望厚蛍光強度特性の特異点のデータが、当該特異点のデータの前後のデータに基づく線形補間により得られるデータに、修正されてもよい。
　これにより、「所望の厚みを有する参照試料の蛍光強度特性」における全ての特異点（高次特異点を含む）のスプリアスを低減することができ、実測値により近い「所望の厚みを有する参照試料の蛍光強度特性」の算出を行う可能である。ただし「所望の厚みを有する参照試料の蛍光強度特性」の全体における、スプリアスの占める割合は非常に小さいため、上述の平滑化処理は必ずしも行われなくてもよい。
　図２３は、所望の厚みを有する参照試料の蛍光強度特性の実測値（Ｆ３）及び算出値（Ｆ４）の一例を、実空間上で示すグラフである。フーリエ変換関数として表される上述の「所望の厚みを有する参照試料の蛍光強度特性」の実測値及び算出値（図２２Ａ及び図２２ＢのＦ３及びＦ４参照）のフーリエ逆変換によって、実空間上の実測値及び算出値（図２３のＦ３及びＦ４参照）が得られる。
　図２３においてＦ３に対するＦ４の一致度は非常に高い。そのため上述の算出処理によって得られる「所望の厚みを有する参照試料の蛍光強度特性」の正確性は、非常に高いといえる。
　＜参照基準データの決定＞
　上述の一連の算出処理の結果得られる「所望の厚みを有する参照試料の蛍光強度特性」は、参照基準データの「基準蛍光強度」として用いられる。
　また既知データである「参照試料の蛍光分子濃度」は、参照基準データの「基準蛍光分子濃度」として用いられる。
　このようにして求められる基準蛍光強度及び基準蛍光分子濃度が相互に対応づけられることで、参照基準データが取得される（図１８のＳ６）。
［観察試料中の蛍光分子濃度の取得］
　図２４Ａは、観察試料中の蛍光分子濃度を取得する処理の一例を示すフロー図である。
　まず、観察試料が準備される（図２４ＡのＳ１１）。観察試料の準備は任意の方法によって実行可能である。例えば上述の参照試料の作製と同様の手法（図１８のＳ１参照）で、観察試料は作製される。
　その後、上述のライン共焦点顕微鏡及び情報処理装置を含む情報処理システムによって、観察試料の蛍光画像中の蛍光強度が取得される（図２４ＡのＳ１２）。具体的には、上述の参照試料の蛍光強度特性の取得と同様の手法（図１８のＳ２参照）で、観察試料の蛍光画像中の蛍光強度が取得される。
　なお本例において観察試料の蛍光画像は、単一の焦点位置（例えば原点）に関してのみ、撮像されてもよい。すなわちライン共焦点顕微鏡は、光学系の焦点位置を固定した状態で観察試料の撮像を行うことで、観察試料の蛍光画像を取得してもよい。
　その後、参照基準データに照らして、観察試料の蛍光強度から観察試料中の蛍光分子濃度が算出される（図２４ＡのＳ１３）。当該算出処理において用いられる参照基準データは、参照試料の蛍光分子濃度及び蛍光強度特性から取得される（図１８のＳ１～Ｓ６参照）。
　参照試料と観察試料との間の蛍光分子濃度比は、参照試料と観察試料との間の蛍光画像中の蛍光強度の比に等しい。したがって、上述のステップＳ１２で取得した観察試料の蛍光強度と、参照基準データから得られる参照試料の対応の蛍光強度とから、参照試料と観察試料との間の蛍光強度比が算出される。そして参照基準データから得られる基準蛍光分子濃度と、参照試料及び観察試料の蛍光強度比との乗算によって、観察試料中の蛍光分子濃度が導き出される。
　一般に、ライン共焦点顕微鏡の焦点位置は、基準焦点位置（焦点位置の原点）に設定され、撮像対象の試料（参照試料及び観察試料）の光軸方向中心位置と一致することが多い。この場合、観察試料の蛍光画像中の蛍光強度は、観察試料の蛍光強度特性のうちの原点（＝「０」）が示す蛍光強度であり、通常は蛍光強度特性のピーク値（最大値）である。したがってこの場合、参照基準データによって基準蛍光分子濃度に対応づけられる「基準蛍光強度」は、観察試料と同じ厚みを有する参照試料の蛍光強度特性（所望厚蛍光強度特性）のうちの原点（＝「０」）が示す蛍光強度である。
　ただしライン共焦点顕微鏡の焦点位置は、基準焦点位置（焦点位置の原点）からズレていてもよく、撮像対象の試料の光軸方向中心位置と一致しなくてもよい。
　この場合、ライン共焦点顕微鏡の焦点位置のズレが別光学系を使って事前に予測され、予測された焦点位置（すなわち基準焦点位置からズレた焦点位置）における参照試料の蛍光強度に基づいて、観察試料中の蛍光分子濃度が算出されてもよい。すなわち観察試料と同じ厚みを有する参照試料の蛍光強度特性において、観察試料の蛍光画像を撮像する際の光学系の実際の焦点位置に関する蛍光強度を、観察試料中の蛍光分子濃度を算出する際の参照基準データの基準蛍光濃度として用いてもよい。
　図２４Ｂは、観察試料中の蛍光分子濃度を取得する処理の他の例を示すフロー図である。
　上述の図２４Ａに示すフロー図では、観察試料の既知の厚みに応じて参照基準データが準備されているが、参照試料の厚みと同様に、観察試料の蛍光強度特性から観察試料の厚みが算出されてもよい。
　本例では、観察試料が準備され（図２４ＢのＳ２１）、その後、観察試料の蛍光強度特性が取得される（Ｓ２２）。具体的には、ライン共焦点顕微鏡が光学系の焦点位置を変えつつ観察試料を撮像することで複数の蛍光画像を取得し、情報処理装置が当該複数の蛍光画像の蛍光強度を取得することで、観察試料の蛍光強度特性が導出される。
　その後、上述の「参照試料の蛍光強度特性から参照試料の厚みを算出する手法」（図１８のＳ３参照）と同様の手法によって、観察試料の蛍光強度特性から観察試料の厚みが算出される。すなわち観察試料の蛍光強度特性のフーリエ変換関数のゼロ点位置から、観察試料の厚みが算出される（図２４ＢのＳ２３）。
　その後、上述の手法（図１８のＳ４及びＳ５参照）によって、観察試料と同じ厚みの参照試料の蛍光強度特性（基準蛍光強度）が算出され（図２４ＢのＳ２４）、参照基準データが取得される（Ｓ２５）。
　その後、図２４Ａに示す処理フロー（特に図２４ＡのＳ１３）と同様の手法によって、参照基準データに照らして、観察試料の蛍光強度特性（蛍光強度）から観察試料中の蛍光分子濃度が算出される（図２４ＢのＳ２６）。
［作用効果］
　以上説明したように上述の実施形態の情報処理装置及び情報処理方法によれば、ライン共焦点顕微鏡の測定系（画像取得部）が、焦点位置に応じて撮像画像中の蛍光強度が変わる光学系を使って、観察試料の蛍光画像（観察蛍光画像）を取得する。そして情報処理装置１００の蛍光情報解析部１３３（図１参照；蛍光強度取得部）が、観察蛍光画像を解析して、観察蛍光画像中の蛍光強度（観察蛍光強度）を取得する。そして蛍光情報解析部１３３（蛍光分子濃度導出部）が、基準蛍光分子濃度と基準蛍光強度とを相互に対応づける参照基準データに照らして、観察蛍光強度から、観察試料中の蛍光分子濃度を導出する。基準蛍光強度は、焦点位置に応じて撮像画像中の蛍光強度が変わる光学系を使って撮像取得された参照試料の複数の蛍光画像（参照蛍光画像）であって、撮像時の焦点位置がお互いに異なる複数の参照蛍光画像から、蛍光情報解析部１３３により導出される。また基準蛍光分子濃度は、参照試料中の蛍光分子濃度から、蛍光情報解析部１３３により得られる。参照基準データは、このようにして取得される基準蛍光強度及び基準蛍光分子濃度に基づいて、蛍光情報解析部１３３により得られる。
　このような焦点特性を考慮した蛍光画像の取り扱いを行うことで、観察試料の蛍光画像に基づいて、観察試料中の蛍光分子濃度を精度良く求めることができる。
　また複数の参照蛍光画像が解析されて、各参照蛍光画像中の蛍光強度（参照蛍光強度）が取得される。そして複数の参照蛍光画像のそれぞれの参照蛍光強度から、焦点位置と参照蛍光強度とを相互に対応づける参照蛍光強度特性が取得される。そして参照蛍光強度特性と、参照試料の光軸方向の厚みとに基づいて、基準厚みを有すると仮定した場合の参照試料の蛍光強度特性（基準厚参照蛍光強度特性）が導出される。そして観察試料の光軸方向の厚み及び基準厚参照蛍光強度特性に基づいて、基準蛍光強度が導出される。
　これにより観察試料の厚みが変わりうる場合であっても、観察試料の厚みに応じた適切な基準蛍光強度が参照基準データに反映され、その結果、観察試料中の蛍光分子濃度を精度良く求めることができる。
　特に本実施形態での基準厚参照蛍光強度特性は、無限薄の厚みを有すると仮定した場合の参照試料の蛍光強度特性を表す。
　そのような無限薄の厚みを有する参照試料の蛍光強度特性は、参照蛍光強度特性及び参照試料の光軸方向厚みのデコンボリューションによって、簡単に算出可能である。
　また観察試料の光軸方向の厚みに対応する矩形関数のフーリエ変換に基づいて、フーリエ観察試料厚み関数が得られる。また基準厚参照蛍光強度特性のフーリエ変換に基づいて、フーリエ基準厚参照蛍光強度特性が得られる。そしてフーリエ観察試料厚み関数及びフーリエ基準厚参照蛍光強度特性の内積に基づいてフーリエ所望厚蛍光強度特性が取得される。そしてフーリエ所望厚蛍光強度特性のフーリエ逆変換に基づいて、基準蛍光強度が取得される。
　このようにフーリエ変換及びフーリエ逆変換を利用することで、演算負荷の軽減及び演算速度の高速化を期待できる。
　参照蛍光強度特性をフーリエ変換することで得られる関数が「ＦＬ（ｋ）」で表される。また参照試料の光軸方向の厚みに対応する矩形関数をフーリエ変換することで得られる関数が「ＧＬ（ｋ）」で表され、当該矩形関数をフーリエ変換することで得られる関数の複素共役が「ＧＬ ＊（ｋ）」で表される。また０以外の微小数を「ε」が表される。この場合、基準厚参照蛍光強度特性のフーリエ変換関数であるフーリエ基準厚参照蛍光強度特性は、ＦＬ（ｋ）・ＧＬ ＊（ｋ）／（ＧＬ ＊（ｋ）・ＧＬ（ｋ）＋ε２）、によって導出される。
　この場合、上述のフーリエ変換関数に基づく演算を、「０（ゼロ）」による除算を回避しつつ行うことができ、安定的な演算処理を行うことができる。
　特に、上述の微小数「ε」は、参照蛍光強度特性をフーリエ変換することで得られる関数（ＦＬ（ｋ））によって示される値の絶対値の最大値の１／１０００以下の値であってもよい。
　そのような微小数「ε」を用いることは、演算結果に対する微小数「ε」の影響を抑えつつ、安定的な演算処理を行うのに有利である。
　またフーリエ所望厚蛍光強度特性に対して平滑化処理が適用されて、フーリエ所望厚蛍光強度特性における特異点のデータが当該特異点の前後のデータに基づいて修正される。そして平滑化処理後のフーリエ所望厚蛍光強度特性に基づいて、基準蛍光強度が取得される。
　これによりフーリエ所望厚蛍光強度特性におけるスプリアスを低減して、所望の厚みを有する参照試料の蛍光強度特性の算出精度を向上させることができ、より適切な基準蛍光強度を取得するのに有利である。
　特に平滑化処理においてフーリエ所望厚蛍光強度特性に対して特異点修正フィルタが適用されて、フーリエ所望厚蛍光強度特性の特異点のデータが、当該特異点のデータの前後のデータに基づく線形補間により得られるデータに修正される。
　これにより、フーリエ所望厚蛍光強度特性の特異点のデータを簡単に修正することができる。
　また基準厚参照蛍光強度特性を導出する際に用いられる参照試料の光軸方向の厚みは、参照蛍光強度特性をフーリエ変換することで得られる関数の振幅がゼロを示す周波数（ゼロ点位置）に基づいて導出される。
　この場合、フーリエ変換後の周波数領域の「周波数」及び「振幅」に基づいて、参照試料の光軸方向の厚みを精度良く求めることができ、その結果、基準厚参照蛍光強度特性を適切に導出することができる。特に、参照試料が薄くなるにしたがって、計測器を使った参照試料の厚みの正確な計測が難しくなるが、周波数領域における参照蛍光強度特性の挙動によれば、計測器を使わずに、参照試料が薄くても、参照試料の厚みを精度良く取得できる。
　また撮像時の焦点位置がお互いに異なる複数の観察蛍光画像を解析して、複数の観察蛍光画像のそれぞれの観察蛍光強度が取得されてもよい。この場合、複数の観察蛍光画像のそれぞれの観察蛍光強度から、焦点位置と観察蛍光強度とを相互に対応づける観察蛍光強度特性が取得されてもよい。観察蛍光強度特性をフーリエ変換することで得られる関数の振幅がゼロを示す周波数に基づいて導出される観察試料の光軸方向の厚みに基づいて、観察試料の厚みに対応する矩形関数のフーリエ変換関数（フーリエ観察試料厚み関数）が得られる。
　これにより観察試料の光軸方向の厚みを精度良く取得でき、ひいては適切な参照基準データ（特に基準蛍光強度）を得ることができる。
　また上述の情報処理システム（顕微鏡システム）は、光照射部（例えば図１０に示す励起光源５１０、ビームスプリッタ５１１及び対物レンズ５１２）、撮像装置（例えば図１０に示す光検出器５１４）、及び情報処理装置を備える。光照射部は、蛍光試薬を励起させる励起光を観察試料に照射する。撮像装置は、焦点位置に応じて撮像画像中の蛍光強度が変わる光学系（例えば図１２Ｂ及び図１２Ｃに示すスリット６２を有する光通過制限素子６１）を使って、励起光が照射されている試料を撮像して蛍光画像を取得する。情報処理装置は、蛍光画像の解析を行って、上述のように観察蛍光強度から観察試料中の蛍光分子濃度を導出する。
［変形例］
　上述の実施形態では、共焦点顕微鏡によって撮像取得される蛍光画像の焦点特性を考慮して観察試料中の蛍光分子濃度が取得されるが、上述の技術は他の用途に応用されてもよい。例えば観察試料中の蛍光分子濃度を取得しない場合であっても、試料（蛍光染色標本）の厚みを導出するのに、焦点特性を考慮した上述の技術が使われてもよい。
　すなわち、対象の試料の複数の蛍光画像である複数の試料蛍光画像が、焦点位置に応じて撮像画像中の蛍光強度が変わる光学系を使って撮像取得されてもよい。この場合、撮像時の焦点位置がお互いに異なる複数の試料蛍光画像を解析することで、各試料蛍光画像中の蛍光強度を表す試料蛍光強度が取得可能である。そして複数の試料蛍光画像のそれぞれの試料蛍光強度から、焦点位置と試料蛍光強度とを相互に対応づける試料蛍光強度特性が取得可能である。そして試料蛍光強度特性をフーリエ変換することで得られる関数の振幅がゼロを示す周波数に基づいて、試料の光軸方向の厚みが導出可能である。
　また試料は、特定の細胞状態（例えば特定蛋白（抗原）の状態）に応じて試料を染色する第１蛍光染色試薬と、特定の細胞状態とは無関係に試料を染色する第２蛍光染色試薬と、によって染色されてもよい。この場合、第１蛍光染色試薬の蛍光に基づく画像を上述の観察蛍光画像として用いて、第１蛍光染色試薬の蛍光分子濃度を導出することで、試料の特定の細胞状態を確認することが可能である。一方、第２蛍光染色試薬の蛍光に基づく画像を上述の複数の試料蛍光画像として用いて、第２蛍光染色試薬の試薬蛍光強度を取得することで、試料の光軸方向の厚みを導出することが可能である。
　このように試料の厚みを導出するために、試料の特定の細胞状態を検出するための染色試薬（第１染色試薬）とは別の染色試薬（第２染色試薬）が使われてもよい。試料の厚みを導出するために、特定の細胞状態とは無関係に試料を染色する第２蛍光染色試薬を用いることで、試料の特定の細胞状態によらず、試料の厚みを精度良く導き出すことが可能である。
　なお試料の厚みを導出するために用いられる染色試薬（第２染色試薬）は、試料の全体を均一に染色することができる試薬であることが好ましく、また試料（生体組織）の劣化を可能な限り招かない試薬であることが好ましい。
　上述の実施形態及び変形例において試料（参照試料及び観察試料を含む）の蛍光強度特性から試料の厚みを導出する場合、個々の試料内の厚み分布が取得されてもよい。蛍光強度特性から試料の厚みを導出する上述の手法は、基本的に、蛍光強度特性の導出の基礎データを構成する蛍光画像の撮像箇所における試料の厚みを導出する。したがって試料の複数箇所における蛍光画像の蛍光強度特性から、試料の当該複数箇所のそれぞれにおける厚みを導出することが可能である。
　例えば、観察試料の蛍光強度特性から観察試料の厚み分布が取得される場合、観察試料の厚み分布に基づいて、参照試料から導出される参照基準データ（参照蛍光画像から導出される基準蛍光強度）を得ることが好ましい。この場合、観察試料の複数箇所のそれぞれの厚みに応じて最適化された参照基準データが用いられて、観察試料中の蛍光分子濃度を導出することが可能である。
　上述の処理は、任意の情報処理装置によって実行可能であり、例えば図１に示す蛍光情報解析部１３３によって実行可能である。
　本明細書で開示されている実施形態及び変形例は全ての点で例示に過ぎず限定的には解釈されないことに留意されるべきである。上述の実施形態及び変形例は、添付の特許請求の範囲及びその趣旨を逸脱することなく、様々な形態での省略、置換及び変更が可能である。例えば上述の実施形態及び変形例が全体的に又は部分的に組み合わされてもよく、また上述以外の実施形態が上述の実施形態又は変形例と組み合わされてもよい。また、本明細書に記載された本開示の効果は例示に過ぎず、その他の効果がもたらされてもよい。
　上述の技術的思想を具現化する技術的カテゴリーは限定されない。例えば上述の装置を製造する方法或いは使用する方法に含まれる１又は複数の手順（ステップ）をコンピュータに実行させるためのコンピュータプログラムによって、上述の技術的思想が具現化されてもよい。またそのようなコンピュータプログラムが記録されたコンピュータが読み取り可能な非一時的（non-transitory）な記録媒体によって、上述の技術的思想が具現化されてもよい。
［付記］
　本開示は以下の構成をとることもできる。
［項目１］
　焦点位置に応じて撮像画像中の蛍光強度が変わる光学系を使って撮像取得された観察試料の蛍光画像である観察蛍光画像を解析して、前記観察蛍光画像中の蛍光強度を表す観察蛍光強度を取得するステップと、
　基準蛍光分子濃度と基準蛍光強度とを相互に対応づける参照基準データに照らして、前記観察蛍光強度から、前記観察試料中の蛍光分子濃度を導出するステップと、を含み、
　焦点位置に応じて撮像画像中の蛍光強度が変わる光学系を使って撮像取得された参照試料の複数の蛍光画像である複数の参照蛍光画像であって、撮像時の焦点位置がお互いに異なる複数の参照蛍光画像から導出される前記基準蛍光強度と、前記参照試料中の蛍光分子濃度から得られる前記基準蛍光分子濃度とに基づいて、前記参照基準データが得られる、
　情報処理方法。
［項目２］
　前記複数の参照蛍光画像を解析して、各参照蛍光画像中の蛍光強度を表す参照蛍光強度が取得され、
　前記複数の参照蛍光画像のそれぞれの前記参照蛍光強度から、焦点位置と前記参照蛍光強度とを相互に対応づける参照蛍光強度特性が取得され、
　前記参照蛍光強度特性と、前記参照試料の光軸方向の厚みとに基づいて、基準厚みを有すると仮定した場合の前記参照試料の蛍光強度特性を表す基準厚参照蛍光強度特性が導出され、
　前記観察試料の光軸方向の厚み及び前記基準厚参照蛍光強度特性に基づいて、前記基準蛍光強度が導出される、
　項目１に記載の情報処理方法。
［項目３］
　前記基準厚参照蛍光強度特性は、無限薄の厚みを有すると仮定した場合の前記参照試料の蛍光強度特性を表す、
　項目２に記載の情報処理方法。
［項目４］
　前記観察試料の光軸方向の厚みに対応する矩形関数のフーリエ変換に基づいて得られるフーリエ観察試料厚み関数と、前記基準厚参照蛍光強度特性のフーリエ変換に基づいて得られるフーリエ基準厚参照蛍光強度特性と、の内積に基づいてフーリエ所望厚蛍光強度特性が取得され、
　前記フーリエ所望厚蛍光強度特性のフーリエ逆変換に基づいて、前記基準蛍光強度が取得される、
　項目２又は３に記載の情報処理方法。
［項目５］
　前記参照蛍光強度特性をフーリエ変換することで得られる関数を「ＦＬ（ｋ）」で表し、
　前記参照試料の光軸方向の厚みに対応する前記矩形関数をフーリエ変換することで得られる関数を「ＧＬ（ｋ）」で表し、当該矩形関数をフーリエ変換することで得られる関数の複素共役を「ＧＬ ＊（ｋ）」で表し、
　０以外の微小数を「ε」で表した場合、
　前記フーリエ基準厚参照蛍光強度特性は、ＦＬ（ｋ）・ＧＬ ＊（ｋ）／（ＧＬ ＊（ｋ）・ＧＬ（ｋ）＋ε２）、に基づいて導出される、
　項目４に記載の情報処理方法。
［項目６］
　前記微小数は、前記参照蛍光強度特性をフーリエ変換することで得られる関数によって示される値の絶対値の最大値の１／１０００以下の値である、
　項目５に記載の情報処理方法。
［項目７］
　前記フーリエ所望厚蛍光強度特性に対して平滑化処理が適用されて、前記フーリエ所望厚蛍光強度特性における特異点のデータが当該特異点の前後のデータに基づいて修正され、
　前記平滑化処理後の前記フーリエ所望厚蛍光強度特性に基づいて、前記基準蛍光強度が取得される、
　項目４～６のいずれかに記載の情報処理方法。
［項目８］
　前記平滑化処理において前記フーリエ所望厚蛍光強度特性に対して特異点修正フィルタが適用されて、前記フーリエ所望厚蛍光強度特性の特異点のデータが、当該特異点のデータの前後のデータに基づく線形補間により得られるデータに修正される、
　項目７に記載の情報処理方法。
［項目９］
　前記基準厚参照蛍光強度特性を導出する際に用いられる前記参照試料の光軸方向の厚みは、前記参照蛍光強度特性をフーリエ変換することで得られる関数の振幅がゼロを示す周波数に基づいて導出される、
　項目２～８のいずれかに記載の情報処理方法。
［項目１０］
　撮像時の焦点位置がお互いに異なる複数の観察蛍光画像を解析して、前記複数の観察蛍光画像のそれぞれの前記観察蛍光強度が取得され、
　前記複数の観察蛍光画像のそれぞれの前記観察蛍光強度から、焦点位置と前記観察蛍光強度とを相互に対応づける観察蛍光強度特性が取得され、
　前記観察蛍光強度特性をフーリエ変換することで得られる関数の振幅がゼロを示す周波数に基づいて導出される前記観察試料の光軸方向の厚みに基づいて、前記フーリエ観察試料厚み関数が得られる、
　項目４～９のいずれかに記載の情報処理方法。
［項目１１］
　焦点位置に応じて撮像画像中の蛍光強度が変わる光学系を使って撮像取得された試料の複数の蛍光画像である複数の試料蛍光画像あって、撮像時の焦点位置がお互いに異なる複数の試料蛍光画像を解析して、各試料蛍光画像中の蛍光強度を表す試料蛍光強度を取得するステップと、
　前記複数の試料蛍光画像のそれぞれの前記試料蛍光強度から、焦点位置と前記試料蛍光強度とを相互に対応づける試料蛍光強度特性を取得するステップと、
　前記試料蛍光強度特性をフーリエ変換することで得られる関数の振幅がゼロを示す周波数に基づいて、前記試料の光軸方向の厚みを導出するステップと、
　を含む情報処理方法。
［項目１２］
　試料は、特定の細胞状態に応じて試料を染色する第１蛍光染色試薬と、特定の細胞状態とは無関係に試料を染色する第２蛍光染色試薬と、によって染色されており、
　前記複数の試料蛍光画像は、第２蛍光染色試薬の蛍光に基づく画像である、
　項目１１に記載の情報処理方法。
［項目１３］
　焦点位置に応じて撮像画像中の蛍光強度が変わる光学系を使って観察試料の蛍光画像である観察蛍光画像を撮像取得する画像取得部と、
　前記観察蛍光画像を解析して、前記観察蛍光画像中の蛍光強度を表す観察蛍光強度を取得する蛍光強度取得部と、
　基準蛍光分子濃度と基準蛍光強度とを相互に対応づける参照基準データに照らして、前記観察蛍光強度から、前記観察試料中の蛍光分子濃度を導出する蛍光分子濃度導出部と、を備え、
　焦点位置に応じて撮像画像中の蛍光強度が変わる光学系を使って撮像された参照試料の複数の蛍光画像である複数の参照蛍光画像であって、撮像時の焦点位置がお互いに異なる複数の参照蛍光画像から導出される前記基準蛍光強度と、前記参照試料中の蛍光分子濃度から得られる前記基準蛍光分子濃度とに基づいて、前記参照基準データが得られる、
　情報処理装置。
［項目１４］
　蛍光試薬を励起させる励起光を観察試料に照射する光照射部と、
　焦点位置に応じて撮像画像中の蛍光強度が変わる光学系を使って、前記励起光が照射されている試料を撮像して蛍光画像を取得する撮像装置と、
　前記蛍光画像の解析を行う情報処理装置と、を備え、
　前記情報処理装置は、
　前記観察試料の蛍光画像である観察蛍光画像を解析して、前記観察蛍光画像中の蛍光強度を表す観察蛍光強度を取得する工程と、
　基準蛍光分子濃度と基準蛍光強度とを相互に対応づける参照基準データに照らして、前記観察蛍光強度から、前記観察試料中の蛍光分子濃度を導出する工程と、を含み、
　焦点位置に応じて撮像画像中の蛍光強度が変わる光学系を使って撮像された参照試料の複数の蛍光画像である複数の参照蛍光画像であって、撮像時の焦点位置がお互いに異なる複数の参照蛍光画像から導出される前記基準蛍光強度と、前記参照試料中の蛍光分子濃度から得られる前記基準蛍光分子濃度とに基づいて、前記参照基準データが得られる、
　顕微鏡システム。
１０　蛍光試薬、１１　試薬識別情報、２０　標本、２１　標本識別情報、３０　蛍光染色標本、３５　基準厚参照蛍光強度特性、３６　所望厚矩形関数、６０　イメージセンサ、６１　光通過制限素子、６２　スリット、１００　情報処理装置、１０１　測定系、１０２　情報処理システム、１１０　取得部、１１１　情報取得部、１１２　蛍光信号取得部、１２０　保存部、１２１　情報保存部、１２２　蛍光信号保存部、１３０　処理部、１３１　連結部、１３２　分離処理部、１３３　蛍光情報解析部、１３４　画像生成部、１４０　表示部、１５０　制御部、１６０　操作部、２００　データベース、２１０　蛍光スペクトル、１３２１　色分離部、１３２１ａ　第１色分離部、１３２１ｂ　第２色分離部、１３２２　スペクトル抽出部、Ｌ１　励起光、Ｌ２　蛍光 

Claims (14)

  1. 　焦点位置に応じて撮像画像中の蛍光強度が変わる光学系を使って撮像取得された観察試料の蛍光画像である観察蛍光画像を解析して、前記観察蛍光画像中の蛍光強度を表す観察蛍光強度を取得するステップと、
    　基準蛍光分子濃度と基準蛍光強度とを相互に対応づける参照基準データに照らして、前記観察蛍光強度から、前記観察試料中の蛍光分子濃度を導出するステップと、を含み、
    　焦点位置に応じて撮像画像中の蛍光強度が変わる光学系を使って撮像取得された参照試料の複数の蛍光画像である複数の参照蛍光画像であって、撮像時の焦点位置がお互いに異なる複数の参照蛍光画像から導出される前記基準蛍光強度と、前記参照試料中の蛍光分子濃度から得られる前記基準蛍光分子濃度とに基づいて、前記参照基準データが得られる、
    　情報処理方法。
  2. 　前記複数の参照蛍光画像を解析して、各参照蛍光画像中の蛍光強度を表す参照蛍光強度が取得され、
    　前記複数の参照蛍光画像のそれぞれの前記参照蛍光強度から、焦点位置と前記参照蛍光強度とを相互に対応づける参照蛍光強度特性が取得され、
    　前記参照蛍光強度特性と、前記参照試料の光軸方向の厚みとに基づいて、基準厚みを有すると仮定した場合の前記参照試料の蛍光強度特性を表す基準厚参照蛍光強度特性が導出され、
    　前記観察試料の光軸方向の厚み及び前記基準厚参照蛍光強度特性に基づいて、前記基準蛍光強度が導出される、
    　請求項１に記載の情報処理方法。
  3. 　前記基準厚参照蛍光強度特性は、無限薄の厚みを有すると仮定した場合の前記参照試料の蛍光強度特性を表す、
    　請求項２に記載の情報処理方法。
  4. 　前記観察試料の光軸方向の厚みに対応する矩形関数のフーリエ変換に基づいて得られるフーリエ観察試料厚み関数と、前記基準厚参照蛍光強度特性のフーリエ変換に基づいて得られるフーリエ基準厚参照蛍光強度特性と、の内積に基づいてフーリエ所望厚蛍光強度特性が取得され、
    　前記フーリエ所望厚蛍光強度特性のフーリエ逆変換に基づいて、前記基準蛍光強度が取得される、
    　請求項２に記載の情報処理方法。
  5. 　前記参照蛍光強度特性をフーリエ変換することで得られる関数を「ＦＬ（ｋ）」で表し、
    　前記参照試料の光軸方向の厚みに対応する前記矩形関数をフーリエ変換することで得られる関数を「ＧＬ（ｋ）」で表し、当該矩形関数をフーリエ変換することで得られる関数の複素共役を「ＧＬ ＊（ｋ）」で表し、
    　０以外の微小数を「ε」で表した場合、
    　前記フーリエ基準厚参照蛍光強度特性は、ＦＬ（ｋ）・ＧＬ ＊（ｋ）／（ＧＬ ＊（ｋ）・ＧＬ（ｋ）＋ε２）、に基づいて導出される、
    　請求項４に記載の情報処理方法。
  6. 　前記微小数は、前記参照蛍光強度特性をフーリエ変換することで得られる関数によって示される値の絶対値の最大値の１／１０００以下の値である、
    　請求項５に記載の情報処理方法。
  7. 　前記フーリエ所望厚蛍光強度特性に対して平滑化処理が適用されて、前記フーリエ所望厚蛍光強度特性における特異点のデータが当該特異点の前後のデータに基づいて修正され、
    　前記平滑化処理後の前記フーリエ所望厚蛍光強度特性に基づいて、前記基準蛍光強度が取得される、
    　請求項４に記載の情報処理方法。
  8. 　前記平滑化処理において前記フーリエ所望厚蛍光強度特性に対して特異点修正フィルタが適用されて、前記フーリエ所望厚蛍光強度特性の特異点のデータが、当該特異点のデータの前後のデータに基づく線形補間により得られるデータに修正される、
    　請求項７に記載の情報処理方法。
  9. 　前記基準厚参照蛍光強度特性を導出する際に用いられる前記参照試料の光軸方向の厚みは、前記参照蛍光強度特性をフーリエ変換することで得られる関数の振幅がゼロを示す周波数に基づいて導出される、
    　請求項２に記載の情報処理方法。
  10. 　撮像時の焦点位置がお互いに異なる複数の観察蛍光画像を解析して、前記複数の観察蛍光画像のそれぞれの前記観察蛍光強度が取得され、
    　前記複数の観察蛍光画像のそれぞれの前記観察蛍光強度から、焦点位置と前記観察蛍光強度とを相互に対応づける観察蛍光強度特性が取得され、
    　前記観察蛍光強度特性をフーリエ変換することで得られる関数の振幅がゼロを示す周波数に基づいて導出される前記観察試料の光軸方向の厚みに基づいて、前記フーリエ観察試料厚み関数が得られる、
    　請求項４に記載の情報処理方法。
  11. 　焦点位置に応じて撮像画像中の蛍光強度が変わる光学系を使って撮像取得された試料の複数の蛍光画像である複数の試料蛍光画像あって、撮像時の焦点位置がお互いに異なる複数の試料蛍光画像を解析して、各試料蛍光画像中の蛍光強度を表す試料蛍光強度を取得するステップと、
    　前記複数の試料蛍光画像のそれぞれの前記試料蛍光強度から、焦点位置と前記試料蛍光強度とを相互に対応づける試料蛍光強度特性を取得するステップと、
    　前記試料蛍光強度特性をフーリエ変換することで得られる関数の振幅がゼロを示す周波数に基づいて、前記試料の光軸方向の厚みを導出するステップと、
    　を含む情報処理方法。
  12. 　試料は、特定の細胞状態に応じて試料を染色する第１蛍光染色試薬と、特定の細胞状態とは無関係に試料を染色する第２蛍光染色試薬と、によって染色されており、
    　前記複数の試料蛍光画像は、第２蛍光染色試薬の蛍光に基づく画像である、
    　請求項１１に記載の情報処理方法。
  13. 　焦点位置に応じて撮像画像中の蛍光強度が変わる光学系を使って観察試料の蛍光画像である観察蛍光画像を撮像取得する画像取得部と、
    　前記観察蛍光画像を解析して、前記観察蛍光画像中の蛍光強度を表す観察蛍光強度を取得する蛍光強度取得部と、
    　基準蛍光分子濃度と基準蛍光強度とを相互に対応づける参照基準データに照らして、前記観察蛍光強度から、前記観察試料中の蛍光分子濃度を導出する蛍光分子濃度導出部と、を備え、
    　焦点位置に応じて撮像画像中の蛍光強度が変わる光学系を使って撮像された参照試料の複数の蛍光画像である複数の参照蛍光画像であって、撮像時の焦点位置がお互いに異なる複数の参照蛍光画像から導出される前記基準蛍光強度と、前記参照試料中の蛍光分子濃度から得られる前記基準蛍光分子濃度とに基づいて、前記参照基準データが得られる、
    　情報処理装置。
  14. 　蛍光試薬を励起させる励起光を観察試料に照射する光照射部と、
    　焦点位置に応じて撮像画像中の蛍光強度が変わる光学系を使って、前記励起光が照射されている試料を撮像して蛍光画像を取得する撮像装置と、
    　前記蛍光画像の解析を行う情報処理装置と、を備え、
    　前記情報処理装置は、
    　前記観察試料の蛍光画像である観察蛍光画像を解析して、前記観察蛍光画像中の蛍光強度を表す観察蛍光強度を取得する工程と、
    　基準蛍光分子濃度と基準蛍光強度とを相互に対応づける参照基準データに照らして、前記観察蛍光強度から、前記観察試料中の蛍光分子濃度を導出する工程と、を含み、
    　焦点位置に応じて撮像画像中の蛍光強度が変わる光学系を使って撮像された参照試料の複数の蛍光画像である複数の参照蛍光画像であって、撮像時の焦点位置がお互いに異なる複数の参照蛍光画像から導出される前記基準蛍光強度と、前記参照試料中の蛍光分子濃度から得られる前記基準蛍光分子濃度とに基づいて、前記参照基準データが得られる、
    　顕微鏡システム。
PCT/JP2023/021790 2022-06-20 2023-06-12 情報処理方法、情報処理装置、及び顕微鏡システム WO2023248853A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-099075 2022-06-20
JP2022099075 2022-06-20

Publications (1)

Publication Number Publication Date
WO2023248853A1 true WO2023248853A1 (ja) 2023-12-28

Family

ID=89379748

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/021790 WO2023248853A1 (ja) 2022-06-20 2023-06-12 情報処理方法、情報処理装置、及び顕微鏡システム

Country Status (1)

Country Link
WO (1) WO2023248853A1 (ja)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07209187A (ja) * 1993-11-30 1995-08-11 Omron Corp レーザ走査式細胞分析装置
JPH10206745A (ja) * 1997-01-22 1998-08-07 Olympus Optical Co Ltd 走査型光学顕微鏡
WO2002048693A1 (fr) * 2000-12-14 2002-06-20 Olympus Optical Co., Ltd. Analyseur fluorometrique et analyse fluorometrique
JP2006030178A (ja) * 2004-07-16 2006-02-02 Carl Zeiss Jena Gmbh 高度な分解能を持つ顕微鏡
JP2011076024A (ja) * 2009-10-02 2011-04-14 Natl Inst Of Radiological Sciences 共焦点顕微鏡
JP2011095745A (ja) * 2009-10-28 2011-05-12 Carl Zeiss Microimaging Gmbh 分解能の向上した顕微鏡法および顕微鏡
JP2014521114A (ja) * 2011-06-30 2014-08-25 ジーイー・ヘルスケア・バイオサイエンス・コーポレイション 生体イメージングの画像品質最適化
JP2015522850A (ja) * 2012-07-05 2015-08-06 ナショナル ユニバーシティ オブ シンガポール 光学顕微鏡およびその制御方法
JP2018055082A (ja) * 2016-09-28 2018-04-05 株式会社Ｓｃｒｅｅｎホールディングス 変換装置、照明装置および光シート蛍光顕微鏡
JP2018136496A (ja) * 2017-02-23 2018-08-30 株式会社ニコン 顕微鏡、及び観察方法
JP2019074594A (ja) * 2017-10-13 2019-05-16 オリンパス株式会社 顕微鏡装置
JP2019527375A (ja) * 2016-06-15 2019-09-26 センソヴェイション アー・ゲーＳｅｎｓｏｖａｔｉｏｎ ＡＧ 顕微鏡によって試料をデジタルで撮影するための方法
JP2020079929A (ja) * 2018-11-12 2020-05-28 カール ツァイス マイクロスコピー ゲーエムベーハーＣａｒｌ Ｚｅｉｓｓ Ｍｉｃｒｏｓｃｏｐｙ Ｇｍｂｈ 構造化照明を備えた三次元顕微鏡法のための高速化された方法および装置
CN111340702A (zh) * 2020-02-24 2020-06-26 江南大学 基于盲估计的微小缺陷高频超声显微成像的稀疏重构方法
JP2021505940A (ja) * 2017-12-04 2021-02-18 ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツングＬｅｉｃａ Ｍｉｃｒｏｓｙｓｔｅｍｓ ＣＭＳ ＧｍｂＨ 顕微鏡システムおよびこの種の顕微鏡システムを用いた顕微鏡結像のための方法
WO2021177004A1 (ja) * 2020-03-05 2021-09-10 ソニーグループ株式会社 顕微鏡装置、画像取得システム、及び画像取得方法
WO2022150506A1 (en) * 2021-01-07 2022-07-14 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Systems and methods for producing isotropic in-plane super-resolution images from line-scanning confocal microscopy
WO2022269961A1 (ja) * 2021-06-25 2022-12-29 ソニーグループ株式会社 顕微鏡システム、情報処理装置及び制御方法

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07209187A (ja) * 1993-11-30 1995-08-11 Omron Corp レーザ走査式細胞分析装置
JPH10206745A (ja) * 1997-01-22 1998-08-07 Olympus Optical Co Ltd 走査型光学顕微鏡
WO2002048693A1 (fr) * 2000-12-14 2002-06-20 Olympus Optical Co., Ltd. Analyseur fluorometrique et analyse fluorometrique
JP2006030178A (ja) * 2004-07-16 2006-02-02 Carl Zeiss Jena Gmbh 高度な分解能を持つ顕微鏡
JP2011076024A (ja) * 2009-10-02 2011-04-14 Natl Inst Of Radiological Sciences 共焦点顕微鏡
JP2011095745A (ja) * 2009-10-28 2011-05-12 Carl Zeiss Microimaging Gmbh 分解能の向上した顕微鏡法および顕微鏡
JP2014521114A (ja) * 2011-06-30 2014-08-25 ジーイー・ヘルスケア・バイオサイエンス・コーポレイション 生体イメージングの画像品質最適化
JP2015522850A (ja) * 2012-07-05 2015-08-06 ナショナル ユニバーシティ オブ シンガポール 光学顕微鏡およびその制御方法
JP2019527375A (ja) * 2016-06-15 2019-09-26 センソヴェイション アー・ゲーＳｅｎｓｏｖａｔｉｏｎ ＡＧ 顕微鏡によって試料をデジタルで撮影するための方法
JP2018055082A (ja) * 2016-09-28 2018-04-05 株式会社Ｓｃｒｅｅｎホールディングス 変換装置、照明装置および光シート蛍光顕微鏡
JP2018136496A (ja) * 2017-02-23 2018-08-30 株式会社ニコン 顕微鏡、及び観察方法
JP2019074594A (ja) * 2017-10-13 2019-05-16 オリンパス株式会社 顕微鏡装置
JP2021505940A (ja) * 2017-12-04 2021-02-18 ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツングＬｅｉｃａ Ｍｉｃｒｏｓｙｓｔｅｍｓ ＣＭＳ ＧｍｂＨ 顕微鏡システムおよびこの種の顕微鏡システムを用いた顕微鏡結像のための方法
JP2020079929A (ja) * 2018-11-12 2020-05-28 カール ツァイス マイクロスコピー ゲーエムベーハーＣａｒｌ Ｚｅｉｓｓ Ｍｉｃｒｏｓｃｏｐｙ Ｇｍｂｈ 構造化照明を備えた三次元顕微鏡法のための高速化された方法および装置
CN111340702A (zh) * 2020-02-24 2020-06-26 江南大学 基于盲估计的微小缺陷高频超声显微成像的稀疏重构方法
WO2021177004A1 (ja) * 2020-03-05 2021-09-10 ソニーグループ株式会社 顕微鏡装置、画像取得システム、及び画像取得方法
WO2022150506A1 (en) * 2021-01-07 2022-07-14 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Systems and methods for producing isotropic in-plane super-resolution images from line-scanning confocal microscopy
WO2022269961A1 (ja) * 2021-06-25 2022-12-29 ソニーグループ株式会社 顕微鏡システム、情報処理装置及び制御方法

Similar Documents

Publication Publication Date Title
US8155409B2 (en) Wave field microscope with sub-wavelength resolution and methods for processing microscopic images to detect objects with sub-wavelength dimensions
Bocklitz et al. Raman based molecular imaging and analytics: a magic bullet for biomedical applications!?
Bhargava Towards a practical Fourier transform infrared chemical imaging protocol for cancer histopathology
KR102479862B1 (ko) 입자 분석 방법
EP2601513A1 (en) Enhancing visual assessment of samples
JP2017102032A (ja) 光計測方法および装置
US20120083678A1 (en) System and method for raman chemical analysis of lung cancer with digital staining
WO2019097587A1 (ja) 定量位相画像生成方法、定量位相画像生成装置およびプログラム
Haaland et al. Hyperspectral confocal fluorescence imaging: exploring alternative multivariate curve resolution approaches
EP2110697B1 (en) Wave field microscope with sub-wavelength resolution and methods for processing microscopic images to detect objects with sub-wavelength dimensions
Kaza et al. Hemoglobin quantification in red blood cells via dry mass mapping based on UV absorption
Liu et al. Quantitative evaluation of skeletal muscle defects in second harmonic generation images
Damania et al. Network signatures of nuclear and cytoplasmic density alterations in a model of pre and postmetastatic colorectal cancer
EP3350542A1 (en) Reflectance confocal microscopy of blood cells
JP4883936B2 (ja) 走査型サイトメータの画像処理方法及び装置
Longfils et al. Raster image correlation spectroscopy performance evaluation
CN107076664A (zh) 用于校正红外吸收光谱的方法
Zhao et al. Quantitatively mapping local quality of super-resolution microscopy by rolling Fourier ring correlation
JP2017528705A5 (ja)
US20230243839A1 (en) Information processing device, information processing method, program, microscope system, and analysis system
Dimitriadis et al. Spectral and temporal multiplexing for multispectral fluorescence and reflectance imaging using two color sensors
CN113466187B (zh) 对荧光各向异性进行偏振超分辨成像的系统及方法
Valentino et al. Beyond conventional microscopy: Observing kidney tissues by means of fourier ptychography
WO2023248853A1 (ja) 情報処理方法、情報処理装置、及び顕微鏡システム
US20210396675A1 (en) Information processing apparatus and microscope system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23827039

Country of ref document: EP

Kind code of ref document: A1