WO2022264539A1 - 情報処理システム、情報処理方法及び蛍光体構造体 - Google Patents

情報処理システム、情報処理方法及び蛍光体構造体 Download PDF

Info

Publication number
WO2022264539A1
WO2022264539A1 PCT/JP2022/008547 JP2022008547W WO2022264539A1 WO 2022264539 A1 WO2022264539 A1 WO 2022264539A1 JP 2022008547 W JP2022008547 W JP 2022008547W WO 2022264539 A1 WO2022264539 A1 WO 2022264539A1
Authority
WO
WIPO (PCT)
Prior art keywords
luminance data
dye
information processing
acquisition unit
excitation light
Prior art date
Application number
PCT/JP2022/008547
Other languages
English (en)
French (fr)
Inventor
寛和 辰田
歩 田口
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2022264539A1 publication Critical patent/WO2022264539A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/53Immunoassay; Biospecific binding assay; Materials therefor
    • G01N33/543Immunoassay; Biospecific binding assay; Materials therefor with an insoluble carrier for immobilising immunochemicals

Definitions

  • the present disclosure relates to an information processing system, an information processing method, and a phosphor structure.
  • fluorescence immunostaining is used for the observation and evaluation of biological samples.
  • fluorescent immunostaining for example, fluorescence emitted by irradiating a biological sample stained with a fluorescent staining reagent with excitation light is observed, and based on the observed fluorescence intensity, the presence or absence of the expression of various markers can be determined. The number of expressed cells is counted, and the like.
  • the meaningful value in the observation and evaluation of biological samples is not the fluorescence intensity, but the amount of antibodies (number of antibodies) that reacted with antigens on the cell tissue or cell surface.
  • the present disclosure provides an information processing system, an information processing method, and a phosphor structure capable of improving the measurement accuracy of the number of antibodies.
  • An information processing system acquires first luminance data of fluorescence emitted from the first dye by irradiating a first dye having a known concentration with first excitation light.
  • a coefficient acquisition unit that acquires a conversion coefficient for converting the luminance data into the number of the first dye based on the first luminance data; and a second dye that is the same dye as the first dye.
  • a second luminance data acquisition unit that acquires second luminance data of fluorescence emitted from the stained sample by irradiating the second excitation light having the same wavelength as the first excitation light to the sample, and the first luminance data.
  • a coefficient correcting unit that corrects the conversion coefficient based on an instrumental difference between the obtaining unit and the second luminance data obtaining unit; and the number of the second dyes is calculated from the second luminance data based on the corrected conversion coefficient. and an antibody count calculation unit for calculation.
  • FIG. 1 is a block diagram showing a schematic configuration example of an information processing system according to an embodiment of the present disclosure
  • FIG. 1 is a block diagram showing a configuration example of a fluorescence microscope apparatus according to an embodiment of the present disclosure
  • FIG. 4 is a flow chart showing an example of schematic operation of a fluorescence microscope apparatus according to an embodiment of the present disclosure
  • FIG. 4 is a diagram for explaining a detectable range through an objective lens of a fluorescence microscope according to an embodiment of the present disclosure
  • FIG. 1 is a schematic diagram showing a configuration example of a confocal optical system that can be mounted on a fluorescence microscope device according to a first example of an embodiment of the present disclosure
  • FIG. 10 is a schematic diagram showing a configuration example of a confocal optical system that can be mounted on a fluorescence microscope device according to a second example of an embodiment of the present disclosure
  • FIG. 7 is a diagram showing an example of error factors in the confocal optical system illustrated in FIG. 5 or FIG. 6
  • FIG. 2 illustrates an example standard phosphor according to an embodiment of the present disclosure
  • 9 is an enlarged view of area A in FIG. 8.
  • FIG. 10 is a diagram showing a difference in acquired luminance with and without a cover glass of a standard phosphor according to an embodiment of the present disclosure
  • 4 is a graph showing fluorescence intensity obtained while moving an objective lens in the Z direction with respect to a fluorescent layer of a standard phosphor according to an embodiment of the present disclosure
  • FIG. 4 is a diagram showing fluorescence intensity distribution for excitation line illumination when the thickness t of the fluorescent layer of the standard phosphor is 4 ⁇ m according to an embodiment of the present disclosure
  • FIG. 5 is a diagram showing fluorescence intensity distribution for excitation line illumination when the thickness t of the fluorescent layer of the standard phosphor is 20 ⁇ m according to an embodiment of the present disclosure
  • FIG. 5 is a diagram showing fluorescence intensity distribution for excitation line illumination when the thickness t of the fluorescent layer of the standard phosphor is 80 ⁇ m according to an embodiment of the present disclosure
  • 15A and 15B are graphs showing light intensity profiles of cross sections taken along lines A-A' of FIGS. 12 to 14;
  • 4 is a flow chart illustrating example operations performed at a vendor in accordance with an embodiment of the present disclosure; 4 is a flow chart illustrating an example of operations performed on the user side according to an embodiment of the present disclosure; [0014] FIG.
  • FIG. 4 illustrates an example of a spectral radiance spectrum obtained in a user-side sample measurement according to an embodiment of the present disclosure
  • 1 is a schematic diagram showing a first system configuration example of an information processing system according to an embodiment of the present disclosure
  • FIG. 2 is a schematic diagram showing a second system configuration example of an information processing system according to an embodiment of the present disclosure
  • FIG. 1 is a hardware configuration diagram showing an example of a computer that implements functions of an information processing apparatus according to the present disclosure
  • FIG. 1 is a block diagram showing a schematic configuration example of an information processing system according to this embodiment.
  • an information processing system 1 includes a fluorescence microscope device M1 on the vendor V1 side, fluorescence microscope devices C1, C2, . be.
  • the fluorescence microscope device on the vendor V1 side is called a master device, and the fluorescence microscope devices on the users U1, U2, . . . side are called copy devices.
  • Vendor V1 sends copy machines C1, C2, . is 'C') and/or provides a service to maintain and manage the copy machine C.
  • the master device M1 on the vendor V1 side includes a standard phosphor 11, a dye chamber 12, and a computing section 10, details of which will be described later.
  • a user U is a person who actually uses the copying machine C to perform fluorescence observation of a biological sample obtained from a subject.
  • the copy device C on the user U side which will be described later in detail, includes a standard phosphor 21 and a computing unit 20 and acquires quantitative value data 23 of a specimen 22 .
  • server 200 communicates with master device M1 and copy device C via, for example, the Internet, a mobile communication system (including 4G (4th Generation Mobile Communication System), 4G-LTE (Long Term Evolution), 5G, etc.), a dedicated line, or the like. It stores various information acquired from the connected master device M1 and transmits it to the copy device C as necessary.
  • the transmission of information from the server 200 to the copier C may be of the pull type or of the push type.
  • FIG. 1 exemplifies a case in which the master device M1 and the copy device C respectively include the calculation units 10/20, but the present invention is not limited to this. It may be implemented in another information processing device.
  • FIG. 2 is a block diagram showing a configuration example of a fluorescence microscope apparatus according to this embodiment.
  • inputs to the fluorescence microscope apparatus 100 include a fluorescent staining reagent 42, a specimen 50, and a fluorescently stained specimen 60.
  • the fluorescent staining reagent 42 is a chemical used for staining the specimen 50 .
  • the fluorescent staining reagent 42 is, for example, a fluorescent antibody, a fluorescent probe, or a nuclear staining reagent, but the type of the fluorescent staining reagent 42 is not particularly limited to these.
  • the fluorescent staining reagent 42 is managed with identification information (hereinafter referred to as “reagent identification information 41”) that can identify the fluorescent staining reagent 42 (and the manufacturing lot of the fluorescent staining reagent 42).
  • the reagent identification information 41 is, for example, barcode information (one-dimensional barcode information, two-dimensional barcode information, etc.), but is not limited to this.
  • the fluorescent staining reagent 42 has different properties for each production lot, even if the product is the same (same type) product, depending on the production method, the cells from which the antibody was obtained, and the like.
  • the fluorescent staining reagent 42 has different fading coefficients and fluorescent labeling rates (also called "F/P value: Fluorescein/Protein", which indicates the number of fluorescent molecules that label an antibody). Therefore, in the information processing system 1 according to the present embodiment, the fluorescent staining reagent 42 is assigned reagent identification information 41 to be managed for each production lot (in other words, the reagent information of each fluorescent staining reagent 42 is managed by lot).
  • the fluorescence microscope apparatus 100 can perform various processes in consideration of slight differences in properties that appear in each manufacturing lot. It should be noted that the management of the fluorescent staining reagent 42 in production lot units is merely an example, and the fluorescent staining reagent 42 may be managed in units smaller than the production lot.
  • the specimen 50 is a specimen slide or the like prepared for the purpose of pathological diagnosis from a specimen or tissue sample taken from a human body.
  • the type of tissue used such as an organ
  • the type of target disease such as an organ
  • the type of target disease such as age, sex, blood type, or race
  • the subject's lifestyle For example, eating habits, exercise habits, smoking habits, etc.
  • each specimen 50 can be identified. It may be managed with identification information attached.
  • the fluorescently stained specimen 60 is prepared by staining the specimen 50 with the fluorescently stained reagent 42 .
  • the fluorescence-stained specimen 60 is assumed to be stained with at least one fluorescent staining reagent 42, and the number of fluorescent staining reagents 42 used for staining is not particularly limited.
  • the staining method is determined by the combination of the specimen 50 and the fluorescent staining reagent 42, and is not particularly limited.
  • the fluorescence-stained specimen 60 is input to the fluorescence microscope device 100 and imaged.
  • the fluorescence microscope apparatus 100 includes an acquisition unit 110, a storage unit 120, a calculation unit 130, a display unit 140, a control unit 150, and an operation unit 160, as shown in FIG.
  • the acquisition unit 110 is configured to acquire information used for various processes of the fluorescence microscope apparatus 100 . As shown in FIG. 2 , the acquisition section 110 includes an information acquisition section 111 and an image acquisition section 112 . This acquisition unit 110 can be an example of the first/second luminance data acquisition unit in the claims, for example.
  • the information acquisition unit 111 is configured to acquire various types of information such as reagent information. More specifically, the information acquisition unit 111 acquires the reagent identification information 41 attached to the fluorescent staining reagent 42 used to generate the fluorescently stained specimen 60 . For example, the information acquisition unit 111 acquires the reagent identification information 41 using a barcode reader or the like. Then, the information acquisition unit 111 acquires reagent information from the server 200 based on the reagent identification information 41 . The information acquisition unit 111 also acquires the excitation power density actually measured separately (the entity that actually measures the excitation power density is not particularly limited). Information acquired by the information acquiring unit 111 is not limited to these. The information acquisition unit 111 stores the acquired information in the information storage unit 121, which will be described later.
  • the image acquisition unit 112 is configured to acquire captured image information of the fluorescently stained specimen 60 (the specimen 50 stained with the fluorescent staining reagent 42). More specifically, the image acquisition unit 112 includes an arbitrary imaging device (for example, a CCD (Charged Coupled Device), a CMOS (Complementary Metal-Oxide-Semiconductor), etc.), and performs fluorescence staining using the imaging device. Captured image information is acquired by capturing an image of the specimen 60 . “Captured image information” is a concept that includes the captured image itself of the fluorescence-stained specimen 60 as well as measured values that are not visualized as images (for example, measured values of luminance). The image acquisition unit 112 stores captured image information in an image information storage unit 122, which will be described later.
  • an image information storage unit 122 which will be described later.
  • the storage unit 120 is configured to store (store) information used for various processes of the fluorescence microscope apparatus 100 or information output by various processes. As shown in FIG. 2 , the storage section 120 includes an information storage section 121 and an image information storage section 122 .
  • the information storage unit 121 stores various types of information such as the reagent information acquired by the information acquisition unit 111 (as described above, the fading coefficient, absorption cross section (or molar extinction coefficient), quantum yield, fluorescence labeling rate, etc.). It is a configuration that Note that fading correction processing by the correction unit 131, which will be described later, calculation processing of the number of fluorescent molecules (or the number of antibodies bound to the fluorescent molecules, that is, the quantitative value data 23 in FIG. 1) by the calculation unit 132, and the image generation unit 133 , the information storage unit 121 may increase the free space by deleting the information used in the process.
  • the image information storage unit 122 is configured to store (store) captured image information of the fluorescence-stained specimen 60 acquired by the image acquisition unit 112 .
  • the correction unit 131 performs fading correction processing
  • the calculation unit 132 performs calculation processing of the number of fluorescent molecules (or the number of antibodies bound to the fluorescent molecules)
  • the image generation unit 133 performs image generation processing.
  • the image information storage unit 122 may increase the free space by deleting the captured image information used for the processing.
  • the calculation unit 130 uses information such as captured image information, reagent information (as described above, fading coefficient, absorption cross section (or molar extinction coefficient), quantum yield, fluorescence labeling rate, etc.), excitation power density, etc. It is a functional configuration for performing various processes. As shown in FIG. 2 , the calculator 130 includes a corrector 131 , a calculator 132 and an image generator 133 .
  • This computing unit 130 corresponds to the computing unit 10 in the master device M1 and the computing unit 20 in the copy device C.
  • the calculation unit 130 can be an example of the coefficient acquisition unit in the claims.
  • the calculation unit 130 can be an example of the coefficient correction unit/brightness data correction unit and the antibody number calculation unit in the scope of claims.
  • the correction unit 131 is configured to perform color fading correction processing on captured image information. More specifically, the correction unit 131 corrects the luminance in the captured image information to the luminance before fading using the fading coefficient, absorption cross section, excitation power density, and the like. The fading correction processing performed by the correction unit 131 will be described in detail later.
  • the calculation unit 132 is configured to calculate information (for example, the number of fluorescent molecules or the number of antibodies) corresponding to the fluorescent molecules in the captured image information using the luminance of the captured image information corrected by the correcting unit 131 . More specifically, the calculator 132 converts the corrected brightness of each pixel into the number of fluorescent molecules or the number of antibodies using the absorption cross section, quantum yield, fluorescence labeling rate, excitation power density, and the like. Calculation processing of the number of fluorescent molecules and the number of antibodies performed by the calculation unit 132 will be described in detail later.
  • the calculation unit 132 may implement calculation processing of a fading coefficient, a quantum yield, and the like.
  • the image generator 133 is configured to generate image information based on the information corresponding to the fluorescent molecules calculated by the calculator 132 (for example, the number of fluorescent molecules or the number of antibodies). “Image information” is a concept that includes the image itself and numerical values not visualized as images (for example, the number of fluorescent molecules or the number of antibodies, etc.), similar to the captured image information described above. The image information generation processing performed by the image generation unit 133 will be described in detail later.
  • the display unit 140 presents the image information generated by the image generation unit 133 (image information generated based on the information corresponding to the fluorescent molecules) to the user.
  • the type of display used as display unit 140 is not particularly limited. Further, although not described in detail in this embodiment, the image information generated by the image generation unit 133 may be presented to the user by being projected by a projector or printed by a printer (in other words, image information is not particularly limited).
  • control unit 150 The control unit 150 is configured to centrally control the overall processing performed by the fluorescence microscope apparatus 100 .
  • the control unit 150 performs various processes such as those described above (for example, the imaging process of the fluorescently stained specimen 60, the fading correction process, the number of fluorescent molecules ( or the number of antibodies bound to fluorescent molecules), the generation of image information, and the display of image information).
  • the control contents of the control unit 150 are not limited to these processes.
  • the control unit 150 may control processing (for example, processing related to an OS (Operating System)) generally performed in general-purpose computers, PCs, tablet PCs, and the like.
  • OS Operating System
  • the operation unit 160 is configured to receive an operation input from the user. More specifically, the operation unit 160 includes various input means such as a keyboard, mouse, buttons, touch panel, or microphone. input can be performed. Information regarding the operation input performed via the operation unit 160 is provided to the control unit 150 .
  • the server 200 is a device that manages information such as the fading coefficient, absorption cross section (or molar extinction coefficient), quantum yield, and fluorescence labeling rate of the fluorescent staining reagent 42 . More specifically, the server 200 associates and manages the reagent identification information 41 and information such as the fading coefficient, absorption cross section (or molar extinction coefficient), quantum yield, and fluorescence labeling rate. Accordingly, the information acquisition unit 111 can acquire these pieces of information from the server 200 based on the reagent identification information 41 of the fluorescent staining reagent 42 . Note that the server 200 may manage various types of information about the specimen 50 using identification information that can identify the specimen 50 . The server 200 may also manage other information including measured excitation power density.
  • the configuration example of the information processing system according to the present embodiment has been described above. Note that the above configuration described with reference to FIG. 2 is merely an example, and the configuration of the information processing system according to this embodiment is not limited to this example.
  • the fluorescence microscope device 100 does not necessarily have to include all of the configurations shown in FIG.
  • the configuration of the fluorescence microscope apparatus 100 can be flexibly modified according to specifications and operations.
  • FIG. 3 is a flowchart showing a schematic operation example of the fluorescence microscope apparatus according to this embodiment.
  • step S1000 the user determines the fluorescent staining reagent 42 and specimen 50 to be used for analysis.
  • step S ⁇ b>1004 the user prepares a fluorescently stained specimen 60 by staining the specimen 50 using the fluorescent staining reagent 42 .
  • step S1008 the image acquisition unit 112 of the fluorescence microscope device 100 acquires captured image information by capturing an image of the fluorescence-stained specimen 60.
  • the information acquisition unit 111 obtains the fading coefficient, absorption cross section, quantum yield, fluorescence labeling rate, etc. based on the reagent identification information 41 attached to the fluorescent staining reagent 42 used to generate the fluorescent staining specimen 60. of reagent information from the server 200 .
  • the information acquisition unit 111 acquires the excitation power density measured separately.
  • step S1016 the correction unit 131 corrects the luminance of each pixel in the captured image information using the fading coefficient, absorption cross section, excitation power density, etc. (fading correction processing is performed).
  • step S1020 the calculation unit 132 converts the luminance of each pixel after correction into the number of photons.
  • step S1024 the calculation unit 132 converts the number of photons into the number of fluorescent molecules or the number of antibodies bound to fluorescent molecules (hereinafter collectively referred to simply as the number of antibodies).
  • step S1028 the image generation unit 133 generates image information reflecting the number of fluorescent molecules or the number of antibodies bound to the fluorescent molecules.
  • step S1032 the display unit 140 displays the image information on the display, and the series of processing ends.
  • the image acquisition unit 112 also captures an image of the sample into which only the mounting medium is injected, using the imaging device, in addition to the fluorescently stained specimen 60 . Then, the calculation unit 132 cancels the background noise of the measurement system by subtracting the measurement result of the sample into which only the mounting medium was injected from the measurement result of the fluorescence-stained specimen 60 subjected to the fading correction process in step S1016. be able to.
  • the calculation unit 132 can calculate the brightness of each pixel in the captured image information on which the fading correction process has been performed. Assuming that a certain pixel is pixel A, the calculation unit 132 calculates the number of electrons in pixel A using the following equation (1). Here, it is assumed that the gradation in the captured image information is 16 [bit] (that is, the luminance takes values from 0 to 65536). In equation (1), the brightness of pixel A in the captured image information of the fluorescently stained specimen 60 after the fading correction process is indicated as "brightness 1", and the captured image information of the sample in which only the mounting medium is injected is The luminance of pixel A is indicated as "luminance 2".
  • the calculation unit 132 can calculate the number of photons in the pixel A by dividing the number of electrons in the pixel A by the quantum yield of the image sensor, as shown in the following equation (2).
  • the luminance in the captured image information is a value related to fluorescence detected through the objective lens of the fluorescence microscope, and the fluorescence emitted by the fluorescent substance is emitted in all directions.
  • the fluorescence detectable range 30 through the objective lens is a conical portion of a sphere centered at the fluorescence emission point 32, and the half apex angle of the cone is ⁇ .
  • the ratio of the fluorescence detectable range 30 through the objective lens to all directions from the fluorescence emission point 32 is expressed by the numerical aperture NA of the objective lens as shown in Equation (3) below.
  • the omnidirectional conversion of the number of photons detected by pixel A is represented by the following equation (4).
  • the calculation unit 132 converts the fluorescence intensity of each pixel into the number of photons by performing the above processing on all pixels including the pixel A.
  • the number of fluorescent molecules in a certain pixel A is represented by the following equations (5) and (6).
  • the calculation unit 132 calculates the number of emitted photons per molecule by inputting Abs_photon calculated by the following formula (7) and the quantum yield of the fluorescent material obtained from the server 200 into the formula (6). . After that, the calculation unit 132 inputs the number of photons (converted in all directions) detected by the pixel A calculated by the above formula (4) and the number of emitted photons per molecule into the formula (5), thereby calculating the pixel Calculate the number of fluorescent molecules detected in A.
  • the calculation unit 132 can convert the number of photons for each pixel into the number of fluorescent molecules by performing the above processing on all pixels including the pixel A.
  • the calculation unit 132 converts the number of fluorescent molecules detected in the pixel A into the number of antibodies by performing the calculation of the following formula (8) using the fluorescence labeling rate of the fluorescent substance acquired from the server 200. can do. Then, the calculation unit 132 can calculate the number of antibodies for each pixel by performing the calculation of Expression (8) on all pixels including the pixel A.
  • steps S1020 and S1024 in FIG. 3 that is, the process of converting the brightness into the number of photons and then into the number of antibodies
  • the brightness can be simplified to the process of directly converting (however, correction to absorb instrumental differences is necessary) to the number of antibodies.
  • the imaging conditions are not changed in steps S641 and S651 of , the number of antibodies can be obtained directly from the luminance by using the conversion coefficient corrected using the standard phosphors 11 and 21 so as to absorb the instrumental difference. is possible.
  • the fluorescence intensity measurement performed by the copying machine C on the side of each user U depends on factors such as the power of the excitation light and the coupling efficiency of the detector. It can be difficult to quantify fluorescence intensity and obtain an accurate antibody count due to various instrumental differences. Therefore, a method for reducing errors due to such machine difference factors will be described below.
  • the machine difference between the master device M1 and the copy device C in this description mainly refers to individual factors such as the power of the excitation light and the coupling efficiency of the detector in the acquisition unit 110 of the fluorescence microscope apparatus 100 illustrated in FIG. It may be a difference that can be caused by a difference.
  • the copy device C on the user U side in FIG. 1 Before explaining the error reduction method due to machine difference factors, first, the copy device C on the user U side in FIG. 1 will be explained.
  • the copier C uses a sequence for measuring the mounted standard phosphor 21 and a standard phosphor attached to the dye spectrum data. 11 fluorescence values are read out, compared and corrected, and color separation calculation is performed in the calculation unit 20 .
  • This copying device C is mainly used for the purpose of measuring a specimen 50 stained with a fluorescent staining reagent 42 (hereinafter simply referred to as a dye).
  • a captured image obtained by measurement is converted into image data in which pixel values are absolute luminance values.
  • the absolute value luminance is a value obtained by converting the fluorescent signal detected by the copy machine C into an absolute value.
  • the number of antibodies cannot be obtained directly from image data of absolute luminance. This is because a conversion coefficient (corresponding to, for example, a spillover matrix or standard spectrum, which will be described later) is required for converting the detected fluorescence intensity to the number of antibodies.
  • the conversion factor is obtained, for example, by encapsulating a solution sample with a known antibody concentration and a known average number of dye molecules conjugated to the antibody in a glass chamber with a known thickness and measuring the fluorescence. can be obtained with However, this work needs to be performed for each dye, and density management, imaging condition management, etc. are complicated.
  • the vendor V1 side creates conversion coefficients using the master device M1.
  • the conversion coefficient for each dye created by the master device M1 is provided to each copy device C via the server 200.
  • FIG. if the conversion coefficients created by the master device M1 are simply provided to the copy device C, the conversion coefficients suitable for the copy device C are provided due to the influence of the machine difference between the copy device C and the master device M1. Therefore, the number of antibodies obtained from the captured image of the fluorescence-stained specimen 60 is not necessarily the correct number of antibodies.
  • this embodiment provides a method of obtaining an appropriate conversion coefficient in each copy device C by intervening the standard phosphors 11 and 21 mounted in the master device M1 and the copy device, respectively.
  • the standard phosphors 11 and 21 are phosphors that emit light with the same detection luminance when excited under the same conditions. Therefore, by using measurement results obtained by exciting the standard phosphors 11 and 21 under the same conditions in the master device M1 and the copy device, respectively, the machine difference between the master device M1 and the copy device C is used as a factor. It is possible to reduce the error and improve the measurement accuracy of the number of antibodies.
  • the vendor V1 side also measures the brightness information of the standard phosphor 11 when acquiring the conversion coefficients to be provided to the copying machine C.
  • the measurement of the standard phosphor 11 is performed for all the excitation illuminations mounted on the master device M1, and the fluorescence brightness detected by each excitation illumination is recorded as an absolute value.
  • the absolute value may be, for example, spectral radiance [w/(sr*m2* ⁇ )] or the number of photons.
  • the master device M1 generates a data set in which the conversion coefficient for each dye and the luminance information of the standard phosphor 11 are linked.
  • the conversion coefficient is a spectrum-like form obtained by multiplying the standard spectrum used for color separation calculation (here, the element vector of the least squares method is called the standard spectrum) by the conversion coefficient.
  • the standard phosphor 21 incorporated in the copy machine C is measured once a day as part of daily quality control (daily QC) when the copy machine C is started up. Measurement of the standard phosphor 21 is performed for all the excitation illuminations mounted on the copy device C in the same manner as the master device M1, and the fluorescence luminance detected by each excitation illumination is measured as an absolute value. It is desirable that the conditions for measuring the standard phosphors 11 and 21, such as the set intensity of the excitation illumination, match between the master device M1 and the copy device C.
  • the standard phosphors 11 and 21 are phosphors that emit light with the same detection brightness when excited under the same conditions. Therefore, under the same conditions, the measurement result of the standard phosphor 21 obtained by the copy device C and the measurement result of the standard phosphor 11 obtained by the master device M1 (specifically, the By comparing the absolute value luminance information) in the calculation unit 130, for example, it becomes possible to specify the degree of influence due to the machine difference between the master device M1 and the copy device C. FIG. Then, by correcting the conversion coefficient in the copying machine C based on the degree, the influence of machine difference can be reduced, so it is possible to improve the measurement accuracy of the number of antibodies. Various correction methods such as simple ratio correction based on the ratio of the measurement results may be used to correct the conversion coefficients.
  • FIG. 5 is a schematic diagram showing a configuration example of a confocal optical system that can be mounted on the fluorescence microscope apparatus according to the first example of the present embodiment.
  • FIG. 6 is a schematic diagram showing a configuration example of a confocal optical system that can be mounted on a fluorescence microscope apparatus according to a second example of the present embodiment.
  • FIG. 7 is a diagram showing an example of error factors in the confocal optical system illustrated in FIG. 5 or FIG.
  • the fluorescence L32 that has passed through the dichroic mirror 314 is imaged on the primary imaging plane through the condenser lens 316 .
  • the fluorescence image of the fluorescence L32 formed on the primary imaging plane is a point or line.
  • a diaphragm 317 consisting of a pinhole or a slit having an aperture shape matching the condensing shape of the laser beam L31 (and the shape of the fluorescent image of the fluorescent light L32) is arranged on the primary imaging plane.
  • fluorescence emitted from other than the focal position (point or line) of the laser light L31 (for example, from a position shifted in the X direction and/or the Y direction and/or the Z direction from the focal position of the laser light L31) (background fluorescence) is eliminated by the diaphragm 317, so that the imaging device 319 can acquire a high-contrast fluorescence image.
  • the fluorescence L32 that has passed through the diaphragm 317 is imaged on the light receiving surface of the imaging element 319 after passing through the relay optical systems 318a and 318b, and the imaging element 319 detects the fluorescence luminance.
  • the sample P1 is scanned with the laser beam L31 having the point or line condensed shape as described above, thereby generating a luminance image of the entire or a part of the sample P1.
  • a stage 420 for supporting a pathological specimen a stage 420 for supporting a pathological specimen, a spectroscopic imaging section 430 for acquiring the fluorescence spectrum (spectral data) of the linearly excited pathological specimen, an observation optical system 440, and a non-fluorescence observation section 470.
  • different axis parallel means that a plurality of line illuminations are different axis and parallel.
  • Different axes mean not coaxial, and the distance between the axes is not particularly limited.
  • Parallel is not limited to being parallel in a strict sense, but also includes a state of being substantially parallel. For example, there may be distortion derived from an optical system such as a lens, or deviation from a parallel state due to manufacturing tolerances, and such cases are also regarded as parallel.
  • the excitation unit 410 has a plurality of (four in this example) excitation light sources 401 , 402 , 403 and 404 .
  • Each of the excitation light sources 401 to 404 is composed of a laser light source that outputs laser light with wavelengths of 405 nm, 488 nm, 561 nm and 645 nm, respectively.
  • the excitation unit 410 includes a plurality of collimator lenses 411 and laser line filters 412, dichroic mirrors 413a, 413b, and 413c, a homogenizer 414, a condenser lens 415, and an entrance slit 416 so as to correspond to the excitation light sources 401 to 404. further has
  • the laser light emitted from the excitation light source 401 and the laser light emitted from the excitation light source 403 are collimated by a collimator lens 411, respectively, and then transmitted through a laser line filter 412 for cutting the tail of each wavelength band. and are made coaxial by dichroic mirror 413a.
  • the two coaxial laser beams are further beam-shaped by a homogenizer 414 such as a fly-eye lens and a condenser lens 415 to form line illumination Ex1.
  • the laser light emitted from the excitation light source 402 and the laser light emitted from the excitation light source 404 are similarly coaxially coaxial by dichroic mirrors 413b and 413c, and are line-illuminated to form line illumination Ex2 having a different axis from the line illumination Ex1. be done.
  • the line illuminations Ex1 and Ex2 form off-axis line illuminations (primary images) separated by .DELTA.y at an entrance slit 416 (slit conjugate) having a plurality of slit portions each passable.
  • the observation optical system 440 has a condenser lens 441 , dichroic mirrors 442 and 443 , an objective lens 444 , a bandpass filter 445 and a condenser lens 446 .
  • the line illuminations Ex1 and Ex2 are collimated by a condenser lens 441 paired with an objective lens 444, reflected by dichroic mirrors 442 and 443, transmitted through the objective lens 444, and irradiated onto the sample P2.
  • Fluorescence excited by the line illuminations Ex1 and Ex2 is collected by the objective lens 444, reflected by the dichroic mirror 443, transmitted through the dichroic mirror 442 and the bandpass filter 445 that cuts the excitation light, and collected again by the condenser lens 446. It is illuminated and enters the spectral imaging section 430 .
  • the spectral imaging unit 430 has an observation slit 431 , imaging elements 432 ( 432 a and 432 b ), a first prism 433 , a mirror 434 , a diffraction grating 435 (wavelength dispersion element), and a second prism 436 .
  • the observation slit 431 is arranged at the condensing point of the condenser lens 446 and has the same number of slit parts as the number of excitation lines.
  • the fluorescence spectra derived from the two excitation lines that have passed through the observation slit 431 are separated by the first prism 433 and reflected by the grating surface of the diffraction grating 435 via the mirrors 434, respectively, thereby further dividing the fluorescence spectra of the respective excitation wavelengths. separated.
  • the four fluorescence spectra thus separated are incident on the imaging elements 432a and 432b via the mirror 434 and the second prism 436, and developed into (x, ⁇ ) information as spectral data.
  • the pixel size (nm/Pixel) of the imaging elements 432a and 432b is not particularly limited, and is set to 2 nm or more and 20 nm or less, for example.
  • This dispersion value may be realized by the pitch of the diffraction grating 435 or optically, or by hardware binning of the imaging elements 432a and 432b.
  • the stage 420 constitutes an XY stage, and moves the sample P2 in the X-axis direction and the Y-axis direction in order to acquire a fluorescence image of the sample P2.
  • WSI whole slide imaging
  • the non-fluorescent observation unit 470 is composed of a light source 471, a dichroic mirror 443, an objective lens 444, a condenser lens 472, an imaging device 473, and the like.
  • FIG. 6 shows an observation system using dark field illumination.
  • the light source 471 is arranged below the stage 420 and irradiates the sample P2 on the stage 420 with illumination light from the side opposite to the line illuminations Ex1 and Ex2.
  • the light source 471 illuminates from the outside of the NA (numerical aperture) of the objective lens 444, and the light (dark field image) diffracted by the sample P2 passes through the objective lens 444, the dichroic mirror 443, and the condenser lens 472. Then, the image sensor 473 captures the image.
  • dark field illumination even seemingly transparent samples such as fluorescently stained samples can be observed with contrast.
  • the non-fluorescent observation unit 470 is not limited to an observation system that acquires a dark field image, but is an observation system capable of acquiring non-fluorescent images such as bright field images, phase contrast images, phase images, and in-line hologram images. may consist of For example, various observation methods such as the Schlieren method, the phase contrast method, the polarizing observation method, and the epi-illumination method can be employed as methods for obtaining non-fluorescent images.
  • the position of the illumination light source is not limited to below the stage, and may be above the stage or around the objective lens. In addition to the method of performing focus control in real time, other methods such as a pre-focus map method in which focus coordinates (Z coordinates) are recorded in advance may be employed.
  • the luminance image acquired by the image acquisition unit 112 is the efficiency of the detection optical system for detecting the fluorescence emitted from the sample (lens transmittance, etc., and in the case of a spectroscopic optical system, the filter transmittance and the diffraction efficiency of the diffraction grating). etc.), light collection efficiency (numerical aperture NA of detection objective lens, lens aberration performance, relay magnification, lens vignetting, etc.), sensor spectral sensitivity characteristics (physical characteristics, set exposure time, gain, etc.).
  • parameters such as the power density of the excitation light (focus and aberration for each excitation light, etc.), the coordinates of the laser illumination and the positional deviation of the installed pinhole affect the detected fluorescence brightness. It cannot be calibrated with a self-luminous standard light source that is not fluorescence.
  • the value of the above-mentioned positional deviation may fluctuate on a daily basis due to factors such as variations in the manufacturing of individual parts, assembly errors, and part drift due to the temperature of the installation environment.
  • FIG. 8 is a diagram showing an example of the standard phosphor according to the present embodiment. b) shows a side view of the standard phosphor from the side; 9 is an enlarged view of area A in FIG. Note that the standard phosphor 500 described below may be applied to both the standard phosphors 11 and 21 .
  • the standard phosphor 500 has a laminated structure in which the phosphor layer 501 is evenly sealed between the cover glass layer 502 and the holding glass layer 503 .
  • the thickness of the cover glass layer 502 is, for example, 170 ⁇ m (micrometers)
  • the thickness of the holding glass layer 503 is, for example, 1000 ⁇ m.
  • the thickness of the fluorescent layer 501 is 20 ⁇ m in FIG. 9, it is not limited to this.
  • the fluorescent layer 501 it is possible to use, for example, a stable fluorescent glass or other solid material that emits light uniformly with respect to excitation light of the same intensity and that has little color fading.
  • the thickness of the fluorescent layer 501 is defined by polishing the front and back surfaces thereof, for example.
  • a material sensitive to the excitation wavelength used may be appropriately selected.
  • FIG. 10 is a diagram showing a difference in acquired luminance depending on the presence or absence of a cover glass.
  • FIG. 11 is a graph showing fluorescence intensity acquired while moving the objective lens in the Z direction with respect to the fluorescent layer. As shown in FIGS. 10 and 11, both the brightness and its characteristics differ depending on the presence or absence of the cover glass, and it can be seen that the images with the cover glass are photographed under conditions closer to the actual sample photographing environment.
  • the fluorescent layer 501 have a thickness similar to the thickness of the sample to be measured, to the extent that the characteristics are not lost. For example, if the thickness of a sample slide formed by slicing with a microtome is 4 ⁇ m, the thickness of the fluorescent layer 501 is preferably about 20 ⁇ m or less.
  • 12 to 14 are diagrams showing fluorescence intensity distributions for excitation line illumination when the thickness t of the fluorescent layer 501 is 4 ⁇ m, 20 ⁇ m, and 80 ⁇ m.
  • FIG. 15 is a graph showing the light intensity profile of the AA' section of each of FIGS. The same laser light source with a wavelength of 405 nm (nanometers) was used as the excitation light source.
  • the observed fluorescence intensity distribution varies depending on the thickness of the fluorescent layer 501.
  • the standard spectrum is created by a method in which the user U side prepares a sample slide stained with a single dye and measures it with the copying device C.
  • this preparation process by using a dye sample with a known concentration, it becomes possible to convert the fluorescence intensity into the number of antibodies.
  • this operation must be performed for each dye, and density management, imaging condition management, etc. are complicated, so there is a problem that it is difficult for the user U to perform this operation.
  • the vendor V1 side uses the master device M1 to create a spillover matrix and/or standard spectrum, and each user U side creates a spillover matrix and/or standard spectrum created by the vendor V1 side is corrected according to the machine difference.
  • FIG. 16 is a flow chart showing an operation example executed on the vendor side according to the present embodiment. Incidentally, as described above, the standard spectrum is created on the vendor V1 side.
  • the creation of the spillover matrix and/or standard spectrum on the vendor V1 side includes dye chamber measurement S600, background (BG) measurement S610, standard fluorophore measurement S620, and dye information generation S630. executed.
  • Spectral radiance spectrum 603 of the pigment used for staining on the user U side is obtained by the calculation unit 10 performing spectral calibration (step S602) on the luminance image.
  • Spatial averaging processing (S604) is performed on the acquired spectral radiance spectrum 603 in the computing unit 10.
  • Step S610 In the background measurement S610, similarly in the master device M1, a sample containing no pigment (background sample) is photographed (step S611), and the calculation unit 10 performs spectral calibration on the luminance image obtained thereby. By executing (step S612), a spectral radiance spectrum 613 of the background sample is obtained. Spatial averaging processing (S614) is performed on the acquired spectral radiance spectrum 613 in the computing unit 10.
  • the brightness is adjusted by focusing on the Z-axis so that the acquired brightness for the standard phosphor 11 becomes the maximum (the peak in the graph shown in FIG. 11). luminance) is obtained. At least one luminance image is acquired for each excitation in this standard phosphor measurement S620. Thus, for example, in the case of 3 excitations, 3 or more intensity images are acquired.
  • dye information generation S630 In dye information generation S630, the calculation unit 10 subtracts the spectral radiance spectrum 613 obtained in the background measurement S610 from the spectral radiance spectrum 603 obtained in the dye chamber measurement S600 (step S631). A more accurate spectral radiance spectrum 603 of the dye used for staining on the user U side is generated.
  • the background subtraction process (step S631) may be performed before or after the spatial averaging process (S603, S613).
  • the computing unit 10 obtains the final standard spectrum 633 by multiplying the spectral radiance spectrum 603 by the antibody quantification coefficient (step S632).
  • the antibody quantification coefficient can be expressed by the following equation (9).
  • the thickness correction system is a correction value for correcting the difference in luminance value caused by the difference between the thickness of the dye chamber 12 and the thickness of the actual sample (specimen 50 or fluorescence-stained specimen 60). be.
  • This antibody quantification coefficient may be calculated in advance by, for example, actual measurement, theoretical calculation, or the like.
  • the standard spectrum 633 obtained in this way is used for color separation (least squares method) of the spectral radiance spectrum of the pigment (fluorescently stained specimen 60) obtained on the copier C side.
  • color separation by performing color separation using the standard spectrum 633, it is possible to convert the spectral radiance spectrum of the dye actually used by user U into the dimension of antibody number concentration.
  • the computing unit 10 creates a data set that summarizes the standard spectrum 633 acquired in step S632 and the spectral radiance spectrum 623 of the standard phosphor 11 acquired in the standard phosphor measurement S620.
  • the created data set is uploaded to the server 200 as dye information and provided to the copier C as appropriate.
  • the data format may include parameters such as the intensity of the excitation light used in the master device M1 and imaging parameters (exposure time, gain).
  • FIG. 17 is a flowchart showing an operation example executed on the user side according to the present embodiment.
  • standard fluorescence measurement S640 As shown in FIG. 17, on the user U side, standard fluorescence measurement S640, sample measurement S650, and antibody number calculation S660 are executed.
  • the copying machine C performs the daily QC by taking an image of the standard phosphor 21 (step S641), and the luminance image obtained thereby.
  • the spectral radiance spectrum 643 of the standard phosphor 21 is obtained by performing the spectral calibration (step S642) by the computing unit 20.
  • the spectral radiance spectrum 643 obtained is subjected to wavelength averaging processing and spatial averaging processing (S644) in the computing unit 20.
  • the spectral radiance spectrum 643 of the standard phosphor 21 is three-dimensional data in the XY ⁇ space.
  • the spectral radiance spectrum 643 is first averaged (two-dimensionalized) in the ⁇ direction, and then further averaged (one-dimensionalized) in the Y direction. Convert to one-dimensional data.
  • luminance data at the center of one-dimensional data for example, if the number of pixels in the luminance image is 2000 pixels, the 1000th pixel
  • the shading correction coefficient 645 can be obtained by normalizing the one-dimensional data and reciprocating it.
  • a shading correction coefficient 645 for correcting luminance unevenness for each excitation light in the spectral radiance spectrum 654 obtained by sample measurement S650, which will be described later, may be obtained.
  • the shading correction coefficient may be a coefficient for correcting luminance unevenness caused by a drop in the illumination luminance of the excitation light from the image center toward the outer periphery.
  • sample measurement S650 In the sample measurement S650, the specimen 50 (fluorescently stained specimen 60 (sample )) is performed (step S651), and the calculation unit 20 performs spectral calibration (step S652) on the luminance image obtained thereby, thereby obtaining spectral radiance spectra of dyes #1 to #n. 653 is obtained.
  • the spectral radiance spectrum obtained by the sample measurement S650 is a series of multispectral data in which the spectral radiance spectrum for each excitation light is connected in the wavelength direction as shown in FIG. Note that FIG. 18 shows spectral radiance spectra obtained when three types of excitation light L11 to L13 are used.
  • Antibody number calculation S660 In antibody number calculation S660, first, packing correction S661 and shading correction S663 are performed.
  • the calculation unit 20 acquires from the server 200 the dye information of the dyes #1 to #n used for staining the specimen 50 (referred to as dye information #1 to #n for simplicity of explanation). . Subsequently, the calculation unit 20 calculates the spectral radiance spectrum 624 of the standard phosphor 11 in each of the acquired dye information #1 to #n and the spectral radiance spectrum of the standard phosphor 21 acquired by the standard phosphor measurement S640. 643, and if the values of both are different, based on the ratio of the spectral radiance spectrum 624 and the spectral radiance spectrum 643, using the following formula (10), the standard of each of the dye information #1 to #n Correct the spectrum 633 .
  • the standard spectrum 633 after correction is referred to as a standard spectrum after correction
  • the spectral radiance spectrum 643 of the standard phosphor 21 obtained by the standard phosphor measurement S640 on the user U side is
  • the spectral radiance spectrum 623 of the standard phosphor 11 obtained by the vendor V1 side standard phosphor measurement S620 is referred to as the master device side spectral radiance spectrum.
  • the shading correction S663 the spectral radiance spectra 653 of each of the dyes #1 to #n obtained by the sample measurement S650 are corrected using the shading correction coefficients obtained by the standard phosphor measurement S640. Note that the shading correction S663 is not essential and may be omitted. In that case, acquisition of the shading correction coefficient 645 in the spatial averaging process S644 may be omitted.
  • the computing unit 20 color-separates the spectral radiance spectrum 653 of each of the dyes #1 to #n, for example, by the least-squares method using the corrected standard spectrum 662 (step S664).
  • image data also referred to as a coefficient image or antibody number density image
  • output data 665 (corresponding to quantitative value data 23 in FIG. 1) ).
  • the standard spectrum 633 created using the master device M1 on the vendor V1 side is the spectral radiance measured from the standard phosphor 11 using the master device M1. It is corrected based on the spectrum 623 and the spectral radiance spectrum 643 measured from the standard phosphor 21 using the copier C on the user U side. This correction may be performed daily at user U as a daily QC. In this way, by performing a sequence of measuring the standard phosphor 21 and correcting the standard spectrum 633633 as daily QC, it is possible to suppress deterioration in measurement accuracy due to device differences and changes over time. As a result, it becomes possible to correctly obtain the number of antibodies from the fluorescence intensity of the sample measured by the copier C. FIG. As a result, the user U side can quantitatively evaluate the amount of markers expressed in the tissue from the coefficient image (antibody number concentration image). It becomes possible to make a choice of law.
  • Japanese Patent Application Laid-Open No. 2013-11527 discloses a fluorescence microscope system that acquires a fluorescence image of a measurement specimen using a fluorescence microscope and quantifies a fluorescent substance using a calibration curve from the acquired fluorescence image.
  • this is a method of performing quantification from calibration curve measurement of fluorescent substances, and is different from the present method of identifying the number of fluorescent molecules from the absolute value of fluorescence luminance.
  • the user needs to obtain a plurality of samples for the calibration curve measurement, which is highly reliable but takes a lot of time and effort.
  • the present embodiment is convenient because it is possible to directly convert the imaging data into the number of molecules by managing the measured values of the apparatus using the quantitative phosphor.
  • Japanese Patent No. 3706367 discloses a method of evaluating the performance of a confocal laser scanning microscope using a reference device in which a dissolved phosphor is enclosed.
  • the user needs to prepare and measure the sample immediately before use, but since the phosphor used itself is a material that causes fading, simple quantification that reduces the user's work is possible. cannot be realized.
  • the fluorescent standard of this embodiment differs in that it uses fluorescent glass, which is an inorganic material. Also, this embodiment is different in that it is preliminarily incorporated into the apparatus.
  • the standard phosphor of the present embodiment is characterized by being extremely resistant to fading, being stable, and having little unevenness. images can be acquired.
  • the master device M1 based on the ratio between the spectral radiance spectrum 623 acquired by the master device M1 and the spectral radiance spectrum 643 acquired by the copy device C, the master device M1
  • the dyes #1 to #n obtained using the copy device C Each spectral radiance spectrum 653 may be corrected. Even in that case, as in the above-described embodiment, it is possible to suppress deterioration in measurement accuracy due to device differences and changes over time. It becomes possible to quantitatively evaluate the amount of markers that have been detected.
  • the vendor V1 side by storing the spectral radiance spectrum 643 obtained in the standard phosphor measurement S640 on the user U side, for example, in the server 200 or the like, and monitoring daily measurement values, This makes it possible to detect abnormalities such as misalignment and deterioration of the image sensor. In this case, it is possible for the vendor V1 side to proactively provide after-sales services such as maintenance to the user U of the copier C whose abnormality has been detected.
  • FIG. 19 is a schematic diagram showing a first system configuration example of the information processing system according to the embodiment described above.
  • the server 200, the master device M1 on the side of the vendor V1, and the copy device C on the side of each user U can communicate with each other via a network 210 such as the Internet, a mobile communication system, or a dedicated line. connected to a network 210 such as the Internet, a mobile communication system, or a dedicated line. connected to
  • a server 200A on the side of each user U may be used instead of the server 200, as shown in FIG. In that case, the dye information stored in the server 200 may be downloaded to the server 200A on the side of each user U as needed.
  • a plurality of servers 200-1 and 200-2 functioning as servers 200 are arranged on a network 210, and the server 200-1 operates as a primary server.
  • the other server 200-2 operates as a secondary server to transmit coloring matter information in response to a request from the copier C. It may be configured to transmit information.
  • FIG. 21 is a hardware configuration diagram showing an example of a computer 1000 that implements the functions of at least part of the fluorescence microscope apparatus 100 (for example, the computing units 10/20).
  • the computer 1000 has a CPU 1100 , a RAM 1200 , a ROM (Read Only Memory) 1300 , a HDD (Hard Disk Drive) 1400 , a communication interface 1500 and an input/output interface 1600 .
  • Each part of computer 1000 is connected by bus 1050 .
  • the CPU 1100 operates based on programs stored in the ROM 1300 or HDD 1400 and controls each section. For example, the CPU 1100 loads programs stored in the ROM 1300 or HDD 1400 into the RAM 1200 and executes processes corresponding to various programs.
  • the ROM 1300 stores a boot program such as BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, and programs dependent on the hardware of the computer 1000.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records programs executed by the CPU 1100 and data used by such programs.
  • HDD 1400 is a recording medium that records a program for executing each operation according to the present disclosure, which is an example of program data 1450 .
  • a communication interface 1500 is an interface for connecting the computer 1000 to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device via the communication interface 1500, and transmits data generated by the CPU 1100 to another device.
  • the input/output interface 1600 includes the I/F section 18 described above, and is an interface for connecting the input/output device 1650 and the computer 1000 .
  • the CPU 1100 receives data from input devices such as a keyboard and mouse via the input/output interface 1600 .
  • the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input/output interface 1600 .
  • the input/output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium.
  • Media include, for example, optical recording media such as DVD (Digital Versatile Disc) and PD (Phase change rewritable disk), magneto-optical recording media such as MO (Magneto-Optical disk), tape media, magnetic recording media, semiconductor memories, etc. is.
  • optical recording media such as DVD (Digital Versatile Disc) and PD (Phase change rewritable disk)
  • magneto-optical recording media such as MO (Magneto-Optical disk)
  • tape media magnetic recording media
  • magnetic recording media semiconductor memories, etc. is.
  • the computer 1000 functions as at least part of the fluorescence microscope apparatus 100 according to the above-described embodiments (for example, the calculation unit 10/20)
  • the CPU 1100 of the computer 1000 executes the program loaded on the RAM 1200.
  • the functions of at least part of the fluorescence microscope apparatus 100 are realized.
  • the HDD 1400 also stores programs and the like according to the present disclosure.
  • CPU 1100 reads and executes program data 1450 from HDD 1400 , as another example, these programs may be obtained from another device via external network 1550 .
  • a first luminance data acquisition unit that acquires first luminance data of fluorescence emitted from the first dye by irradiating the first dye with a known concentration with the first excitation light
  • a coefficient obtaining unit that obtains a conversion coefficient for converting the luminance data into the number of the first dye based on the first luminance data
  • Second luminance data of fluorescence emitted from the sample is obtained by irradiating a sample stained with a second dye that is the same dye as the first dye with second excitation light having the same wavelength as the first excitation light.
  • the first luminance data acquisition unit acquires third luminance data of fluorescence emitted from the first phosphor by irradiating the first phosphor with third excitation light
  • the second luminance data acquisition unit irradiates a second phosphor having the same structure as the first phosphor with fourth excitation light having the same wavelength as the third excitation light, thereby obtaining fluorescence emitted from the second phosphor.
  • the information processing system acquires fourth luminance data of The information processing system according to (1), wherein the coefficient correction unit corrects the conversion coefficient based on a ratio between the third luminance data and the fourth luminance data.
  • the first luminance data acquisition unit acquires fifth luminance data by irradiating the first excitation light in a state where no dye is arranged, The information according to (1) or (2), wherein the coefficient obtaining unit calculates the conversion coefficient based on sixth luminance data obtained by subtracting the fifth luminance data from the first luminance data. processing system.
  • the transform coefficients are spillover matrices or standard spectra.
  • a first information processing device comprising the first luminance data acquisition unit and the coefficient acquisition unit; a second information processing device comprising the second luminance data acquisition unit, the coefficient correction unit, and the antibody number calculation unit; with The information processing system according to any one of (1) to (4), wherein the first information processing device and the second information processing device are connected via a predetermined network.
  • a server that holds the first luminance data and the conversion coefficient for each of the one or more first dyes obtained by the first information processing device, The first information processing device transmits the first luminance data and the conversion coefficient for each of the one or more first dyes to the server;
  • the coefficient correction unit corrects the conversion coefficient based on the machine difference when the second information processing device is started.
  • the first information processing device includes a first receiver that converges the first excitation light on the first dye and converges the fluorescence emitted from the first dye on a light receiving surface of the first luminance data acquisition unit. further equipped with focusing optics,
  • the second information processing device includes a second confocal optical system for condensing the second excitation light onto the sample and condensing the fluorescence emitted from the sample onto a light receiving surface of the second luminance data acquisition unit. further prepared, The information processing system according to any one of (5) to (7), wherein the first confocal optical system and the second confocal optical system are optical systems having the same configuration.
  • a first luminance data acquisition unit that acquires first luminance data of fluorescence emitted from the first dye by irradiating the first dye with a known concentration with the first excitation light; a coefficient obtaining unit that obtains a conversion coefficient for converting the luminance data into the number of the first dye based on the first luminance data; Second luminance data of fluorescence emitted from the sample is obtained by irradiating a sample stained with a second dye that is the same dye as the first dye with second excitation light having the same wavelength as the first excitation light.
  • a second luminance data acquisition unit to acquire; a luminance data correcting unit that corrects the second luminance data based on an instrumental difference between the first luminance data obtaining unit and the second luminance data obtaining unit; an antibody number calculation unit that calculates the number of the second dye based on the conversion coefficient from the corrected second luminance data;
  • An information processing system comprising (10) An information processing method executed in a master device connected to a copy device via a predetermined network, Obtaining first luminance data of fluorescence emitted from the first dye by irradiating the first dye with a known concentration with the first excitation light, An information processing method comprising: obtaining conversion coefficients for converting luminance data into the number of the first dyes based on the first luminance data.
  • Second luminance data of fluorescence emitted from the sample is obtained by irradiating a sample stained with a second dye that is the same dye as the first dye with a second excitation light having the same wavelength as the first excitation light. Acquired, correcting the conversion coefficient based on the difference between the master device and the copy device; calculating the number of the second dyes from the second luminance data based on the corrected conversion coefficients.
  • a phosphor structure comprising:

Abstract

抗体数の測定精度を向上する。実施形態に係る情報処理システムは、濃度が既知の第1色素に第1励起光を照射することで前記第1色素から放射した蛍光の第1輝度データを取得する第1輝度データ取得部(110)と、前記第1輝度データに基づいて輝度データを前記第1色素の数に変換するための変換係数を取得する係数取得部(130)と、前記第1色素と同じ色素である第2色素を用いて染色されたサンプルに前記第1励起光と同じ波長の第2励起光を照射することで前記サンプルから放射した蛍光の第2輝度データを取得する第2輝度データ取得部(110)と、前記第1輝度データ取得部と前記第2輝度データ取得部との機差に基づいて前記変換係数を補正する係数補正部(130)と、補正後の前記変換係数に基づいて前記第2輝度データから前記第2色素の数を算出する抗体数算出部(130)と、を備える。

Description

情報処理システム、情報処理方法及び蛍光体構造体
 本開示は、情報処理システム、情報処理方法及び蛍光体構造体に関する。
 一般的に、生体試料の観察や評価には、蛍光免疫染色が用いられる。蛍光免疫染色では、例えば、蛍光染色試薬によって染色された生体試料に励起光を照射することで放射された蛍光を観察し、この観察された蛍光輝度に基づくことで、各種マーカの発現の有無や発現した細胞数のカウントなどが行われる。
国際公開第2020/022038号
 しかしながら、生体試料の観察や評価において意味のある値は、蛍光輝度ではなく、細胞組織や細胞表面の抗原に反応した抗体の量(抗体数)であるが、蛍光強度測定は、励起光のパワーや検出器のカップリング効率などの様々な機差要因を受けるため、蛍光輝度を定量化して正確な抗体数を得ることが困難であるという課題が存在する。
 そこで本開示は、上記課題を解決するために、抗体数の測定精度を向上することが可能な情報処理システム、情報処理方法及び蛍光体構造体を提供する。
 本開示の実施形態に係る情報処理システムは、濃度が既知の第1色素に第1励起光を照射することで前記第1色素から放射した蛍光の第1輝度データを取得する第1輝度データ取得部と、前記第1輝度データに基づいて輝度データを前記第1色素の数に変換するための変換係数を取得する係数取得部と、前記第1色素と同じ色素である第2色素を用いて染色されたサンプルに前記第1励起光と同じ波長の第2励起光を照射することで前記サンプルから放射した蛍光の第2輝度データを取得する第2輝度データ取得部と、前記第1輝度データ取得部と前記第2輝度データ取得部との機差に基づいて前記変換係数を補正する係数補正部と、補正後の前記変換係数に基づいて前記第2輝度データから前記第2色素の数を算出する抗体数算出部と、を備える。
本開示の一実施形態に係る情報処理システムの概略構成例を示すブロック図である。 本開示の一実施形態に係る蛍光顕微鏡装置の構成例を示すブロック図である。 本開示の一実施形態に係る蛍光顕微鏡装置の概略動作例を示すフローチャートである。 本開示の一実施形態に係る蛍光顕微鏡の対物レンズを通して検出可能な範囲について説明するための図である。 本開示の一実施形態の第1例に係る蛍光顕微鏡装置に搭載され得る共焦点光学系の構成例を示す模式図である。 本開示の一実施形態の第2例に係る蛍光顕微鏡装置に搭載され得る共焦点光学系の構成例を示す模式図である。 図5又は図6に例示する共焦点光学系における誤差要因の例を示す図である。 本開示の一実施形態に係る標準蛍光体の一例を示す図である。 図8における領域Aの拡大図である。 本開示の一実施形態に係る標準蛍光体のカバーガラスの有無による取得輝度の違いを示す図である。 本開示の一実施形態に係る標準蛍光体の蛍光層に対して対物レンズをZ方向に移動させながら取得した蛍光輝度を示すグラフである。 本開示の一実施形態に係る標準蛍光体の蛍光層の厚さtを4μmとした場合の励起ライン照明に対する蛍光強度分布を示す図である。 本開示の一実施形態に係る標準蛍光体の蛍光層の厚さtを20μmとした場合の励起ライン照明に対する蛍光強度分布を示す図である。 本開示の一実施形態に係る標準蛍光体の蛍光層の厚さtを80μmとした場合の励起ライン照明に対する蛍光強度分布を示す図である。 図12~図14それぞれのA-A’断面の光強度プロファイルを示すグラフである。 本開示の一実施形態に係るベンダ側において実行される動作例を示すフローチャートである。 本開示の一実施形態に係るユーザ側において実行される動作例を示すフローチャートである。 本開示の一実施形態に係るユーザ側のサンプル測定において取得される分光放射輝度スペクトルの一例を示す図である。 本開示の一実施形態に係る情報処理システムの第1のシステム構成例を示す模式図である。 本開示の一実施形態に係る情報処理システムの第2のシステム構成例を示す模式図である。 本開示に係る情報処理装置の機能を実現するコンピュータの一例を示すハードウエア構成図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 なお、説明は以下の順序で行うものとする。
  1.一実施形態
   1.1 システム構成例
   1.2 蛍光顕微鏡装置の構成例
   1.3 蛍光顕微鏡装置の動作例
    1.3.1 輝度のフォトン数への変換処理
    1.3.2 フォトン数の蛍光分子数または抗体数への変換処理
   1.4 機差要因による誤差の低減方法
   1.5 誤差要因について
    1.5.1 共焦点光学系の第1例
    1.5.2 共焦点光学系の第2例
    1.5.3 誤差要因の例
   1.6 標準蛍光体の例
   1.7 動作例
    1.7.1 ベンダV1側の動作例
    1.7.2 ユーザU側の動作例
   1.8 まとめ
   1.9 変形例
  2.システム構成例
  3.ハードウエア構成
 1.一実施形態
 以下、本開示の一実施形態に係る情報処理システム、情報処理方法及び蛍光体構造体について、図面を参照して詳細に説明する。
 1.1 システム構成例
 図1は、本実施形態に係る情報処理システムの概略構成例を示すブロック図である。図1に示すように、情報処理システム1は、ベンダV1側の蛍光顕微鏡装置M1と、1以上のユーザU1、U2、…側の蛍光顕微鏡装置C1、C2、…と、サーバ200とから構成される。以下の説明において、ベンダV1側の蛍光顕微鏡装置をマスタ機器と称し、ユーザU1、U2、…側の蛍光顕微鏡装置をコピー機器と称する。
 (ベンダ側)
 ベンダV1は、例えば、顧客であるユーザU1、U2、…(以下、ユーザを区別しない場合、その符号を‘U’とする)へコピー機器C1、C2、…(ユーザを区別しない場合、その符号を‘C’とする)及び/又はコピー機器Cを保守管理するサービスを提供する者である。ベンダV1側のマスタ機器M1は、その詳細については後述するが、標準蛍光体11と、色素チャンバ12と、演算部10とを備える。
 (ユーザ側)
 ユーザUは、コピー機器Cを実際に使用して被験者から取得した生体試料等を蛍光観察する者である。ユーザU側のコピー機器Cは、その詳細については後述するが、標準蛍光体21及び演算部20を備え、標本22の定量値データ23を取得する。
 (サーバ)
 サーバ200は、例えば、インターネットや移動通信システム(4G(4th Generation Mobile Communication System)、4G-LTE(Long Term Evolution)、5G等を含む)や専用回線等を介してマスタ機器M1及びコピー機器Cに接続され、マスタ機器M1から取得した各種情報を保管し、必要に応じてコピー機器Cへ送信する。なお、サーバ200からコピー機器Cへの情報の送信は、プル型であってもよいし、プッシュ型であってもよい。
 なお、図1には、マスタ機器M1及びコピー機器Cそれぞれが演算部10/20を実装している場合が例示されているが、これに限定されず、演算部10は、蛍光顕微鏡装置とは別の情報処理装置内に実装されてもよい。
 1.2 蛍光顕微鏡装置の構成例
 次に、マスタ機器M1及びコピー機器Cとして使用される蛍光顕微鏡装置の構成例について説明する。図2は、本実施形態に係る蛍光顕微鏡装置の構成例を示すブロック図である。
 図2に示すように、本実施形態に係る蛍光顕微鏡装置100への入力としては、蛍光染色試薬42、標本50と、蛍光染色標本60と、が存在する。
 (蛍光染色試薬42)
 蛍光染色試薬42は、標本50の染色に使用される薬品である。蛍光染色試薬42は、例えば、蛍光抗体、蛍光プローブ、または核染色試薬などであるが、蛍光染色試薬42の種類はこれらに特に限定されない。また、蛍光染色試薬42は、蛍光染色試薬42(および蛍光染色試薬42の製造ロット)を識別可能な識別情報(以降「試薬識別情報41」と呼称する)を付されて管理される。試薬識別情報41は、例えばバーコード情報など(一次元バーコード情報や二次元バーコード情報など)であるが、これに限定されない。蛍光染色試薬42は、同一(同種類)の製品であっても、製造方法や抗体が取得された細胞などに応じて製造ロット毎にその性質が異なる。例えば、蛍光染色試薬42において、褪色係数や蛍光標識率(「F/P値:Fluorescein/Protein」とも呼称される。抗体を標識する蛍光分子数を指す)などが異なる。そこで、本実施形態に係る情報処理システム1において、蛍光染色試薬42は、試薬識別情報41を付されることによって製造ロット毎に管理される(換言すると、各蛍光染色試薬42の試薬情報は製造ロット毎に管理される)。これによって、蛍光顕微鏡装置100は、製造ロット毎に現れる僅かな性質の違いも考慮した上で各種処理を行うことができる。なお、蛍光染色試薬42が製造ロット単位で管理されることはあくまで一例であり、蛍光染色試薬42は製造ロットよりも細かい単位で管理されてもよい。
 (標本50)
 標本50は、人体から採取された検体または組織サンプルから病理診断などを目的に作製された試料スライドなどである。標本50について、使用される組織(例えば臓器など)の種類、対象となる疾病の種類、対象者の属性(例えば、年齢、性別、血液型、または人種など)、または対象者の生活習慣(例えば、食生活、運動習慣、または喫煙習慣など)は特に限定されない。標本50は、使用される組織の種類、対象となる疾病の種類、対象者の属性、または対象者の生活習慣などに応じてその性質が異なるため、標本50は、各標本50を識別可能な識別情報を付されて管理されてもよい。
 (蛍光染色標本60)
 蛍光染色標本60は、標本50が蛍光染色試薬42によって染色されることで作成されたものである。本実施形態において、蛍光染色標本60は、標本50が少なくとも一つの蛍光染色試薬42によって染色されることを想定しているところ、染色に用いられる蛍光染色試薬42の数は特に限定されない。また、染色方法は、標本50および蛍光染色試薬42それぞれの組み合わせなどによって決まり、特に限定されるものではない。蛍光染色標本60は、蛍光顕微鏡装置100に対して入力され、撮像される。
 (蛍光顕微鏡装置100)
 蛍光顕微鏡装置100は、図2に示すように、取得部110と、保存部120と、演算部130と、表示部140と、制御部150と、操作部160と、を備える。
 (取得部110)
 取得部110は、蛍光顕微鏡装置100の各種処理に使用される情報を取得する構成である。図2に示すように、取得部110は、情報取得部111と、画像取得部112と、を備える。この取得部110は、例えば、請求の範囲における第1/第2輝度データ取得部の一例となり得る。
 (情報取得部111)
 情報取得部111は、試薬情報などの各種情報を取得する構成である。より具体的には、情報取得部111は、蛍光染色標本60の生成に使用された蛍光染色試薬42に付された試薬識別情報41を取得する。例えば、情報取得部111は、バーコードリーダーなどを用いて試薬識別情報41を取得する。そして、情報取得部111は、試薬識別情報41に基づいて試薬情報をサーバ200から取得する。また、情報取得部111は、別途実測された励起パワー密度も取得する(励起パワー密度を実測する主体は特に限定されない)。なお、情報取得部111が取得する情報はこれらに限定されない。情報取得部111は、取得したこれらの情報を後述する情報保存部121に保存する。
 (画像取得部112)
 画像取得部112は、蛍光染色標本60(蛍光染色試薬42で染色された標本50)の撮像画像情報を取得する構成である。より具体的には、画像取得部112は、任意の撮像素子(例えば、CCD(Charged Coupled Device)やCMOS(Complementary Metal-Oxide-Semiconductor)など)を備えており、当該撮像素子を用いて蛍光染色標本60を撮像することで撮像画像情報を取得する。「撮像画像情報」とは、蛍光染色標本60の撮像画像自体、および像として視覚化されていない測定値など(例えば、輝度の測定値など)を含む概念である。画像取得部112は、撮像画像情報を後述する画像情報保存部122に保存する。
 (保存部120)
 保存部120は、蛍光顕微鏡装置100の各種処理に使用される情報、または各種処理によって出力された情報を保存(記憶)する構成である。図2に示すように、保存部120は、情報保存部121と、画像情報保存部122と、を備える。
 (情報保存部121)
 情報保存部121は、情報取得部111によって取得された試薬情報など(上記のとおり、褪色係数、吸収断面積(またはモル吸光係数)、量子収率、および蛍光標識率など)の各種情報を保存する構成である。なお、後述する補正部131による褪色補正処理、算出部132による蛍光分子数(または蛍光分子に結合している抗体数。すなわち、図1における定量値データ23)の算出処理、および画像生成部133による画像生成処理などが終了した後には、情報保存部121は、処理に用いられたこれらの情報を削除することで空き容量を増やしてもよい。
 (画像情報保存部122)
 画像情報保存部122は、画像取得部112によって取得された蛍光染色標本60の撮像画像情報を保存(記憶)する構成である。なお、情報保存部121と同様に、補正部131による褪色補正処理、算出部132による蛍光分子数(または蛍光分子に結合している抗体数)の算出処理、および画像生成部133による画像生成処理などが終了した後には、画像情報保存部122は、処理に用いられた撮像画像情報を削除することで空き容量を増やしてもよい。
 (演算部130)
 演算部130は、撮像画像情報、試薬情報(上記のとおり、褪色係数、吸収断面積(またはモル吸光係数)、量子収率、および蛍光標識率など)、および励起パワー密度などの情報を用いて各種処理を行う機能構成である。図2に示すように、演算部130は、補正部131と、算出部132と、画像生成部133と、を備える。
 この演算部130は、マスタ機器M1における演算部10、コピー機器Cにおける演算部20に相当する。例えば、演算部130がマスタ機器M1における演算部10に相当する場合、演算部130は、請求の範囲における係数取得部の一例となり得る。また、例えば、演算部130がコピー機器Cにおける演算部20に相当する場合、演算部130は、請求の範囲における係数補正部/輝度データ補正部、抗体数算出部の一例となり得る。
 (補正部131)
 補正部131は、撮像画像情報の褪色補正処理を行う構成である。より具体的には、補正部131は、褪色係数、吸収断面積、および励起パワー密度などを用いて、撮像画像情報における輝度を褪色前の輝度に補正する。補正部131によって行われる褪色補正処理については後段にて詳述する。
 (算出部132)
 算出部132は、補正部131によって補正された撮像画像情報の輝度を用いて、撮像画像情報における蛍光分子に対応する情報(例えば、蛍光分子数または抗体数など)を算出する構成である。より具体的には、算出部132は、吸収断面積、量子収率、蛍光標識率、および励起パワー密度などを用いて、補正後の画素毎の輝度を蛍光分子数や抗体数へ変換する。算出部132によって行われる蛍光分子数や抗体数の算出処理については後段にて詳述する。
 なお、本実施形態においては、蛍光物質の褪色係数および量子収率などの算出は、蛍光分子数などの算出とは別に行われることを想定している(もちろん、これに限定されない)。その際、算出部132は、褪色係数および量子収率などの算出処理を実現してもよい。
 (画像生成部133)
 画像生成部133は、算出部132によって算出された蛍光分子に対応する情報(例えば、蛍光分子数または抗体数など)に基づいて画像情報を生成する構成である。「画像情報」とは、上記で説明した撮像画像情報と同様に、画像自体、および像として視覚化されていない数値など(例えば、蛍光分子数または抗体数など)を含む概念である。画像生成部133によって行われる画像情報の生成処理については後段にて詳述する。
 (表示部140)
 表示部140は、画像生成部133によって生成された画像情報(蛍光分子に対応する情報に基づいて生成された画像情報)をディスプレイに表示することでユーザへ提示する構成である。なお、表示部140として用いられるディスプレイの種類は特に限定されない。また、本実施形態では詳細に説明しないが、画像生成部133によって生成された画像情報がプロジェクターによって投影されたり、プリンタによってプリントされたりすることでユーザへ提示されてもよい(換言すると、画像情報の出力方法は特に限定されない)。
 (制御部150)
 制御部150は、蛍光顕微鏡装置100が行う処理全般を統括的に制御する構成である。例えば、制御部150は、操作部160を介して行われるユーザによる操作入力に基づいて、上記で説明したような各種処理(例えば、蛍光染色標本60の撮像処理、褪色補正処理、蛍光分子数(または蛍光分子に結合している抗体数)の算出処理、画像情報の生成処理、および画像情報の表示処理など)の開始や終了などを制御する。なお、制御部150の制御内容はこれらの処理に限定されない。例えば、制御部150は、汎用コンピュータ、PC、タブレットPCなどにおいて一般的に行われる処理(例えば、OS(Operating System)に関する処理)を制御してもよい。
 (操作部160)
 操作部160は、ユーザからの操作入力を受ける構成である。より具体的には、操作部160は、キーボード、マウス、ボタン、タッチパネル、またはマイクロホンなどの各種入力手段を備えており、ユーザはこれらの入力手段を操作することで蛍光顕微鏡装置100に対して様々な入力を行うことができる。操作部160を介して行われた操作入力に関する情報は制御部150へ提供される。
 (サーバ200)
 サーバ200は、蛍光染色試薬42に関する褪色係数、吸収断面積(またはモル吸光係数)、量子収率、および蛍光標識率などの情報を管理する装置である。より具体的に説明すると、サーバ200は、試薬識別情報41と、褪色係数、吸収断面積(またはモル吸光係数)、量子収率、および蛍光標識率などの情報を紐づけて管理する。これによって、情報取得部111は、蛍光染色試薬42の試薬識別情報41に基づいてこれらの情報をサーバ200から取得することができる。なお、サーバ200は、標本50を識別可能な識別情報を用いて標本50に関する各種情報を管理してもよい。また、サーバ200は、実測された励起パワー密度などを含む他の情報も併せて管理してもよい。
 以上、本実施形態に係る情報処理システムの構成例について説明した。なお、図2を参照して説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理システムの構成は係る例に限定されない。例えば、蛍光顕微鏡装置100は、図2に示す構成の全てを必ずしも備えなくてもよい。また、蛍光顕微鏡装置100の構成は、仕様や運用に応じて柔軟に変形可能である。
 1.3 蛍光顕微鏡装置の動作例
 次に、本実施形態に係る蛍光顕微鏡装置の概略動作例について説明する。図3は、本実施形態に係る蛍光顕微鏡装置の概略動作例を示すフローチャートである。
 図3に示すように、本実施形態において、ステップS1000では、ユーザが解析に用いる蛍光染色試薬42および標本50を決定する。ステップS1004では、ユーザが蛍光染色試薬42を用いて標本50を染色することで蛍光染色標本60を作成する。
 ステップS1008では、蛍光顕微鏡装置100の画像取得部112が蛍光染色標本60を撮像することで撮像画像情報を取得する。ステップS1012では、情報取得部111が蛍光染色標本60の生成に使用された蛍光染色試薬42に付された試薬識別情報41に基づいて褪色係数、吸収断面積、量子収率、および蛍光標識率などの試薬情報をサーバ200から取得する。また、情報取得部111は、別途実測された励起パワー密度を取得する。
 ステップS1016では、補正部131が褪色係数、吸収断面積、および励起パワー密度などを用いて撮像画像情報における各画素の輝度を補正する(褪色補正処理が行われる)。ステップS1020では、算出部132が、補正後の画素毎の輝度をフォトン数に変換する。ステップS1024では、算出部132が、フォトン数を蛍光分子数または蛍光分子に結合している抗体数(以下、まとめて単に抗体数とも称する)に変換する。
 ステップS1028では、画像生成部133が蛍光分子数または蛍光分子に結合している抗体数を反映させた画像情報を生成する。ステップS1032では、表示部140が画像情報をディスプレイに表示することで一連の処理が終了する。
 1.3.1 輝度のフォトン数への変換処理
 ここで、図3のステップS1020にて行われる、画素毎の輝度のフォトン数への変換処理について詳細に説明する。
 画像取得部112は、蛍光染色標本60の他、封入剤のみが注入されたサンプルも撮像素子によって撮像する。そして、算出部132は、ステップS1016において褪色補正処理が行われた蛍光染色標本60の測定結果から、封入剤のみが注入されたサンプルの測定結果を差し引くことで測定系のバックグラウンドノイズをキャンセルすることができる。
 算出部132は、任意の画像処理ソフトウェアを用いることで、褪色補正処理が行われた撮像画像情報における画素毎の輝度を算出することができる。ある画素を画素Aとすると、算出部132は、以下の式(1)によって画素Aのエレクトロン数を算出する。ここで、撮像画像情報における階調は16[bit]であるとする(すなわち、輝度は0~65536の値をとる)。なお、式(1)では、褪色補正処理後の蛍光染色標本60の撮像画像情報における画素Aの輝度が「輝度1」と示されており、封入剤のみが注入されたサンプルの撮像画像情報における画素Aの輝度が「輝度2」と示されている。
Figure JPOXMLDOC01-appb-M000001
 算出部132は、以下の式(2)に示すように、画素Aのエレクトロン数を撮像素子の量子収率で除算することによって、画素Aのフォトン数を算出することができる。
Figure JPOXMLDOC01-appb-M000002
 ここで、撮像画像情報における輝度は、蛍光顕微鏡の対物レンズを通して検出された蛍光に関する値であるところ、蛍光物質が発する蛍光は全方位に放出される。図4に示すように、対物レンズを通して蛍光を検出可能な範囲30が、蛍光の放出点32を中心とする球における円錐部分であるとし、円錐の半頂角をθとした場合について考える。空気中での対物レンズの開口数NAはNA=sinθと表される。そして、蛍光の放出点32からの全方位に対する、対物レンズを通して蛍光を検出可能な範囲30の割合は、対物レンズの開口数NAによって以下の式(3)のように表される。そして、画素Aで検出されたフォトン数の全方位換算は、以下の式(4)のように表される。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
 算出部132は、画素Aを含む全画素に対して以上の処理を行うことで、画素毎の蛍光強度をフォトン数へ変換する。
 1.3.2 フォトン数の蛍光分子数または抗体数への変換処理
 続いて、図3のステップS1024にて行われる、画素毎のフォトン数の蛍光分子数または抗体数への変換処理について詳細に説明する。まず、フォトン数の蛍光分子数への変換処理について説明する。
 撮像素子によって蛍光染色標本60の撮像処理が行われる場合、ある画素Aの蛍光分子数は、以下の式(5)および式(6)によって表される。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
 算出部132は、下記の式(7)によって算出したAbs_photon、およびサーバ200から取得された蛍光物質の量子収率を式(6)へ入力することによって、1分子当りの放出フォトン数を算出する。その後、算出部132は、上記の式(4)によって算出した画素Aで検出されたフォトン数(全方位換算)、および1分子当りの放出フォトン数を式(5)へ入力することによって、画素Aにて検出された蛍光分子数を算出する。算出部132は、画素Aを含む全画素に対して以上の処理を行うことで、画素毎のフォトン数を蛍光分子数へ変換することができる。
Figure JPOXMLDOC01-appb-M000007
 また、算出部132は、サーバ200から取得された、蛍光物質の蛍光標識率を用いて以下の式(8)の演算を行うことで画素Aにて検出された蛍光分子数を抗体数へ変換することができる。そして、算出部132は、画素Aを含む全画素に対して式(8)の演算を行うことで、画素毎の抗体数を算出することができる。
Figure JPOXMLDOC01-appb-M000008
 ただし、図3のステップS1020及びS1024に示す工程、すなわち輝度をフォトン数へ変換した後に抗体数へ変換する処理は、例えば、励起パワーや対物レンズの開口数等の撮影条件を変化させない場合には、輝度を直接的(ただし、機差を吸収するための補正は必要)に抗体数へ変換する処理に簡略化することができる。例えば、後述において図16及び図17を用いて説明する動作フローのうち、図16に示すベンダV1側のステップS601、S611及びS621で撮影条件を変化させず、且つ、図17に示すユーザU側のステップS641及びS651でも撮影条件を変化させない場合、機差を吸収するように標準蛍光体11及び21を用いて補正された変換係数を用いることで、輝度から抗体数を直接的に取得することが可能である。
 1.4 機差要因による誤差の低減方法
 以上のような情報処理システム1では、各ユーザU側のコピー機器Cで行われる蛍光強度測定が、励起光のパワーや検出器のカップリング効率などの様々な機差要因を受けるため、蛍光輝度を定量化して正確な抗体数を得ることが難しい場合がある。そこで、以下では、このような機差要因による誤差の低減方法について説明する。なお、本説明におけるマスタ機器M1とコピー機器Cとの機差とは、主に、図2に例示した蛍光顕微鏡装置100の取得部110における励起光のパワーや検出器のカップリング効率などの個体差により生じ得る差であってよい。
 機差要因による誤差の低減方法を説明するにあたり、まず、図1のユーザU側のコピー機器Cについて説明する。コピー機器Cは、蛍光輝度を正確に定量化した値(以下、定量値ともいう)を出力するために、搭載した標準蛍光体21を測定するシーケンスと、色素スペクトルデータに付帯された標準蛍光体11の蛍光値とを読み出し、それぞれを比較して補正して、演算部20において色分離計算を行う。
 このコピー機器Cは主に、蛍光染色試薬42(以下、単に色素ともいう)で染色された標本50を測定する目的で使用される。測定により取得された撮像画像は、画素値を絶対値輝度とした画像データに変換される。絶対値輝度とは、コピー機器Cで検出できた蛍光信号を絶対値化した値である。絶対値輝度の画像データから直接的に抗体数を取得することはできない。これは、検出した蛍光輝度から抗体数へ変換するための変換係数(例えば、後述するスピルオーバ行列又は標準スペクトルに相当)が必要となるからである。
 変換係数は、例えば、抗体濃度が既知であって且つ抗体にコンジュゲートされた色素分子の平均数が既知の溶液試料を、厚さが既知のガラスチャンバ内に封入し、これを蛍光測定することで得ることができる。しかしながら、この作業は色素毎に実行する必要があり、濃度管理、撮影条件管理などが複雑であるため、ユーザU側がこの作業を行うのにはハードルが高いという課題がある。
 そこで、本実施形態では、ベンダV1側でマスタ機器M1を用いて変換係数を作成する。マスタ機器M1で作成された色素毎の変換係数は、サーバ200を介して各コピー機器Cへ提供される。ただし、マスタ機器M1で作成された変換係数を単にコピー機器Cへ提供するだけでは、コピー機器Cとマスタ機器M1との機差の影響から、コピー機器Cにとって適切な変換係数が提供されているとは限られないため、蛍光染色標本60の撮像画像から得られた抗体数が正しい抗体数であるとは限られない。
 そこで、本実施形態では、マスタ機器M1及びコピー機器それぞれに搭載された標準蛍光体11及び21を仲介することで、各コピー機器Cにおいて適切な変換係数を得る方法を提供する。
 なお、標準蛍光体11及び21は、同一の条件で励起された場合に同一の検出輝度で発光する蛍光体である。そのため、マスタ機器M1及びコピー機器それぞれにおいて同一の条件で標準蛍光体11及び21を励起することで測定された測定結果を用いることで、マスタ機器M1とコピー機器Cとの機差を要因とした誤差を低減して、抗体数の測定精度を向上することが可能となる。
 本実施形態において、ベンダV1側では、コピー機器Cに提供する変換係数を取得する際に、標準蛍光体11の輝度情報も合わせて測定する。標準蛍光体11の測定は、マスタ機器M1に搭載されたすべての励起照明について実施され、それぞれの励起照明で検出される蛍光輝度が絶対値で記録される。絶対値とは、例えば、分光放射輝度[w/(sr*m2*λ)]やフォトン数などであってよい。
 マスタ機器M1では、色素ごとの変換係数と標準蛍光体11の輝度情報とが紐づけられたデータセットが生成される。変換係数は、例えば、マルチスペクトラム計測で色分離計算を行う場合は、色分離計算に用いる標準スペクトル(ここでは最小二乗法の要素ベクトルを標準スペクトルと言う)に変換係数を乗算したスペクトル様の形態で与えられてよい。
 一方、コピー機器Cでは、日々の品質管理(デイリーQC)として1日に一回、コピー機器Cの立ち上げ時に、コピー機器C内に組み込まれた標準蛍光体21が測定される。標準蛍光体21の測定は、マスタ機器M1と同様に、コピー機器Cに搭載されたすべての励起照明について実施され、それぞれの励起照明で検出される蛍光輝度が絶対値で測定される。励起照明の設定強度など、標準蛍光体11及び21それぞれを測定する際の条件は、マスタ機器M1とコピー機器Cとで一致していることが望ましい。
 上述したように、標準蛍光体11及び21は、同一の条件で励起された場合に同一の検出輝度で発光する蛍光体である。したがって、同一条件の下で、コピー機器Cで取得された標準蛍光体21の測定結果と、マスタ機器M1で取得された標準蛍光体11の測定結果(具体的には、サーバ200から提供された絶対値輝度情報)を例えば演算部130において比較することで、マスタ機器M1とコピー機器Cとの機差による影響の度合いを特定することが可能となる。そして、その度合いに基づいてコピー機器Cにおける変換係数を補正することで、機差による影響を低減させ得るため、抗体数の測定精度を向上させることが可能となる。なお、変換係数の補正は、例えば、測定結果同士の比に基づく単純な比率補正など、種々の補正手法が用いられてよい。
 1.5 誤差要因について
 ここで、マスタ機器M1とコピー機器Cとで誤差が生じる要因を図5~図7を用いてより詳細に説明する。図5は、本実施形態の第1例に係る蛍光顕微鏡装置に搭載され得る共焦点光学系の構成例を示す模式図である。図6は、本実施形態の第2例に係る蛍光顕微鏡装置に搭載され得る共焦点光学系の構成例を示す模式図である。図7は、図5又は図6に例示する共焦点光学系における誤差要因の例を示す図である。
 1.5.1 共焦点光学系の第1例
 図5に例示する共焦点光学系では、複数の波長の点光源311a~311cから出力されたレーザ光がダイクロイックミラー312a及び312bにより同一光軸のレーザ光L31に合波される。レーザ光L31は、コリメートレンズ313により平行光に変換された後、ダイクロイックミラー314でサンプルP1の方向へ反射される。反射されたレーザ光L31は、対物レンズ315によりサンプルP1に点又は線で集光される。レーザ光L31が点又は線で集光されたサンプルP1は励起され、蛍光L32を放射する。サンプルP1から放射された蛍光L32は、対物レンズ315を介することで平行光に変換された後、ダイクロイックミラー314を透過する。その際、サンプルP1で散乱して蛍光L32と同じ方向へ進行するレーザ光L31は、ダイクロイックミラー314で反射される。それにより、撮像素子319に入射する光からレーザ光L31が除外される。
 ダイクロイックミラー314を透過した蛍光L32は、集光レンズ316を介することで、1次結像面に結像される。上述のように、レーザ光L31はサンプルP1に点又は線で結像されるため、1次結像面に結像される蛍光L32の蛍光像は点又は線となる。共焦点光学系では、レーザ光L31の集光形状(及び蛍光L32の蛍光像の形状)に合わせた開口形状のピンホール又はスリットよりなる絞り317が1次結像面に配置される。それにより、レーザ光L31の集光位置(点又は線)以外から放射した蛍光(例えば、レーザ光L31の集光位置に対してX方向及び/又はY方向及び/又はZ方向にずれた位置からの背景蛍光)が絞り317で排除されるため、撮像素子319においてコントラストの高い蛍光像を取得することができる。
 絞り317を通過した蛍光L32は、リレー光学系318a及び318bを介した後、撮像素子319の受光面に結像され、撮像素子319によりその蛍光輝度が検出される。蛍光顕微鏡装置では、以上のような集光形状が点又は線のレーザ光L31でサンプルP1が走査されることで、サンプルP1の全体又は一部の領域の輝度画像が生成される。
 1.5.2 共焦点光学系の第2例
 一方、図6に例示する共焦点光学系では、異軸平行に配置された波長の異なる複数のライン照明をサンプルP2に照射する励起部410と、病理標本を支持するステージ420と、ライン状に励起された病理標本の蛍光スペクトル(分光データ)を取得する分光イメージング部430と、観察光学系440と、非蛍光観察部470とを有する。ここで、異軸平行とは、複数のライン照明が異軸かつ平行であることをいう。異軸とは、同軸上にないことをいい、軸間の距離は特に限定されない。平行とは、厳密な意味での平行に限られず、ほぼ平行である状態も含む。例えば、レンズ等の光学系由来のディストーションや製造公差による平行状態からの逸脱があってもよく、この場合も平行とみなす。
 励起部410は、複数(本例では4つ)の励起光源401,402,403,404を有する。各励起光源401~404は、波長がそれぞれ405nm、488nm、561nm及び645nmのレーザ光を出力するレーザ光源で構成される。
 励起部410は、各励起光源401~404に対応するように複数のコリメータレンズ411及びレーザラインフィルタ412と、ダイクロイックミラー413a,413b,413cと、ホモジナイザ414と、コンデンサレンズ415と、入射スリット416とをさらに有する。
 励起光源401から出射されるレーザ光と励起光源403から出射されるレーザ光は、それぞれコリメータレンズ411によって平行光になった後、各々の波長帯域の裾野をカットするためのレーザラインフィルタ412を透過し、ダイクロイックミラー413aによって同軸にされる。同軸化された2つのレーザ光は、さらに、ライン照明Ex1となるべくフライアイレンズなどのホモジナイザ414とコンデンサレンズ415によってビーム成形される。
 励起光源402から出射されるレーザ光と励起光源404から出射されるレーザ光も同様にダイクロイックミラー413b,413cによって同軸化され、ライン照明Ex1とは異軸のライン照明Ex2となるようにライン照明化される。ライン照明Ex1,Ex2は、各々が通過可能な複数のスリット部を有する入射スリット416(スリット共役)においてΔyだけ離れた異軸ライン照明(1次像)を形成する。
 この1次像は、観察光学系440を介してステージ420上のサンプルP2に照射される。観察光学系440は、コンデンサレンズ441と、ダイクロイックミラー442,443と、対物レンズ444と、バンドパスフィルタ445と、コンデンサレンズ446とを有する。ライン照明Ex1,Ex2は、対物レンズ444と対になったコンデンサレンズ441で平行光にされ、ダイクロイックミラー442,443を反射して対物レンズ444を透過し、サンプルP2に照射される。
 ライン照明Ex1,Ex2によって励起された蛍光は、対物レンズ444によって集光され、ダイクロイックミラー443を反射し、ダイクロイックミラー442及び励起光をカットするバンドパスフィルタ445を透過し、コンデンサレンズ446で再び集光されて、分光イメージング部430へ入射する。
 分光イメージング部430は、観測スリット431と、撮像素子432(432a,432b)と、第1プリズム433と、ミラー434と、回折格子435(波長分散素子)と、第2プリズム436とを有する。
 観測スリット431は、コンデンサレンズ446の集光点に配置され、励起ライン数と同じ数のスリット部を有する。観測スリット431を通過した2つの励起ライン由来の蛍光スペクトルは、第1プリズム433で分離され、それぞれミラー434を介して回折格子435の格子面で反射することにより、励起波長各々の蛍光スペクトルにさらに分離される。このようにして分離された4つの蛍光スペクトルは、ミラー434及び第2プリズム436を介して撮像素子432a,432bに入射し、分光データとして(x、λ)情報に展開される。
 撮像素子432a,432bの画素サイズ(nm/Pixel)は特に限定されず、例えば、2nm以上20nm以下に設定される。この分散値は、回折格子435のピッチや光学的に実現しても良いし、撮像素子432a,432bのハードウェアビニングをつかって実現しても良い。
 ステージ420は、X-Yステージを構成し、サンプルP2の蛍光画像を取得するため、サンプルP2をX軸方向及びY軸方向へ移動させる。サンプルP2の全体像を撮像するWSI(Whole slide imaging)では、Y軸方向にサンプルP2をスキャンし、その後、X軸方向に移動し、さらにY軸方向へのスキャンを行うといった動作が繰り返される。
 非蛍光観察部470は、光源471、ダイクロイックミラー443、対物レンズ444、コンデンサレンズ472、撮像素子473などにより構成される。非蛍光観察系においては、図6では、暗視野照明による観察系を示している。
 光源471は、ステージ420の下方に配置され、ステージ420上のサンプルP2に対して、ライン照明Ex1,Ex2とは反対側から照明光を照射する。暗視野照明の場合、光源471は、対物レンズ444のNA(開口数)の外側から照明し、サンプルP2で回折した光(暗視野像)を対物レンズ444、ダイクロイックミラー443及びコンデンサレンズ472を介して撮像素子473で撮影する。暗視野照明を用いることで、蛍光染色サンプルのような一見透明なサンプルであってもコントラストを付けて観察することができる。
 なお、この暗視野像を蛍光と同時に観察して、リアルタイムのフォーカスに使ってもよい。この場合、照明波長は、蛍光観察に影響のない波長を選択すればよい。非蛍光観察部470は、暗視野画像を取得する観察系に限られず、明視野画像、位相差画像、位相像、インラインホログラム(In-line hologram)画像などの非蛍光画像を取得可能な観察系で構成されてもよい。例えば、非蛍光画像の取得方法として、シュリーレン法、位相差コントラスト法、偏光観察法、落射照明法などの種々の観察法が採用可能である。照明用光源の位置もステージの下方に限られず、ステージの上方や対物レンズの周りにあってもよい。また、リアルタイムでフォーカス制御を行う方式だけでなく、あらかじめフォーカス座標(Z座標)を記録しておくプレフォーカスマップ方式等の他の方式が採用されてもよい。
 1.5.3 誤差要因の例
 以上のような、第1例又は第2例に係る共焦点光学系で定量値を取得することを考えた場合、図7に例示するような誤差要因が考えられる。まず、画像取得部112で取得される輝度画像は、サンプルから放射した蛍光を検出するための検出光学系の効率(レンズ透過率など、分光光学系の場合はフィルタ透過率や回折格子の回折効率など)、集光効率(検出対物レンズの開口数NAやレンズ収差性能、リレー倍率、レンズビネッティングなど)、センサ分光感度特性(物理特性、設定露光時間、ゲインなど)などのパラメータで変化する。
 しかしながら、励起光の状態とは独立に考えることができるので、サンプル面にサンプルの代わりに分光放射輝度が既知の標準光源(ハロゲンランプなどに値付けされた光源)を設置することで、上記のパラメータは校正が可能である。
 しかしながら、励起光のパワー密度(励起光毎のフォーカスや収差など)、レーザ照明の座標と設置したピンホールの位置ズレなどのパラメータは、検出される蛍光輝度に影響を与えるが、ハロゲンランプなどのような蛍光ではない自発光の標準光源では校正することができない。先に述べた位置ズレは部品個々の製造バラつき、組立誤差、設置環境温度による部品ドリフトなどの影響を受け日々値が変動する可能性がある。
 そこで本実施形態では、以上のような標準光源では構成することができないパラメータを構成するために、以下に詳述する標準蛍光体11,21を導入することとした。
 1.6 標準蛍光体の例
 図8は、本実施形態に係る標準蛍光体の一例を示す図であり、(a)は標準蛍光体を光の入射方向から見た上視図を示し、(b)は標準蛍光体を側方から見た側視図を示す。また、図9は、図8における領域Aの拡大図である。なお、以下で説明する標準蛍光体500は、標準蛍光体11及び21の双方に適用されてよい。
 図8及び図9に示すように、標準蛍光体500は、カバーガラス層502と保持ガラス層503との間に均一に蛍光層501が封止された積層構造を備える。本例では、カバーガラス層502の厚さを例えば170μm(マイクロメートル)とし、保持ガラス層503の厚さを例えば1000μmとしているが、これらに限定されず、種々変形されてよい。また、図9では、蛍光層501の厚さを20μmとしているが、これに限定されるものではない。
 蛍光層501には、例えば、同一強度の励起光に対して均一に発光し且つ退色の少ない安定した蛍光ガラス等の固体材料を用いることが可能である。この蛍光層501は、例えば表裏面が研磨されることで、その厚さが規定されている。また、蛍光層501の材料には、使用する励起波長に対して感度のある材料が適宜選択されてよい。
 ここで、一般的には、生物顕微鏡用の対物レンズはカバーガラスを考慮した設計がなされており、特に開口数NAが高い対物レンズにおいてはカバーガラスの有無で照明の集光性能に大きな差が生じる。図10は、カバーガラスの有無による取得輝度の違いを示す図である。図11は、蛍光層に対して対物レンズをZ方向に移動させながら取得した蛍光輝度を示すグラフである。図10及び図11に示すように、輝度及びその特性ともにカバーガラスの有無で差が生じ、カバーガラス有りの方が実際のサンプル撮影環境に近い条件で撮影されていることが分かる。
 また、蛍光層501は、実測するサンプル厚に対して、その特性を失わない程度に類似の厚さとすることが望ましい。例えば、ミクロトームによる薄切で成形される試料スライドの厚さが4μmであるとすると、蛍光層501の厚さは20μm程度以下であることが好ましい。図12~図14は、蛍光層501の厚さtを4μm、20μm、80μmとした場合の励起ライン照明に対する蛍光強度分布を示す図である。また、図15は、図12~図14それぞれのA-A’断面の光強度プロファイルを示すグラフである。なお、励起光源には、波長405nm(ナノメートル)の同じレーザ光源を使用した。
 図12~図15を参照すると分かるように、蛍光層501の厚さの違いによって観察される蛍光強度分布が異なることが分かる。例えば、図12に示す厚さt=4μmの場合に対し、図14に示す厚さt=80μmの場合は、蛍光の線幅が明らかに太くなっている。これは、試料スライドの厚さを4μmとする場合に蛍光層501の厚さが80μmの標準蛍光体500を用いて変換係数を取得すると、厚さの違いを考慮した補正後の誤差が大きくなり、正しい抗体数を求めることができない可能性があることを示している。
 1.7 動作例
 次に、本実施形態に係る情報処理システム1の動作例について説明する。本説明では、複数の励起波長があり、マルチ蛍光スペクトル撮影を実施する場合を想定する。なお、標本50が複数の色素で染色されている場合などでは、測定された輝度画像を各励起光や検出フィルタの検出特性等を記録したスピルオーバ行列又は標準スペクトル(以下、これらをまとめて標準スペクトルと称する)を用いて色分離することで、色素の分別性能を向上できることが知られている。そこで、以下の説明では、測定された輝度画像を最小二乗法などを用いた色分離計算により色分離した上で抗体数を出力する場合について例を挙げて説明する。
 通常、標準スペクトルは、ユーザU側において単一の色素で染色した試料スライドを作成し、これをコピー機器Cで測定する方法にて作成される。この作成過程において、濃度既知の色素試料などを用いることで、蛍光輝度から抗体数へ変換することが可能になる。しかしながら、この作業は色素毎に実行する必要があり、濃度管理、撮影条件管理などが複雑であるため、ユーザU側において実行するのにはハードルが高いという課題がある。
 そこで、本実施形態では、ベンダV1側において、マスタ機器M1を用いて、スピルオーバ行列及び/又は標準スペクトルを作成し、各ユーザU側において、ベンダV1側で作成されたスピルオーバ行列及び/又は標準スペクトルを機差に応じて補正して使用する。
 1.7.1 ベンダV1側の動作例
 図16は、本実施形態に係るベンダ側において実行される動作例を示すフローチャートである。なお、上述したように、ベンダV1側では、標準スペクトルの作成が実行される。
 図16に示すように、ベンダV1側におけるスピルオーバ行列及び/又は標準スペクトルの作成では、色素チャンバ測定S600と、バックグラウンド(BG)測定S610と、標準蛍光体測定S620と、色素情報生成S630とが実行される。
 (色素チャンバ測定S600)
 色素チャンバ測定S600では、まず、マスタ機器M1において、ユーザU側で染色に使用する色素が濃度をコントロールした状態で封入された色素チャンバ12の撮影(ステップS601)が実行され、それにより取得された輝度画像に対して演算部10がスペクトル校正(ステップS602)を実行することで、ユーザU側で染色に使用する色素の分光放射輝度スペクトル(輝度データともいう)603が取得される。なお、取得された分光放射輝度スペクトル603には、演算部10において空間平均処理(S604)が実行される。
 (バックグラウンド測定S610)
 バックグラウンド測定S610では、同じくマスタ機器M1において、色素の入っていないサンプル(バックグラウンド用サンプル)の撮影(ステップS611)が実行され、それにより取得された輝度画像に対して演算部10がスペクトル校正(ステップS612)を実行することで、バックグラウンド用サンプルの分光放射輝度スペクトル613が取得される。なお、取得された分光放射輝度スペクトル613には、演算部10において空間平均処理(S614)が実行される。
 (標準蛍光体測定S620)
 標準蛍光体測定S620では、同じくマスタ機器M1において、標準蛍光体11の撮影(ステップS621)が実行され、それにより取得された輝度画像に対して演算部10がスペクトル校正(ステップS622)を実行することで、標準蛍光体11の分光放射輝度スペクトル623が取得される。なお、取得された分光放射輝度スペクトル623には、演算部10において空間平均処理(S624)が実行される。
 また、標準蛍光体11の撮影(ステップS621)では、標準蛍光体11に対して取得輝度が最大(図11に示すグラフにおけるピーク)となるように、Z軸のフォーカスを合わせて輝度(分光放射輝度)が取得される。この標準蛍光体測定S620で取得される輝度画像は、1励起につき少なくとも1つである。したがって、例えば3励起の場合では、3つ以上の輝度画像が取得される。
 (色素情報生成S630)
 色素情報生成S630では、演算部10が、色素チャンバ測定S600で取得された分光放射輝度スペクトル603からバックグラウンド測定S610で取得された分光放射輝度スペクトル613の減算(ステップS631)を実行することで、ユーザU側で染色に使用する色素のより正確な分光放射輝度スペクトル603が生成される。なお、このバックグランドの減算処理(ステップS631)は、空間平均処理(S603、S613)の実行前であってもよいし後であってもよい。
 次に、演算部10が、分光放射輝度スペクトル603に抗体数化係数を乗算することで、最終的な標準スペクトル633を取得する(ステップS632)。
 ここで、抗体数化係数は、次の式(9)で表すことができる。式(9)において、厚さ補正系素は、色素チャンバ12の厚さと実際のサンプル(標本50又は蛍光染色標本60)の厚さとの違いにより生じる輝度値の差を補正するための補正値である。この抗体数化係数は、例えば、実測や理論計算等により予め算出されてよい。
Figure JPOXMLDOC01-appb-M000009
 このようにして得られた標準スペクトル633は、コピー機器C側において取得された色素(蛍光染色標本60)の分光放射輝度スペクトルの色分離(最小二乗法)に使用される。標準スペクトル633を用いて色分離を実行することで、ユーザUが実際に使用した色素の分光放射輝度スペクトルを抗体数濃度の次元に変換することが可能となる。
 次に、演算部10は、ステップS632で取得した標準スペクトル633と、標準蛍光体測定S620で取得した標準蛍光体11の分光放射輝度スペクトル623とをまとめたデータセットを作成する。作成されたデータセットは、色素情報としてサーバ200にアップロードされ、適宜、コピー機器Cへ提供される。なお、データフォーマットには、マスタ機器M1において使用した励起光の強度や撮影パラメータ(露光時間、ゲイン)などのパラメータが含まれてもよい。
 1.7.2 ユーザU側の動作例
 図17は、本実施形態に係るユーザ側において実行される動作例を示すフローチャートである。
 図17に示すように、ユーザU側では、標準蛍光体測定S640と、サンプル測定S650と、抗体数算出S660とが実行される。
 (標準蛍光体測定S640)
 標準蛍光体測定S640では、ベンダV1側の標準蛍光体測定S620と同様に、コピー機器Cにおいて、デイリーQCとして、標準蛍光体21の撮影(ステップS641)が実行され、それにより取得された輝度画像に対して演算部20がスペクトル校正(ステップS642)を実行することで、標準蛍光体21の分光放射輝度スペクトル643が取得される。なお、取得された分光放射輝度スペクトル643には、演算部20において波長平均処理及び空間平均処理(S644)が実行される。
 標準蛍光体21の分光放射輝度スペクトル643は、XYλ空間の3次元データである。Y方向にスキャンした場合では、シェーディングはX方向の1次元データとなる。そこで、ステップS644の波長平均処理及び空間平均処理では、まず、分光放射輝度スペクトル643をλ方向に平均化(2次元化)した後、さらにY方向に平均化(1次元化)することで、1次元のデータに変換する。例えば、1次元データの中心(例えば輝度画像の画素数が2000画素である場合には、1000番目の画素)の輝度データは、ステップS661のパッキング補正で使用される係数として用いられてよい。また、シェーディング補正係数645は、上記1次元データを正規化して、逆数にすることで求めることができる。後述するサンプル測定S650により取得される分光放射輝度スペクトル654の励起光ごとの輝度ムラを補正するためのシェーディング補正係数645が取得されてもよい。なお、シェーディング補正係数とは、像中心から外周部に向かって励起光の照明輝度が落ちることで生じる輝度ムラを補正するための係数であってよい。
 (サンプル測定S650)
 サンプル測定S650では、コピー機器Cにおいて、例えば、蛍光染色試薬42として使用する1以上の色素(これを色素#1~#nとする)を用いて染色された標本50(蛍光染色標本60(サンプル))の撮影(ステップS651)が実行され、それにより取得された輝度画像に対して演算部20がスペクトル校正(ステップS652)を実行することで、色素#1~#nそれぞれの分光放射輝度スペクトル653が取得される。
 ステップS651のサンプル撮影では、全励起光を用いて撮影が行われる。したがって、サンプル測定S650により得られる分光放射輝度スペクトルは、図18に示すような、励起光ごとの分光放射輝度スペクトルが波長方向に連結され一連のマルチスペクトルデータとなる。なお、図18には、励起光L11~L13の3種類の励起光を用いた場合に取得される分光放射輝度スペクトルが示されている。
 (抗体数算出S660)
 抗体数算出S660では、まず、パッキング補正S661と、シェーディング補正S663とが実行される。
 パッキング補正S661では、演算部20は、標本50の染色に使用した色素#1~#nの色素情報(説明の簡略化のため、色素情報#1~#nとする)をサーバ200から取得する。つづいて、演算部20は、取得された色素情報#1~#nそれぞれにおける標準蛍光体11の分光放射輝度スペクトル624と、標準蛍光体測定S640により取得された標準蛍光体21の分光放射輝度スペクトル643とを比較し、両者の値が異なる場合、分光放射輝度スペクトル624と分光放射輝度スペクトル643との比に基づき、以下の式(10)を用いて、色素情報#1~#nそれぞれの標準スペクトル633を補正する。なお、式(10)において、補正後の標準スペクトル633を補正後標準スペクトルと称し、ユーザU側の標準蛍光体測定S640により取得された標準蛍光体21の分光放射輝度スペクトル643をコピー機器側分光放射輝度スペクトルと称し、ベンダV1側の標準蛍光体測定S620により取得された標準蛍光体11の分光放射輝度スペクトル623をマスタ機器側分光放射輝度スペクトルと称する。
Figure JPOXMLDOC01-appb-M000010
 一方、シェーディング補正S663では、サンプル測定S650により取得された色素#1~#nそれぞれの分光放射輝度スペクトル653が、標準蛍光体測定S640により取得されたシェーディング補正係数を用いて補正される。なお、シェーディング補正S663は必須ではなく、省略されてもよい。その場合、空間平均処理S644におけるシェーディング補正係数645の取得が省略されてよい。
 以上のように、ベンダV1側で取得された色素#1~#nごとの標準スペクトル633の補正(及び色素#1~#nそれぞれの分光放射輝度スペクトル653のシェーディング補正)が完了すると、次に、演算部20は、色素#1~#nごとの分光放射輝度スペクトル653を、例えば補正後標準スペクトル662を用いた最小二乗法により色分離する(ステップS664)。それにより、ユーザU側において、実際に使用した色素#1~#Nごとの抗体数のイメージデータ(係数画像又は抗体数濃度イメージともいう)が出力データ665(図1における定量値データ23に相当)として生成される。
 1.8 まとめ
 以上のように、本実施形態では、ベンダV1側においてマスタ機器M1を用いて作成された標準スペクトル633が、同じくマスタ機器M1を用いて標準蛍光体11から測定された分光放射輝度スペクトル623と、ユーザU側においてコピー機器Cを用いて標準蛍光体21から測定された分光放射輝度スペクトル643とに基づいて補正される。この補正は、デイリーQCとして、ユーザUにおいて毎日実行されてよい。このように、デイリーQCとして、標準蛍光体21を測定して標準スペクトル633633を補正するシーケンスを行うことで、装置機差、経時変化による測定精度の低下を抑制することが可能となる。それにより、コピー機器Cにおいて測定されたサンプルの蛍光輝度から正しく抗体数を取得することが可能となる。その結果、ユーザU側では、係数画像(抗体数濃度イメージ)から組織に発現したマーカの量を定量的に評価することが可能となるため、より高精度な病理診断、強いてはより適した治療法の選択を行うことが可能となる。
 例えば、特開2013-11527号公報には、蛍光顕微鏡により計測標本の蛍光画像を取得し、その取得した蛍光画像から検量線を用いて蛍光物質を定量する蛍光顕微鏡システムが開示されている。しかしながら、これは蛍光物質の検量線測定から定量を行う方法であり、蛍光輝度の絶対値から蛍光分子数を同定する本手法とは異なる。また、検量線測定のために複数のサンプル取得をユーザが行う必要があり、信頼性は高いが手間が多い点が問題である。一方、本実施形態は、定量蛍光体を用いて装置の測定値を管理することで、撮影データを直接的に分子数に変換することが可能であるので、簡便である。
 また、例えば、特許第3706367号公報には、溶解蛍光体を封入した基準デバイスを用いて、共焦点レーザ走査顕微鏡の性能を評価する方法が開示されている。しかしながら、本従来技術では、ユーザが使用の直前にサンプルを準備して測定する必要があるが、使用する蛍光体自体は退色を生じる材料であることから、ユーザの作業を減らした簡便な定量化を実現できない。一方の本実施形態の蛍光標準体は、無機物質である蛍光ガラスを用いる点が異なる。また本実施形態は予め装置に組み込まれている点が異なる。また、本実施形態の標準蛍光体は、退色が極めて発生し難く安定であり、ムラが少ないことを特徴としており、装置に組み込まれていることから、ユーザは特に意識せず、抗体数に変換した画像を取得可能である。
 1.9 変形例
 上述した実施形態では、マスタ機器M1で取得された分光放射輝度スペクトル623と、コピー機器Cで取得された分光放射輝度スペクトル643との比に基づいて、マスタ機器M1を用いて作成された標準スペクトル633が補正される場合を例示したが、これに限定されない。例えば、マスタ機器M1で取得された分光放射輝度スペクトル623と、コピー機器Cで取得された分光放射輝度スペクトル643との比に基づいて、コピー機器Cを用いて取得された色素#1~#nごとの分光放射輝度スペクトル653が補正されてもよい。その場合でも、上述した実施形態と同様に、装置機差、経時変化による測定精度の低下を抑制することが可能となため、ユーザU側において、係数画像(抗体数濃度イメージ)から組織に発現したマーカの量を定量的に評価することが可能となる。
 また、ユーザU側の標準蛍光体測定S640で取得された分光放射輝度スペクトル643を例えばサーバ200等で蓄積しておき、日々の測定値を監視することで、ユーザU側のコピー機器Cにおいて生じたアライメントずれやイメージセンサの劣化などの異常を検知することが可能となる。その場合、異常が検知されたコピー機器CのユーザUに対して、メンテナンスなどのアフターサービスをベンダV1側から積極的に提供することが可能となる。
 2.システム構成例
 次に、上述した実施形態に係る情報処理システム1の構成例について説明する。図19は、上述した実施形態に係る情報処理システムの第1のシステム構成例を示す模式図である。
 図19に示すように、サーバ200と、ベンダV1側のマスタ機器M1と、各ユーザU側のコピー機器Cとは、インターネットや移動通信システムや専用回線等のネットワーク210を介して相互に通信可能に接続される。
 このようなシステム構成では、全てのコピー機器Cから単一のサーバ200に一斉にアクセスした場合、アップロードやダウンロードのコストが大きくなり、サーバ200にかかる負荷やネットワークトラフィックが膨大になってしまう場合がある。そこで、同図に示すように、各ユーザU側にあるサーバ200Aがサーバ200の代わりとして用いられてもよい。その場合、サーバ200に保管される色素情報は、必要に応じて各ユーザU側のサーバ200Aにダウンロードされてよい。
 また、図20に示すように、ネットワーク210上にサーバ200として機能する複数のサーバ200-1、200-2を配置し、サーバ200-1がプライマリサーバとして動作することで、コピー機器Cからの要求に応じて色素情報を送信し、プライマリサーバ200-1に過剰の負荷がかかった場合に、他のサーバ200-2がセカンダリサーバとして動作することで、コピー機器Cからの要求に応じて色素情報を送信するように構成されてもよい。
 3.ハードウエア構成
 上述してきた実施形態及びその変形例並びに応用例に係る蛍光顕微鏡装置100の少なくとも一部(例えば、演算部10/20)は、例えば図21に示すような構成のコンピュータ1000によって実現され得る。図21は、蛍光顕微鏡装置100の少なくとも一部(例えば、演算部10/20)の機能を実現するコンピュータ1000の一例を示すハードウエア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インタフェース1500、及び入出力インタフェース1600を有する。コンピュータ1000の各部は、バス1050によって接続される。
 CPU1100は、ROM1300又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、CPU1100は、ROM1300又はHDD1400に格納されたプログラムをRAM1200に展開し、各種プログラムに対応した処理を実行する。
 ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるBIOS(Basic Input Output System)等のブートプログラムや、コンピュータ1000のハードウエアに依存するプログラム等を格納する。
 HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、HDD1400は、プログラムデータ1450の一例である本開示に係る各動作を実行するためのプログラムを記録する記録媒体である。
 通信インタフェース1500は、コンピュータ1000が外部ネットワーク1550(例えばインターネット)と接続するためのインタフェースである。例えば、CPU1100は、通信インタフェース1500を介して、他の機器からデータを受信したり、CPU1100が生成したデータを他の機器へ送信したりする。
 入出力インタフェース1600は、上述したI/F部18を含む構成であり、入出力デバイス1650とコンピュータ1000とを接続するためのインタフェースである。例えば、CPU1100は、入出力インタフェース1600を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、CPU1100は、入出力インタフェース1600を介して、ディスプレイやスピーカやプリンタ等の出力デバイスにデータを送信する。また、入出力インタフェース1600は、所定の記録媒体(メディア)に記録されたプログラム等を読み取るメディアインタフェースとして機能してもよい。メディアとは、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
 例えば、コンピュータ1000が上述の実施形態に係る蛍光顕微鏡装置100の少なくとも一部(例えば、演算部10/20)として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、蛍光顕微鏡装置100の少なくとも一部(例えば、演算部10/20)の機能を実現する。また、HDD1400には、本開示に係るプログラム等が格納される。なお、CPU1100は、プログラムデータ1450をHDD1400から読み取って実行するが、他の例として、外部ネットワーク1550を介して、他の装置からこれらのプログラムを取得してもよい。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 濃度が既知の第1色素に第1励起光を照射することで前記第1色素から放射した蛍光の第1輝度データを取得する第1輝度データ取得部と、
 前記第1輝度データに基づいて輝度データを前記第1色素の数に変換するための変換係数を取得する係数取得部と、
 前記第1色素と同じ色素である第2色素を用いて染色されたサンプルに前記第1励起光と同じ波長の第2励起光を照射することで前記サンプルから放射した蛍光の第2輝度データを取得する第2輝度データ取得部と、
 前記第1輝度データ取得部と前記第2輝度データ取得部との機差に基づいて前記変換係数を補正する係数補正部と、
 補正後の前記変換係数に基づいて前記第2輝度データから前記第2色素の数を算出する抗体数算出部と、
 を備える情報処理システム。
(2)
 前記第1輝度データ取得部は、第1蛍光体に第3励起光を照射することで前記第1蛍光体から放射した蛍光の第3輝度データを取得し、
 前記第2輝度データ取得部は、前記第1蛍光体と同じ構造の第2蛍光体に前記第3励起光と同じ波長の第4励起光を照射することで前記第2蛍光体から放射した蛍光の第4輝度データを取得し、
 前記係数補正部は、前記第3輝度データと前記第4輝度データとの比に基づいて前記変換係数を補正する
 前記(1)に記載の情報処理システム。
(3)
 前記第1輝度データ取得部は、色素を配置しない状態で前記第1励起光を照射することで第5輝度データを取得し、
 前記係数取得部は、前記第1輝度データから前記第5輝度データを減算することで得られた第6輝度データに基づいて前記変換係数を算出する
 前記(1)又は(2)に記載の情報処理システム。
(4)
 前記変換係数は、スピルオーバ行列又は標準スペクトルである前記(1)~(3)の何れか1つに記載の情報処理システム。
(5)
 前記第1輝度データ取得部と、前記係数取得部と、を備える第1情報処理装置と、
 前記第2輝度データ取得部と、前記係数補正部と、前記抗体数算出部と、を備える第2情報処理装置と、
 を備え、
 前記第1情報処理装置と、前記第2情報処理装置とは、所定のネットワークを介して接続されている
 前記(1)~(4)の何れか1つに記載の情報処理システム。
(6)
 前記第1情報処理装置で取得された1以上の前記第1色素ごとの前記第1輝度データ及び前記変換係数を保持するサーバをさらに備え、
 前記第1情報処理装置は、1以上の前記第1色素ごとの前記第1輝度データ及び前記変換係数を前記サーバへ送信し、
 前記第2情報処理装置は、前記サンプルの染色に使用される1以上の前記第1色素の前記第1輝度データ及び前記変換係数を前記サーバから取得する
 前記(5)に記載の情報処理システム。
(7)
 前記係数補正部は、前記第2情報処理装置の立ち上げ時に前記機差に基づいて前記変換係数を補正する前記(6)に記載の情報処理システム。
(8)
 前記第1情報処理装置は、前記第1励起光を前記第1色素に集光するとともに前記第1色素から放射した前記蛍光を前記第1輝度データ取得部の受光面に集光させる第1共焦点光学系をさらに備え、
 前記第2情報処理装置は、前記第2励起光を前記サンプルに集光するとともに前記サンプルから放射した前記蛍光を前記第2輝度データ取得部の受光面に集光させる第2共焦点光学系をさらに備え、
 前記第1共焦点光学系と前記第2共焦点光学系とは、同一構成の光学系である
 前記(5)~(7)の何れか1つに記載の情報処理システム。
(9)
 濃度が既知の第1色素に第1励起光を照射することで前記第1色素から放射した蛍光の第1輝度データを取得する第1輝度データ取得部と、
 前記第1輝度データに基づいて輝度データを前記第1色素の数に変換するための変換係数を取得する係数取得部と、
 前記第1色素と同じ色素である第2色素を用いて染色されたサンプルに前記第1励起光と同じ波長の第2励起光を照射することで前記サンプルから放射した蛍光の第2輝度データを取得する第2輝度データ取得部と、
 前記第1輝度データ取得部と前記第2輝度データ取得部との機差に基づいて前記第2輝度データを補正する輝度データ補正部と、
 補正後の前記第2輝度データから前記変換係数に基づいて前記第2色素の数を算出する抗体数算出部と、
 を備える情報処理システム。
(10)
 コピー機器と所定のネットワークを介して接続されたマスタ機器において実行される情報処理方法であって、
 濃度が既知の第1色素に第1励起光を照射することで前記第1色素から放射した蛍光の第1輝度データを取得し、
 前記第1輝度データに基づいて輝度データを前記第1色素の数に変換するための変換係数を取得する
 ことを含む情報処理方法。
(11)
 前記(10)に記載のマスタ機器と所定のネットワークを介して接続されたコピー機器において実行される情報処理方法であって、
 前記第1色素と同じ色素である第2色素を用いて染色されたサンプルに前記第1励起光と同じ波長の第2励起光を照射することで前記サンプルから放射した蛍光の第2輝度データを取得し、
 前記マスタ機器と前記コピー機器との機差に基づいて前記変換係数を補正し、
 補正後の前記変換係数に基づいて前記第2輝度データから前記第2色素の数を算出する
 ことを含む情報処理方法。
(12)
 前記(1)に記載の前記第1輝度データ取得部及び前記第2輝度データ取得部にそれぞれ搭載される蛍光体構造体であって、
 カバーガラス層と、
 保持ガラス層と、
 前記カバーガラス層と前記保持ガラス層との間に均一に封止された蛍光層と、
 を備える蛍光体構造体。
 1 情報処理システム
 10、20 演算部
 11、21 標準蛍光体
 12 色素チャンバ
 22 標本
 23 定量値データ
 41 試薬識別情報
 42 蛍光染色試薬
 50 標本
 60 蛍光染色標本
 100 蛍光顕微鏡装置
 110 取得部
 111 情報取得部
 112 画像取得部
 120 保存部
 121 情報保存部
 122 画像情報保存部
 130 演算部
 131 補正部
 132 算出部
 133 画像生成部
 140 表示部
 150 制御部
 160 操作部
 200,200A サーバ
 200-1 プライマリサーバ
 200-2 セカンダリサーバ
 210 ネットワーク
 C1、C2、… コピー機器
 M1 マスタ機器

Claims (12)

  1.  濃度が既知の第1色素に第1励起光を照射することで前記第1色素から放射した蛍光の第1輝度データを取得する第1輝度データ取得部と、
     前記第1輝度データに基づいて輝度データを前記第1色素の数に変換するための変換係数を取得する係数取得部と、
     前記第1色素と同じ色素である第2色素を用いて染色されたサンプルに前記第1励起光と同じ波長の第2励起光を照射することで前記サンプルから放射した蛍光の第2輝度データを取得する第2輝度データ取得部と、
     前記第1輝度データ取得部と前記第2輝度データ取得部との機差に基づいて前記変換係数を補正する係数補正部と、
     補正後の前記変換係数に基づいて前記第2輝度データから前記第2色素の数を算出する抗体数算出部と、
     を備える情報処理システム。
  2.  前記第1輝度データ取得部は、第1蛍光体に第3励起光を照射することで前記第1蛍光体から放射した蛍光の第3輝度データを取得し、
     前記第2輝度データ取得部は、前記第1蛍光体と同じ構造の第2蛍光体に前記第3励起光と同じ波長の第4励起光を照射することで前記第2蛍光体から放射した蛍光の第4輝度データを取得し、
     前記係数補正部は、前記第3輝度データと前記第4輝度データとの比に基づいて前記変換係数を補正する
     請求項1に記載の情報処理システム。
  3.  前記第1輝度データ取得部は、色素を配置しない状態で前記第1励起光を照射することで第5輝度データを取得し、
     前記係数取得部は、前記第1輝度データから前記第5輝度データを減算することで得られた第6輝度データに基づいて前記変換係数を算出する
     請求項1に記載の情報処理システム。
  4.  前記変換係数は、スピルオーバ行列又は標準スペクトルである請求項1に記載の情報処理システム。
  5.  前記第1輝度データ取得部と、前記係数取得部と、を備える第1情報処理装置と、
     前記第2輝度データ取得部と、前記係数補正部と、前記抗体数算出部と、を備える第2情報処理装置と、
     を備え、
     前記第1情報処理装置と、前記第2情報処理装置とは、所定のネットワークを介して接続されている
     請求項1に記載の情報処理システム。
  6.  前記第1情報処理装置で取得された1以上の前記第1色素ごとの前記第1輝度データ及び前記変換係数を保持するサーバをさらに備え、
     前記第1情報処理装置は、1以上の前記第1色素ごとの前記第1輝度データ及び前記変換係数を前記サーバへ送信し、
     前記第2情報処理装置は、前記サンプルの染色に使用される1以上の前記第1色素の前記第1輝度データ及び前記変換係数を前記サーバから取得する
     請求項5に記載の情報処理システム。
  7.  前記係数補正部は、前記第2情報処理装置の立ち上げ時に前記機差に基づいて前記変換係数を補正する請求項6に記載の情報処理システム。
  8.  前記第1情報処理装置は、前記第1励起光を前記第1色素に集光するとともに前記第1色素から放射した前記蛍光を前記第1輝度データ取得部の受光面に集光させる第1共焦点光学系をさらに備え、
     前記第2情報処理装置は、前記第2励起光を前記サンプルに集光するとともに前記サンプルから放射した前記蛍光を前記第2輝度データ取得部の受光面に集光させる第2共焦点光学系をさらに備え、
     前記第1共焦点光学系と前記第2共焦点光学系とは、同一構成の光学系である
     請求項5に記載の情報処理システム。
  9.  濃度が既知の第1色素に第1励起光を照射することで前記第1色素から放射した蛍光の第1輝度データを取得する第1輝度データ取得部と、
     前記第1輝度データに基づいて輝度データを前記第1色素の数に変換するための変換係数を取得する係数取得部と、
     前記第1色素と同じ色素である第2色素を用いて染色されたサンプルに前記第1励起光と同じ波長の第2励起光を照射することで前記サンプルから放射した蛍光の第2輝度データを取得する第2輝度データ取得部と、
     前記第1輝度データ取得部と前記第2輝度データ取得部との機差に基づいて前記第2輝度データを補正する輝度データ補正部と、
     補正後の前記第2輝度データから前記変換係数に基づいて前記第2色素の数を算出する抗体数算出部と、
     を備える情報処理システム。
  10.  コピー機器と所定のネットワークを介して接続されたマスタ機器において実行される情報処理方法であって、
     濃度が既知の第1色素に第1励起光を照射することで前記第1色素から放射した蛍光の第1輝度データを取得し、
     前記第1輝度データに基づいて輝度データを前記第1色素の数に変換するための変換係数を取得する
     ことを含む情報処理方法。
  11.  請求項10に記載のマスタ機器と所定のネットワークを介して接続されたコピー機器において実行される情報処理方法であって、
     前記第1色素と同じ色素である第2色素を用いて染色されたサンプルに前記第1励起光と同じ波長の第2励起光を照射することで前記サンプルから放射した蛍光の第2輝度データを取得し、
     前記マスタ機器と前記コピー機器との機差に基づいて前記変換係数を補正し、
     補正後の前記変換係数に基づいて前記第2輝度データから前記第2色素の数を算出する
     ことを含む情報処理方法。
  12.  請求項1に記載の前記第1輝度データ取得部及び前記第2輝度データ取得部にそれぞれ搭載される蛍光体構造体であって、
     カバーガラス層と、
     保持ガラス層と、
     前記カバーガラス層と前記保持ガラス層との間に均一に封止された蛍光層と、
     を備える蛍光体構造体。
PCT/JP2022/008547 2021-06-17 2022-03-01 情報処理システム、情報処理方法及び蛍光体構造体 WO2022264539A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-101142 2021-06-17
JP2021101142 2021-06-17

Publications (1)

Publication Number Publication Date
WO2022264539A1 true WO2022264539A1 (ja) 2022-12-22

Family

ID=84526136

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/008547 WO2022264539A1 (ja) 2021-06-17 2022-03-01 情報処理システム、情報処理方法及び蛍光体構造体

Country Status (1)

Country Link
WO (1) WO2022264539A1 (ja)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1010049A (ja) * 1996-06-19 1998-01-16 Olympus Optical Co Ltd 分析方法
US6541264B1 (en) * 2000-10-19 2003-04-01 General Electric Company Aromatic polycarbonate characterization
JP2006242899A (ja) * 2005-03-07 2006-09-14 Institute Of Physical & Chemical Research 多重蛍光からの蛍光色素濃度の推定方法および多重蛍光からの蛍光強度の推定方法
JP2009074928A (ja) * 2007-09-20 2009-04-09 Omron Corp 紫外線照射システムおよびそれにおける調整方法
JP2011085587A (ja) * 2009-10-15 2011-04-28 Becton Dickinson & Co 蛍光分析装置のための機器セットアップシステム
US20120261256A1 (en) * 2011-04-13 2012-10-18 Chang Chia-Pin Sample holders and analytical instrument for point-of-care qualification of clinical samples
JP2013113635A (ja) * 2011-11-25 2013-06-10 Hamamatsu Photonics Kk 基準光源
WO2019106973A1 (ja) * 2017-11-29 2019-06-06 ソニー株式会社 標識選択支援システム、標識選択支援装置、標識選択支援方法、及び標識選択支援用プログラム
WO2019230878A1 (ja) * 2018-05-30 2019-12-05 ソニー株式会社 蛍光観察装置及び蛍光観察方法
WO2020022038A1 (ja) * 2018-07-24 2020-01-30 ソニー株式会社 情報処理装置、情報処理方法、情報処理システム、およびプログラム
JP2021018090A (ja) * 2019-07-18 2021-02-15 シスメックス株式会社 測定装置、測定装置の調整方法およびプログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1010049A (ja) * 1996-06-19 1998-01-16 Olympus Optical Co Ltd 分析方法
US6541264B1 (en) * 2000-10-19 2003-04-01 General Electric Company Aromatic polycarbonate characterization
JP2006242899A (ja) * 2005-03-07 2006-09-14 Institute Of Physical & Chemical Research 多重蛍光からの蛍光色素濃度の推定方法および多重蛍光からの蛍光強度の推定方法
JP2009074928A (ja) * 2007-09-20 2009-04-09 Omron Corp 紫外線照射システムおよびそれにおける調整方法
JP2011085587A (ja) * 2009-10-15 2011-04-28 Becton Dickinson & Co 蛍光分析装置のための機器セットアップシステム
US20120261256A1 (en) * 2011-04-13 2012-10-18 Chang Chia-Pin Sample holders and analytical instrument for point-of-care qualification of clinical samples
JP2013113635A (ja) * 2011-11-25 2013-06-10 Hamamatsu Photonics Kk 基準光源
WO2019106973A1 (ja) * 2017-11-29 2019-06-06 ソニー株式会社 標識選択支援システム、標識選択支援装置、標識選択支援方法、及び標識選択支援用プログラム
WO2019230878A1 (ja) * 2018-05-30 2019-12-05 ソニー株式会社 蛍光観察装置及び蛍光観察方法
WO2020022038A1 (ja) * 2018-07-24 2020-01-30 ソニー株式会社 情報処理装置、情報処理方法、情報処理システム、およびプログラム
JP2021018090A (ja) * 2019-07-18 2021-02-15 シスメックス株式会社 測定装置、測定装置の調整方法およびプログラム

Similar Documents

Publication Publication Date Title
US11566941B2 (en) Systems and methods for calibrating, configuring and validating an imaging device or system for multiplex tissue assays
US6456734B1 (en) Calibration of fluorescence resonance energy transfer in microscopy
US6690817B1 (en) Spectral bio-imaging data for cell classification using internal reference
US20080272312A1 (en) Hyperspectral fluorescence and absorption bioimaging
Williams et al. Full spectrum fluorescence lifetime imaging with 0.5 nm spectral and 50 ps temporal resolution
Ferrand et al. Using the NoiSee workflow to measure signal-to-noise ratios of confocal microscopes
Faklaris et al. Quality assessment in light microscopy for routine use through simple tools and robust metrics
Sasaki Recent advances in the standardization of fluorescence microscopy for quantitative image analysis
WO2022264539A1 (ja) 情報処理システム、情報処理方法及び蛍光体構造体
Chandler et al. Nanoscale refractive index fluctuations detected via sparse spectral microscopy
Juntunen et al. Deep-learning-assisted Fourier transform imaging spectroscopy for hyperspectral fluorescence imaging
US20230124259A1 (en) Method and system for spectral imaging of density, anisotropy, and orientation
EP2946398B1 (en) Optical and integrated inspection apparatus and method
WO2021182031A1 (ja) 粒子解析システムおよび粒子解析方法
US20220366709A1 (en) Label-Free Hematology and Pathology Analysis Using Deep-Ultraviolet Microscopy
WO2022249583A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
WO2023276219A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
WO2023248853A1 (ja) 情報処理方法、情報処理装置、及び顕微鏡システム
WO2023149296A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
Thigpen et al. Photometric calibration for quantitative spectral microscopy under transmitted illumination
WO2023157756A1 (ja) 情報処理装置、生体試料解析システム及び生体試料解析方法
Dong et al. High throughput spectrally resolved super-resolution fluorescence microscopy with improved photon usage
WO2023189393A1 (ja) 生体試料観察システム、情報処理装置及び画像生成方法
Shah et al. Photometric calibration for automated multispectral imaging of biological samples

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22824539

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE