WO2023276219A1 - 情報処理装置、生体試料観察システム及び画像生成方法 - Google Patents

情報処理装置、生体試料観察システム及び画像生成方法 Download PDF

Info

Publication number
WO2023276219A1
WO2023276219A1 PCT/JP2022/003857 JP2022003857W WO2023276219A1 WO 2023276219 A1 WO2023276219 A1 WO 2023276219A1 JP 2022003857 W JP2022003857 W JP 2022003857W WO 2023276219 A1 WO2023276219 A1 WO 2023276219A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
separation
fluorescence
pixel
Prior art date
Application number
PCT/JP2022/003857
Other languages
English (en)
French (fr)
Inventor
乃愛 金子
典之 岸井
寛和 辰田
和博 中川
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to CN202280044996.9A priority Critical patent/CN117546007A/zh
Priority to DE112022003311.8T priority patent/DE112022003311T5/de
Publication of WO2023276219A1 publication Critical patent/WO2023276219A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N2021/6417—Spectrofluorimetric devices
    • G01N2021/6421—Measuring at two or more wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells

Definitions

  • the present disclosure relates to an information processing device, a biological sample observation system, and an image generation method.
  • In vivo fluorescence imaging requires a color separation technology that separates staining fluorescence from unintended autofluorescence derived from living tissue.
  • a color separation technique using methods such as the least squares method and non-negative matrix factorization is being developed.
  • the present disclosure proposes an information processing device, a biological sample observation system, and an image generation method capable of improving separation image accuracy and separation accuracy.
  • An information processing apparatus includes a separating unit that separates at least one of a stained fluorescent component and an autofluorescent component from a fluorescent component obtained from a fluorescently stained specimen image, the specimen image, and from the fluorescent component
  • a generating unit that calculates a separation accuracy for each pixel from a difference between an image after separation in which at least one of the stained fluorescence component and the autofluorescence component is separated, and generates a separation accuracy image that indicates the separation accuracy for each pixel.
  • an evaluation unit that identifies pixels including outliers of the separation accuracy from the separation accuracy image.
  • a biological sample observation system includes an imaging device that acquires a fluorescently stained specimen image, and an information processing device that processes the specimen image, wherein the information processing device obtains from the specimen image.
  • a separating unit that separates at least one of the stained fluorescent component and the autofluorescent component from the fluorescent component obtained, the specimen image, and after separation that separates at least one of the stained fluorescent component and the autofluorescent component from the fluorescent component
  • a generating unit that calculates a separation accuracy for each pixel from a difference from an image and generates a separation accuracy image that indicates the separation accuracy for each pixel; and an evaluation unit that
  • An image generating method is a fluorescently stained specimen image and a difference between an image after separation in which at least one of a stained fluorescent component and an autofluorescent component is separated from a fluorescent component obtained from the specimen image. It includes calculating a separation accuracy for each pixel and generating a separation accuracy image showing the separation accuracy for each pixel.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of an information processing system according to an embodiment of the present disclosure
  • FIG. 4 is a flow chart showing an example of a basic processing flow of an information processing apparatus according to an embodiment of the present disclosure
  • FIG. 2 is a diagram illustrating an example of a schematic configuration of an analysis unit according to an embodiment of the present disclosure
  • FIG. 3 is a diagram for explaining an example of a method for generating concatenated fluorescence spectra according to embodiments of the present disclosure
  • FIG. 4 is a diagram illustrating an example of a schematic configuration of an analysis unit for norm processing according to the embodiment of the present disclosure
  • 4 is a flowchart showing an example flow of norm processing according to an embodiment of the present disclosure
  • 4 is a flow chart showing the flow of a first processing example of color separation calculation and norm image generation according to the embodiment of the present disclosure
  • FIG. 10 is a diagram showing an example of a schematic configuration of an analysis unit using a concatenated fluorescence spectrum of an unstained sample in a second processing example of color separation calculation and norm image generation according to an embodiment of the present disclosure
  • FIG. 10 is a flow chart showing the flow of a second processing example of color separation calculation and norm image generation according to the embodiment of the present disclosure
  • FIG. 11 is a flow chart showing the flow of a third processing example of color separation calculation and norm image generation according to the embodiment of the present disclosure
  • FIG. FIG. 11 is a diagram for explaining the processing of steps in FIG. 10
  • FIG. 11 is a diagram for explaining the processing of steps in FIG. 10
  • FIG. 12 is a flow chart showing the flow of a fourth processing example of color separation calculation and norm image generation according to the embodiment of the present disclosure
  • FIG. 5 is a diagram for explaining a comparison example between a norm image and a separated image according to the embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram for explaining an example of processing of a correction unit according to an embodiment of the present disclosure
  • FIG. 4 is a diagram for explaining an example of a presentation image according to an embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram for explaining an example of a UI image according to an embodiment of the present disclosure
  • FIG. 4 is a diagram for explaining an example of a UI image according to an embodiment of the present disclosure
  • FIG. 6 is a flowchart showing an example flow of presentation processing according to an embodiment of the present disclosure
  • FIG. 4 is a diagram for explaining a spectrum (red blood cell spectrum) of a pixel whose norm value exceeds an outlier value according to the embodiment of the present disclosure
  • 6 is a flowchart showing an example flow of color separation processing according to an embodiment of the present disclosure
  • 1 is a diagram showing an example of a schematic configuration of a fluoroscopy apparatus according to an embodiment of the present disclosure
  • FIG. 1 is a diagram showing an example of a schematic configuration of an observation unit according to an embodiment of the present disclosure
  • FIG. FIG. 3 is a diagram showing an example of a sample according to an embodiment of the present disclosure
  • FIG. FIG. 4 is an enlarged view showing a region where a sample is irradiated with line illumination according to an embodiment of the present disclosure
  • FIG. 2 is a diagram illustrating an example of a schematic configuration of an analysis unit according to an embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram for explaining generation of a simulated image according to the embodiment of the present disclosure
  • FIG. 6 is a flowchart showing an example of the flow of simulated image generation processing according to the embodiment of the present disclosure
  • FIG. 4 is a diagram for explaining shot noise superimposition processing according to an embodiment of the present disclosure
  • FIG. 6 is a flowchart showing an example of the flow of quantitative evaluation processing according to the embodiment of the present disclosure
  • FIG. 3 is a diagram illustrating an example of separated images and histograms according to an embodiment of the present disclosure
  • FIG. 4 is a diagram for explaining calculation of a signal separation value based on a histogram according to an embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram showing an example of a separated image according to an embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram showing an example of a separated image according to an embodiment of the present disclosure
  • FIG. 4 is a diagram showing an example of a separated image according to an embodiment of the present disclosure
  • FIG. 4 is a bar graph showing signal separation values for different dyes according to embodiments of the present disclosure
  • FIG. 4 is a scatter plot showing signal separation values for different dyes according to embodiments of the present disclosure
  • FIG. 2 is a diagram illustrating an example of a schematic configuration of an analysis unit according to an embodiment of the present disclosure
  • Each of the one or more embodiments described below can be implemented independently. On the other hand, at least some of the embodiments described below may be implemented in combination with at least some of the other embodiments as appropriate. These multiple embodiments may include novel features that differ from each other. Therefore, these multiple embodiments can contribute to solving different purposes or problems, and can produce different effects.
  • Embodiment 1-1 Configuration example of information processing system 1-2.
  • Processing example of correction unit 1-9 Processing example of presentation unit 1-10.
  • Processing example of simulated image creation 2-4 Processing example of quantitative evaluation 2-5. Image example of separated image 2-6. Image example of evaluation result image 2-7. Action and effect 3. Modified example of quantitative evaluation 3-1. Configuration example of analysis unit related to quantitative evaluation 3-2. Action/Effect 4. Other embodiment5. Application example 6 . Configuration example of hardware7. Supplementary note
  • FIG. 1 is a diagram showing an example of a schematic configuration of an information processing system according to this embodiment.
  • An information processing system is an example of a biological sample observation system.
  • the information processing system includes an information processing device 100 and a database 200. As inputs to this information processing system, there are a fluorescent reagent 10A, a sample 20A, and a fluorescently stained sample 30A.
  • the fluorescent reagent 10A is a chemical used for staining the specimen 20A.
  • the fluorescent reagent 10A is, for example, a fluorescent antibody, a fluorescent probe, or a nuclear staining reagent, but the type of the fluorescent reagent 10A is not particularly limited to these.
  • Fluorescent antibodies include, for example, primary antibodies used for direct labeling, or secondary antibodies used for indirect labeling.
  • the fluorescent reagent 10A is managed with identification information capable of identifying the fluorescent reagent 10A and the manufacturing lot of the fluorescent reagent 10A.
  • the identification information is called “reagent identification information 11A.”
  • the reagent identification information 11A is, for example, barcode information such as one-dimensional barcode information or two-dimensional barcode information, but is not limited to this.
  • the fluorescent reagent 10A even if the product is of the same type, has different properties for each manufacturing lot depending on the manufacturing method, the state of the cells from which the antibody was obtained, and the like. For example, in the fluorescent reagent 10A, spectral information, quantum yield, fluorescence labeling rate, etc. differ for each production lot.
  • the fluorescence labeling ratio is also called "F/P value: Fluorescein/Protein" and refers to the number of fluorescent molecules that label an antibody.
  • the fluorescent reagent 10A is managed for each production lot by attaching the reagent identification information 11A.
  • the reagent information of each fluorescent reagent 10A is managed for each production lot.
  • the information processing apparatus 100 can separate the fluorescence signal and the autofluorescence signal while taking into account slight differences in properties that appear in each manufacturing lot.
  • the management of the fluorescent reagent 10A in production lot units is merely an example, and the fluorescent reagent 10A may be managed in units smaller than the production lot.
  • the specimen 20A is prepared from a specimen or tissue sample collected from a human body for the purpose of pathological diagnosis, clinical examination, or the like.
  • the type of tissue used such as organs or cells, the type of target disease, attributes of the subject such as age, sex, blood type, or race, or diet, exercise habits, etc. , or lifestyle habits of subjects such as smoking habits are not particularly limited.
  • the specimens 20A are managed with identification information that can identify each specimen 20A.
  • the identification information is called "specimen identification information 21A."
  • the specimen identification information 21A is, for example, barcode information such as one-dimensional barcode information or two-dimensional barcode information, but is not limited to this.
  • the properties of the specimen 20A differ depending on the type of tissue used, the type of target disease, the subject's attributes, or the subject's lifestyle.
  • measurement channels or spectral information differ depending on the type of tissue used. Therefore, in the information processing system according to the present embodiment, the specimens 20A are individually managed by attaching specimen identification information 21A. Accordingly, the information processing apparatus 100 can separate the fluorescence signal and the autofluorescence signal while taking into consideration even slight differences in properties that appear in each specimen 20A.
  • the fluorescently stained specimen 30A is created by staining the specimen 20A with the fluorescent reagent 10A.
  • the fluorescence-stained specimen 30A assumes that the specimen 20A is stained with at least one fluorescent reagent 10A, and the number of fluorescent reagents 10A used for staining is not particularly limited.
  • the staining method is determined by the combination of the specimen 20A and the fluorescent reagent 10A, and is not particularly limited.
  • the fluorescence-stained specimen 30A is input to the information processing apparatus 100 and imaged.
  • the information processing apparatus 100 includes an acquisition unit 110, a storage unit 120, a processing unit 130, a display unit 140, a control unit 150, and an operation unit 160, as shown in FIG.
  • the acquisition unit 110 is configured to acquire information used for various processes of the information processing apparatus 100 .
  • the acquisition section 110 includes an information acquisition section 111 and an image acquisition section 112 .
  • the information acquisition unit 111 is configured to acquire reagent information and specimen information. More specifically, the information acquisition unit 111 acquires the reagent identification information 11A attached to the fluorescent reagent 10A and the specimen identification information 21A attached to the specimen 20A used to generate the fluorescently stained specimen 30A. For example, the information acquisition unit 111 acquires the reagent identification information 11A and the specimen identification information 21A using a barcode reader or the like. Then, the information acquisition unit 111 acquires the reagent information based on the reagent identification information 11A and the specimen information based on the specimen identification information 21A from the database 200, respectively. The information acquisition unit 111 stores the acquired information in the information storage unit 121, which will be described later.
  • the image acquisition unit 112 is configured to acquire image information of the fluorescently stained specimen 30A and the specimen 20A stained with at least one fluorescent reagent 10A. More specifically, the image acquisition unit 112 includes an arbitrary imaging device such as a CCD or CMOS, and acquires image information by imaging the fluorescence-stained specimen 30A using the imaging device.
  • image information is a concept that includes not only the image itself of the fluorescence-stained specimen 30A, but also measured values that are not visualized as images.
  • the image information may include information on the wavelength spectrum of fluorescence emitted from the fluorescently stained specimen 30A.
  • the wavelength spectrum of the fluorescence will be referred to as fluorescence spectrum.
  • the image acquisition unit 112 stores the image information in the image information storage unit 122, which will be described later.
  • the storage unit 120 is configured to store information used for various processes of the information processing apparatus 100 or information output by various processes. As shown in FIG. 1 , the storage unit 120 includes an information storage unit 121 , an image information storage unit 122 and an analysis result storage unit 123 .
  • the information storage unit 121 is configured to store reagent information and specimen information acquired by the information acquisition unit 111 . Note that after the analysis processing by the analysis unit 131 and the image information generation processing by the image generation unit 132, that is, the image information reconstruction processing, which will be described later, are completed, the information storage unit 121 stores the reagent information and specimen used for the processing. Free space may be increased by deleting information.
  • the image information storage unit 122 is configured to store the image information of the fluorescence-stained specimen 30A acquired by the image acquisition unit 112 .
  • the image information storage unit 122 Free space may be increased by deleting used image information.
  • the analysis result storage unit 123 is configured to store the result of analysis processing performed by the analysis unit 131, which will be described later.
  • the analysis result storage unit 123 stores the fluorescence signal of the fluorescent reagent 10A or the autofluorescence signal of the sample 20A separated by the analysis unit 131 .
  • the analysis result storage unit 123 separately provides the result of the analysis processing to the database 200 in order to improve the analysis accuracy by machine learning or the like. After providing the analysis result to the database 200, the analysis result storage unit 123 may appropriately delete the analysis result stored by itself to increase the free space.
  • the processing unit 130 is a functional configuration that performs various types of processing using image information, reagent information, and specimen information. As shown in FIG. 1 , the processing section 130 includes an analysis section 131 and an image generation section 132 .
  • the analysis unit 131 is configured to perform various analysis processes using image information, specimen information, and reagent information. For example, the analysis unit 131 extracts the autofluorescence signal of the sample 20A from the image information based on the sample information and the reagent information, for example, the autofluorescence spectrum as an example of the autofluorescence component and the fluorescence signal of the fluorescent reagent 10A, such as the staining fluorescence component. A process of separating the staining fluorescence spectrum, which is an example, is performed.
  • the analysis unit 131 recognizes one or more elements that make up the autofluorescence signal based on the measurement channel included in the specimen information. For example, the analysis unit 131 recognizes one or more autofluorescence components forming the autofluorescence signal. Then, the analysis unit 131 predicts the autofluorescence signal included in the image information using the spectral information of these autofluorescence components included in the specimen information. Then, the analysis unit 131 separates the autofluorescence signal and the fluorescence signal from the image information based on the spectral information of the fluorescent component of the fluorescent reagent 10A and the predicted autofluorescence signal included in the reagent information.
  • the analysis unit 131 when the specimen 20A is dyed with two or more fluorescent reagents 10A, the analysis unit 131, based on the specimen information and the reagent information, from the image information or the fluorescence signal separated from the autofluorescence signal, The fluorescent signal of each of these two or more fluorescent reagents 10A is separated.
  • the analysis unit 131 uses the spectral information of the fluorescent component of each fluorescent reagent 10A included in the reagent information to separate the fluorescent signal of each fluorescent reagent 10A from the entire fluorescent signal after being separated from the autofluorescent signal. do.
  • the analysis unit 131 when the autofluorescence signal is composed of two or more autofluorescence components, the analysis unit 131, based on the specimen information and the reagent information, from the image information or the autofluorescence signal separated from the fluorescence signal, Separate the autofluorescent signal for each individual autofluorescent component. For example, the analysis unit 131 separates the autofluorescence signal of each autofluorescence component from the entire autofluorescence signal separated from the fluorescence signal using the spectral information of each autofluorescence component included in the specimen information.
  • the analysis unit 131 that separates the fluorescence signal and the autofluorescence signal performs various processes using these signals.
  • the analysis unit 131 may extract the fluorescence signal from the image information of the other specimen 20A by performing a subtraction process on the image information of the other specimen 20A using the autofluorescence signal after separation. .
  • the subtraction process is also called "background subtraction process".
  • the similar specimen 20A here means, for example, a tissue section before staining of a tissue section to be stained, a section adjacent to the stained section, a section different from the stained section in the same block, or a section in a different block in the same tissue. , sections taken from different patients, etc.
  • the tissue section is hereinafter referred to as section.
  • Identical blocks were sampled from the same location as the stained section. Different blocks were sampled from different locations than the stained section. Therefore, when the autofluorescence signal can be extracted from a certain specimen 20A, the analysis unit 131 extracts the fluorescence signal from the image information of the other specimen 20A by removing the autofluorescence signal from the image information of the other specimen 20A. may be extracted. Further, when the analysis unit 131 calculates the S/N value using the image information of the other specimen 20A, the S/N value can be improved by using the background after removing the autofluorescence signal. can.
  • the analysis unit 131 can also perform various processes using the separated fluorescence signal or the autofluorescence signal. For example, the analysis unit 131 can use these signals to analyze the immobilization state of the specimen 20A, and to perform segmentation or area division for recognizing object areas included in image information.
  • Objects are, for example, cells, subcellular structures, or tissues.
  • Subcellular structures are, for example, the cytoplasm, cell membrane, nucleus, and the like.
  • Tissues include, for example, tumorous areas, nontumoral areas, connective tissue, blood vessels, blood vessel walls, lymphatic vessels, fibrotic structures, necrosis, and the like. The analysis and segmentation of the immobilized state of the specimen 20A will be detailed later.
  • the analysis unit 131 performs separation processing for separating the stained fluorescence spectrum (stained fluorescence component) and the autofluorescence spectrum (autofluorescence component) from the image of the specimen 20A, that is, the fluorescence spectrum (fluorescence component) obtained from the fluorescently stained specimen image.
  • the separation accuracy for example, the norm value is calculated for each image
  • a separation accuracy image for example, the norm image, indicating the separation accuracy for each pixel is generated.
  • the image after separation is an image after separation in which the stained fluorescence spectrum and the autofluorescence spectrum are separated from the fluorescence spectrum.
  • the analysis unit 131 identifies an outlier pixel whose separation accuracy is an outlier in the separation accuracy image. For example, when the separation accuracy is out of a predetermined range, the separation accuracy is regarded as an outlier. After that, the analysis unit 131 performs processing of, for example, excluding pixels at the same positions as the identified outliers from the separated images, or presenting regions including the outliers to the user. Separation accuracy processing relating to the separation accuracy for each pixel, for example, norm processing, will be described later in detail.
  • the image generation unit 132 is configured to generate, that is, reconstruct image information based on the fluorescence signal or the autofluorescence signal separated by the analysis unit 131 .
  • the image generator 132 can generate image information containing only fluorescence signals, or image information containing only autofluorescence signals.
  • the image generation unit 132 generates image information for each component. be able to.
  • the analysis unit 131 performs various processes using the separated fluorescence signal or autofluorescence signal
  • the image generation unit 132 may generate image information indicating the results of those processes.
  • Various types of processing include, for example, analysis of the immobilized state of the specimen 20A, segmentation, or calculation of the S/N value.
  • the distribution information of the fluorescent reagent 10A labeled on the target molecule or the like that is, the two-dimensional spread and intensity of the fluorescence, the wavelength, and the positional relationship between them can be visualized. It is possible to improve the visibility of the user, such as a doctor or a researcher, in the tissue image analysis area.
  • the image generation unit 132 may control to distinguish the fluorescence signal from the autofluorescence signal based on the fluorescence signal or the autofluorescence signal separated by the analysis unit 131, and generate image information. Specifically, it improves the brightness of the fluorescent spectrum of the fluorescent reagent 10A labeled with the target molecule or the like, extracts only the fluorescent spectrum of the labeled fluorescent reagent 10A and changes its color, and is labeled with two or more fluorescent reagents 10A.
  • Fluorescence spectra of two or more fluorescent reagents 10A are extracted from the sample 20A and each is changed to a different color, only the autofluorescence spectrum of the sample 20A is extracted and divided or subtracted, the dynamic range is improved, and the like are controlled to control the image. information may be generated. As a result, the user can clearly distinguish the color information derived from the fluorescent reagent bound to the target substance of interest, and the user's visibility can be improved.
  • the display unit 140 presents the image information generated by the image generation unit 132 to the user by displaying it on the display.
  • the type of display used as display unit 140 is not particularly limited. Further, although not described in detail in this embodiment, the image information generated by the image generation unit 132 may be presented to the user by being projected by a projector or printed by a printer. In other words, the method of outputting image information is not particularly limited.
  • control unit 150 The control unit 150 is a functional configuration that controls overall processing performed by the information processing apparatus 100 .
  • the control unit 150 controls the start and end of various processes as described above based on the user's operation input through the operation unit 160 .
  • Various types of processing include, for example, imaging processing of the fluorescently stained specimen 30A, analysis processing, image information generation processing, and image information display processing.
  • Image information generation processing includes, for example, image information reconstruction processing.
  • the control content of the control part 150 is not specifically limited.
  • the control unit 150 may control processing generally performed in general-purpose computers, PCs, tablet PCs, and the like, for example, processing related to an OS (Operating System).
  • OS Operating System
  • the operation unit 160 is configured to receive an operation input from the user. More specifically, the operation unit 160 includes various input means such as a keyboard, mouse, buttons, touch panel, or microphone. input can be performed. Information regarding the operation input performed via the operation unit 160 is provided to the control unit 150 .
  • the database 200 is a device that manages sample information, reagent information, and analysis processing results. More specifically, the database 200 associates and manages the specimen identification information 21A and the specimen information, and the reagent identification information 11A and the reagent information. Accordingly, the information acquisition unit 111 can acquire specimen information from the database 200 based on the specimen identification information 21A of the specimen 20A to be measured, and reagent information based on the reagent identification information 11A of the fluorescent reagent 10A.
  • the specimen information managed by the database 200 is, as described above, information including the measurement channel and spectrum information specific to the autofluorescence component contained in the specimen 20A.
  • the specimen information includes target information about each specimen 20A, specifically, types of tissues used such as organs, cells, blood, body fluids, ascites, and pleural effusions, target diseases, and so on.
  • type of subject such as age, sex, blood type, or race, or information about the subject's lifestyle, such as diet, exercise habits, or smoking habits.
  • the information including the measurement channel and spectrum information unique to the autofluorescence component contained in 20A and the target information may be associated with each specimen 20A.
  • tissue used is not particularly limited to the tissue collected from the subject, and includes in vivo tissues such as humans and animals, cell strains, and solutions, solvents, solutes, and materials contained in the subject of measurement. may
  • the reagent information managed by the database 200 is, as described above, information including the spectral information of the fluorescent reagent 10A.
  • Information about the fluorescent reagent 10A such as labeling rate, quantum yield, bleaching coefficient, and absorption cross-section or molar extinction coefficient may be included.
  • the fading coefficient is information indicating how easily the fluorescence intensity of the fluorescent reagent 10A is reduced.
  • the specimen information and reagent information managed by the database 200 may be managed in different configurations, and in particular, the information on reagents may be a reagent database that presents the user with the optimum combination of reagents.
  • the specimen information and reagent information are either provided by the manufacturer, etc., or measured independently within the information processing system according to the present disclosure.
  • the manufacturer of the fluorescent reagent 10A often does not measure and provide spectral information, fluorescence labeling rate, etc. for each manufacturing lot. Therefore, by independently measuring and managing these pieces of information within the information processing system according to the present disclosure, the separation accuracy between the fluorescence signal and the autofluorescence signal can be improved.
  • the database 200 may use catalog values published by manufacturers or literature values described in various documents as specimen information and reagent information, particularly reagent information. .
  • actual specimen information and reagent information often differ from catalog values and literature values, so specimen information and reagent information are measured independently within the information processing system according to the present disclosure as described above. Managed is better.
  • the accuracy of analysis processing such as separation processing between fluorescence signals and autofluorescence signals is improved. obtain.
  • the analysis unit 131 of the information processing apparatus 100 uses a neural network to perform machine learning using learning data in which the fluorescent signal and autofluorescent signal after separation are associated with the image information, specimen information, and reagent information used for separation. Generate a classifier or estimator.
  • the analysis unit 131 inputs the information to the classifier or the estimator, thereby obtaining the fluorescence signal and the autofluorescence signal included in the image information. can be predicted and output.
  • a separation process is, for example, a separation process in which similar image information, specimen information, or reagent information is used.
  • the contents of processing include, for example, information and parameters used in the processing.
  • the machine learning method is not limited to the above, and a known machine learning technique can be used.
  • artificial intelligence may be used to separate the fluorescence signal and the autofluorescence signal.
  • various processing using the separated fluorescent signal or the autofluorescent signal for example, analysis of the immobilization state of the specimen 20A, segmentation, etc. may be improved by
  • the configuration example of the information processing system according to the present embodiment has been described above. Note that the above configuration described with reference to FIG. 1 is merely an example, and the configuration of the information processing system according to this embodiment is not limited to the example.
  • the information processing apparatus 100 does not necessarily have all the functional configurations shown in FIG. Further, the information processing apparatus 100 may include the database 200 therein.
  • the functional configuration of the information processing apparatus 100 can be flexibly modified according to specifications and operations.
  • the information processing apparatus 100 may perform processing other than the processing described above.
  • the reagent information includes information such as the quantum yield, fluorescence labeling rate, absorption cross section, or molar extinction coefficient of the fluorescent reagent 10A, so that the information processing apparatus 100 can generate image information from which the autofluorescence signal has been removed.
  • the reagent information, the number of fluorescent molecules in the image information, the number of antibodies bound to the fluorescent molecules, and the like may be calculated.
  • FIG. 2 is a flowchart showing an example of the basic processing flow of the information processing apparatus 100 according to this embodiment.
  • the flow of basic processing will be described, and the norm processing regarding the separation accuracy for each pixel in the analysis unit 131 will be described later.
  • step S1000 the user determines the fluorescent reagent 10A and specimen 20A to be used for analysis.
  • step S1004 the user creates a fluorescently stained specimen 30A by staining the specimen 20A with the fluorescent reagent 10A.
  • step S1008 the image acquisition unit 112 of the information processing apparatus 100 acquires image information (for example, a fluorescently stained specimen image) by imaging the fluorescently stained specimen 30A.
  • step S1012 the information acquisition unit 111 acquires the reagent information and specimen information based on the reagent identification information 11A attached to the fluorescent reagent 10A and the specimen identification information 21A attached to the specimen 20A used to generate the fluorescently stained specimen 30A. is obtained from the database 200 .
  • step S1016 the analysis unit 131 separates the autofluorescence signal of the specimen 20A and the fluorescence signal of the fluorescent reagent 10A from the image information based on the specimen information and the reagent information.
  • the fluorescence signal includes signals of a plurality of fluorochromes (Yes in step S1020)
  • the analysis unit 131 separates the fluorescence signals of each fluorochrome in step S1024. If the fluorescent signal does not include signals of a plurality of fluorescent dyes (No in step S1020), separation processing of the fluorescent signals of the respective fluorescent dyes is not performed in step S1024.
  • step S1028 the image generation unit 132 uses the fluorescence signals separated by the analysis unit 131 to generate image information. For example, the image generation unit 132 generates image information from which the autofluorescence signal is removed from the image information, or generates image information in which the fluorescence signal is displayed for each fluorescent dye.
  • step S1032 the display unit 140 displays the image information generated by the image generation unit 132, and the series of processing ends.
  • each step in the flowchart of FIG. 2 does not necessarily have to be processed in chronological order according to the described order. That is, each step in the flow chart may be processed in a different order than the order described or in parallel.
  • the analysis unit 131 separates the fluorescence signal of each fluorescent dye in step S1024.
  • the fluorescence signal of each fluorochrome may be separated directly from the image information.
  • the analysis unit 131 may separate the autofluorescence signal of the specimen 20A from the image information after separating the fluorescence signal of each fluorescent dye from the image information.
  • the information processing apparatus 100 may also perform processing not shown in FIG.
  • the analysis unit 131 may not only separate signals, but may also perform segmentation based on the separated fluorescent signal or autofluorescent signal, or may analyze the immobilization state of the specimen 20A.
  • FIG. 3 is a diagram showing an example of a schematic configuration of the analysis unit 131 according to this embodiment.
  • FIG. 4 is a diagram for explaining an example of a method for generating a concatenated fluorescence spectrum according to this embodiment.
  • the analysis unit 131 includes a connection unit 1311, a color separation unit 1321, and a spectrum extraction unit 1322.
  • This analysis unit 131 is configured to perform various types of processing including fluorescence separation processing.
  • the analysis unit 131 is configured to concatenate fluorescence spectra as preprocessing for fluorescence separation processing and separate the concatenated fluorescence spectra for each molecule.
  • connection unit 1311 is configured to generate a connection fluorescence spectrum by connecting at least part of the plurality of fluorescence spectra acquired by the image acquisition unit 112 in the wavelength direction.
  • the connecting unit 1311 extracts data of a predetermined width in each fluorescence spectrum so as to include the maximum fluorescence intensity in each of the four fluorescence spectra (A to D in FIG. 4) acquired by the image acquisition unit 112. .
  • the width of the wavelength band from which the connecting part 1311 extracts data may be determined based on reagent information, excitation wavelength, fluorescence wavelength, or the like, and may be different for each fluorescent substance.
  • the width of the wavelength band from which the connector 1311 extracts data may be different for each of the fluorescence spectra shown in AD of FIG. Then, as shown in E of FIG. 4, the connecting unit 1311 generates one connected fluorescence spectrum by connecting the extracted data in the wavelength direction. Note that since the concatenated fluorescence spectrum is composed of data extracted from a plurality of fluorescence spectra, the wavelengths are not continuous at the boundaries of each concatenated data.
  • the connecting unit 1311 performs the above connection after aligning the intensity of the excitation light corresponding to each of the plurality of fluorescence spectra based on the intensity of the excitation light, in other words, after correcting the plurality of fluorescence spectra. . More specifically, the connecting unit 1311 divides each fluorescence spectrum by the excitation power density, which is the intensity of the excitation light, to equalize the intensity of the excitation light corresponding to each of the plurality of fluorescence spectra, and then perform the above connection. conduct. As a result, fluorescence spectra are obtained when excitation light of the same intensity is applied.
  • the intensity of the irradiated excitation light is different, the intensity of the spectrum absorbed by the fluorescence-stained specimen 30A also differs according to the intensity.
  • the spectrum is called an "absorption spectrum.” Therefore, as described above, by aligning the intensity of the excitation light corresponding to each of the plurality of fluorescence spectra, the absorption spectra can be appropriately evaluated.
  • the fluorescently stained sample 30A contains, for example, four types of fluorescent substances, DAPI, CK/AF488, PgR/AF594 and ER/AF647, each of which has an excitation wavelength of 392 [nm] (Fig. 4 A), 470 [nm] (B in FIG. 4), 549 [nm] (C in FIG. 4), and 628 [nm] (D in FIG. 4) were irradiated. Specific examples of fluorescence spectra are shown.
  • the fluorescence wavelength is shifted to longer wavelengths than the excitation wavelength (Stokes shift) due to the release of energy for fluorescence emission.
  • the fluorescent substance contained in the fluorescently stained specimen 30A and the excitation wavelength of the irradiated excitation light are not limited to the above.
  • the connecting part 1311 extracts the fluorescence spectrum SP1 in the wavelength band of 392 nm or more and 591 nm or less of the excitation wavelength from the fluorescence spectrum shown in A of FIG. Extract the fluorescence spectrum SP2 in the wavelength band of, extract the fluorescence spectrum SP3 in the wavelength band of 549 nm or more and 748 nm or less from the fluorescence spectrum shown in C of FIG. A fluorescence spectrum SP4 in a wavelength band of 827 nm or less is extracted.
  • the connecting unit 1311 corrects the wavelength resolution of the extracted fluorescence spectrum SP1 to 16 nm (no intensity correction), corrects the intensity of the fluorescence spectrum SP2 to 1.2 times, and corrects the wavelength resolution to 8 nm,
  • the intensity of the fluorescence spectrum SP3 is corrected to 1.5 times (no wavelength resolution correction)
  • the intensity of the fluorescence spectrum SP4 is corrected to 4.0 times
  • the wavelength resolution is corrected to 4 nm.
  • the linking unit 1311 then links the corrected fluorescence spectra SP1 to SP4 in order to generate a linked fluorescence spectrum as shown in FIG. 4E.
  • FIG. 4 shows a case where the connection unit 1311 extracts and connects the fluorescence spectra SP1 to SP4 with a predetermined bandwidth (200 nm width in FIG. 4) from the excitation wavelength when each fluorescence spectrum is acquired.
  • the bandwidth of the fluorescence spectrum extracted by the connecting part 1311 does not need to be the same for each fluorescence spectrum, and may be different. That is, the region extracted from each fluorescence spectrum by the connecting part 1311 may be a region including the peak wavelength of each fluorescence spectrum, and its wavelength band and bandwidth may be changed as appropriate. At that time, spectral wavelength deviation due to Stokes shift may be taken into account. By narrowing down the wavelength band to be extracted in this way, it is possible to reduce the amount of data, so that fluorescence separation processing can be executed at a higher speed.
  • the intensity of pumping light in this description may be pumping power or pumping power density, as described above.
  • the excitation power or excitation power density may be the power or power density obtained by actually measuring the excitation light emitted from the light source, or the power or power density obtained from the driving voltage applied to the light source.
  • the intensity of the excitation light in this description refers to the excitation power density, the absorption rate of the section to be observed for each excitation light, and the detection system that detects the fluorescence emitted from the section, such as the image acquisition unit 112. It may be a value obtained by correcting with the amplification factor of the detection signal or the like.
  • the intensity of the excitation light in this description may be the power density of the excitation light that actually contributes to the excitation of the fluorescent substance, or a value obtained by correcting the power density with the amplification factor of the detection system.
  • the absorption rate and amplification factor it is possible to appropriately correct the intensity of the excitation light that changes according to changes in the machine state and environment, enabling more accurate color separation.
  • a concatenated fluorescence spectrum can be generated.
  • the correction value based on the intensity of the excitation light for each fluorescence spectrum is not limited to a value for matching the intensity of the excitation light corresponding to each of the plurality of fluorescence spectra, and may be variously modified.
  • the correction value is also called an intensity correction value.
  • the signal intensity of fluorescence spectra having intensity peaks on the long wavelength side tends to be lower than the signal intensity of fluorescence spectra having intensity peaks on the short wavelength side. Therefore, when the combined fluorescence spectrum includes both a fluorescence spectrum with an intensity peak on the long wavelength side and a fluorescence spectrum with an intensity peak on the short wavelength side, the fluorescence spectrum with an intensity peak on the long wavelength side is hardly taken into consideration.
  • only fluorescence spectra having intensity peaks on the short wavelength side may be extracted.
  • a larger intensity correction value for a fluorescence spectrum having an intensity peak on the long wavelength side it is also possible to improve the separation accuracy of the fluorescence spectrum with an intensity peak on the short wavelength side.
  • the color separation unit 1321 includes, for example, a first color separation unit 1321a and a second color separation unit 1321b, and color-separates the connected fluorescence spectra of the stained sections input from the connection unit 1311 for each molecule.
  • a stained section is also referred to as a stained sample.
  • the first color separation unit 1321a separates the combined fluorescence spectrum of the stained sample input from the connection unit 1311 from the combined fluorescence reference spectrum included in the reagent information input from the information storage unit 121 into By executing color separation processing using the concatenated autofluorescence reference spectrum included in the specimen information, the concatenated fluorescence spectrum is separated into spectra for each molecule.
  • color separation processing for example, least squares method (LSM), weighted least squares method (WLSM), nonnegative matrix factorization (NMF), nonnegative matrix factorization using Gram matrix tAA , and the like are used.
  • LSM least squares method
  • WLSM weighted least squares method
  • NMF nonnegative matrix factorization
  • Gram matrix tAA nonnegative matrix factorization using Gram matrix tAA
  • the second color separation unit 1321b performs color separation processing on the combined fluorescence spectrum of the stained sample input from the connection unit 1311, using the adjusted combined autofluorescence reference spectrum input from the spectrum extraction unit 1322. This separates the concatenated fluorescence spectra into individual molecule spectra.
  • the color separation processing similarly to the first color separation unit 1321a, for example, the least squares method (LSM), the weighted least squares method (WLSM), the non-negative matrix factorization (NMF), and the Gram matrix tAA . Non-negative matrix factorization, etc. may be used.
  • the method of least squares calculates the color mixture rate by, for example, fitting the connected fluorescence spectrum generated by the connecting unit 1311 to the reference spectrum.
  • weighting is performed so as to give importance to low signal level errors, using the Poisson distribution of the noise of the concatenated fluorescence spectrum (Signal), which is the measured value.
  • the offset value is the upper limit value at which weighting is not performed by the weighted least squares method. The offset value is determined by the characteristics of the sensor used for measurement, and requires separate optimization when an imaging device is used as the sensor.
  • the spectrum extraction unit 1322 is a configuration for improving the concatenated autofluorescence reference spectrum so as to obtain more accurate color separation results. Based on the color separation result by the color separation unit 1321, the reference spectrum is adjusted so that a more accurate color separation result can be obtained.
  • the spectrum extraction unit 1322 performs spectrum extraction processing using the color separation result input from the first color separation unit 1321a on the concatenated autofluorescence reference spectrum input from the information storage unit 121, and based on the result
  • the concatenated autofluorescence reference spectrum is adjusted by using the concatenated autofluorescence reference spectrum to improve the concatenated autofluorescence reference spectrum to yield more accurate color separation results.
  • NMF non-negative matrix factorization
  • SVD singular value decomposition
  • FIG. 3 exemplifies the case where the connected autofluorescence reference spectrum is adjusted once, the present invention is not limited to this.
  • the final color separation result may be acquired after repeating the process of readjusting the concatenated autofluorescence reference spectrum in the extraction unit 1322 one or more times.
  • the first color separation unit 1321a and the second color separation unit 1321b perform fluorescence separation processing using reference spectra (connected autofluorescence reference spectrum and connected fluorescence reference spectrum) connected in the wavelength direction. , can output a unique spectrum as a separation result. Separation results are not separated for each excitation wavelength. Therefore, the practitioner can more easily obtain the correct spectrum.
  • a reference spectrum concatenated autofluorescence reference spectrum
  • fluorescence separation processing is performed, so that the operator can detect autofluorescence from an appropriate space of the unstained section. It eliminates the need to extract spectra.
  • FIG. 5 is a diagram showing an example of a schematic configuration of the analysis unit 131 regarding norm processing according to this embodiment.
  • the analysis unit 131 includes a fluorescence separation unit 131A, a generation unit 131B, an evaluation unit 131C, a correction unit 131D, and a presentation unit 131E.
  • the fluorescence separation section 131A corresponds to the color separation section 1321
  • the presentation section 131E corresponds to the image generation section 132.
  • the fluorescence separation unit 131A uses LSM, NMF, or the like, for example, to extract the combined fluorescence spectrum of the dyed sample input from the connection unit 1311 by combining the combined fluorescence reference spectrum included in the reagent information and the combined self spectrum included in the specimen information. By performing a color separation process using the fluorescence reference spectrum, the concatenated fluorescence spectrum is separated into individual spectra for each molecule (see FIG. 3).
  • the fluorescence separation unit 131A uses, for example, LSM, NMF, or the like, for the coupled fluorescence spectrum of the stained sample input from the coupling unit 1311, the adjusted coupled autofluorescence reference input from the spectrum extraction unit 1322. By performing color separation processing using the spectrum, the concatenated fluorescence spectrum is separated into individual spectra for each molecule (see FIG. 3).
  • the generation unit 131B calculates the difference value between the original image and the color separation image after separation as the norm value (reference value) for each pixel based on the calculation result by the separation algorithm of the fluorescence separation unit 131A, such as LSM or NMF. and generate a norm image indicating the norm value for each pixel.
  • the separable algorithm ie separable computation
  • LSM the norm value is denoted by
  • A is a matrix of pixel values of a stained image (original image)
  • S is a spectrum after LSM
  • C is a matrix of pixel values of an image after LSM (image after separation).
  • the evaluation unit 131C identifies pixels that have a norm value equal to or greater than a predetermined value and are outliers from the norm image, that is, pixels that include outliers.
  • a pixel including an outlier is hereinafter referred to as an outlier pixel.
  • Outlier pixels indicate pixels with low resolution and poor reproducibility.
  • a method of specifying an outlier pixel for example, a method of specifying, as an outlier pixel, a pixel having a variance, that is, a pixel having a predetermined threshold value or more from an index representing the degree of scattering of data, or a pixel having a value of 3 ⁇ or more from the average, or an interquartile range ( IQR), Smirnov-Grubbs test, and the like can be used.
  • IQR interquartile range
  • the correction unit 131D performs various processes on the norm image. For example, the correction unit 131D generates a binarized image by zero-filling all the pixels of the separated image located at the same positions as the outlier pixels in the norm image based on the evaluation result (outlier pixels in the norm image) by the evaluation unit 131C. Mask processing is performed on the separated image using the binarized image to generate a separated image after the mask processing. Further, the correction unit 131D can also execute other processes. Details of each process will be described later.
  • the presentation unit 131E outputs various images to the display unit 140.
  • the presentation unit 131E outputs a presentation image such as a norm image, a weighted image, or a gradation filter image to the display unit 140.
  • FIG. The presentation unit 131E can also output other images (details will be described later).
  • FIG. 6 is a flowchart showing an example flow of norm processing according to the present embodiment.
  • the fluorescence separation unit 131A performs color separation calculation in step S101
  • the generation unit 131B outputs a norm image in step S102
  • the evaluation unit 131C outputs a norm image in step S103.
  • a pixel whose value (Norm value) is an outlier is determined, and in step S104, the correction unit 131D performs mask processing and/or the presentation unit 131E performs presentation to the user.
  • FIG. 7 is a flow chart showing the flow of the first processing example of color separation calculation and norm image generation according to the present embodiment.
  • the first processing example is an example of processing for performing color separation calculation directly from a dyed image.
  • step S111 the image acquisition unit 112 of the information processing device 100 acquires the fluorescence spectrum. More specifically, the fluorescence-stained specimen 30A is irradiated with a plurality of excitation lights having different excitation wavelengths, and the image acquisition unit 112 acquires a plurality of fluorescence spectra corresponding to each excitation light. The image acquisition unit 112 then stores the acquired fluorescence spectrum in the image information storage unit 122 .
  • connection unit 1311 In step S112, the connection unit 1311 generates a connection fluorescence spectrum by connecting at least part of the plurality of fluorescence spectra stored in the image information storage unit 122 in the wavelength direction. More specifically, the connecting unit 1311 extracts data of a predetermined width in each fluorescence spectrum so as to include the maximum value of the fluorescence intensity in each of the plurality of fluorescence spectra, and connects the data in the wavelength direction. Generate one concatenated fluorescence spectrum.
  • the color separation unit 1321 separates the concatenated fluorescence spectrum for each molecule, that is, performs first color separation (LSM). More specifically, the color separation unit 1321 separates the concatenated fluorescence spectrum for each molecule by executing the process described with reference to FIG.
  • LSM first color separation
  • step S114 the generator 131B calculates the norm value for each pixel. More specifically, the generation unit 131B calculates
  • step S115 the generation unit 131B generates and outputs a norm image including the calculated norm value for each pixel. More specifically, the generation unit 131B generates and outputs a norm image indicating the norm value for each pixel based on the calculated norm value for each pixel.
  • FIG. 8 is a diagram showing an example of a schematic configuration of an analysis unit that uses the concatenated fluorescence spectrum of an unstained sample in the second processing example of color separation calculation and norm image generation according to the present embodiment.
  • FIG. 9 is a flow chart showing the flow of the second processing example of color separation calculation and norm image generation according to the present embodiment.
  • the second processing example is an example of processing for performing color separation calculation of a stained image using an autofluorescence spectrum extracted from an unstained image.
  • the fluorescence separation unit 131A performs fluorescence separation processing using a pre-prepared concatenated autofluorescence reference spectrum and concatenated fluorescence reference spectrum.
  • fluorescence separation processing is performed using the actually measured coupled autofluorescence reference spectrum, that is, the coupled fluorescence spectrum of the unstained sample. More specifically, in the second processing example, the fluorescence separation unit 131A, that is, the spectrum extraction unit 1322 (see FIG. 8) of the analysis unit 131 applies different excitation wavelengths to the same or similar sample 20A.
  • a concatenated autofluorescence reference spectrum for each autofluorescent substance is extracted from at least a portion of a plurality of autofluorescence spectra acquired by irradiation with a plurality of excitation lights of (1) and concatenated in the wavelength direction. Then, the second color separation unit 1321b performs fluorescence separation processing using the extracted concatenated autofluorescence reference spectrum and concatenated fluorescence reference spectrum, that is, the same reference spectrum as in the first processing example.
  • the analysis unit 131 basically has the same configuration as the analysis unit 131 described using FIG.
  • the fluorescence separation unit 131A that is, the spectrum extraction unit 1322 of the analysis unit 131 receives the coupled fluorescence of the unstained section input from the coupling unit 1311 instead of the coupled autofluorescence reference spectrum included in the specimen information.
  • a spectrum is entered.
  • An unstained section is also referred to as an unstained sample, and a concatenated fluorescence spectrum is also referred to as a concatenated autofluorescence spectrum.
  • the spectrum extraction unit 1322 performs spectrum extraction processing using the color separation result input from the first color separation unit 1321a on the connected autofluorescence spectrum of the unstained sample input from the connection unit 1311, and the result is By adjusting the concatenated autofluorescence reference spectrum based on , the concatenated autofluorescence reference spectrum is refined to yield more accurate color separation results.
  • NMF non-negative matrix factorization
  • SVD singular value decomposition
  • other operations may be the same as those of the color separation unit 1321 described above, so detailed description thereof is omitted here.
  • a non-stained section or a stained section can be used as the section identical or similar to the specimen 20A used for extracting the concatenated autofluorescence reference spectrum.
  • a section before staining used as a stained section a section adjacent to the stained section, a section different from the stained section in the same block, or a section in a different block in the same tissue can be used. can.
  • Identical blocks were sampled from the same location as the stained section. Different blocks were sampled from different locations than the stained section.
  • PCA Principal Component Analysis
  • the image acquisition unit 112 performs excitation light with different excitation wavelengths.
  • a plurality of fluorescence spectra are acquired, and the connection unit 1311 generates a connection fluorescence spectrum by connecting at least part of the plurality of fluorescence spectra in the wavelength direction.
  • step S123 the spectrum extraction unit 1322 extracts, in the wavelength direction, at least part of a plurality of autofluorescence spectra obtained by irradiating the unstained section with a plurality of excitation lights having different excitation wavelengths. Extract the concatenated autofluorescence reference spectrum by performing NMF using
  • steps S125 and S126 the processing flow example in the first processing example, ie, steps S114 and S115 in FIG.
  • a norm value is calculated for each pixel, and the generation unit 131B generates and outputs a norm image including the calculated norm value for each pixel.
  • FIG. 10 is a flowchart showing the flow of a third processing example of color separation calculation and norm image generation according to this embodiment.
  • 11 and 12 are diagrams for explaining the processing of the steps in FIG. 10, respectively.
  • the third processing example is an example of a process of performing color separation calculation using a Gram matrix in a wide-field image, that is, a process of obtaining a norm value after the second LSM.
  • step S131 the processing unit 130 generates wide-field image data of the entire imaging area by tiling the field-of-view image data obtained by imaging each field of view.
  • this wide-field image data for example, refer to the wide-field image data A in FIG.
  • the processing unit 130 acquires unit image data, which is a part of the wide-field image data A, from the wide-field image data A.
  • the unit image data is, for example, unit image data Aq in FIG. 11, where q is an integer from 1 to n.
  • the unit image data Aq may be variously changed as long as it is image data of a region narrower than the wide-field image data A, such as image data corresponding to one field of view or image data of a preset size.
  • the image data of a preset size may include image data of a size determined by the amount of data that can be processed by the information processing apparatus 100 at one time.
  • step S133 the processing unit 130 multiplies the transposed matrix t A1 by the data matrix A1 of the obtained unit image data Aq to obtain a gram of the unit image data Aq. Generate matrix t A1A1.
  • unit image data Aq is assumed to be unit image data A1 for clarity.
  • step S134 the processing unit 130 determines whether generation of the gram matrices t A1A1 to t AnAn for all the unit image data A1 to An has been completed, and Steps S132 to S134 are repeatedly executed until the generation of matrices t A1A1 to t AnAn is completed (NO in step S134).
  • step S134 when the generation of the gram matrices t A1A1 to t AnAn for all the unit image data A1 to An is completed (YES in step S134), in step S135, the processing unit 130 performs, for example, the least squares method or weighting An initial value of the coefficient C is calculated from the obtained Gram matrix t A1A1 to t AnAn by using the least squares method.
  • step S136 the processing unit 130 calculates the Gram matrix t AA for the wide-field image data A by adding the generated Gram matrices t A1A1 to t AnAn.
  • q is an integer of 1 or more and n or less.
  • Matrix D corresponds to separated images obtained by fluorescence separation from wide-field image data A.
  • step S139 the processing unit 130 calculates the norm value, that is,
  • step S140 the processing unit 130 generates and outputs a norm image including the calculated norm value for each pixel. After that, this operation ends.
  • FIG. 13 is a flowchart showing the flow of a fourth processing example of color separation calculation and norm image generation according to this embodiment.
  • the fourth processing example is an example of a process of performing color separation calculation using a Gram matrix in a wide-field image, that is, a process of obtaining a norm value after NMF.
  • steps S124 to S147 the processing unit 130 performs processing in the same manner as the processing flow example in the third processing example, that is, steps S131 and S137 in FIG.
  • step S148 the processing unit 130 calculates the norm value, that is,
  • step S149 the processing unit 130 generates and outputs a norm image including the calculated norm value for each pixel.
  • is the absolute value of (AS ⁇ D ⁇ t A ⁇ 1 ).
  • the norm value is represented by
  • A is the matrix of pixel values of the stained image (original image)
  • S is the spectrum after NMF
  • D is the matrix of pixel values of the image after NMF (image after separation)
  • t A ⁇ 1 is It is the pseudo-inverse of the transposed matrix tA .
  • FIG. 14 is a diagram for explaining a comparison example between the norm image and the separation image according to this embodiment.
  • the separated image is, for example, an image that is not subjected to mask processing or the like and includes pixels that leak in autofluorescence.
  • the outlier pixels of the normed image match the pixels with poor reproducibility after color separation in the separated image, that is, the autofluorescence leakage pixels.
  • the norm image ie the norm value for each pixel, serves as an index of resolution accuracy. Therefore, for example, the pixels of the separated image located at the same positions as the outlier pixels of the norm image can be excluded by mask processing or the like, and reflected in the result of color separation.
  • FIG. 15 is a diagram for explaining an example of the processing of the correction unit 131D according to the present embodiment, that is, the expansion processing of the 0-filled area.
  • the correction unit 131D selects the pixels of the separated image, such as the autofluorescence component image and the stained fluorescence component image, which are located at the same locations as the outlier pixels of the norm image. are all filled with 0 to generate a binarized image, the binarized image is used as a mask image to subject the separated image to mask processing, and a separated image after the mask processing is generated. For example, the correction unit 131D sets the value of the pixel located at the same place as the outlier pixel of the norm image to 0, sets the value of the other pixels to 1, and generates the mask image.
  • the correction unit 131D sets the value of the pixel located at the same place as the outlier pixel of the norm image to 0 in the subsequent processing, for example, in the image for obtaining the signal separation value indicating the signal separation performance. You can change it.
  • the correction unit 131D may exclude all pixels positioned at the same positions as the outlier pixels of the norm image in subsequent processing, for example, an image for obtaining a signal separation value indicating signal separation performance, or Regions containing those pixels, for example, all cell regions may be excluded. The area is treated as N/A.
  • An image for obtaining a signal separation value indicating signal separation performance is, for example, an unstained image, a dye tile image, a schematic image, or the like.
  • the analysis unit 131 calculates a signal separation value using an image for obtaining a signal separation value indicating signal separation performance. Means for obtaining the signal separation value and quantifying the signal separation performance will be described later in detail. For example, when obtaining the signal separation value, the signal separation accuracy, that is, the signal separation value can be increased by performing processing without using pixels corresponding to outlier pixels.
  • a predetermined range around the outlier pixel for example, a range of several pixels, or a cell Regions may be excluded or masked.
  • the 0-filling area is enlarged to thicken the binarized image. may be performed.
  • the correction unit 131D normalizes the entire norm value of the norm image to continuous 0-1 and performs weighting.
  • the weighting at this time may be set so that the maximum value of the norm value is 1 and the minimum value is 0.
  • the correction unit 131D may divide the norm image by the stained image before color separation. Specifically, the correction unit 131D may divide the norm value of each pixel of the norm image by the pixel value of each pixel of the stained image before color separation. This makes it possible to normalize the norm image, so that norm images can be compared between different samples.
  • FIG. 16 is a diagram for explaining an example of a presentation image according to this embodiment.
  • 17 and 18 are diagrams for explaining examples of UI images according to the present embodiment.
  • FIG. 19 is a flowchart showing an example of the flow of presentation processing according to this embodiment.
  • the presentation unit 131E may output the norm image, the weighted image, and the gradation filter image to the display unit 140 as presentation images. Further, the presentation unit 131E may cause the display unit 140 to display an area from which outliers are excluded in the norm image, the separated image, the weighted image, or the like. Note that the presentation unit 131E may present an alert indicating that there is an outlier pixel. For example, when there are more than a predetermined number of outlier pixels, the presentation unit 131E may output an image such as a message to that effect to the display unit 140 as an alert. The conditions for issuing this alert are, for example, when a scatter diagram is drawn and there is a lot of leakage into the adjacent dye, or when it is determined that red blood cells are included in the separated image and the separation is affected. may be presented.
  • the presentation unit 131E may output a weighted image weighted by the correction unit 131D, for example, a weighted norm image to the display unit 140 as a UI image (user interface image).
  • the weighted norm image may be displayed alone, displayed side by side with other images, or may be displayed superimposed on other images such as separated images.
  • an image of 1-(weighting function), ie, a tone filtered image may be presented.
  • This gradation filter image may be used as a mask image when outputting a separated image to display the image, or may be used to calculate a signal separation value indicating signal separation performance.
  • the gradation filter image may be displayed alone, displayed side by side with other images, or may be displayed superimposed on another image such as a separated image.
  • the presentation unit 131E may output the UI image to the display unit 140 as the presentation image.
  • various separated images are displayed side by side in the UI image. All check boxes are checked by the user to select various separated images.
  • the gradation filter is masked when outputting the separated image (gradation filter ⁇ separated image).
  • the pixel portion corresponding to the outlier of the norm image is masked, and the portion not corresponding to the outlier is substantially unaffected by the mask processing.
  • two types of separated images are superimposed on the UI image.
  • two checkboxes are checked by the user and two types of separated images are superimposed.
  • Examples of various separated images include post-separation raw images, 0-filled images, weighted images, norm images, gradation filter images, weighted images, DAPI (4',6-diamidino-2-phenylindole, dihydrochloride ) image.
  • a mode in which various separated images are displayed side by side there are two modes: a mode in which various separated images are displayed side by side, and a mode in which various separated images are superimposed and displayed as UI images.
  • the user can select the mode with a check box. This display selection processing will be described below.
  • step S161 the presentation unit 131E generates separated images.
  • step S162 the presentation unit 131E waits for the selection of the display method. The user selects the display method.
  • the presentation unit 131E outputs a UI image for side-by-side display (see FIG. 17, for example) to the display unit 140 in step S163.
  • step S ⁇ b>164 the selected images to be displayed side by side are selected and output to the display unit 140 in accordance with the user's selection of the type of separated image.
  • the presentation unit 131E outputs a UI image for superimposed display (see FIG. 18, for example) to the display unit 140 in step S165.
  • step S ⁇ b>166 the selected image to be superimposed and displayed is selected and output to the display unit 140 in accordance with the user's selection of the type of separated image.
  • the display method is selected according to the user's selection, and various separated images desired by the user are displayed.
  • the user can freely select the display method and various separated images, thereby improving convenience for the user.
  • FIG. 20 is a diagram for explaining the spectrum of a pixel whose norm value exceeds the outlier, ie, the red blood cell spectrum, according to this embodiment.
  • FIG. 21 is a flowchart showing an example of the flow of color separation processing according to the present embodiment, that is, color separation repetitive processing.
  • the correction unit 131D extracts the spectrum of the pixel whose norm value exceeds the outlier, that is, the red blood cell spectrum, and the fluorescence separation unit 131A adds the spectrum extracted by the correction unit 131D to the initial value, and performs color separation again. do. More specifically, the correction unit 131D sets a threshold value for the norm value and extracts the spectrum of pixels whose norm value is equal to or greater than a predetermined threshold value, that is, pixels whose norm value exceeds the outlier. For example, as shown in FIG. 20, the spectrum of pixels whose norm value exceeds the outlier, that is, the red blood cell spectrum is extracted. The fluorescence separation unit 131A adds the erythrocyte-derived spectrum extracted by the correction unit 131D to the reference spectrum, which is the initial value, and performs color separation again. This repeated separation processing will be described below.
  • step S151 the fluorescence separation unit 131A performs color separation calculation.
  • step S152 the generator 131B generates and outputs a norm image.
  • step S153 the evaluation unit 131C extracts the spectrum of the pixel whose norm value exceeds the outlier from the norm image, and determines whether the extraction is possible. If the target spectrum is extracted (Yes in step S153), the fluorescence separation unit 131A adds the extracted spectrum to the concatenated fluorescence reference spectrum, and returns the process to step S151. On the other hand, if the spectrum of interest is not extracted (No in step S153), the process ends.
  • Such separation repetition processing is processing content when color separation processing (for example, LSM) is performed multiple times.
  • the red blood cell spectrum may be added to either a variable spectrum such as an autofluorescence reference spectrum or a fixed spectrum such as a fluorescence reference spectrum. , the latter being preferred.
  • FIG. 22 is a diagram showing an example of a schematic configuration of a fluoroscopy apparatus 500 according to this embodiment.
  • FIG. 23 is a diagram showing an example of a schematic configuration of the observation unit 1 according to this embodiment.
  • the fluorescence observation device 500 has an observation unit 1, a processing unit 2, and a display section 3.
  • the observation unit 1 includes an excitation section (irradiation section) 10, a stage 20, a spectral imaging section 30, an observation optical system 40, a scanning mechanism 50, a focus mechanism 60, and a non-fluorescent observation section 70.
  • the excitation unit 10 irradiates the observation object with a plurality of irradiation lights with different wavelengths.
  • the excitation unit 10 irradiates, for example, a pathological specimen, which is an object to be observed, with a plurality of line illuminations having different wavelengths arranged in parallel with different axes.
  • the stage 20 is a table for supporting a pathological specimen, and is configured to be movable by the scanning mechanism 50 in a direction perpendicular to the direction of line light from the line illumination.
  • the spectroscopic imaging unit 30 includes a spectroscope, and acquires the fluorescence spectrum of the pathological specimen linearly excited by line illumination, that is, spectroscopic data.
  • the observation unit 1 functions as a line spectroscope that acquires spectral data according to line illumination.
  • the observation unit 1 captures, for each line, a plurality of fluorescence images generated by a pathological specimen, which is an imaging target, for each of a plurality of fluorescence wavelengths, and acquires data of the captured fluorescence images in the order of the lines. It also functions as an imaging device.
  • different axes parallel means that the multiple line illuminations are different axes and parallel.
  • a different axis means not coaxial, and the distance between the axes is not particularly limited.
  • Parallel is not limited to being parallel in a strict sense, but also includes a state of being substantially parallel. For example, there may be distortion derived from an optical system such as a lens, or deviation from a parallel state due to manufacturing tolerances, and such cases are also regarded as parallel.
  • the excitation unit 10 and the spectral imaging unit 30 are connected to the stage 20 via an observation optical system 40.
  • the observation optical system 40 has a function of following the optimum focus by the focus mechanism 60 .
  • the observation optical system 40 may be connected to a non-fluorescent observation section 70 for performing dark-field observation, bright-field observation, and the like.
  • the observation unit 1 may be connected with a control section 80 that controls the excitation section 10, the spectral imaging section 30, the scanning mechanism 50, the focusing mechanism 60, the non-fluorescent observation section 70, and the like.
  • the processing unit 2 includes a storage section 21 , a data proofreading section 22 and an image forming section 23 . Based on the fluorescence spectrum of the pathological specimen acquired by the observation unit 1, the processing unit 2 typically forms an image of the pathological specimen or outputs the fluorescence spectrum distribution.
  • the pathological specimen is also referred to as sample S hereinafter.
  • the image refers to the composition ratio of the dyes that compose the spectrum, the autofluorescence derived from the sample, the waveform converted to RGB (red, green, and blue) colors, the luminance distribution of a specific wavelength band, and the like.
  • the storage unit 21 includes a nonvolatile storage medium such as a hard disk drive or flash memory, and a storage control unit that controls writing and reading of data to and from the storage medium.
  • the storage unit 21 stores spectral data indicating the correlation between each wavelength of light emitted by each of the plurality of line illuminations included in the excitation unit 10 and fluorescence received by the camera of the spectral imaging unit 30 .
  • the storage unit 21 stores in advance information indicating the standard spectrum of autofluorescence of a sample (pathological specimen) to be observed, and information indicating the standard spectrum of a single dye that stains the sample.
  • the data calibration unit 22 configures the spectral data stored in the storage unit 21 based on the captured image captured by the camera of the spectral imaging unit 30 .
  • the image forming unit 23 forms a fluorescence image of the sample based on the spectral data and the intervals ⁇ y between the plurality of line illuminations irradiated by the excitation unit 10 .
  • the processing unit 2 including the data proofreading unit 22, the image forming unit 23, etc. is a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and other hardware elements and necessary components used in a computer. It is realized by a program (software). Instead of or in addition to CPU, PLD (Programmable Logic Device) such as FPGA (Field Programmable Gate Array), DSP (Digital Signal Processor), other ASIC (Application Specific Integrated Circuit), etc. may be used. good.
  • the display unit 3 displays various information such as an image based on the fluorescence image formed by the image forming unit 23, for example.
  • the display section 3 may be configured by, for example, a monitor integrally attached to the processing unit 2 or may be a display device connected to the processing unit 2 .
  • the display unit 3 includes, for example, a display element such as a liquid crystal device or an organic EL device, and a touch sensor, and is configured as a UI (User Interface) for displaying input settings of imaging conditions, captured images, and the like.
  • UI User Interface
  • the excitation unit 10 includes two line illuminations Ex1 and Ex2 each emitting light of two wavelengths.
  • the line illumination Ex1 emits light with a wavelength of 405 nm and light with a wavelength of 561 nm
  • the line illumination Ex2 emits light with a wavelength of 488 nm and light with a wavelength of 645 nm.
  • the excitation unit 10 has a plurality of excitation light sources L1, L2, L3, and L4.
  • Each of the excitation light sources L1 to L4 is composed of a laser light source that outputs laser light with wavelengths of 405 nm, 488 nm, 561 nm and 645 nm, respectively.
  • each of the excitation light sources L1 to L4 is composed of a light emitting diode (LED), a laser diode (LD), or the like.
  • the excitation unit 10 includes a plurality of collimator lenses 11, a plurality of laser line filters 12, a plurality of dichroic mirrors 13a, 13b, 13c, a homogenizer 14, and a condenser lens 15 so as to correspond to the respective excitation light sources L1 to L4. , and an entrance slit 16 .
  • the laser light emitted from the excitation light source L1 and the laser light emitted from the excitation light source L3 are collimated by a collimator lens 11, respectively, and then transmitted through a laser line filter 12 for cutting the skirt of each wavelength band. and are made coaxial by the dichroic mirror 13a.
  • the two coaxial laser beams are further beam-shaped by a homogenizer 14 such as a fly-eye lens and a condenser lens 15 to form line illumination Ex1.
  • the laser light emitted from the excitation light source L2 and the laser light emitted from the excitation light source L4 are coaxially coaxial with each other by the dichroic mirrors 13b and 13c, and line illumination is performed so that the line illumination Ex2 has a different axis from the line illumination Ex1. become.
  • the line illuminations Ex1 and Ex2 form an off-axis line illumination, that is, a primary image separated by a distance ⁇ y in the entrance slit 16, which has a plurality of slit portions each passable.
  • the primary image is irradiated onto the sample S on the stage 20 via the observation optical system 40 .
  • the observation optical system 40 has a condenser lens 41 , dichroic mirrors 42 and 43 , an objective lens 44 , a bandpass filter 45 and a condenser lens 46 .
  • Condenser lens 46 is an example of an imaging lens.
  • the line illuminations Ex1 and Ex2 are collimated by a condenser lens 41 paired with an objective lens 44, reflected by dichroic mirrors 42 and 43, transmitted through the objective lens 44, and irradiated onto the sample S on the stage 20. .
  • FIG. 24 is a diagram showing an example of the sample S according to this embodiment.
  • FIG. 24 shows how the sample S is viewed from the irradiation directions of the line illuminations Ex1 and Ex2, which are the excitation lights.
  • the sample S is typically composed of a slide containing an observation object Sa such as a tissue section as shown in FIG.
  • the observation target Sa is, for example, a biological sample such as nucleic acid, cell, protein, bacterium, or virus.
  • the sample S, that is, the observation target Sa is dyed with a plurality of fluorescent dyes.
  • the observation unit 1 enlarges the sample S to a desired magnification and observes it.
  • FIG. 25 is an enlarged view of a region A in which the sample S according to the present embodiment is irradiated with the line illuminations Ex1 and Ex2.
  • two line illuminations Ex1 and Ex2 are arranged in area A, and imaging areas R1 and R2 of spectral imaging section 30 are arranged so as to overlap with the respective line illuminations Ex1 and Ex2.
  • the two line illuminations Ex1 and Ex2 are each parallel to the Z-axis direction and arranged apart from each other by a predetermined distance ⁇ y in the Y-axis direction.
  • line illuminations Ex1 and Ex2 are formed as shown in FIG. Fluorescence excited in the sample S by these line illuminations Ex1 and Ex2 is collected by the objective lens 44 and reflected by the dichroic mirror 43, as shown in FIG. It passes through the pass filter 45 , is condensed again by the condenser lens 46 , and enters the spectral imaging unit 30 .
  • the spectral imaging unit 30 has an observation slit 31, an imaging device 32, a first prism 33, a mirror 34, a diffraction grating 35, and a second prism 36, as shown in FIG.
  • the observation slit 31 is an opening.
  • the diffraction grating 35 is, for example, a wavelength dispersion element.
  • the imaging element 32 is configured including two imaging elements 32a and 32b.
  • the imaging element 32 receives a plurality of lights, such as fluorescence, which are wavelength-dispersed by the diffraction grating 35 .
  • a two-dimensional imager such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) is adopted as the imaging device 32 .
  • the observation slit 31 is arranged at the condensing point of the condenser lens 46 and has the same number of slits as the number of excitation lines, two in this example.
  • the fluorescence spectra derived from the two excitation lines that have passed through the observation slit 31 are separated by the first prism 33 and reflected by the grating surfaces of the diffraction grating 35 via the mirrors 34, respectively, so that the fluorescence spectra of the excitation wavelengths are further divided into separated.
  • the four separated fluorescence spectra are incident on the imaging devices 32a and 32b via the mirror 34 and the second prism 36, and the spectral data represented by the position x in the line direction and the wavelength ⁇ (x, ⁇ ).
  • the spectral data (x, ⁇ ) is a pixel value of a pixel at position x in the row direction and at wavelength ⁇ in the column direction among the pixels included in the image sensor 32 . Note that the spectroscopic data (x, ⁇ ) may be simply described as spectroscopic data.
  • the pixel size [nm/Pixel] of the imaging elements 32a and 32b is not particularly limited, and is set to, for example, 2 [nm/Pixel] or more and 20 [nm/Pixel] or less.
  • This dispersion value may be realized by the pitch of the diffraction grating 35, optically, or by hardware binning of the imaging elements 32a and 32b.
  • a dichroic mirror 42 and a bandpass filter 45 are inserted in the optical path to prevent the excitation light, that is, the line illuminations Ex1 and Ex2 from reaching the imaging device 32 .
  • Each of the line illuminations Ex1 and Ex2 is not limited to being configured with a single wavelength, and may each be configured with a plurality of wavelengths. If the line illuminations Ex1 and Ex2 each consist of multiple wavelengths, the fluorescence excited by them also contains multiple spectra.
  • the spectroscopic imaging unit 30 has a wavelength dispersive element for separating the fluorescence into spectra derived from the excitation wavelengths.
  • the wavelength dispersive element is composed of a diffraction grating, a prism, or the like, and is typically arranged on the optical path between the observation slit 31 and the imaging element 32 .
  • stage 20 and the scanning mechanism 50 constitute an XY stage, and in order to acquire a fluorescence image of the sample S, the sample S is moved in the X-axis direction and the Y-axis direction.
  • WSI whole slide imaging
  • the operation of scanning the sample S in the Y-axis direction, moving in the X-axis direction, and then scanning in the Y-axis direction is repeated.
  • dye spectra excited with different excitation wavelengths that is, fluorescence spectra, which are spatially separated by a distance ⁇ y on the sample S, that is, the observation target Sa, are continuously scanned in the Y-axis direction. can be obtained.
  • the scanning mechanism 50 changes the position of the sample S irradiated with the irradiation light over time. For example, the scanning mechanism 50 scans the stage 20 in the Y-axis direction.
  • the scanning mechanism 50 can scan the stage 20 with the plurality of line illuminations Ex1 and Ex2 in the Y-axis direction, that is, in the arrangement direction of the line illuminations Ex1 and Ex2. This is not limited to this example, and a plurality of line illuminations Ex1 and Ex2 may be scanned in the Y-axis direction by a galvanomirror arranged in the middle of the optical system.
  • Data derived from each of the line illuminations Ex1 and Ex2, for example, two-dimensional data or three-dimensional data, is data whose coordinates are shifted by a distance ⁇ y about the Y axis. is corrected and output based on the value of the distance ⁇ y calculated from
  • the non-fluorescent observation section 70 is composed of a light source 71, a dichroic mirror 43, an objective lens 44, a condenser lens 72, an imaging device 73, and the like.
  • the example of FIG. 23 shows an observation system using dark field illumination.
  • the light source 71 is arranged on the side of the stage 20 facing the objective lens 44, and irradiates the sample S on the stage 20 with illumination light from the side opposite to the line illuminations Ex1 and Ex2.
  • the light source 71 illuminates from outside the NA (numerical aperture) of the objective lens 44 , and the light (dark field image) diffracted by the sample S passes through the objective lens 44 , the dichroic mirror 43 and the condenser lens 72 . Then, the image sensor 73 takes a picture.
  • dark field illumination even seemingly transparent samples such as fluorescently stained samples can be observed with contrast.
  • the non-fluorescent observation unit 70 is not limited to an observation system that acquires a dark field image, but is an observation system capable of acquiring non-fluorescent images such as bright field images, phase contrast images, phase images, and in-line hologram images. may consist of For example, various observation methods such as the Schlieren method, the phase contrast method, the polarizing observation method, and the epi-illumination method can be employed as methods for obtaining non-fluorescent images.
  • the position of the illumination light source is also not limited to below the stage 20 , and may be above the stage 20 or around the objective lens 44 . In addition to the method of performing focus control in real time, other methods such as a pre-focus map method in which focus coordinates (Z coordinates) are recorded in advance may be employed.
  • the line illumination as excitation light is composed of two line illuminations Ex1 and Ex2, but is not limited to this, and may be three, four, or five or more.
  • Each line illumination may also include multiple excitation wavelengths selected to minimize degradation of color separation performance.
  • the excitation light source is composed of a plurality of excitation wavelengths, and if each excitation wavelength and the data obtained by the imaging device 32 are linked and recorded, a different axis can be obtained. It does not give as much resolution as parallelism, but it does give a multicolor spectrum.
  • the configuration described above with reference to FIGS. 22 and 23 is merely an example, and the configuration of the fluorescence observation apparatus 500 according to the present embodiment is not limited to the example.
  • the fluoroscopy apparatus 500 may not necessarily include all of the configurations shown in FIGS. 22 and 23, or may include configurations not shown in FIGS.
  • a separation unit for example, a fluorescence separation unit 131A that separates at least one of them, and a sample image, and the difference between the sample image and the image after separation that separates at least one of the dyed fluorescence component and the autofluorescence component from the fluorescence component.
  • a generation unit 131B that calculates accuracy (for example, norm value) and generates a separation accuracy image (for example, norm image) that indicates the separation accuracy for each pixel; , outlier pixels) is provided.
  • pixels containing outliers may be excluded from separated images, pixels containing outliers may be excluded from use in post-processing, and regions containing pixels containing outliers may be notified to the user. can. By obtaining pixels including outliers in this way, it is possible to improve the separation image accuracy and the separation accuracy.
  • a correction unit 131D that performs processing based on pixels including outliers may be further provided. This makes it possible to perform image processing based on pixels containing outliers. For example, pixels containing outliers can be excluded from the separated images.
  • correction unit 131D may mask the separated image including the stained fluorescence component or the autofluorescence component based on the pixels including the outlier. Thereby, a masked separated image can be obtained.
  • the correction unit 131D may generate a mask image by setting the value of a pixel located at the same location as the pixel containing the outlier in the separation accuracy image to 0 and setting the value of the other pixels to 1. This makes it possible to easily obtain a separated image in which pixels co-located with pixels containing outliers are masked.
  • the correction unit 131D sets the values of pixels in a predetermined region including pixels located at the same locations as pixels containing outliers in the separation accuracy image to 0, and sets the values of other pixels to 1 to generate a mask image. may This makes it possible to easily obtain a separated image in which a predetermined region including pixels located at the same locations as pixels including outliers is masked.
  • the correction unit 131D may exclude pixels located at the same locations as the pixels containing outliers in the separation accuracy image in subsequent processing.
  • the correction unit 131D may exclude a pixel located at the same location as a pixel including an outlier in the separation accuracy image in the image for obtaining the signal separation value indicating the signal separation performance.
  • the latter process includes, for example, the process of determining the positive threshold.
  • the correction unit 131D may change to 0 the value of a pixel located at the same location as the pixel containing the outlier in the separation accuracy image in the image for obtaining the signal separation value indicating the signal separation performance.
  • the correction unit 131D may exclude cell regions including pixels located at the same locations as pixels including outliers in the separation accuracy image in the image for obtaining the signal separation value indicating the signal separation performance.
  • the correction unit 131D may exclude cell regions including pixels located at the same locations as pixels including outliers in the separation accuracy image in the image for obtaining the signal separation value indicating the signal separation performance.
  • correction unit 131D may further include a presentation unit 131E that presents the user with the result of identification by the evaluation unit 131C. This makes it possible to present the identification result to the user, so that the user can grasp the identification result.
  • the presentation unit 131E may present a separation accuracy image including pixels including outliers. This allows the user to grasp the separation accuracy image including pixels containing outliers.
  • the presentation unit 131E may present a region including pixels including outliers. This allows the user to grasp the region containing pixels containing outliers.
  • the generation unit 131B may also calculate the difference value between the sample image and the separated image as the separation accuracy for each pixel. This makes it possible to easily obtain the separation accuracy for each pixel.
  • the difference value is given by A, where A is the matrix of pixel values of the sample image, S is the fluorescence component (for example, fluorescence spectrum) after separation, and C is the matrix of pixel values of the image after separation. It may be SC
  • the difference value is defined by the matrix of the pixel values of the specimen image as A, the fluorescence component after separation (for example, fluorescence spectrum) as S, the pixel value matrix of the image after separation as D, and the transposed matrix t A. If the pseudo-inverse matrix is t A ⁇ 1 ,
  • the generation unit 131B may normalize the separation accuracy for each pixel of the separation accuracy image. This makes it possible to standardize the separation accuracy images, so that the separation accuracy images can be compared between different samples.
  • the generation unit 131B may divide the separation accuracy for each pixel of the separation accuracy image by the pixel value for each pixel of the sample image before separation. This makes it possible to easily standardize the separation accuracy image.
  • the fluorescence separation unit 131A which is an example of the separation unit, performs color separation calculation including at least one of the least squares method, the weighted least squares method, and the non-negative matrix factorization, from the fluorescent component to the dyed fluorescent component and the autofluorescent component. At least one of the components may be separated. Thereby, the separation accuracy can be improved.
  • the fluorescence separation unit 131A may again separate at least one of the stained fluorescence component and the autofluorescence component from the fluorescence component using the spectrum of the pixel whose separation accuracy exceeds the outlier. Thereby, the separation accuracy can be further improved.
  • the panel is determined based on the antigen expression rate, antibody dye labeling rate, dye brightness, and excitation efficiency, the characteristics of autofluorescence differ depending on the tissue site, so it cannot be used spatially. 4. In the above two systems, the spectral shape of the measured autofluorescence, the level to be imparted, and the noise level of the measurement system are unknown and cannot be considered at the time of panel design. .
  • a dye tile image (fluorescence image) is generated by superimposing, in a tile shape, a dye spectrum to which noise characteristics corresponding to the imaging parameters are given on an unstained image obtained by imaging. And the non-stained image is synthesized to create an image simulating the actual measurement (simulated image).
  • the accuracy of color separation can be quantitatively obtained as a signal separation value from the mean and variance of pixels.
  • the pixel at the same position as the outlier pixel is excluded from the image such as the unstained image and the dye tile image, and the signal Find the separation value.
  • FIG. 26 is a diagram showing an example of a schematic configuration of the analysis unit 133 according to this embodiment.
  • FIG. 27 is a diagram for explaining generation of a simulated image according to this embodiment.
  • the analysis unit 133 includes a simulated image generation unit 131a, a fluorescence separation unit 131b, and an evaluation unit 131c.
  • the fluorescence separation section 131 b corresponds to the color separation section 1321 .
  • the simulated image generation unit 131a generates a simulated image by superimposing an unstained image (background image) containing an autofluorescent component and a pigment tile image (fluorescent image).
  • a dye tile image is a group of dye tiles having a plurality of dye tiles. This dye tile image is, for example, an image in which a standard spectrum (reference spectrum) of a fluorescent dye (first fluorescent dye) is associated with imaging noise for each pixel of an unstained image.
  • the intensity of the dye applied to the autofluorescence intensity of the unstained image is determined from the antigen expression rate, antibody labeling rate, dye excitation efficiency, dye emission efficiency, and the like.
  • the autofluorescence component is intrinsic noise inherent in tissue samples. Intrinsic noise includes, for example, the standard spectrum of another fluorescent dye (second fluorescent dye) in the unstained image, in addition to the autofluorescence component of the unstained image.
  • Imaging noise is, for example, noise that changes according to the imaging conditions of the non-stained image. The degree of this imaging noise will be quantified and visualized for each pixel. Imaging conditions for non-stained images include, for example, laser power, gain, exposure time, and the like.
  • Imaging noise includes, for example, “1. unwanted signal noise due to autofluorescence”, “2. .Shot noise (random) that increases in accordance with the square root of the detected charge amount.
  • the noise associated with, or imparted to, the dye tile image as a standard spectrum is mainly the shot noise of 3 above. This is because 1 and 2 above are included in the background unstained image (autofluorescence image). By superimposing the tiles and the background, it is possible to express all of the above 1 to 3 of the imaging noise to be simulated.
  • the amount of shot noise to be imparted in 3 above can be determined from the number of photons or the amount of charge of the dye signal imparted to the tile.
  • the charge amount of the background unstained image is calculated, the dye charge amount is determined from the calculated value, and the shot noise amount is further determined.
  • Shot noise also called photon noise, is caused by physical fluctuations of the amount of photons that reach the sensor without taking a constant value. This shot noise cannot be eliminated no matter how much the circuit of the measurement system is improved.
  • the pigment tile is composed of 10 ⁇ 10 pixels, which are pixels for display (about 0.3 ⁇ m/pixel). This is a case where an unstained image is taken at a magnification of 20 times, and when the magnification is changed, it is necessary to change the size of the dye tile according to the cell size.
  • the size of one pigment tile corresponds to the size of a cell
  • the number of pixels in the pigment tile image corresponds to the number of pixels in the cell size.
  • the smallest pixel unit is equal to the cell size.
  • a dye tile image includes a plurality of types of dye tiles with different dyes, that is, standard spectra for each of a plurality of fluorescent dyes. It is also possible to evaluate the color separation performance under double dyeing conditions or triple dyeing conditions by mixing a plurality of dyes in one dye tile instead of one dye in one dye tile.
  • the coloration pattern of the pigment tiles of nine colors is a pattern in which pigment tiles of the same color are arranged in diagonal stripes, but is not limited to this.
  • the coloration pattern of each pigment tile may be a pattern in which pigment tiles of the same color are arranged in a vertical stripe pattern, a horizontal stripe pattern, a checkered pattern, or the like. Any color pattern may be used.
  • the simulated image generation unit 131a acquires an unstained image such as an unstained tissue image and imaging parameters as input parameters.
  • Imaging parameters are an example of imaging conditions, and include, for example, laser power, gain, exposure time, and the like.
  • the simulated image generation unit 131a generates dye tiles by adding noise characteristics corresponding to imaging parameters to the dye spectrum, repeatedly arranges the dye tiles for the number of dyes that the user wants to dye, and sets dye tile images as data. Generate.
  • the fluorescence separating unit 131b separates the component of the first fluorescent dye and the autofluorescent component based on the simulated image generated by the simulated image generating unit 131a to generate a separated image.
  • the fluorescence separation unit 131b performs color separation calculation on the simulated image data set to generate separated images. Note that the fluorescence separation unit 131b is the color separation unit 1321 and performs the same processing as the color separation unit 1321 does.
  • Color separation methods include, for example, LSM and NMF.
  • the evaluation unit 131c evaluates the degree of separation of the separated images generated by the fluorescence separation unit 131b.
  • the evaluation unit 131c determines the degree of separation of the separated images (the quality of the panel) from the average and variance of the color separation calculation results. For example, the evaluation unit 131c generates a histogram from the separated image, calculates a signal separation value between pigment and non-pigment from the histogram, and evaluates the degree of separation based on the signal separation value.
  • the evaluation unit 131c expresses the color-separated positive and negative pixels in a histogram, and generates a graph showing the signal separation value, which is the numerical value of the calculation result of the color separation accuracy.
  • the display unit 140 displays the evaluation result of the evaluation unit 131c, for example, information or an image indicating the signal separation value for each dye.
  • the display unit 140 displays a graph, diagram, or the like showing the signal separation value for each dye generated by the evaluation unit 131c. Thereby, the user can grasp the evaluation result of the evaluation unit 131c.
  • FIG. 28 is a flowchart showing an example of the flow of simulated image generation processing according to this embodiment.
  • FIG. 29 is a diagram for explaining shot noise superimposition processing according to the present embodiment.
  • step S11 the user selects a combination of antibodies and dyes that the user wants to stain.
  • step S12 the simulated image generator 131a determines the spectral intensity of the dye to be applied from the autofluorescence intensity of the unstained image to be superimposed.
  • step S13 the simulated image generation unit 131a repeatedly arranges dye tiles while adding noise considering the noise level at the time of photographing measurement, i.e., imaging noise, to each pixel to create a fluorescence image, i.e., a dye tile image. do.
  • the simulated image generator 131a superimposes the created fluorescence image on the unstained image. This completes the simulated image.
  • the spectral intensity of the dye to be applied to the autofluorescence intensity of the non-stained image is determined.
  • the brightness of the dye spectrum given to the autofluorescence intensity of the non-stained image is determined by the flow of (a) to (c) below.
  • the simulated image generation unit 131a acquires the intensity of each dye spectrum at a peak position of 16 nm and integrates the values. 16 nm is two channels from the maximum value.
  • the simulated image generator 131a acquires the autofluorescence intensity of the background image.
  • the simulated image generator 131a integrates spectral intensities of background images corresponding to two channels of peak positions of each dye.
  • the spectral intensity of the wavelength channel of the background image is the average value of all pixels.
  • the simulated image generation unit 131a gives the autofluorescence intensity of the background image from the antigen expression rate, the antibody labeling rate, the dye excitation efficiency, the dye emission efficiency, and the like. Determine dye intensity.
  • the simulated image generator 131a obtains and adjusts the magnification of the dye spectrum from the spectrum intensities obtained in (a) and (b) above so as to obtain the set dye intensity. Note that the magnification is obtained from the following formula (1).
  • Formula (1) is a formula relating to how to determine the dye intensity for the autofluorescence.
  • noise superimposition corresponding to the imaging parameters is performed.
  • the noise characteristics of a CMOS which is a recording device, consist of dark current and readout noise that increase in proportion to the exposure time, and shot noise that is proportional to the square root of the signal intensity.
  • dark current noise and readout noise components are already included in the unstained image actually measured, so only the shot noise component needs to be added to the dye spectrum to be superimposed. Shot noise superimposition is performed in the following flow from (a) to (d).
  • Wavelength calibration data are, for example, conversion coefficients from camera output values to spectral radiance.
  • the simulated image generation unit 131a converts the AD value into the charge amount e ⁇ from the gain and the pixel saturation charge amount when the background image is captured.
  • Formula (2) is a charge amount conversion formula.
  • F( ⁇ ) standard spectrum of dye
  • Cor( ⁇ ) wavelength calibration data
  • H conversion coefficient
  • E( ⁇ ) charge amount
  • Equation (3) is a shot noise superposition equation.
  • FIG. 29 shows the flow of (a) to (d) above. Since the dye spectrum created in the flow of (a) to (d) above corresponds to one pixel of the image, it is repeatedly arranged as a dye tile of 10 ⁇ 10 pixels to create a fluorescence image, that is, a dye tile image. .
  • FIG. 30 is a flowchart showing an example of the flow of quantitative evaluation processing according to this embodiment.
  • FIG. 31 is a diagram showing an example of a separated image and a histogram according to this embodiment.
  • FIG. 32 is a diagram for explaining calculation of a signal separation value based on a histogram according to this embodiment.
  • step S21 the fluorescence separator 131b receives the simulated image.
  • step S22 the fluorescence separator 131b performs color separation calculation on the simulated image.
  • step S23 the evaluation unit 131c creates a histogram from the separated images.
  • step S24 the evaluation unit 131c calculates a signal separation value.
  • the fluorescence separation unit 131b performs color separation using a color separation algorithm to be evaluated, such as LSM or NMF, with the set of dye spectra and the set of autofluorescence spectra used as input values.
  • a color separation algorithm to be evaluated such as LSM or NMF
  • step S23 after the color separation calculation, the evaluation unit 131c generates a histogram from the separated image for each pigment, as shown in FIG.
  • the evaluation unit 131c regards the average brightness of 10 ⁇ 10 pixels corresponding to one cell and one tile as one signal, and calculates the average brightness of all tiles as shown in FIG.
  • Formula (4) is a formula for calculating the signal separation value.
  • ⁇ _0 average value of tiles other than dye to be evaluated
  • ⁇ _1 average value of tiles of dye to be evaluated
  • ⁇ _1 standard deviation of tiles of dye to be evaluated
  • ⁇ _2 standard deviation of tiles other than dye to be evaluated (Fig. 32 reference).
  • FIG. 33 to 35 are diagrams showing examples of separated images according to this embodiment.
  • FIG. 33 is a good example of a separated image
  • FIG. 34 is a bad example 1 of a separated image
  • FIG. 35 is a bad example 2 of a separated image.
  • self-fluorescence leakage occurs.
  • These images are displayed by the display unit 140 as needed. The presence or absence of this display may be selectable by the user's input operation on the operation unit 160 .
  • FIG. 33 there is no autofluorescence leakage in the separated images.
  • the partial enlarged view is shown in the example of FIG. 33, there is no autofluorescence leakage even in this partial enlarged view.
  • FIG. 34 there is autofluorescence leakage in the separated images.
  • a partially enlarged view of a portion with autofluorescence leakage is shown, and there is strong autofluorescence leakage.
  • FIG. 35 similar to FIG. 34, a partially enlarged view of a portion where autofluorescence leaks in is shown, but there is strong autofluorescence leak.
  • FIG. 36 is a bar graph showing signal separation values for each dye according to this embodiment.
  • FIG. 37 is a scatter diagram showing signal separation values for each dye according to this embodiment.
  • the display unit 140 displays a bar graph showing the signal separation value for each dye. Further, as shown in FIG. 37, the display unit 140 displays a scatter diagram showing the signal separation value for each dye. This scatter diagram is a scatter diagram showing leakage between dyes having similar excitations. These bar flags and scatter diagrams are generated by the evaluation unit 131 c and output to the display unit 140 .
  • the bar graph and the scatter diagram are images showing the evaluation result of the evaluation unit 131c, and are only examples. The presence or absence of this display and the display mode, for example, the display mode such as a bar graph or a scatter diagram, may be selectable by a user's input operation on the operation unit 160 .
  • the cell size is increased by the number of dyes to be stained.
  • a dyed image simulating the actual measurement that is, a simulated image is created. This makes it possible to reflect the characteristics of the spectrum shape and noise level of the measured autofluorescence, so that a simulated image can be created under all imaging conditions.
  • the simulated image generating unit 131a generates a dye tile image by superimposing, in a tile shape, a dye spectrum to which noise characteristics corresponding to the imaging parameters are given on an unstained image obtained by imaging, and generates a dye tile image and a non-stained image.
  • the dyed images are synthesized to create an image simulating actual measurement, that is, a simulated image.
  • it is possible to reproduce staining conditions where the dye brightness level is not large with respect to the autofluorescence, and to distinguish between the dye and the pixels with autofluorescence.
  • the accuracy of color separation can be quantitatively obtained as a signal separation value from the mean and variance of pixels.
  • the accuracy of the color separation algorithm is a numerical value called the signal separation value obtained from the variance and average.
  • evaluation of combinations of dyes and combinations of dyes and reagents can also be obtained quantitatively as numerical values.
  • quantitative evaluation can be performed on tissue sites having different autofluorescence spectra, that is, different tissues, and composite evaluation is also possible.
  • the accuracy of a color separation algorithm is visually evaluated qualitatively, but according to this embodiment, a quantitative evaluation can be performed to select the optimum color separation algorithm.
  • the accuracy of color separation can be quantitatively evaluated under any staining conditions.
  • composite evaluation since composite evaluation is possible, it is possible to design a more optimal panel. Furthermore, evaluation can be performed even when the influence of overlap of dyes and autofluorescence is large.
  • the autofluorescence characteristics differ depending on the tissue site, spatial composite evaluation can also be performed. The panel design can be simulated while considering the noise level of the measurement system.
  • DAPI 4,',6-Diamidino-2-phenylindole, dihydrochloride
  • the color separation algorithm can be evaluated and the panel can be designed, taking DAPI leakage into consideration.
  • an unstained image containing an autofluorescent component, the standard spectrum (reference spectrum) of the first fluorescent dye, and the imaging noise for each pixel of the unstained image are associated dyes
  • an evaluation unit 131c for evaluating the degree of separation of the separated images.
  • a simulated image is generated, color separation processing is performed on the simulated image to generate a separated image, and the degree of separation of the separated image is evaluated.
  • the dye tile image includes the standard spectrum of the second fluorescent dye in addition to the first fluorescent dye, and the individual standard spectra of the first and second fluorescent dyes and the imaging noise of each pixel of the unstained image are combined. It may be an associated image. Thereby, simulated images corresponding to a plurality of fluorescent dyes can be generated.
  • the imaging noise may be noise that changes according to the imaging conditions of the non-stained image. This makes it possible to generate a simulated image corresponding to the imaging conditions of the non-stained image.
  • the imaging conditions for the non-stained image may include at least one or all of laser power, gain, and exposure time. This makes it possible to generate a simulated image corresponding to those pieces of information.
  • the pigment tile image may be a pigment tile group having a plurality of pigment tiles. Thereby, a simulated image corresponding to each dye tile can be generated.
  • each of the multiple pigment tiles may be the same as the size of the cell. This allows a simulated image to be generated corresponding to each dye tile that is the same size as the cell.
  • a plurality of pigment tiles may be arranged in a predetermined color scheme pattern. As a result, it is possible to perform color separation processing on the simulated image corresponding to each dye tile based on the predetermined coloration pattern, so that the color separation processing can be performed efficiently.
  • the degree of imaging noise may be quantified or visualized for each dye tile. Accordingly, when the degree of imaging noise is quantified, a simulated image corresponding to the quantified degree of imaging noise can be generated. Also, if the degree of imaging noise is visualized, the user can grasp the degree of imaging noise.
  • the simulated image generation unit 131a may generate a dye tile image by repeatedly arranging pigment tiles for the number of pigments specified by the user. As a result, it is possible to generate a simulated image corresponding to the number of dye tiles specified by the user.
  • the simulated image generation unit 131a may mix a plurality of pigments to create pigment tiles. This makes it possible to evaluate the color separation performance (for example, color separation accuracy) under double dyeing conditions, triple dyeing conditions, and the like.
  • the simulated image generation unit 131a may also determine the spectral intensity of the dye to be applied to the autofluorescence intensity of the non-stained image. This makes it possible to reproduce staining conditions where the dye brightness level is not large relative to the autofluorescence intensity, and to distinguish between dyes and pixels with autofluorescence.
  • the simulated image generator 131a may superimpose imaging noise on the standard spectrum of the first fluorescent dye. This allows the dye tile image to be generated by associating the standard spectrum with the imaging noise.
  • the imaging noise to be superimposed may be shot noise.
  • a dye tile image corresponding to shot noise can be generated.
  • the fluorescence separation unit 131b performs color separation calculation including at least one of the least squares method, weighted least squares method, and non-negative matrix factorization to separate the components of the first fluorescent dye and the autofluorescence components. good. Accordingly, color separation processing can be performed with high accuracy.
  • the evaluation unit 131c may generate a histogram from the separated image, calculate the signal separation value between the pigment and the non-pigment from the histogram, and evaluate the degree of separation based on the signal separation value. This makes it possible to evaluate the degree of separation with high accuracy. For example, when the signal separation value exceeds a predetermined value (for example, 1.645), the degree of separation is evaluated as good.
  • a predetermined value for example, 1.645
  • FIG. 38 is a diagram showing an example of a schematic configuration of the analysis unit 133 according to this embodiment.
  • the analysis unit 133 includes a recommendation unit 131d in addition to the simulated image generation unit 131a, the fluorescence separation unit 131b, and the evaluation unit 131c described above.
  • the recommendation unit 131d recommends the optimum reagent (fluorescent reagent 10A) from among the dyes specified by the user, based on the degree of separation evaluated by the evaluation unit 131c. For example, the recommendation unit 131d generates and displays an image (e.g., a table, a diagram, etc.) for presenting the user with spatial information evaluation by tissues with different autofluorescence spectra and the optimal combination of dyes for the tissue.
  • the unit 140 displays the image generated by the recommendation unit 131d. This allows the user to view the displayed image and grasp the optimum combination of dyes.
  • the evaluation unit 131c calculates a signal separation value for a combination of dyes used for staining or a combination of a dye and a reagent.
  • the recommending unit 131d generates an image for presenting to the user which combination is optimal based on the calculation result (for example, the signal separation value for each combination).
  • the recommendation unit 131d excludes dyes whose signal separation value does not exceed 1.645, and generates an image showing the optimum combination.
  • an image eg, table, diagram, etc.
  • a plurality of recommended combinations together with color separation performance eg, signal separation value
  • an image (eg, a table, etc.) showing matrix information showing combinations of antibodies and dyes may be displayed for reference.
  • a recommendation unit 131d that recommends the optimum reagent (fluorescent reagent 10A) corresponding to the dye designated by the user based on the degree of separation. As a result, the user can grasp the optimum reagent, so that the user's convenience can be improved.
  • the recommendation unit 131d may generate an image (for example, a table, a diagram, etc.) showing a combination of dyes or a combination of dyes and reagents.
  • an image for example, a table, a diagram, etc.
  • the user can grasp the combination of dyes or the combination of dyes and reagents, thereby improving convenience for the user.
  • the recommendation unit 131d may generate an image (for example, a diagram) showing the combination of the antibody and the dye. As a result, the user can grasp the combination of the antibody and the dye, so that the user's convenience can be improved.
  • each component of each device illustrated is functionally conceptual and does not necessarily need to be physically configured as illustrated.
  • the specific form of distribution and integration of each device is not limited to the one shown in the figure, and all or part of them can be functionally or physically distributed and integrated in arbitrary units according to various loads and usage conditions. Can be integrated and configured.
  • the technology according to the present disclosure can be applied to, for example, a microscope system.
  • a configuration example of a microscope system 5000 that can be applied will be described below with reference to FIGS. 39 to 41.
  • FIG. A microscope device 5100 that is part of the microscope system 5000 functions as an imaging device.
  • a configuration example of the microscope system of the present disclosure is shown in FIG.
  • a microscope system 5000 shown in FIG. 39 includes a microscope device 5100 , a control section 5110 and an information processing section 5120 .
  • a microscope device 5100 includes a light irradiation section 5101 , an optical section 5102 , and a signal acquisition section 5103 .
  • the microscope device 5100 may further include a sample placement section 5104 on which the biological sample S is placed.
  • the configuration of the microscope apparatus is not limited to that shown in FIG. 39.
  • the light irradiation unit 5101 may exist outside the microscope apparatus 5100. It may be used as the unit 5101 .
  • the light irradiation section 5101 may be arranged such that the sample mounting section 5104 is sandwiched between the light irradiation section 5101 and the optical section 5102, and may be arranged on the side where the optical section 5102 exists, for example.
  • the microscope apparatus 5100 may be configured to be able to perform one or more of bright field observation, phase contrast observation, differential interference contrast observation, polarization observation, fluorescence observation, and dark field observation.
  • the microscope system 5000 may be configured as a so-called WSI (Whole Slide Imaging) system or a digital pathology imaging system, and can be used for pathological diagnosis.
  • Microscope system 5000 may also be configured as a fluorescence imaging system, in particular a multiplex fluorescence imaging system.
  • the microscope system 5000 may be used to perform intraoperative pathological diagnosis or remote pathological diagnosis.
  • the microscope device 5100 acquires data of the biological sample S obtained from the subject of the surgery, and transfers the data to the information processing unit 5120. can send.
  • the microscope device 5100 can transmit the acquired data of the biological sample S to the information processing unit 5120 located in a place (another room, building, or the like) away from the microscope device 5100 .
  • the information processing section 5120 receives and outputs the data.
  • a user of the information processing unit 5120 can make a pathological diagnosis based on the output data.
  • the biological sample S may be a sample containing a biological component.
  • the biological components may be tissues, cells, liquid components of a living body (blood, urine, etc.), cultures, or living cells (cardiomyocytes, nerve cells, fertilized eggs, etc.).
  • the biological sample may be a solid, a specimen fixed with a fixative such as paraffin, or a solid formed by freezing.
  • the biological sample can be a section of the solid.
  • a specific example of the biological sample is a section of a biopsy sample.
  • the biological sample may be one that has undergone processing such as staining or labeling.
  • the treatment may be staining for indicating the morphology of biological components or for indicating substances (surface antigens, etc.) possessed by biological components, examples of which include HE (Hematoxylin-Eosin) staining and immunohistochemistry staining. be able to.
  • the biological sample may be treated with one or more reagents, and the reagents may be fluorescent dyes, chromogenic reagents, fluorescent proteins, or fluorescently labeled antibodies.
  • the specimen may be one prepared from a tissue sample for the purpose of pathological diagnosis or clinical examination. Moreover, the specimen is not limited to the human body, and may be derived from animals, plants, or other materials.
  • the specimen may be the type of tissue used (such as an organ or cell), the type of target disease, the subject's attributes (such as age, sex, blood type, or race), or the subject's lifestyle. The properties differ depending on habits (for example, eating habits, exercise habits, smoking habits, etc.).
  • the specimens may be managed with identification information (bar code, QR code (registered trademark), etc.) that allows each specimen to be identified.
  • the light irradiation unit 5101 is a light source for illuminating the biological sample S and an optical unit for guiding the light irradiated from the light source to the specimen.
  • the light source may irradiate the biological sample with visible light, ultraviolet light, or infrared light, or a combination thereof.
  • the light source may be one or more of a halogen light source, a laser light source, an LED light source, a mercury light source, and a xenon light source.
  • a plurality of types and/or wavelengths of light sources may be used in fluorescence observation, and may be appropriately selected by those skilled in the art.
  • the light irradiator may have a transmissive, reflective, or episcopic (coaxial or lateral) configuration.
  • the optical section 5102 is configured to guide the light from the biological sample S to the signal acquisition section 5103 .
  • the optical section can be configured to allow the microscope device 5100 to observe or image the biological sample S.
  • Optical section 5102 may include an objective lens.
  • the type of objective lens may be appropriately selected by those skilled in the art according to the observation method.
  • the optical section may include a relay lens for relaying the image magnified by the objective lens to the signal acquisition section.
  • the optical unit may further include optical components other than the objective lens and the relay lens, an eyepiece lens, a phase plate, a condenser lens, and the like.
  • the optical section 5102 may further include a wavelength separation section configured to separate light having a predetermined wavelength from the light from the biological sample S.
  • the wavelength separation section can be configured to selectively allow light of a predetermined wavelength or wavelength range to reach the signal acquisition section.
  • the wavelength separator may include, for example, one or more of a filter that selectively transmits light, a polarizing plate, a prism (Wollaston prism), and a diffraction grating.
  • the optical components included in the wavelength separation section may be arranged, for example, on the optical path from the objective lens to the signal acquisition section.
  • the wavelength separation unit is provided in the microscope apparatus when fluorescence observation is performed, particularly when an excitation light irradiation unit is included.
  • the wavelength separator may be configured to separate fluorescent light from each other or white light and fluorescent light.
  • the signal acquisition unit 5103 can be configured to receive light from the biological sample S and convert the light into an electrical signal, particularly a digital electrical signal.
  • the signal acquisition unit may be configured to acquire data on the biological sample S based on the electrical signal.
  • the signal acquisition unit may be configured to acquire data of an image (image, particularly a still image, a time-lapse image, or a moving image) of the biological sample S, particularly an image magnified by the optical unit. It can be configured to acquire data.
  • the signal acquisition unit includes one or more imaging elements, such as CMOS or CCD, having a plurality of pixels arranged one-dimensionally or two-dimensionally.
  • the signal acquisition unit may include an image sensor for acquiring a low-resolution image and an image sensor for acquiring a high-resolution image, or an image sensor for sensing such as AF and an image sensor for image output for observation. and may include
  • the image pickup device includes a signal processing unit (including one or more of CPU, DSP, and memory) that performs signal processing using pixel signals from each pixel, and pixel signals and an output control unit for controlling the output of the image data generated from and the processed data generated by the signal processing unit.
  • An imaging device including the plurality of pixels, the signal processing section, and the output control section may preferably be configured as a one-chip semiconductor device.
  • the microscope system 5000 may further include an event detection sensor.
  • the event detection sensor includes a pixel that photoelectrically converts incident light, and can be configured to detect, as an event, a change in luminance of the pixel exceeding a predetermined threshold.
  • the event detection sensor can in particular be asynchronous.
  • the control unit 5110 controls imaging by the microscope device 5100 .
  • the control unit can drive the movement of the optical unit 5102 and/or the sample placement unit 5104 to adjust the positional relationship between the optical unit and the sample placement unit.
  • the control unit 5110 can move the optical unit and/or the sample placement unit in a direction toward or away from each other (for example, the optical axis direction of the objective lens). Further, the control section may move the optical section and/or the sample placement section in any direction on a plane perpendicular to the optical axis direction.
  • the control unit may control the light irradiation unit 5101 and/or the signal acquisition unit 5103 for imaging control.
  • the sample mounting section 5104 may be configured such that the position of the biological sample on the sample mounting section can be fixed, and may be a so-called stage.
  • the sample mounting section 5104 can be configured to move the position of the biological sample in the optical axis direction of the objective lens and/or in a direction perpendicular to the optical axis direction.
  • the information processing section 5120 can acquire data (such as imaging data) acquired by the microscope device 5100 from the microscope device 5100 .
  • the information processing section can perform image processing on the imaging data.
  • the image processing may include an unmixing process, in particular a spectral unmixing process.
  • the unmixing process is a process of extracting data of light components of a predetermined wavelength or wavelength range from the imaging data to generate image data, or removing data of light components of a predetermined wavelength or wavelength range from the imaging data. It can include processing and the like.
  • the image processing may include autofluorescence separation processing for separating the autofluorescence component and dye component of the tissue section, and fluorescence separation processing for separating the wavelengths between dyes having different fluorescence wavelengths.
  • autofluorescence signals extracted from one may be used to remove autofluorescence components from image information of the other specimen.
  • the information processing section 5120 may transmit data for imaging control to the control section 5110, and the control section 5110 receiving the data may control imaging by the microscope apparatus 5100 according to the data.
  • the information processing section 5120 may be configured as an information processing device such as a general-purpose computer, and may include a CPU, RAM, and ROM.
  • the information processing section may be included in the housing of the microscope device 5100 or may be outside the housing. Also, various processes or functions by the information processing unit may be realized by a server computer or cloud connected via a network.
  • a method of imaging the biological sample S by the microscope device 5100 may be appropriately selected by a person skilled in the art according to the type of the biological sample and the purpose of imaging. An example of the imaging method will be described below.
  • the microscope device can first identify an imaging target region.
  • the imaging target region may be specified so as to cover the entire region where the biological sample exists, or a target portion (target tissue section, target cell, or target lesion portion) of the biological sample. ) may be specified to cover
  • the microscope device divides the imaging target region into a plurality of divided regions of a predetermined size, and the microscope device sequentially images each divided region. As a result, an image of each divided area is obtained.
  • the microscope device identifies an imaging target region R that covers the entire biological sample S. Then, the microscope device divides the imaging target region R into 16 divided regions. The microscope device can then image the segmented region R1, and then image any region included in the imaging target region R, such as a region adjacent to the segmented region R1. Then, image capturing of the divided areas is performed until there are no unimaged divided areas. Areas other than the imaging target area R may also be imaged based on the captured image information of the divided areas. After imaging a certain divided area, the positional relationship between the microscope device and the sample mounting section is adjusted in order to image the next divided area. The adjustment may be performed by moving the microscope device, moving the sample placement unit, or moving both of them.
  • the image capturing device that captures each divided area may be a two-dimensional image sensor (area sensor) or a one-dimensional image sensor (line sensor).
  • the signal acquisition section may capture an image of each divided area via the optical section.
  • the imaging of each divided area may be performed continuously while moving the microscope device and/or the sample mounting section, or the movement of the microscope apparatus and/or the sample mounting section may be performed when imaging each divided area. may be stopped.
  • the imaging target area may be divided so that the divided areas partially overlap each other, or the imaging target area may be divided so that the divided areas do not overlap.
  • Each divided area may be imaged multiple times by changing imaging conditions such as focal length and/or exposure time.
  • the information processing apparatus can stitch a plurality of adjacent divided areas to generate image data of a wider area. By performing the stitching process over the entire imaging target area, it is possible to obtain an image of a wider area of the imaging target area. Also, image data with lower resolution can be generated from the image of the divided area or the image subjected to the stitching process.
  • the microscope device can first identify the imaging target area.
  • the imaging target region may be specified so as to cover the entire region where the biological sample exists, or the target portion (target tissue section or target cell-containing portion) of the biological sample. may be specified.
  • the microscope device scans a part of the imaging target area (also referred to as a "divided scan area") in one direction (also referred to as a "scanning direction”) in a plane perpendicular to the optical axis to capture an image. do.
  • the scanning of the divided scan area is completed, the next divided scan area next to the scan area is scanned. These scanning operations are repeated until the entire imaging target area is imaged. As shown in FIG.
  • the microscope device identifies a region (gray portion) in which a tissue section exists in the biological sample S as an imaging target region Sa. Then, the microscope device scans the divided scan area Rs in the imaging target area Sa in the Y-axis direction. After completing the scanning of the divided scan region Rs, the microscope device scans the next divided scan region in the X-axis direction. This operation is repeated until scanning is completed for the entire imaging target area Sa.
  • the positional relationship between the microscope device and the sample placement section is adjusted for scanning each divided scan area and for imaging the next divided scan area after imaging a certain divided scan area. The adjustment may be performed by moving the microscope device, moving the sample placement unit, or moving both of them.
  • the imaging device that captures each divided scan area may be a one-dimensional imaging device (line sensor) or a two-dimensional imaging device (area sensor).
  • the signal acquisition section may capture an image of each divided area via an enlarging optical system.
  • the imaging of each divided scan area may be performed continuously while moving the microscope device and/or the sample placement unit.
  • the imaging target area may be divided so that the divided scan areas partially overlap each other, or the imaging target area may be divided so that the divided scan areas do not overlap.
  • Each divided scan area may be imaged multiple times by changing imaging conditions such as focal length and/or exposure time.
  • the information processing apparatus can stitch a plurality of adjacent divided scan areas to generate image data of a wider area. By performing the stitching process over the entire imaging target area, it is possible to obtain an image of a wider area of the imaging target area.
  • image data with lower resolution can be generated from images of divided scan regions or images subjected to stitching processing.
  • FIG. 42 is a block diagram showing an example of a schematic hardware configuration of the information processing apparatus 100. As shown in FIG. Various types of processing by the information processing apparatus 100 are realized by, for example, cooperation between software and hardware described below.
  • the information processing apparatus 100 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, and a host bus 904a.
  • the information processing apparatus 100 also includes a bridge 904 , an external bus 904 b , an interface 905 , an input device 906 , an output device 907 , a storage device 908 , a drive 909 , a connection port 911 , a communication device 913 and a sensor 915 .
  • the information processing apparatus 100 may have a processing circuit such as a DSP or ASIC in place of or together with the CPU 901 .
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls general operations within the information processing device 100 according to various programs.
  • the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs, calculation parameters, and the like used by the CPU 901 .
  • the RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901 can embody at least the processing unit 130 and the control unit 150 of the information processing apparatus 100, for example.
  • the CPU 901, ROM 902 and RAM 903 are interconnected by a host bus 904a including a CPU bus.
  • the host bus 904a is connected via a bridge 904 to an external bus 904b such as a PCI (Peripheral Component Interconnect/Interface) bus.
  • PCI Peripheral Component Interconnect/Interface
  • the host bus 904a, the bridge 904 and the external bus 904b do not necessarily have to be configured separately, and these functions may be implemented in one bus.
  • the input device 906 is implemented by a device such as a mouse, keyboard, touch panel, button, microphone, switch, lever, etc., through which information is input by the practitioner. Further, the input device 906 may be, for example, a remote control device using infrared rays or other radio waves, or may be an externally connected device such as a mobile phone or PDA corresponding to the operation of the information processing device 100. . Furthermore, the input device 906 may include, for example, an input control circuit that generates an input signal based on information input by the practitioner using the above input means and outputs the signal to the CPU 901 . By operating the input device 906, the practitioner can input various data to the information processing apparatus 100 and instruct processing operations. The input device 906 can embody at least the operation unit 160 of the information processing device 100, for example.
  • the output device 907 is formed by a device capable of visually or audibly notifying the practitioner of the acquired information.
  • Such devices include display devices such as CRT display devices, liquid crystal display devices, plasma display devices, EL display devices and lamps, audio output devices such as speakers and headphones, and printer devices.
  • the output device 907 can embody at least the display unit 140 of the information processing device 100, for example.
  • the storage device 908 is a device for storing data.
  • the storage device 908 is implemented by, for example, a magnetic storage device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 908 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 908 stores programs executed by the CPU 901, various data, and various data acquired from the outside.
  • the storage device 908 can embody at least the storage unit 120 of the information processing device 100, for example.
  • the drive 909 is a reader/writer for storage media, and is built in or externally attached to the information processing apparatus 100 .
  • the drive 909 reads out information recorded on a removable storage medium such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 903 .
  • Drive 909 can also write information to a removable storage medium.
  • connection port 911 is an interface connected to an external device, and is a connection port with an external device capable of data transmission by, for example, USB (Universal Serial Bus).
  • USB Universal Serial Bus
  • the communication device 913 is, for example, a communication interface formed by a communication device or the like for connecting to the network 920 .
  • the communication device 913 is, for example, a communication card for wired or wireless LAN (Local Area Network), LTE (Long Term Evolution), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 913 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various types of communication, or the like.
  • This communication device 913 can transmit and receive signals and the like to and from the Internet and other communication devices, for example, according to a predetermined protocol such as TCP/IP.
  • the sensor 915 in this embodiment includes a sensor capable of acquiring a spectrum (e.g., an imaging device, etc.), other sensors (e.g., acceleration sensor, gyro sensor, geomagnetic sensor, pressure sensor, sound sensor, or range sensor, etc.).
  • the sensor 915 may embody at least the image acquisition unit 112 of the information processing device 100, for example.
  • the network 920 is a wired or wireless transmission path for information transmitted from devices connected to the network 920 .
  • the network 920 may include a public network such as the Internet, a telephone network, a satellite communication network, various LANs (Local Area Networks) including Ethernet (registered trademark), WANs (Wide Area Networks), and the like.
  • Network 920 may also include a dedicated line network such as IP-VPN (Internet Protocol-Virtual Private Network).
  • a hardware configuration example capable of realizing the functions of the information processing apparatus 100 has been shown above.
  • Each component described above may be implemented using general-purpose members, or may be implemented by hardware specialized for the function of each component. Therefore, it is possible to appropriately change the hardware configuration to be used according to the technical level at which the present disclosure is implemented.
  • a computer-readable recording medium storing such a computer program can also be provided. Recording media include, for example, magnetic disks, optical disks, magneto-optical disks, flash memories, and the like. Also, the above computer program may be distributed, for example, via a network without using a recording medium.
  • the present technology can also take the following configuration.
  • a separating unit that separates at least one of the stained fluorescent component and the autofluorescent component from the fluorescent component obtained from the fluorescently stained specimen image; A separation accuracy is calculated for each pixel from a difference between the specimen image and an image after separation in which at least one of the dyeing fluorescence component and the autofluorescence component is separated from the fluorescence component, and the separation accuracy is calculated for each pixel.
  • a generation unit that generates a separation accuracy image showing an evaluation unit that identifies pixels including outliers in the separation accuracy from the separation accuracy image; Information processing device.
  • the correction unit masks the separated image containing the stained fluorescence component or the autofluorescence component based on the pixels containing the outliers.
  • the correction unit sets the value of a pixel located in the same place as the pixel containing the outlier in the separation accuracy image to 0, sets the value of other pixels to 1, and generates a mask image.
  • the correction unit generates a mask image by setting the values of pixels in a predetermined region including the pixels located at the same locations as the pixels containing the outliers in the separation accuracy image to 0 and setting the values of other pixels to 1. do, The information processing apparatus according to (3) above.
  • the correction unit excludes pixels located at the same location as the pixels containing the outlier in the separation accuracy image in subsequent processing.
  • the correction unit changes the value of a pixel located at the same place as the pixel containing the outlier in the separation accuracy image to 0 in the image for obtaining the signal separation value indicating the signal separation performance.
  • the correction unit excludes cell regions containing pixels located at the same locations as pixels containing the outlier in the separation accuracy image in an image for obtaining a signal separation value indicating signal separation performance.
  • the information processing apparatus according to any one of (1) to (8) above.
  • the presentation unit presents the separation accuracy image including pixels containing the outliers.
  • the information processing device according to (9) above.
  • the presenting unit presents a region containing pixels containing the outliers.
  • the information processing apparatus according to (9) or (10) above.
  • the generation unit calculates a difference value between the sample image and the separated image as the separation accuracy for each pixel.
  • the difference value is
  • A is the matrix of pixel values of the specimen image, S is the fluorescence component after separation, D is the matrix of pixel values of the image after separation, and a pseudo-inverse matrix of the transposed matrix tA is t A ⁇ 1 ,
  • the generation unit normalizes the separation accuracy for each pixel of the separation accuracy image.
  • the information processing apparatus according to any one of (1) to (14) above.
  • the generation unit divides the separation accuracy for each pixel of the separation accuracy image by a pixel value for each pixel of the sample image before separation.
  • the information processing device according to (15) above.
  • the separating unit separates at least one of the dyeing fluorescent component and the autofluorescent component from the fluorescent component by color separation calculation including at least one of a least-squares method, a weighted least-squares method, and a non-negative matrix factorization.
  • the information processing apparatus according to any one of (1) to (16) above.
  • the separating unit uses the spectrum of the pixel whose separation accuracy exceeds the outlier, and separates at least one of the dyeing fluorescent component and the autofluorescent component from the fluorescent component again.
  • the information processing apparatus according to any one of (1) to (17) above.
  • an imaging device that acquires a sample image of fluorescent staining; an information processing device that processes the sample image; with The information processing device is a separation unit that separates at least one of a dyeing fluorescence component and an autofluorescence component from the fluorescence component obtained from the specimen image; A separation accuracy is calculated for each pixel from a difference between the specimen image and an image after separation in which at least one of the dyeing fluorescence component and the autofluorescence component is separated from the fluorescence component, and the separation accuracy is calculated for each pixel.
  • a generation unit that generates a separation accuracy image showing an evaluation unit that identifies pixels including outliers in the separation accuracy from the separation accuracy image;
  • a biological sample observation system is used to generate a separation accuracy image showing an evaluation unit that identifies pixels including outliers in the separation accuracy from the separation accuracy image.
  • a separation accuracy is calculated for each pixel from a difference between a fluorescently stained specimen image and an image after separation in which at least one of a stained fluorescent component and an autofluorescent component is separated from a fluorescent component obtained from the specimen image, and the separation accuracy is calculated. generating a separation accuracy image showing for each of said pixels.
  • a biological sample observation system comprising the information processing device according to any one of (1) to (18) above.
  • observation unit 2 processing unit 3 display unit 10 excitation unit 10A fluorescent reagent 11A reagent identification information 20 stage 20A specimen 21 storage unit 21A specimen identification information 22 data calibration unit 23 image forming unit 30 spectroscopic imaging unit 30A fluorescence-stained specimen 40 observation optical system 50 scanning mechanism 60 focusing mechanism 70 non-fluorescent observation unit 80 control unit 100 information processing device 110 acquisition unit 111 information acquisition unit 112 image acquisition unit 120 storage unit 121 information storage unit 122 image information storage unit 123 analysis result storage unit 130 processing unit 131 Analysis unit 131A Fluorescence separation unit 131B Generation unit 131C Evaluation unit 131D Correction unit 131E Presentation unit 132 Image generation unit 140 Display unit 150 Control unit 160 Operation unit 200 Database 500 Fluorescence observation device 1311 Connection unit 1321 Color separation unit 1321a First color separation unit 1321b second color separation unit 1322 spectrum extraction unit 5000 microscope system 5100 microscope device 5101 light irradiation unit 5102 optical unit 5103 signal acquisition unit 5104 sample placement unit 5110 control unit 5120 information processing unit

Abstract

本開示に係る一形態の情報処理装置は、蛍光染色の標本画像から得られる蛍光成分から染色蛍光成分及び自家蛍光成分のうち少なくとも一方を分離する分離部の一例である蛍光分離部（１３１Ａ）と、前記標本画像と、前記蛍光成分から前記染色蛍光成分及び前記自家蛍光成分のうち少なくとも一方を分離した分離後の画像との差分から画素毎に分離精度を算出し、前記分離精度を前記画素毎に示す分離精度画像を生成する生成部（１３１Ｂ）と、前記分離精度画像から、前記分離精度の外れ値を含む画素を特定する評価部（１３１Ｃ）と、を備える。

Description

情報処理装置、生体試料観察システム及び画像生成方法
　本開示は、情報処理装置、生体試料観察システム及び画像生成方法に関する。
　生体蛍光イメージングでは、染色蛍光と生体組織由来の意図しない自家蛍光を分離する色分離技術が必要である。例えば、マルチプレックス蛍光イメージング技術では、自家蛍光をスペクトル分離して目的の染色蛍光を抽出するため、特許文献１のように、最小二乗法や非負値行列因子分解等の手法を用いた色分離技術が開発されている。
国際公開第２０２０／１７９５８６号
　しかしながら、現状の色分離技術では、蛍光輝度の大きい自家蛍光成分を除去しきれない場合がある。例えば、蛍光輝度の大きい赤血球成分が除去しきれておらず、分離画像への漏れ込みが確認されている。このような蛍光輝度の大きい自家蛍光成分が原因となり、分離画像精度及び分離精度が低下してしまう。
　そこで、本開示では、分離画像精度及び分離精度を向上させることが可能な情報処理装置、生体試料観察システム及び画像生成方法を提案する。
　本開示の実施形態に係る情報処理装置は、蛍光染色の標本画像から得られる蛍光成分から染色蛍光成分及び自家蛍光成分のうち少なくとも一方を分離する分離部と、前記標本画像と、前記蛍光成分から前記染色蛍光成分及び前記自家蛍光成分のうち少なくとも一方を分離した分離後の画像との差分から画素毎に分離精度を算出し、前記分離精度を前記画素毎に示す分離精度画像を生成する生成部と、前記分離精度画像から、前記分離精度の外れ値を含む画素を特定する評価部と、を備える。
　本開示の実施形態に係る生体試料観察システムは、蛍光染色の標本画像を取得する撮像装置と、前記標本画像を処理する情報処理装置と、を備え、前記情報処理装置は、前記標本画像から得られる蛍光成分から染色蛍光成分及び自家蛍光成分のうち少なくとも一方を分離する分離部と、前記標本画像と、前記蛍光成分から前記染色蛍光成分及び前記自家蛍光成分のうち少なくとも一方を分離した分離後の画像との差分から画素毎に分離精度を算出し、前記分離精度を前記画素毎に示す分離精度画像を生成する生成部と、前記分離精度画像から、前記分離精度の外れ値を含む画素を特定する評価部と、を有する。
　本開示の実施形態に係る画像生成方法は、蛍光染色の標本画像と、前記標本画像から得られる蛍光成分から染色蛍光成分及び自家蛍光成分のうち少なくとも一方を分離した分離後の画像との差分から画素毎に分離精度を算出し、前記分離精度を前記画素毎に示す分離精度画像を生成することを含む。
本開示の実施形態に係る情報処理システムの概略構成の一例を示す図である。 本開示の実施形態に係る情報処理装置の基本的な処理の流れの一例を示すフローチャートである。 本開示の実施形態に係る解析部の概略構成の一例を示す図である。 本開示の実施形態に係る連結蛍光スペクトルの生成方法の一例を説明するための図である。 本開示の実施形態に係るノルム処理に関する解析部の概略構成の一例を示す図である。 本開示の実施形態に係るノルム処理の一例の流れを示すフローチャートである。 本開示の実施形態に係る色分離計算及びノルム画像生成の第１処理例の流れを示すフローチャートである。 本開示の実施形態に係る色分離計算及びノルム画像生成の第２処理例における非染色サンプルの連結蛍光スペクトルを用いる解析部の概略構成の一例を示す図である。 本開示の実施形態に係る色分離計算及びノルム画像生成の第２処理例の流れを示すフローチャートである。 本開示の実施形態に係る色分離計算及びノルム画像生成の第３処理例の流れを示すフローチャートである。 図１０中のステップの処理を説明するための図である。 図１０中のステップの処理を説明するための図である。 本開示の実施形態に係る色分離計算及びノルム画像生成の第４処理例の流れを示すフローチャートである。 本開示の実施形態に係るノルム画像と分離画像との比較例を説明するための図である。 本開示の実施形態に係る補正部の処理の一例を説明するための図である。 本開示の実施形態に係る提示画像の一例を説明するための図である。 本開示の実施形態に係るＵＩ画像の一例を説明するための図である。 本開示の実施形態に係るＵＩ画像の一例を説明するための図である。 本開示の実施形態に係る提示処理の一例の流れを示すフローチャートである。 本開示の実施形態に係るノルム値が外れ値を超えて高かった画素のスペクトル（赤血球スペクトル）を説明するための図である。 本開示の実施形態に係る色分離処理の一例の流れを示すフローチャートである。 本開示の実施形態に係る蛍光観察装置の概略構成の一例を示す図である。 本開示の実施形態に係る観察ユニットの概略構成の一例を示す図である。 本開示の実施形態に係るサンプルの一例を示す図である。 本開示の実施形態に係るサンプルにライン照明が照射される領域を拡大して示す図である。 本開示の実施形態に係る解析部の概略構成の一例を示す図である。 本開示の実施形態に係る模擬画像の生成を説明するための図である。 本開示の実施形態に係る模擬画像生成処理の流れの一例を示すフローチャートである。 本開示の実施形態に係るショットノイズ重畳処理を説明するための図である。 本開示の実施形態に係る定量評価処理の流れの一例を示すフローチャートである。 本開示の実施形態に係る分離画像及びヒストグラムの一例を示す図である。 本開示の実施形態に係るヒストグラムに基づく信号分離値の算出を説明するための図である。 本開示の実施形態に係る分離画像の一例を示す図である。 本開示の実施形態に係る分離画像の一例を示す図である。 本開示の実施形態に係る分離画像の一例を示す図である。 本開示の実施形態に係る色素ごとの信号分離値を示す棒グラフである。 本開示の実施形態に係る色素ごとの信号分離値を示す散布図である。 本開示の実施形態に係る解析部の概略構成の一例を示す図である。 顕微鏡システムの全体構成を概略的に示す図である。 撮像方式の例を示す図である。 撮像方式の例を示す図である。 情報処理装置のハードウェアの概略構成の一例を示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、この実施形態により本開示に係る装置、システム及び方法等が限定されるものではない。また、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、基本的に同一の符号を付することにより重複説明を省略する。
　以下に説明される１又は複数の実施形態は、各々が独立に実施されることが可能である。一方で、以下に説明される複数の実施形態は少なくとも一部が他の実施形態の少なくとも一部と適宜組み合わせて実施されてもよい。これら複数の実施形態は、互いに異なる新規な特徴を含み得る。したがって、これら複数の実施形態は、互いに異なる目的又は課題を解決することに寄与し得、互いに異なる効果を奏し得る。
　以下に示す項目順序に従って本開示を説明する。
　１．実施形態
　１－１．情報処理システムの構成例
　１－２．情報処理装置の基本的な処理例
　１－３．蛍光分離の処理例
　１－４．ノルム処理に関する解析部の構成例
　１－５．ノルム処理の一例
　１－６．色分離計算及びノルム画像生成の処理例
　１－６－１．第１処理例
　１－６－２．第２処理例
　１－６－３．第３処理例
　１－６－４．第４処理例
　１－７．ノルム画像と分離画像との比較例
　１－８．補正部の処理例
　１－９．提示部の処理例
　１－１０．色分離処理の一例
　１－１１．適用例
　１－１２．作用・効果
　２．定量評価の一例
　２－１．定量評価の概要
　２－２．定量評価に係る解析部の構成例
　２－３．模擬画像作成の処理例
　２－４．定量評価の処理例
　２－５．分離画像の画像例
　２－６．評価結果画像の画像例
　２－７．作用・効果
　３．定量評価の変形例
　３－１．定量評価に係る解析部の構成例
　３－２．作用・効果
　４．他の実施形態
　５．応用例
　６．ハードウェアの構成例
　７．付記
　＜１．実施形態＞
　＜１－１．情報処理システムの構成例＞
　本実施形態に係る情報処理システムの構成例について図１を参照して説明する。図１は、本実施形態に係る情報処理システムの概略構成の一例を示す図である。情報処理システムは、生体試料観察システムの一例である。
　図１に示すように、本実施形態に係る情報処理システムは、情報処理装置１００と、データベース２００とを備える。この情報処理システムへの入力として、蛍光試薬１０Ａと、標本２０Ａと、蛍光染色標本３０Ａとが存在する。
　（蛍光試薬１０Ａ）
　蛍光試薬１０Ａは、標本２０Ａの染色に使用される薬品である。蛍光試薬１０Ａは、例えば、蛍光抗体、蛍光プローブ、または核染色試薬などであるが、蛍光試薬１０Ａの種類はこれらに特に限定されない。蛍光抗体には、例えば、直接標識に使用される一次抗体、または間接標識に使用される二次抗体が含まれる。また、蛍光試薬１０Ａは、蛍光試薬１０Ａおよび蛍光試薬１０Ａの製造ロットを識別可能な識別情報を付されて管理される。以降、その識別情報を「試薬識別情報１１Ａ」と呼称する。試薬識別情報１１Ａは、例えば、一次元バーコード情報や二次元バーコード情報などのバーコード情報などであるが、これに限定されない。蛍光試薬１０Ａは、同種類の製品であっても、製造方法や抗体が取得された細胞の状態などに応じて製造ロット毎にその性質が異なる。例えば、蛍光試薬１０Ａにおいて、製造ロット毎にスペクトル情報、量子収率、または蛍光標識率などが異なる。蛍光標識率は、「F/P値：Fluorescein/Protein」とも呼称され、抗体を標識する蛍光分子数を指す。そこで、本実施形態に係る情報処理システムにおいて、蛍光試薬１０Ａは、試薬識別情報１１Ａを付されることによって製造ロット毎に管理される。換言すると、各蛍光試薬１０Ａの試薬情報は製造ロット毎に管理される。これによって、情報処理装置１００は、製造ロット毎に現れる僅かな性質の違いも考慮した上で蛍光シグナルと自家蛍光シグナルとを分離することができる。なお、蛍光試薬１０Ａが製造ロット単位で管理されることはあくまで一例であり、蛍光試薬１０Ａは製造ロットよりも細かい単位で管理されてもよい。
　（標本２０Ａ）
　標本２０Ａは、人体から採取された検体または組織サンプルから病理診断または臨床検査などを目的に作製されたものである。標本２０Ａについて、例えば臓器または細胞などの使用される組織の種類、対象となる疾病の種類、例えば年齢、性別、血液型、または人種などの対象者の属性、または、例えば食生活、運動習慣、または喫煙習慣などの対象者の生活習慣は特に限定されない。また、標本２０Ａは、各標本２０Ａを識別可能な識別情報を付されて管理される。以降、その識別情報を「標本識別情報２１Ａ」と呼称する。標本識別情報２１Ａは、試薬識別情報１１Ａと同様に、例えば、一次元バーコード情報や二次元バーコード情報などのバーコード情報などであるが、これに限定されない。標本２０Ａは、使用される組織の種類、対象となる疾病の種類、対象者の属性、または対象者の生活習慣などに応じてその性質が異なる。例えば、標本２０Ａにおいて、使用される組織の種類などに応じて計測チャネルまたはスペクトル情報などが異なる。そこで、本実施形態に係る情報処理システムにおいて、標本２０Ａは、標本識別情報２１Ａを付されることによって個々に管理される。これによって、情報処理装置１００は、標本２０Ａ毎に現れる僅かな性質の違いも考慮した上で蛍光シグナルと自家蛍光シグナルとを分離することができる。
　（蛍光染色標本３０Ａ）
　蛍光染色標本３０Ａは、標本２０Ａが蛍光試薬１０Ａによって染色されることで作成されたものである。本実施形態において、蛍光染色標本３０Ａは、標本２０Ａが少なくとも１つの蛍光試薬１０Ａによって染色されることを想定しているところ、染色に用いられる蛍光試薬１０Ａの数は特に限定されない。また、染色方法は、標本２０Ａおよび蛍光試薬１０Ａそれぞれの組み合わせなどによって決まり、特に限定されるものではない。蛍光染色標本３０Ａは、情報処理装置１００に対して入力され、撮像される。
　（情報処理装置１００）
　情報処理装置１００は、図１に示すように、取得部１１０と、保存部１２０と、処理部１３０と、表示部１４０と、制御部１５０と、操作部１６０と、を備える。
　（取得部１１０）
　取得部１１０は、情報処理装置１００の各種処理に使用される情報を取得する構成である。図１に示すように、取得部１１０は、情報取得部１１１と、画像取得部１１２と、を備える。
　（情報取得部１１１）
　情報取得部１１１は、試薬情報および標本情報を取得する構成である。より具体的には、情報取得部１１１は、蛍光染色標本３０Ａの生成に使用された蛍光試薬１０Ａに付された試薬識別情報１１Ａ、および標本２０Ａに付された標本識別情報２１Ａを取得する。例えば、情報取得部１１１は、バーコードリーダーなどを用いて試薬識別情報１１Ａおよび標本識別情報２１Ａを取得する。そして、情報取得部１１１は、試薬識別情報１１Ａに基づいて試薬情報を、標本識別情報２１Ａに基づいて標本情報をそれぞれデータベース２００から取得する。情報取得部１１１は、取得したこれらの情報を後述する情報保存部１２１に保存する。
　（画像取得部１１２）
　画像取得部１１２は、蛍光染色標本３０Ａ、少なくとも１つの蛍光試薬１０Ａで染色された標本２０Ａの画像情報を取得する構成である。より具体的には、画像取得部１１２は、例えばＣＣＤやＣＭＯＳなどの任意の撮像素子を備えており、当該撮像素子を用いて蛍光染色標本３０Ａを撮像することで画像情報を取得する。ここで、「画像情報」は、蛍光染色標本３０Ａの画像自体だけでなく、像として視覚化されていない測定値なども含む概念であることに留意されたい。例えば、画像情報には、蛍光染色標本３０Ａから放射した蛍光の波長スペクトルに関する情報が含まれていてもよい。以下、その蛍光の波長スペクトルを蛍光スペクトルという。画像取得部１１２は、画像情報を後述する画像情報保存部１２２に保存する。
　（保存部１２０）
　保存部１２０は、情報処理装置１００の各種処理に使用される情報、または各種処理によって出力された情報を保存する構成である。図１に示すように、保存部１２０は、情報保存部１２１と、画像情報保存部１２２と、解析結果保存部１２３と、を備える。
　（情報保存部１２１）
　情報保存部１２１は、情報取得部１１１によって取得された試薬情報および標本情報を保存する構成である。なお、後述する解析部１３１による解析処理および画像生成部１３２による画像情報の生成処理、すなわち画像情報の再構築処理が終了した後には、情報保存部１２１は、処理に用いられた試薬情報および標本情報を削除することで空き容量を増やしてもよい。
　（画像情報保存部１２２）
　画像情報保存部１２２は、画像取得部１１２によって取得された蛍光染色標本３０Ａの画像情報を保存する構成である。なお、情報保存部１２１と同様に、解析部１３１による解析処理および画像生成部１３２による画像情報の生成処理、すなわち画像情報の再構築処理が終了した後には、画像情報保存部１２２は、処理に用いられた画像情報を削除することで空き容量を増やしてもよい。
　（解析結果保存部１２３）
　解析結果保存部１２３は、後述する解析部１３１によって行われた解析処理の結果を保存する構成である。例えば、解析結果保存部１２３は、解析部１３１によって分離された、蛍光試薬１０Ａの蛍光シグナルまたは標本２０Ａの自家蛍光シグナルを保存する。また、解析結果保存部１２３は、別途、機械学習などによって解析精度を向上させるために、解析処理の結果をデータベース２００へ提供する。なお、解析結果保存部１２３は、解析処理の結果をデータベース２００へ提供した後には、自らが保存している解析処理の結果を適宜削除することで空き容量を増やしてもよい。
　（処理部１３０）
　処理部１３０は、画像情報、試薬情報、および標本情報を用いて各種処理を行う機能構成である。図１に示すように、処理部１３０は、解析部１３１と、画像生成部１３２とを備える。
　（解析部１３１）
　解析部１３１は、画像情報、標本情報および試薬情報を用いて各種解析処理を行う構成である。例えば、解析部１３１は、標本情報および試薬情報に基づいて画像情報から標本２０Ａの自家蛍光シグナル、例えば、自家蛍光成分の一例である自家蛍光スペクトルと蛍光試薬１０Ａの蛍光シグナル、例えば、染色蛍光成分の一例である染色蛍光スペクトルとを分離する処理を行う。
　より具体的には、解析部１３１は、標本情報に含まれる計測チャネルに基づいて自家蛍光シグナルを構成する１以上の要素を認識する。例えば、解析部１３１は、自家蛍光シグナルを構成する１以上の自家蛍光成分を認識する。そして、解析部１３１は、標本情報に含まれる、これらの自家蛍光成分のスペクトル情報を用いて画像情報に含まれる自家蛍光シグナルを予想する。そして、解析部１３１は、試薬情報に含まれる、蛍光試薬１０Ａの蛍光成分のスペクトル情報、および予想した自家蛍光シグナルに基づいて画像情報から自家蛍光シグナルと蛍光シグナルとを分離する。
　ここで、標本２０Ａが２以上の蛍光試薬１０Ａで染色されている場合、解析部１３１は、標本情報および試薬情報に基づいて画像情報、または、自家蛍光シグナルと分離された後の蛍光シグナルから、これら２以上の蛍光試薬１０Ａそれぞれの蛍光シグナルを分離する。例えば、解析部１３１は、試薬情報に含まれる、各蛍光試薬１０Ａの蛍光成分のスペクトル情報を用いて、自家蛍光シグナルと分離された後の蛍光シグナル全体から各蛍光試薬１０Ａそれぞれの蛍光シグナルを分離する。
　また、自家蛍光シグナルが２以上の自家蛍光成分によって構成されている場合、解析部１３１は、標本情報および試薬情報に基づいて画像情報、または、蛍光シグナルと分離された後の自家蛍光シグナルから、各自家蛍光成分それぞれの自家蛍光シグナルを分離する。例えば、解析部１３１は、標本情報に含まれる各自家蛍光成分のスペクトル情報を用いて、蛍光シグナルと分離された後の自家蛍光シグナル全体から各自家蛍光成分それぞれの自家蛍光シグナルを分離する。
　蛍光シグナルおよび自家蛍光シグナルを分離した解析部１３１は、これらのシグナルを用いて各種処理を行う。例えば、解析部１３１は、分離後の自家蛍光シグナルを用いて、他の標本２０Ａの画像情報に対して減算処理を行うことで当該他の標本２０Ａの画像情報から蛍光シグナルを抽出してもよい。その減算処理は、「バックグラウンド減算処理」とも呼称される。標本２０Ａに使用される組織、対象となる疾病の種類、対象者の属性、および対象者の生活習慣などの観点で同一または類似の標本２０Ａが複数存在する場合、これらの標本２０Ａの自家蛍光シグナルは類似している可能性が高い。ここでいう類似の標本２０Ａとは、例えば染色される組織切片の染色前の組織切片、染色された切片に隣接する切片、同一ブロックにおける染色切片と異なる切片、又は同一組織における異なるブロックにおける切片等、異なる患者から採取した切片などが含まれる。以下、組織切片を切片と呼称する。同一ブロックは、染色切片と同一の場所からサンプリングされたものである。異なるブロックは、染色切片と異なる場所からサンプリングされたものである。そこで、解析部１３１は、ある標本２０Ａから自家蛍光シグナルを抽出できた場合、他の標本２０Ａの画像情報から当該自家蛍光シグナルを除去することで、当該他の標本２０Ａの画像情報から蛍光シグナルを抽出してもよい。また、解析部１３１は、他の標本２０Ａの画像情報を用いてＳ／Ｎ値を算出する際に、自家蛍光シグナルを除去した後のバックグラウンドを用いることでＳ／Ｎ値を改善することができる。
　また、解析部１３１は、バックグラウンド減算処理以外にも分離後の蛍光シグナルまたは自家蛍光シグナルを用いて様々な処理を行うことができる。例えば、解析部１３１は、これらのシグナルを用いて標本２０Ａの固定化状態の解析を行ったり、画像情報に含まれる物体の領域を認識するセグメンテーションまたは領域分割を行ったりすることができる。物体は、例えば、細胞、細胞内構造、または組織、などである。細胞内構造は、例えば、細胞質、細胞膜、核、などである。組織は、例えば、腫瘍部、非腫瘍部、結合組織、血管、血管壁、リンパ管、繊維化構造、壊死、などである。標本２０Ａの固定化状態の解析およびセグメンテーションについては後段にて詳述する。
　また、解析部１３１は、標本２０Ａの画像、すなわち蛍光染色標本画像より得られる蛍光スペクトル（蛍光成分）から染色蛍光スペクトル（染色蛍光成分）と自家蛍光スペクトル（自家蛍光成分）を分離する分離処理に際し、蛍光染色標本画像である元画像と分離後の画像との差分から、画像毎に分離精度、例えば、ノルム値を算出し、画素毎に分離精度を示す分離精度画像、例えば、ノルム画像を生成する。分離後の画像は、蛍光スペクトルから染色蛍光スペクトル及び自家蛍光スペクトルを分離した分離後の画像である。そして、解析部１３１は、分離精度画像において、分離精度が外れ値となる外れ画素を特定する。例えば、分離精度が所定範囲から外れた場合、その分離精度が外れ値とされる。その後、解析部１３１は、例えば、特定した外れ画素と同じ位置の画素を分離画像から除外したり、外れ画素を含む領域をユーザに提示したりする処理を行う。この画素毎の分離精度に関する分離精度処理、例えば、ノルム処理について詳しくは後述する。
　（画像生成部１３２）
　画像生成部１３２は、解析部１３１によって分離された蛍光シグナルまたは自家蛍光シグナルに基づいて画像情報を生成、すなわち再構成する構成である。例えば、画像生成部１３２は、蛍光シグナルのみが含まれる画像情報を生成したり、自家蛍光シグナルのみが含まれる画像情報を生成したりすることができる。その際、蛍光シグナルが複数の蛍光成分によって構成されていたり、自家蛍光シグナルが複数の自家蛍光成分によって構成されたりしている場合、画像生成部１３２は、それぞれの成分単位で画像情報を生成することができる。さらに、解析部１３１が分離後の蛍光シグナルまたは自家蛍光シグナルを用いた各種処理を行った場合、画像生成部１３２は、それらの処理の結果を示す画像情報を生成してもよい。各種処理としては、例えば、標本２０Ａの固定化状態の解析、セグメンテーション、またはＳ／Ｎ値の算出などがある。本構成によれば、標的分子等に標識された蛍光試薬１０Ａの分布情報、つまり蛍光の二次元的な広がりや強度、波長、及びそれぞれの位置関係が可視化され、特に標的物質の情報が複雑な組織画像解析領域においてユーザである医師や研究者の視認性を向上させることができる。
　また、画像生成部１３２は、解析部１３１によって分離された蛍光シグナルまたは自家蛍光シグナルに基づいて自家蛍光シグナルに対する蛍光シグナルを区別するよう制御し、画像情報を生成しても良い。具体的には、標的分子等に標識された蛍光試薬１０Ａの蛍光スペクトルの輝度を向上させる、標識された蛍光試薬１０Ａの蛍光スペクトルのみを抽出し変色させる、２以上の蛍光試薬１０Ａによって標識された標本２０Ａから２以上の蛍光試薬１０Ａの蛍光スペクトルを抽出しそれぞれを別の色に変色する、標本２０Ａの自家蛍光スペクトルのみを抽出し除算または減算する、ダイナミックレンジを向上させる、等を制御し画像情報を生成してもよい。これによりユーザは目的となる標的物質に結合した蛍光試薬由来の色情報を明確に区別することが可能となり、ユーザの視認性を向上させることができる。
　（表示部１４０）
　表示部１４０は、画像生成部１３２によって生成された画像情報をディスプレイに表示することでユーザへ提示する構成である。なお、表示部１４０として用いられるディスプレイの種類は特に限定されない。また、本実施形態では詳細に説明しないが、画像生成部１３２によって生成された画像情報がプロジェクターによって投影されたり、プリンタによってプリントされたりすることでユーザへ提示されてもよい。換言すると、画像情報の出力方法は特に限定されない。
　（制御部１５０）
　制御部１５０は、情報処理装置１００が行う処理全般を統括的に制御する機能構成である。例えば、制御部１５０は、操作部１６０を介して行われるユーザによる操作入力に基づいて、上記で説明したような各種処理の開始や終了などを制御する。各種処理としては、例えば、蛍光染色標本３０Ａの撮像処理、解析処理、画像情報の生成処理、および画像情報の表示処理などがある。画像情報の生成処理としては、例えば、画像情報の再構築処理がある。なお、制御部１５０の制御内容は特に限定されない。例えば、制御部１５０は、汎用コンピュータ、ＰＣ、タブレットＰＣなどにおいて一般的に行われる処理、例えば、ＯＳ（Operating　System）に関する処理を制御してもよい。
　（操作部１６０）
　操作部１６０は、ユーザからの操作入力を受ける構成である。より具体的には、操作部１６０は、キーボード、マウス、ボタン、タッチパネル、またはマイクロフォンなどの各種入力手段を備えており、ユーザはこれらの入力手段を操作することで情報処理装置１００に対して様々な入力を行うことができる。操作部１６０を介して行われた操作入力に関する情報は制御部１５０へ提供される。
　（データベース２００）
　データベース２００は、標本情報、試薬情報、および解析処理の結果を管理する装置である。より具体的に説明すると、データベース２００は、標本識別情報２１Ａと標本情報、試薬識別情報１１Ａと試薬情報をそれぞれ紐づけて管理する。これによって、情報取得部１１１は、計測対象である標本２０Ａの標本識別情報２１Ａに基づいて標本情報を、蛍光試薬１０Ａの試薬識別情報１１Ａに基づいて試薬情報をデータベース２００から取得することができる。
　データベース２００が管理する標本情報は、上記のとおり、標本２０Ａに含まれる自家蛍光成分固有の計測チャネルおよびスペクトル情報を含む情報である。しかし、これら以外にも、標本情報には、各標本２０Ａについての対象情報、具体的には、例えば臓器、細胞、血液、体液、腹水、胸水などの使用される組織の種類、対象となる疾病の種類、例えば年齢、性別、血液型、または人種などの対象者の属性、または、例えば食生活、運動習慣、または喫煙習慣などの対象者の生活習慣に関する情報が含まれてもよく、標本２０Ａに含まれる自家蛍光成分固有の計測チャネルおよびスペクトル情報を含む情報及び対象情報は標本２０Ａごとに紐づけられてもよい。これにより、対象情報から標本２０Ａに含まれる自家蛍光成分固有の計測チャネルおよびスペクトル情報を含む情報を容易にたどることができ、例えば複数の標本２０Ａにおける対象情報の類似性から解析部１３１に過去に行われた類似の分離処理を実行させ、測定時間を短縮することが可能となる。なお、「使用される組織」は対象から採取された組織には特に限定されず、ヒトや動物等の生体内組織や細胞株、測定の対象物に含まれる溶液、溶剤、溶質、材料も含めてもよい。
　また、データベース２００が管理する試薬情報は、上記のとおり、蛍光試薬１０Ａのスペクトル情報を含む情報であり、しかし、これ以外にも、試薬情報には、製造ロット、蛍光成分、抗体、クローン、蛍光標識率、量子収率、褪色係数、および、吸収断面積またはモル吸光係数などの蛍光試薬１０Ａに関する情報が含まれてもよい。褪色係数は、蛍光試薬１０Ａの蛍光強度の低減し易さを示す情報である。さらに、データベース２００が管理する標本情報および試薬情報は異なる構成で管理されていてもよく、特に試薬に関する情報はユーザに最適な試薬の組み合わせを提示する試薬データベースであってもよい。
　ここで、標本情報および試薬情報は、製造者であるメーカーなどから提供されるか、本開示に係る情報処理システム内で独自に計測されることを想定している。例えば、蛍光試薬１０Ａの製造者は、製造ロット毎にスペクトル情報や蛍光標識率などを計測し提供することなどをしない場合が多い。したがって、本開示に係る情報処理システム内で独自にこれらの情報を計測し、管理することで蛍光シグナルと自家蛍光シグナルの分離精度が向上され得る。また、管理の簡略化のために、データベース２００は、メーカーなどによって公開されているカタログ値、または各種文献に記載されている文献値などを標本情報および試薬情報、特に試薬情報として用いてもよい。しかし、一般的に、実際の標本情報および試薬情報はカタログ値や文献値とは異なる場合が多いため、上記のように標本情報および試薬情報が本開示に係る情報処理システム内で独自に計測され管理される方がより好ましい。
　また、データベース２００にて管理されている標本情報、試薬情報、および解析処理の結果を用いる機械学習技術などによって、例えば、蛍光シグナルと自家蛍光シグナルとの分離処理などの解析処理の精度が向上され得る。機械学習技術などを用いて学習を行う主体は特に限定されないところ、本実施形態では情報処理装置１００の解析部１３１が学習を行う場合を一例として説明する。例えば、解析部１３１は、ニューラルネットワークを用いて、分離後の蛍光シグナルおよび自家蛍光シグナルと、分離に用いられた画像情報、標本情報および試薬情報とが紐づけられた学習データによって機械学習された分類器または推定器を生成する。そして、画像情報、標本情報および試薬情報が新たに取得された場合、解析部１３１は、それらの情報を分類器または推定器に入力することで、当該画像情報に含まれる蛍光シグナルおよび自家蛍光シグナルを予測して出力することができる。
　また、予測される蛍光シグナルおよび自家蛍光シグナルよりも精度の高い、過去に行われた類似の分離処理を算出し、それらの処理における処理の内容を統計的または回帰的に分析し、分析結果に基づいて蛍光シグナルと自家蛍光シグナルの分離処理を改善する方法が出力されてもよい。分離処理は、例えば、類似の画像情報、標本情報、または試薬情報が用いられる分離処理である。処理の内容は、例えば、処理に用いられる情報やパラメータなどを含む。なお、機械学習の方法は上記に限定されず、公知の機械学習技術が用いられ得る。また、人工知能によって蛍光シグナルと自家蛍光シグナルの分離処理が行われてもよい。また、蛍光シグナルと自家蛍光シグナルとの分離処理だけでなく、分離後の蛍光シグナルまたは自家蛍光シグナルを用いた各種処理、例えば、標本２０Ａの固定化状態の解析、またはセグメンテーションなどが機械学習技術などによって改善されてもよい。
　以上、本実施形態に係る情報処理システムの構成例について説明した。なお、図１を参照して説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理システムの構成は係る例に限定されない。例えば、情報処理装置１００は、図１に示す機能構成の全てを必ずしも備えなくてもよい。また、情報処理装置１００は、データベース２００を内部に備えていてもよい。情報処理装置１００の機能構成は、仕様や運用に応じて柔軟に変形可能である。
　また、情報処理装置１００は、上記で説明してきた処理以外の処理を行ってもよい。例えば、蛍光試薬１０Ａに関する量子収率、蛍光標識率、および吸収断面積、もしくはモル吸光係数などの情報が試薬情報に含まれることによって、情報処理装置１００は、自家蛍光シグナルが除去された画像情報、および試薬情報を用いて画像情報における蛍光分子数や、蛍光分子と結合している抗体数などを算出してもよい。
　＜１－２．情報処理装置の基本的な処理例＞
　本実施形態に係る情報処理装置１００の基本的な処理例について図２を参照して説明する。図２は、本実施形態に係る情報処理装置１００の基本的な処理の流れの一例を示すフローチャートである。ここでは、基本的な処理の流れについて説明し、解析部１３１における画素毎の分離精度に関するノルム処理については後述する。
　図２に示すように、ステップＳ１０００では、ユーザが解析に用いる蛍光試薬１０Ａおよび標本２０Ａを決定する。ステップＳ１００４では、ユーザが蛍光試薬１０Ａを用いて標本２０Ａを染色することで蛍光染色標本３０Ａを作成する。
　ステップＳ１００８では、情報処理装置１００の画像取得部１１２が蛍光染色標本３０Ａを撮像することで画像情報（例えば、蛍光染色標本画像）を取得する。ステップＳ１０１２では、情報取得部１１１が蛍光染色標本３０Ａの生成に使用された蛍光試薬１０Ａに付された試薬識別情報１１Ａ、および標本２０Ａに付された標本識別情報２１Ａに基づいて試薬情報および標本情報をデータベース２００から取得する。
　ステップＳ１０１６では、解析部１３１が、標本情報および試薬情報に基づいて画像情報から標本２０Ａの自家蛍光シグナルと蛍光試薬１０Ａの蛍光シグナルとを分離する。ここで、蛍光シグナルに複数の蛍光色素のシグナルが含まれる場合（ステップＳ１０２０のＹｅｓ）、ステップＳ１０２４にて、解析部１３１が各蛍光色素の蛍光シグナルを分離する。なお、蛍光シグナルに複数の蛍光色素のシグナルが含まれない場合（ステップＳ１０２０のＮｏ）には、ステップＳ１０２４にて各蛍光色素の蛍光シグナルの分離処理は行われない。
　ステップＳ１０２８では、画像生成部１３２が解析部１３１によって分離された蛍光シグナルを用いて画像情報を生成する。例えば、画像生成部１３２は、画像情報から自家蛍光シグナルが除去された画像情報を生成したり、蛍光シグナルを蛍光色素ごとに表示した画像情報を生成したりする。ステップＳ１０３２では、表示部１４０が画像生成部１３２によって生成された画像情報を表示することで一連の処理が終了する。
　なお、図２のフローチャートにおける各ステップは、必ずしも記載された順序に沿って時系列に処理される必要はない。すなわち、フローチャートにおける各ステップは、記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
　例えば、解析部１３１は、ステップＳ１０１６にて画像情報から標本２０Ａの自家蛍光シグナルと蛍光試薬１０Ａの蛍光シグナルとを分離した後に、ステップＳ１０２４にて各蛍光色素の蛍光シグナルを分離するのではなく、直に画像情報から各蛍光色素の蛍光シグナルを分離してもよい。また、解析部１３１は、画像情報から各蛍光色素の蛍光シグナルを分離した後に、画像情報から標本２０Ａの自家蛍光シグナルを分離してもよい。
　また、情報処理装置１００は、図２には示されていない処理を併せて実行してもよい。例えば、解析部１３１はシグナルを分離するだけでなく、分離した蛍光シグナルまたは自家蛍光シグナルに基づいてセグメンテーションを行ったり、標本２０Ａの固定化状態の解析を行ったりしてもよい。
　＜１－３．蛍光分離の処理例＞
　本実施形態に係る蛍光分離の処理例について図３及び図４を参照して説明する。図３は、本実施形態に係る解析部１３１の概略構成の一例を示す図である。図４は、本実施形態に係る連結蛍光スペクトルの生成方法の一例を説明するための図である。
　図３に示すように、解析部１３１は、連結部１３１１と、色分離部１３２１と、スペクトル抽出部１３２２とを備える。この解析部１３１は、蛍光分離処理を含む各種処理を行う構成になっている。例えば、解析部１３１は、蛍光分離処理の前処理として蛍光スペクトルを連結し、その連結蛍光スペクトルを分子毎に分離する構成になっている。
　（連結部１３１１）
　連結部１３１１は、画像取得部１１２によって取得された複数の蛍光スペクトルの少なくとも一部を波長方向に連結することで連結蛍光スペクトルを生成する構成になっている。例えば、連結部１３１１は、画像取得部１１２によって取得された４つの蛍光スペクトル（図４のＡ～Ｄ）それぞれにおける蛍光強度の最大値を含むように、各蛍光スペクトルにおける所定幅のデータを抽出する。連結部１３１１がデータを抽出する波長帯域の幅は、試薬情報、励起波長又は蛍光波長等に基づいて決定され得、各蛍光物質についてそれぞれ異なっていてもよい。換言すると、連結部１３１１がデータを抽出する波長帯域の幅は、図４のＡ～Ｄに示された蛍光スペクトルそれぞれで異なっていてもよい。そして図４のＥに示すように、連結部１３１１は、抽出したデータを波長方向に互いに連結することで一つの連結蛍光スペクトルを生成する。なお、連結蛍光スペクトルは、複数の蛍光スペクトルから抽出されたデータによって構成されるため、連結された各データの境界では波長が連続していない点に留意されたい。
　このとき、連結部１３１１は、励起光の強度に基づいて、複数の蛍光スペクトルそれぞれに対応する励起光の強度を揃えた後に、換言すると、複数の蛍光スペクトルを補正した後に、上記の連結を行う。より具体的には、連結部１３１１は、励起光の強度である励起パワー密度で各蛍光スペクトルを除算することで、複数の蛍光スペクトルそれぞれに対応する励起光の強度を揃えた後に上記の連結を行う。これによって、同一強度の励起光が照射された場合の蛍光スペクトルが求められる。また、照射される励起光の強度が異なる場合、その強度に応じて蛍光染色標本３０Ａに吸収されるスペクトルの強度も異なる。以降、そのスペクトルを「吸収スペクトル」と呼称する。したがって、上記のように、複数の蛍光スペクトルそれぞれに対応する励起光の強度が揃えられることで、吸収スペクトルを適切に評価することができる。
　ここで、図４のＡ～Ｄは、画像取得部１１２によって取得された蛍光スペクトルの具体例である。図４のＡ～Ｄでは、蛍光染色標本３０Ａに、例えば、ＤＡＰＩ、ＣＫ／ＡＦ４８８、ＰｇＲ／ＡＦ５９４及びＥＲ／ＡＦ６４７という４種の蛍光物質が含まれ、それぞれの励起波長として３９２［ｎｍ］（図４のＡ）、４７０［ｎｍ］（図４のＢ）、５４９［ｎｍ］（図４のＣ）、６２８［ｎｍ］（図４のＤ）を有する励起光が照射された場合に取得された蛍光スペクトルの具体例が示されている。なお、蛍光発光のためにエネルギーが放出されることにより、蛍光波長は励起波長よりも長波長側にシフトしている点に留意されたい（ストークスシフト）。また、蛍光染色標本３０Ａに含まれる蛍光物質、及び照射される励起光の励起波長は上記に限定されない。
　詳細には、連結部１３１１は、図４のＡに示す蛍光スペクトルから励起波長３９２ｎｍ以上５９１ｎｍ以下の波長帯域の蛍光スペクトルＳＰ１を抽出し、図４のＢに示す蛍光スペクトルから励起波長４７０ｎｍ以上６６９ｎｍ以下の波長帯域の蛍光スペクトルＳＰ２を抽出し、図４のＣに示す蛍光スペクトルから励起波長５４９ｎｍ以上７４８ｎｍ以下の波長帯域の蛍光スペクトルＳＰ３を抽出し、図４のＤに示す蛍光スペクトルから励起波長６２８ｎｍ以上８２７ｎｍ以下の波長帯域の蛍光スペクトルＳＰ４を抽出する。次に、連結部１３１１は、抽出した蛍光スペクトルＳＰ１の波長分解能を１６ｎｍに補正し（強度補正は無し）、蛍光スペクトルＳＰ２の強度を１．２倍に補正するとともに波長分解能を８ｎｍに補正し、蛍光スペクトルＳＰ３の強度を１．５倍に補正し（波長分解能の補正は無し）、蛍光スペクトルＳＰ４の強度を４．０倍に補正するとともに波長分解能を４ｎｍに補正する。そして、連結部１３１１は、補正後の蛍光スペクトルＳＰ１～ＳＰ４を順番に連結することで、図４のＥに示すような連結蛍光スペクトルを生成する。
　なお、図４には、連結部１３１１が各蛍光スペクトルを取得した際の励起波長から所定帯域幅（図４では２００ｎｍ幅）の蛍光スペクトルＳＰ１～ＳＰ４を抽出して連結した場合が示されているが、連結部１３１１が抽出する蛍光スペクトルの帯域幅は、各蛍光スペクトルで一致している必要はなく、異なっていてもよい。すなわち、連結部１３１１が各蛍光スペクトルから抽出する領域は、各蛍光スペクトルのピーク波長を含む領域であればよく、その波長帯域及び帯域幅については適宜変更されてよい。その際、ストークスシフトによるスペクトル波長のズレが考慮されてもよい。このように、抽出する波長帯域を絞り込むことで、データ量を削減することが可能となるため、より高速に蛍光分離処理を実行することが可能となる。
　また、本説明における励起光の強度は、上述したように、励起パワーや励起パワー密度であってよい。励起パワー又は励起パワー密度は、光源から出射した励起光を実測することで得られたパワー又はパワー密度であってもよいし、光源に与える駆動電圧から求まるパワー又はパワー密度であってもよい。なお、本説明における励起光の強度は、上記励起パワー密度を、観測対象である切片の各励起光に対する吸収率や、切片から放射した蛍光を検出する検出系、例えば、画像取得部１１２等における検出信号の増幅率等で補正することで得られた値であってもよい。すなわち、本説明における励起光の強度は、蛍光物質の励起に実際に寄与した励起光のパワー密度や、そのパワー密度を検出系の増幅率等で補正した値等であってもよい。吸収率や増幅率等を考慮することで、マシン状態や環境等の変化に応じて変化する励起光の強度を適切に補正することが可能となるため、より高い精度の色分離を可能にする連結蛍光スペクトルを生成することが可能となる。
　なお、各蛍光スペクトルに対する励起光の強度に基づいた補正値は、複数の蛍光スペクトルそれぞれに対応する励起光の強度を揃えるための値に限定されず、種々変形されてよい。上記補正値は、強度補正値ともいう。例えば、長波長側に強度ピークを持つ蛍光スペクトルのシグナル強度は、短波長側に強度ピークを蛍光スペクトルのシグナル強度よりも低い傾向にある。そのため、連結蛍光スペクトルに長波長側に強度ピークを持つ蛍光スペクトルと短波長側に強度ピークを持つ蛍光スペクトルとの両方が含まれる場合、長波長側に強度ピークを持つ蛍光スペクトルが殆加味されず、短波長側に強度ピークを持つ蛍光スペクトルだけが抽出されてしまう場合がある。そのような場合、例えば、長波長側に強度ピークを持つ蛍光スペクトルに対する強度補正値をより大きな値とすることで、短波長側に強度ピークを蛍光スペクトルの分離精度を高めることも可能である。
　（色分離部１３２１）
　色分離部１３２１は、例えば、第１色分離部１３２１ａと第２色分離部１３２１ｂとを備え、連結部１３１１から入力された染色切片の連結蛍光スペクトルを分子毎に色分離する。染色切片は、染色サンプルともいう。
　より具体的には、第１色分離部１３２１ａは、連結部１３１１から入力された染色サンプルの連結蛍光スペクトルに対して、情報保存部１２１から入力された、試薬情報に含まれる連結蛍光参照スペクトルと標本情報に含まれる連結自家蛍光参照スペクトルとを用いた色分離処理を実行することで、連結蛍光スペクトルを分子ごとのスペクトルに分離する。なお、色分離処理には、例えば、最小二乗法（ＬＳＭ）や重み付き最小二乗法（ＷＬＳＭ）、非負値行列因子分解（ＮＭＦ）、グラム行列ｔＡＡを用いた非負値行列因子分解等が用いられてもよい。
　第２色分離部１３２１ｂは、連結部１３１１から入力された染色サンプルの連結蛍光スペクトルに対して、スペクトル抽出部１３２２から入力された調整後の連結自家蛍光参照スペクトルを用いた色分離処理を実行することで、連結蛍光スペクトルを分子ごとのスペクトルに分離する。なお、色分離処理には、第１色分離部１３２１ａと同様に、例えば、最小二乗法（ＬＳＭ）や重み付き最小二乗法（ＷＬＳＭ）、非負値行列因子分解（ＮＭＦ）、グラム行列ｔＡＡを用いた非負値行列因子分解等が用いられてもよい。
　ここで、最小二乗法は、例えば、連結部１３１１によって生成された連結蛍光スペクトルを参照スペクトルにフィッティングすることで、混色率を算出するものである。また、重み付き最小二乗法においては、測定値である連結蛍光スペクトル（Ｓｉｇｎａｌ）のノイズがポアソン分布になることを利用して、低いシグナルレベルの誤差を重視するように重みが付けられる。ただし、重み付き最小二乗法で加重が行われない上限値をＯｆｆｓｅｔ値とする。Ｏｆｆｓｅｔ値は測定に使用されるセンサの特性によって決まり、センサとして撮像素子が使用される場合には別途最適化が必要である。
　（スペクトル抽出部１３２２）
　スペクトル抽出部１３２２は、連結自家蛍光参照スペクトルをより精度の高い色分離結果を得ることができるように改良するための構成であり、情報保存部１２１から入力された標本情報に含まれる連結自家蛍光参照スペクトルを、色分離部１３２１による色分離結果に基づいて、より精度の高い色分離結果を得られるものに調整する。
　スペクトル抽出部１３２２は、情報保存部１２１から入力された連結自家蛍光参照スペクトルに対して、第１色分離部１３２１ａから入力された色分離結果を用いたスペクトル抽出処理を実行し、その結果に基づいて連結自家蛍光参照スペクトルを調整することで、連結自家蛍光参照スペクトルをより精度の高い色分離結果を得られるものに改良する。なお、スペクトル抽出処理には、例えば、非負値行列因子分解（ＮＭＦ）や特異値分解（ＳＶＤ）等が用いられてもよい。
　なお、図３では、連結自家蛍光参照スペクトルの調整を１回とした場合を例示したが、これに限定されず、第２色分離部１３２１ｂによる色分離結果をスペクトル抽出部１３２２に入力し、スペクトル抽出部１３２２において連結自家蛍光参照スペクトルの調整を再度実行する処理を１回以上繰り返した後に、最終的な色分離結果を取得するようにしてもよい。
　上記のように、第１色分離部１３２１ａや第２色分離部１３２１ｂは、波長方向に連結された参照スペクトル（連結自家蛍光参照スペクトル及び連結蛍光参照スペクトル）を用いて蛍光分離処理を行うことで、分離結果として一意のスペクトルを出力することができる。励起波長毎に分離結果が分かれない。したがって、実施者は、より容易に正しいスペクトルを得ることができる。また、分離に用いられる自家蛍光に関する参照スペクトル（連結自家蛍光参照スペクトル）が自動的に取得され、蛍光分離処理が行われることにより、実施者が非染色切片の適切な空間から自家蛍光に相当するスペクトルを抽出しなくてもよくなる。
　＜１－４．ノルム処理に関する解析部の構成例＞
　本実施形態に係るノルム処理に関する解析部１３１の構成例について図５を参照して説明する。図５は、本実施形態に係るノルム処理に関する解析部１３１の概略構成の一例を示す図である。
　図５に示すように、解析部１３１は、蛍光分離部１３１Ａと、生成部１３１Ｂと、評価部１３１Ｃと、補正部１３１Ｄと、提示部１３１Ｅとを備える。蛍光分離部１３１Ａは色分離部１３２１に相当し、提示部１３１Ｅは画像生成部１３２に相当する。
　蛍光分離部１３１Ａは、例えば、ＬＳＭやＮＭＦ等を用いて、連結部１３１１から入力された染色サンプルの連結蛍光スペクトルに対して、試薬情報に含まれる連結蛍光参照スペクトルと標本情報に含まれる連結自家蛍光参照スペクトルとを用いた色分離処理を実行することで、連結蛍光スペクトルを分子ごとのスペクトルに分離する（図３参照）。また、蛍光分離部１３１Ａは、例えば、ＬＳＭやＮＭＦ等を用いて、連結部１３１１から入力された染色サンプルの連結蛍光スペクトルに対して、スペクトル抽出部１３２２から入力された調整後の連結自家蛍光参照スペクトルを用いた色分離処理を実行することで、連結蛍光スペクトルを分子ごとのスペクトルに分離する（図３参照）。
　生成部１３１Ｂは、蛍光分離部１３１Ａの分離アルゴリズム、例えば、ＬＳＭ又はＮＭＦ等による計算結果に基づいて、元画像と分離後の色分離画像の差分値を画素ごとにノルム値（基準値）として算出し、画素毎にノルム値を示すノルム画像を生成する。例えば、分離アルゴリズム、すなわち分離計算がＬＳＭである場合、ノルム値は｜Ａ－ＳＣ｜で示される。ここで、Ａは染色画像（元画像）の画素値の行列であり、ＳはＬＳＭ後のスペクトルであり、ＣはＬＳＭ後の画像（分離後の画像）の画素値の行列である。なお、｜Ａ－ＳＣ｜は、（Ａ－ＳＣ）の絶対値である。
　評価部１３１Ｃは、ノルム画像からノルム値が所定値以上で外れ値となる画素、すなわち、外れ値を含む画素を特定する。以降、外れ値を含む画素を外れ画素という。外れ画素は、分解能が低く、再現性の悪い画素を示す。外れ画素の特定方法としては、例えば、分散、すなわちデータの散らばりの度合いを表す指標から所定の閾値以上の画素あるいは平均から３σ以上の画素を外れ画素として特定する方法、また、四分位範囲（ＩＱＲ）やスミルノフ・グラブス検定等の方法を用いることが可能である。
　補正部１３１Ｄは、ノルム画像に対して各種処理を行う。例えば、補正部１３１Ｄは、評価部１３１Ｃによる評価結果（ノルム画像の外れ画素）に基づいて、ノルム画像の外れ画素と同じ位置に位置する分離画像の画素を全て０埋めにして二値化画像を生成し、二値化画像により分離画像をマクス処理し、マスク処理後の分離画像を生成する。また、補正部１３１Ｄは、その他の処理も実行可能である。各処理ついて詳しくは後述する。
　提示部１３１Ｅは、表示部１４０に対して各種画像を出力する。例えば、提示部１３１Ｅは、ノルム画像や重みづけ画像、諧調フィルタ画像等の提示画像を表示部１４０に出力する。また、提示部１３１Ｅは、その他の画像も出力可能である（詳しくは後述する）。
　＜１－５．ノルム処理の一例＞
　本実施形態に係るノルム処理の一例について図６を参照して説明する。図６は、本実施形態に係るノルム処理の一例の流れを示すフローチャートである。
　図６に示すように、ステップＳ１０１において、蛍光分離部１３１Ａが色分離計算を行い、ステップＳ１０２において、生成部１３１Ｂがノルム画像（Ｎｏｒｍ画像）を出力し、ステップＳ１０３において、評価部１３１Ｃが、ノルム値（Ｎｏｒｍ値）が外れ値である画素を判定し、ステップＳ１０４において、補正部１３１Ｄがマスク処理を実行し、あるいは／さらに、提示部１３１Ｅがユーザに対する提示を実行する。
　＜１－６．色分離計算及びノルム画像生成の処理例＞
　＜１－６－１．第１処理例＞
　本実施形態に係る色分離計算及びノルム画像生成の第１処理例について図７を参照して説明する。図７は、本実施形態に係る色分離計算及びノルム画像生成の第１処理例の流れを示すフローチャートである。第１処理例は、染色画像から直接色分離計算を行う処理の一例である。
　図７に示すように、ステップＳ１１１において、情報処理装置１００の画像取得部１１２が蛍光スペクトルを取得する。より具体的には、蛍光染色標本３０Ａに対して互いに異なる励起波長の複数の励起光が照射され、画像取得部１１２は、各励起光に対応する複数の蛍光スペクトルを取得する。そして、画像取得部１１２は、取得した蛍光スペクトルを画像情報保存部１２２に保存する。
　ステップＳ１１２において、連結部１３１１が画像情報保存部１２２に保存されている複数の蛍光スペクトルの少なくとも一部を波長方向に連結することで連結蛍光スペクトルを生成する。より具体的には、連結部１３１１が、複数の蛍光スペクトルそれぞれにおける蛍光強度の最大値を含むように、各蛍光スペクトルにおける所定幅のデータを抽出し、当該データを波長方向に互いに連結することで一つの連結蛍光スペクトルを生成する。
　ステップＳ１１３において、色分離部１３２１が、連結蛍光スペクトルを分子毎に分離する、すなわち第１色分離（ＬＳＭ）を行う。より具体的には、色分離部１３２１が、図３を用いて説明した処理を実行することで、連結蛍光スペクトルを分子毎に分離する。
　ステップＳ１１４において、生成部１３１Ｂが、画素毎にノルム値を算出する。より具体的には、生成部１３１Ｂが、蛍光分離部１３１ＡのＬＳＭ計算後、例えば、第１色分離部１３２１ａのＬＳＭ計算後、ノルム値として、｜Ａ－ＳＣ｜を画素毎に算出する。
　ステップＳ１１５において、生成部１３１Ｂが、算出した画素毎のノルム値を含むノルム画像を生成して出力する。より具体的には、生成部１３１Ｂが、算出した画素毎のノルム値に基づいて、画素毎にノルム値を示すノルム画像を生成して出力する。
　＜１－６－２．第２処理例＞
　本実施形態に係る色分離計算及びノルム画像生成の第２処理例について図８及び図９を参照して説明する。図８は、本実施形態に係る色分離計算及びノルム画像生成の第２処理例における非染色サンプルの連結蛍光スペクトルを用いる解析部の概略構成の一例を示す図である。図９は、本実施形態に係る色分離計算及びノルム画像生成の第２処理例の流れを示すフローチャートである。第２処理例は、非染色画像から抽出した自家蛍光スペクトルを用いて染色画像の色分離計算を行う処理の一例である。
　第１処理例では（図３参照）、蛍光分離部１３１Ａは、予め用意された連結自家蛍光参照スペクトルおよび連結蛍光参照スペクトルを用いて蛍光分離処理を行う。一方で、第２処理例では（図８参照）、実測した連結自家蛍光参照スペクトル、すなわち非染色サンプルの連結蛍光スペクトルを用いて蛍光分離処理を行う。より具体的に説明すると、第２処理例では、蛍光分離部１３１Ａ、すなわち解析部１３１のスペクトル抽出部１３２２（図８参照）は、標本２０Ａと同一または類似のものに対して、互いに異なる励起波長の複数の励起光が照射され取得される複数の自家蛍光スペクトルの少なくとも一部を波長方向に連結したものから、各自家蛍光物質についての連結自家蛍光参照スペクトルを抽出する。そして、第２色分離部１３２１ｂは、抽出された連結自家蛍光参照スペクトル及び連結蛍光参照スペクトル、すなわち第１処理例と同様のものを参照スペクトルとして用いて蛍光分離処理を行う。
　図８に示すように、第２処理例に係る解析部１３１は、基本的に図３を用いて説明した解析部１３１と同様の構成を備える。このような構成において、蛍光分離部１３１Ａ、すなわち解析部１３１のスペクトル抽出部１３２２には、標本情報に含まれる連結自家蛍光参照スペクトルに代えて、連結部１３１１から入力された非染色切片の連結蛍光スペクトルが入力される。非染色切片は非染色サンプルともいい、連結蛍光スペクトルは連結自家蛍光スペクトルともいう。
　スペクトル抽出部１３２２は、連結部１３１１から入力された非染色サンプルの連結自家蛍光スペクトルに対して、第１色分離部１３２１ａから入力された色分離結果を用いたスペクトル抽出処理を実行し、その結果に基づいて連結自家蛍光参照スペクトルを調整することで、連結自家蛍光参照スペクトルをより精度の高い色分離結果を得られるものに改良する。スペクトル抽出処理には、例えば、非負値行列因子分解（ＮＭＦ）や特異値分解（ＳＶＤ）等が用いられてもよい。また、その他の動作は、前述の色分離部１３２１と同様であってよいため、ここでは詳細な説明を省略する。
　なお、連結自家蛍光参照スペクトルの抽出に用いる標本２０Ａと同一又は類似の切片には、非染色切片と染色切片とのいずれの切片を使用することも可能である。例えば、非染色切片を用いる場合には、染色切片として用いられる染色前の切片、染色切片に隣接する切片、同一ブロックにおける染色切片と異なる切片、又は同一組織における異なるブロックにおける切片等を用いることができる。同一ブロックは、染色切片と同一の場所からサンプリングされたものである。異なるブロックは、染色切片と異なる場所からサンプリングされたものである。
　ここで、非染色切片から自家蛍光スペクトルを抽出する方法としては、一般的に主成分分析が用いられ得る。以降、主成分分析を「ＰＣＡ：Principal　Component　Analysis」と呼称する。ところが、本実施形態のように、波長方向に連結された自家蛍光スペクトルが処理に用いられる場合にはＰＣＡは適さない。そこで、本実施形態に係るスペクトル抽出部１３２２は、ＰＣＡではなく非負値行列因子分解（ＮＭＦ）を行うことで、非染色切片から連結自家蛍光参照スペクトルを抽出する。
　図９に示すように、ステップＳ１２１及びステップＳ１２２において、第１処理例における処理フロー例（図７のステップＳ１１１及びステップＳ１１２）と同様に、画像取得部１１２が、励起波長の異なる励起光に対応する複数の蛍光スペクトルを取得し、連結部１３１１が、複数の蛍光スペクトルの少なくとも一部を波長方向に連結することで連結蛍光スペクトルを生成する。
　ステップＳ１２３において、スペクトル抽出部１３２２が、非染色切片に対して、互いに異なる励起波長の複数の励起光が照射されて取得される複数の自家蛍光スペクトルの少なくとも一部を波長方向に連結したものを用いてＮＭＦを行うことで、連結自家蛍光参照スペクトルを抽出する。
　ステップＳ１２５及びステップＳ１２６において、第１処理例における処理フロー例、すなわち図７のステップＳ１１４及びステップＳ１１５と同様に、生成部１３１Ｂが、蛍光分離部１３１ＡのＬＳＭ計算後、例えば、第２色分離部１３２１ｂのＬＳＭ計算後、画素毎にノルム値を算出し、生成部１３１Ｂが、算出した画素毎のノルム値を含むノルム画像を生成して出力する。
　＜１－６－３．第３処理例＞
　本実施形態に係る色分離計算及びノルム画像生成の第３処理例について図１０から図１２を参照して説明する。図１０は、本実施形態に係る色分離計算及びノルム画像生成の第３処理例の流れを示すフローチャートである。図１１及び図１２は、それぞれ図１０中のステップの処理を説明するための図である。第３処理例は、広視野画像でグラム行列を用いて色分離計算を行う処理、すなわち二回目のＬＳＭ後にノルム値を求める処理の一例である。
　図１０に示すように、ステップＳ１３１において、処理部１３０は、各視野の撮影により得られた視野画像データをタイリングすることで、撮影領域全体の広視野画像データを生成する。この広視野画像データとしては、例えば、図１１の広視野画像データＡを参照とする。
　次に、ステップＳ１３２において、処理部１３０は、広視野画像データＡから、その一部である単位画像データを取得する。単位画像データは、例えば、図１１の単位画像データＡｑであり、ｑは１以上ｎ以下の整数である。この単位画像データＡｑは、１つの視野に相当する画像データや、予め設定しておいたサイズの画像データなど、広視野画像データＡよりも狭い領域の画像データであれば種々変更されてよい。なお、予め設定しておいたサイズの画像データには、情報処理装置１００が一度に処理可能なデータ量より定められたサイズの画像データが含まれ得る。
　次に、ステップＳ１３３において、処理部１３０は、図１１に例示するように、取得した単位画像データＡｑのデータ行列Ａ１に対し、この転置行列ｔＡ１を乗算することで、単位画像データＡｑのグラム行列ｔＡ１Ａ１を生成する。以下の説明では、明確化のため、単位画像データＡｑを単位画像データＡ１とする。
　次に、ステップＳ１３４において、処理部１３０は、全ての単位画像データＡ１～Ａｎに対するグラム行列ｔＡ１Ａ１～ｔＡｎＡｎの生成が完了したか否かを判定し、全ての単位画像データＡ１～Ａｎに対するグラム行列ｔＡ１Ａ１～ｔＡｎＡｎの生成が完了するまで、ステップＳ１３２～ステップＳ１３４を繰返し実行する（ステップＳ１３４のＮＯ）。
　一方、ステップＳ１３４において、全ての単位画像データＡ１～Ａｎに対するグラム行列ｔＡ１Ａ１～ｔＡｎＡｎの生成が完了すると（ステップＳ１３４のＹＥＳ）、ステップＳ１３５において、処理部１３０は、例えば、最小二乗法又は重み付き最小二乗法を用いることで、得られたグラム行列ｔＡ１Ａ１～ｔＡｎＡｎから係数Ｃの初期値を算出する。
　次に、ステップＳ１３６において、処理部１３０は、生成したグラム行列ｔＡ１Ａ１～ｔＡｎＡｎを加算することで、広視野画像データＡに対するグラム行列ｔＡＡを算出する。具体的には、上述したように、Ａ（ｐ，ｗ）＝Ａ１（ｐ１－ｐｎ１，ｗ）＋Ａ２（ｐｎ１＋１－ｐｍ，ｗ）＋．．．＋Ａｏ（ｐｍ＋１－ｐ，ｗ）となるサブセットを用い、それぞれのグラム行列ｔＡｑＡｑを式（ｔＡＡ＝ｔＡ１Ａ１＋ｔＡ２Ａ２＋・・・＋ｔＡｎＡｎ）のように畳み込むことで、グラム行列ｔＡＡを求める。ｑは１以上ｎ以下の整数である。
　次に、ステップＳ１３７において、処理部１３０は、図１２に例示するように、算出されたグラム行列ｔＡＡをｔＡＡ＝Ｓ×Ｄに非負値分解（ＮＭＦ）することで、スペクトルＳを求める。行列Ｄは、広視野画像データＡから蛍光分離された分離画像に相当する。なお、ＮＭＦでは、特定のスペクトルを固定してデータの非負値因子分解が実行されてもよい。
　その後、ステップＳ１３８において、処理部１３０は、グラム行列ｔＡＡに対するＮＭＦにより得られたスペクトルＳを用いた最小二乗法又は重み付き最小二乗法によりＡ＝ＳＣを解くことで、係数Ｃ、すなわち、蛍光分子ごとの蛍光分離画像又は自家蛍光分子ごとの自家蛍光分離画像を取得する。
　次に、ステップＳ１３９において、処理部１３０は、ＬＳＭ計算後、例えば、２回目の分離計算後、画素毎にノルム値、すなわち、｜Ａ－ＳＣ｜を算出する。ステップＳ１４０において、処理部１３０は、算出した画素毎のノルム値を含むノルム画像を生成して出力する。その後、本動作を終了する。
　＜１－６－４．第４処理例＞
　本実施形態に係る色分離計算及びノルム画像生成の第４処理例について図１３を参照して説明する。図１３は、本実施形態に係る色分離計算及びノルム画像生成の第４処理例の流れを示すフローチャートである。第４処理例は、広視野画像でグラム行列を用いて色分離計算を行う処理、すなわちＮＭＦ後にノルム値を求める処理の一例である。
　図１３に示すように、ステップＳ１２４～ステップＳ１４７において、第３処理例における処理フロー例、すなわち図１０のステップＳ１３１及びステップＳ１３７と同様に、処理部１３０が処理を行う。
　ステップＳ１４８において、処理部１３０は、ＮＭＦ計算後、例えば、１回目の分離計算後、画素毎にノルム値、すなわち、｜Ａ－ＳＤｔＡ－１｜を算出する。ステップＳ１４９において、処理部１３０は、算出した画素毎のノルム値を含むノルム画像を生成して出力する。なお、｜Ａ－ＳＤｔＡ－１｜は、（Ａ－Ｓ×Ｄ×ｔＡ－１）の絶対値である。
　ここで、ノルム値は、｜Ａ－ＳＤｔＡ－１｜で示される。Ａは染色画像（元画像）の画素値の行列であり、ＳはＮＭＦ後のスペクトルであり、ＤはＮＭＦ後の画像（分離後の画像）の画素値の行列であり、ｔＡ－１は転置行列ｔＡの疑似逆行列である。この（Ａ－ＳＤｔＡ－１）は、ＡｔＡ＝ＳＤ、Ａ＝ＳＣ（Ｃ、Ｄは係数である）という関係式から導かれる。それらの関係式が同じＳに収束すると仮定すると、ＡｔＡ＝ＳＤ＝ＳＣｔ（ＳＣ）＝ＳＣｔＳｔＣ、Ｄ＝ＣｔＣｔＳ＝Ｃｔ（ＣＳ）＝ＣｔＡ、Ｃ＝ＤｔＡ－１、Ａ－ＳＣ＝Ａ－ＳＤｔＡ－１となる。
　ステップＳ１５０において、処理部１３０は、グラム行列ｔＡＡに対するＮＭＦにより得られたスペクトルＳを用いた最小二乗法又は重み付き最小二乗法によりＡ＝ＳＣを解くことで、係数Ｃ、すなわち、蛍光分子ごとの蛍光分離画像又は自家蛍光分子ごとの自家蛍光分離画像を取得する。その後、本動作を終了する。
　＜１－７．ノルム画像と分離画像との比較例＞
　本実施形態に係るノルム画像と分離画像との比較例について図１４を参照して説明する。図１４は、本実施形態に係るノルム画像と分離画像との比較例を説明するための図である。なお、図１４の例では、分離画像は、例えば、マスク処理等が施されておらず、自家蛍光の漏れ込み画素を含む画像である。
　図１４に示すように、ノルム画像と分離画像とを比較すると、ノルム画像の外れ画素は、分離画像における色分離後の再現性の悪い画素、すなわち自家蛍光の漏れ込み画素と一致している。ノルム画像、すなわち画素毎のノルム値は、分解精度の指標として機能する。このため、例えば、ノルム画像の外れ画素と同じ位置に位置する分離画像の画素をマスク処理等により除外し、色分離の結果に反映させることができる。
　＜１－８．補正部の処理例＞
　本実施形態に係る補正部１３１Ｄの処理例について図１５を参照して説明する。図１５は、本実施形態に係る補正部１３１Ｄの処理の一例、すなわち０埋め領域の拡大処理を説明するための図である。
　（外れ値を利用する場合）
　補正部１３１Ｄは、評価部１３１Ｃによる評価結果であるノルム画像の外れ画素に基づいて、ノルム画像の外れ画素と同じ所に位置する分離画像、例えば、自家蛍光成分画像や染色蛍光成分画像等の画素を全て０埋めにして二値化画像を生成し、二値化画像をマスク画像として用いて分離画像をマクス処理し、マスク処理後の分離画像を生成する。例えば、補正部１３１Ｄは、ノルム画像の外れ画素と同じ所に位置する画素の値を０にし、その他の画素の値を１にしてマスク画像を生成する。
　また、補正部１３１Ｄは、後段の処理、例えば、信号分離性能を示す信号分離値（Signal　separation値）を求めるための画像において、ノルム画像の外れ画素と同じ所に位置する画素の値を０に変えてもよい。また、補正部１３１Ｄは、後段の処理、例えば、信号分離性能を示す信号分離値を求めるための画像において、ノルム画像の外れ画素と同じ位置に位置する画素を全て除外してもよく、あるいは、それらの画素を含む領域、例えば、細胞領域全てを除外してもよい。その領域はＮ／Ａ扱いとされる。信号分離性能を示す信号分離値を求めるための画像は、例えば、非染色画像や色素タイル画像、模式画像等である。
　なお、解析部１３１は、信号分離性能を示す信号分離値を求めるための画像を用いて、信号分離値を算出する。この信号分離値を求めて信号分離性能を定量化する手段について詳しくは後述する。例えば、信号分離値を求める際に、外れ画素に対応する画素を用いずに処理を行うことで、信号分離精度、すなわち信号分離値を上げることができる。
　また、細胞組織内で外れ画素がある場合、その領域の周囲にも高自家蛍光領域が存在する可能性が高いため、外れ画素の周囲の所定範囲、例えば所定の数ピクセル分の範囲、又は細胞領域を除外又はマスク処理してもよい。あるいは、図１５に示すように、外れ画素を０埋めにしても除去しきれなかった赤血球が細胞膜状に残ってしまった場合には、０埋め領域を大きくし、２値化画像を太らせる処理を行ってもよい。
　（ノルム値に基づいて重みづけを行う場合）
　補正部１３１Ｄは、ノルム画像のノルム値全体を連続した０－１に正規化し、重みづけを行う。このときの重み付けは、ノルム値の最大値が１となり、最小値が０となるように設定されてもよい。この場合の関係式は、Ｎｏｒｍ値ＭＩＮ＝０≦Ｎｏｒｍ値≦Ｎｏｒｍ値ＭＡＸ＝１となる。また、分離精度が低いと判定された画素、すなわち外れ画素のノルム値が全て１になるように設定された上で、正規化が行われてもよい。この場合の関係式は、Ｎｏｒｍ値ＭＩＮ＝０≦Ｎｏｒｍ値≦Ｎｏｒｍ外れ値＝１となる。
　また、補正部１３１Ｄは、ノルム画像を色分離前の染色画像で割ってもよい。具体的には、補正部１３１Ｄは、ノルム画像の画素毎のノルム値を色分離前の染色画像の画素毎の画素値により割ってもよい。これにより、ノルム画像を規格化することが可能となるので、異なるサンプル間でノルム画像を比較できる。
　＜１－９．提示部の処理例＞
　本実施形態に係る提示部１３１Ｅの処理例について図１６から図１９を参照して説明する。図１６は、本実施形態に係る提示画像の一例を説明するための図である。図１７及び図１８は、それぞれ本実施形態に係るＵＩ画像の一例を説明するための図である。図１９は、本実施形態に係る提示処理の一例の流れを示すフローチャートである。
　図１６に示すように、提示部１３１Ｅは、ノルム画像、重みづけ画像、諧調フィルタ画像を提示画像として表示部１４０に出力してもよい。また、提示部１３１Ｅは、ノルム画像や分離画像、重みづけ画像等において、外れ画素を除外した領域を表示部１４０により表示してもよい。なお、提示部１３１Ｅは、外れ画素が存在することを示すアラートを提示してもよい。例えば、提示部１３１Ｅは、外れ画素が所定数以上存在する場合、その旨を示すメッセージ等の画像をアラートとして表示部１４０に出力してもよい。このアラートを出す条件としては、例えば、散布図を描いて隣の色素に漏れ込みが多い場合、あるいは、分離画像に赤血球が含まれていて分離に影響があると判断した場合に、ユーザにアラートを提示してもよい。
　例えば、提示部１３１Ｅは、補正部１３１Ｄにより重みづけされた重みづけ画像、例えば、重みづけノルム画像をＵＩ画像（ユーザーインタフェース画像）として表示部１４０に出力してもよい。重みづけノルム画像は、単体で表示されても他の画像と並べて表示されてもよく、あるいは、分離画像等の他の画像に重畳されて表示されてもよい。また、１－（重みづけ関数）の画像、すなわち諧調フィルタ画像を提示してもよい。この諧調フィルタ画像を分離画像出力時にマスク画像として用いて画像を表示してもよく、また、信号分離性能を示す信号分離値の算出に用いてもよい。諧調フィルタ画像は、単体で表示されても他の画像と並べて表示されてもよく、あるいは、分離画像等の他の画像に重畳されて表示されてもよい。
　具体的には、図１７及び図１８に示すように、提示部１３１Ｅは、ＵＩ画像を提示画像として表示部１４０に出力してもよい。図１７の例では、ＵＩ画像において、各種の分離画像が並べられて示される。全てのチェックボックスがユーザによりチェックされ、各種の分離画像が選択される。なお、図１７に示す重み付け処理の画像では、諧調フィルタが分離画像出力時にマスクされる（諧調フィルタ×分離画像）。これにより、ノルム画像の外れ値に相当する画素部分はマスクされ、外れ値に相当しない部分はマスク処理の影響をほぼ受けない。また、図１８の例では、ＵＩ画像において、二種類の分離画像が重畳されて示されている。この場合、二つのチェックボックスがユーザによりチェックされ、二種類の分離画像が重畳される。各種の分離画像としては、例えば、分離後生画像、０埋め処理の画像、重みづけ処理の画像、ノルム画像、諧調フィルタ画像、重みづけ画像、ＤＡＰＩ（4',6-Diamidino-2-phenylindole,dihydrochloride）画像がある。
　ここで、前述のように、各種の分離画像を並べて表示するモードと、ＵＩ画像として各種の分離画像を重畳して表示するモードの二つがある。この場合には、ユーザがチェックボックスでモードを選択することが可能である。この表示選択処理について以下で説明する。
　図１９に示すように、ステップＳ１６１において、提示部１３１Ｅは、分離画像を生成する。ステップＳ１６２において、提示部１３１Ｅは、表示方法の選択に待機する。ユーザは、表示方法を選択する。ユーザが表示方法として並べて表示を選択すると、ステップＳ１６３において、提示部１３１Ｅは、並べて表示用のＵＩ画像（例えば、図１７参照）を表示部１４０に出力する。ステップＳ１６４において、ユーザによる分離画像の種類選択に応じて、選択された並べて表示したい画像を選択して表示部１４０に出力する。一方、ユーザが表示方法として重畳して表示を選択すると、ステップＳ１６５において、提示部１３１Ｅは、重畳して表示用のＵＩ画像（例えば、図１８参照）を表示部１４０に出力する。ステップＳ１６６において、ユーザによる分離画像の種類選択に応じて、選択された重畳して表示したい画像を選択して表示部１４０に出力する。
　このようにして、ユーザの選択に応じて表示方法が選択され、ユーザが希望する各種の分離画像が表示される。これにより、ユーザは表示方法や各種の分離画像を自由に選択することが可能になるので、ユーザの利便性を向上させることができる。
　＜１－１０．色分離処理の一例＞
　本実施形態に係る色分離処理の一例について図２０及び図２１を参照して説明する。図２０は、本実施形態に係るノルム値が外れ値を超えて高かった画素のスペクトル、すなわち赤血球スペクトルを説明するための図である。図２１は、本実施形態に係る色分離処理、すなわち色分離の繰り返し処理の一例の流れを示すフローチャートである。
　補正部１３１Ｄは、ノルム値が外れ値を超えた画素のスペクトル、すなわち赤血球スペクトルを抽出し、蛍光分離部１３１Ａは、補正部１３１Ｄにより抽出されたスペクトルを初期値に加えて、再度色分離を実施する。詳述すると、補正部１３１Ｄは、ノルム値に閾値を設定し、ノルム値が所定の閾値以上となる画素、すなわちノルム値が外れ値を超えた画素のスペクトルを抽出する。例えば、図２０に示すように、ノルム値が外れ値を超えた画素のスペクトル、すなわち、赤血球スペクトルが抽出される。蛍光分離部１３１Ａは、補正部１３１Ｄにより抽出された赤血球由来のスペクトルを初期値である参照スペクトルに加えて再度色分離を実施する。この繰り返し分離処理について以下で説明する。
　図２１に示すように、ステップＳ１５１において、蛍光分離部１３１Ａは色分離計算を実行する。ステップＳ１５２において、生成部１３１Ｂはノルム画像を生成して出力する。ステップＳ１５３において、評価部１３１Ｃは、ノルム画像からノルム値が外れ値を超えて高かった画素のスペクトルを抽出し、抽出の可否を判断する。対象のスペクトルが抽出された場合（ステップＳ１５３のＹｅｓ）、蛍光分離部１３１Ａは、抽出したスペクトルを連結蛍光参照スペクトルに追加し、処理をステップＳ１５１に戻す。一方、対象のスペクトルが抽出されない場合には（ステップＳ１５３のＮｏ）、処理を終了する。
　このような分離繰り返し処理は、色分離処理（例えば、ＬＳＭ）を複数回実施する場合の処理内容である。また、赤血球スペクトルを参照スペクトルに加える処理においては、自家蛍光参照スペクトル等の可変スペクトルでも蛍光参照スペクトル等の固定スペクトルのどちらに加えてもよいが、後者に加える処理の方が分離精度はよくなるため、後者の方が好ましい。
　＜１－１１．適用例＞
　本開示に係る技術は、例えば、顕微鏡システムの一例である蛍光観察装置５００等に適用され得る。以下、図２２及び図２３を参照して、適用され得る蛍光観察装置５００の構成例について説明する。図２２は、本実施形態に係る蛍光観察装置５００の概略構成の一例を示す図である。図２３は、本実施形態に係る観察ユニット１の概略構成の一例を示す図である。
　図２２に示すように、蛍光観察装置５００は、観察ユニット１と、処理ユニット２と、表示部３とを有する。
　観察ユニット１は、励起部（照射部）１０と、ステージ２０と、分光イメージング部３０と、観察光学系４０と、走査機構５０と、フォーカス機構６０と、非蛍光観察部７０とを含む。
　励起部１０は、波長が異なる複数の照射光を観察対象物に照射する。励起部１０は、例えば、異軸平行に配置された波長の異なる複数のライン照明を観察対象物である病理標本、すなわち病理サンプルに照射する。ステージ２０は、病理標本を支持する台であって、走査機構５０により、ライン照明によるライン光の方向に対して垂直方向に移動可能に構成されている。分光イメージング部３０は、分光器を含み、ライン照明によりライン状に励起された病理標本の蛍光スペクトル、すなわち分光データを取得する。
　すなわち、観察ユニット１は、ライン照明に応じた分光データを取得するライン分光器として機能する。また、観察ユニット１は、複数の蛍光波長それぞれについて撮像対象である病理標本により生成された複数の蛍光画像をライン毎に撮像し、撮像した複数の蛍光画像のデータをラインの並び順で取得する撮像装置としても機能する。
　ここで、異軸平行とは、複数のライン照明が異軸かつ平行であることをいう。異軸とは、同軸上に無いことをいい、軸間の距離は特に限定されない。平行とは、厳密な意味での平行に限られず、ほぼ平行である状態も含む。例えば、レンズ等の光学系由来のディストーションや製造公差による平行状態からの逸脱があってもよく、この場合も平行とみなす。
　励起部１０と分光イメージング部３０は、ステージ２０に対し、観察光学系４０を介して接続されている。観察光学系４０は、フォーカス機構６０によって最適な焦点に追従する機能を有している。観察光学系４０には、暗視野観察、明視野観察などを行うための非蛍光観察部７０が接続されてもよい。また、観察ユニット１には、励起部１０、分光イメージング部３０、走査機構５０、フォーカス機構６０、非蛍光観察部７０などを制御する制御部８０が接続されてもよい。
　処理ユニット２は、記憶部２１と、データ校正部２２と、画像形成部２３とを含む。この処理ユニット２は、観察ユニット１によって取得された病理標本の蛍光スペクトルに基づいて、典型的には、病理標本の画像を形成し、あるいは蛍光スペクトルの分布を出力する。以下、病理標本はサンプルＳともいう。ここでの画像とは、そのスペクトルを構成する色素やサンプル由来の自家蛍光などの構成比率、波形からＲＧＢ（赤緑青）カラーに変換されたものや、特定の波長帯の輝度分布などをいう。
　記憶部２１は、例えばハードディスクドライブやフラッシュメモリといった不揮発性の記憶媒体と、当該記憶媒体に対するデータの書き込みおよび読み出しを制御する記憶制御部と、を含む。記憶部２１は、励起部１０が含む複数のライン照明それぞれにより射出される光の各波長と、分光イメージング部３０のカメラで受光された蛍光との相関を示す分光データが記憶される。また、記憶部２１には、観察対象となるサンプル（病理標本）に関する自家蛍光の標準スペクトルを示す情報や、サンプルを染色する色素単体の標準スペクトルを示す情報が予め記憶される。
　データ校正部２２は、分光イメージング部３０のカメラで撮像された撮像画像に基づき記憶部２１に記憶された分光データの構成を行う。画像形成部２３は、分光データと、励起部１０により照射された複数のライン照明の間隔Δｙとに基づき、サンプルの蛍光画像を形成する。例えば、データ校正部２２や画像形成部２３等を含む処理ユニット２は、ＣＰＵ（Central　Processing　Unit）、ＲＡＭ（Random　Access　Memory）、ＲＯＭ（Read　Only　Memory）等のコンピュータに用いられるハードウェア要素および必要なプログラム（ソフトウェア）により実現される。ＣＰＵに代えて、またはこれに加えて、ＦＰＧＡ（Field　Programmable　Gate　Array）等のＰＬＤ（Programmable　Logic　Device）、あるいは、ＤＳＰ（Digital　Signal　Processor）、その他ＡＳＩＣ（Application　Specific　Integrated　Circuit）等が用いられてもよい。
　表示部３は、例えば、画像形成部２３で形成された蛍光画像に基づく画像等の各種情報を表示する。この表示部３は、例えば、処理ユニット２に一体的に取り付けられたモニタで構成されてもよいし、処理ユニット２に接続された表示装置であってもよい。表示部３は、例えば、液晶デバイスあるいは有機ＥＬデバイス等の表示素子と、タッチセンサとを備え、撮影条件の入力設定や撮影画像等を表示するＵＩ（User　Interface）として構成される。
　次に、観察ユニット１の詳細について図２３を参照して説明する。ここでは、励起部１０がそれぞれ２波長の発光を行う２つのライン照明Ｅｘ１およびＥｘ２を含むものとして説明する。例えば、ライン照明Ｅｘ１が波長４０５ｎｍの光と波長５６１ｎｍの光とを発光し、ライン照明Ｅｘ２が波長４８８ｎｍの光と波長６４５ｎｍの光とを発光する。
　図２３に示すように、励起部１０は、複数の励起光源Ｌ１、Ｌ２、Ｌ３、Ｌ４を有する。各励起光源Ｌ１～Ｌ４は、波長がそれぞれ４０５ｎｍ、４８８ｎｍ、５６１ｎｍ及び６４５ｎｍのレーザ光を出力するレーザ光源で構成される。例えば、各励起光源Ｌ１～Ｌ４は、発光ダイオード（ＬＥＤ）やレーザダイオード（ＬＤ）などで構成される。
　さらに、励起部１０は、各励起光源Ｌ１～Ｌ４に対応するよう、複数のコリメータレンズ１１、複数のレーザラインフィルタ１２、複数のダイクロイックミラー１３ａ、１３ｂ、１３ｃと、ホモジナイザ１４と、コンデンサレンズ１５と、入射スリット１６とを有する。
　励起光源Ｌ１から出射されるレーザ光と励起光源Ｌ３から出射されるレーザ光は、それぞれコリメータレンズ１１によって平行光になった後、各々の波長帯域の裾野をカットするためのレーザラインフィルタ１２を透過し、ダイクロイックミラー１３ａによって同軸にされる。同軸化された２つのレーザ光は、さらに、ライン照明Ｅｘ１となるべくフライアイレンズなどのホモジナイザ１４とコンデンサレンズ１５によってビーム成形される。
　励起光源Ｌ２から出射されるレーザ光と励起光源Ｌ４から出射されるレーザ光も同様に各ダイクロイックミラー１３ｂ、１３ｃによって同軸化され、ライン照明Ｅｘ１とは異軸のライン照明Ｅｘ２となるようにライン照明化される。ライン照明Ｅｘ１およびＥｘ２は、各々が通過可能な複数のスリット部を有する入射スリット１６において距離Δｙだけ離れた異軸ライン照明、すなわち１次像を形成する。
　なお、本実施形態では、４つのレーザを２つの同軸、２つの異軸とした例について説明するが、このほかに、２つのレーザを２つの異軸構成にしたり、４つのレーザを４つの異軸構成にしたりしてもよい。
　１次像は、観察光学系４０を介してステージ２０上のサンプルＳに照射される。観察光学系４０は、コンデンサレンズ４１と、ダイクロイックミラー４２，４３と、対物レンズ４４と、バンドパスフィルタ４５と、コンデンサレンズ４６とを有する。コンデンサレンズ４６は結像レンズの一例である。ライン照明Ｅｘ１、Ｅｘ２は、対物レンズ４４と対になったコンデンサレンズ４１で平行光にされ、ダイクロイックミラー４２、４３により反射されて対物レンズ４４を透過し、ステージ２０上のサンプルＳに照射される。
　ここで、図２４は、本実施形態に係るサンプルＳの一例を示す図である。図２４では、サンプルＳを励起光であるライン照明Ｅｘ１およびＥｘ２の照射方向から見た様子が示されている。サンプルＳは、典型的には、図２４に示すような組織切片等の観察対象物Ｓａを含むスライドで構成されるが、勿論それ以外であってもよい。観察対象物Ｓａは、例えば、核酸、細胞、タンパク、菌、ウイルスなどの生体試料である。サンプルＳ、すなわち観察対象物Ｓａは、複数の蛍光色素によって染色されている。観察ユニット１は、サンプルＳを所望の倍率に拡大して観察する。
　図２５は、本実施形態に係るサンプルＳにライン照明Ｅｘ１およびＥｘ２が照射される領域Ａを拡大して示す図である。図２５の例では、領域Ａに２つのライン照明Ｅｘ１およびＥｘ２が配置されており、それぞれのライン照明Ｅｘ１およびＥｘ２に重なるように、分光イメージング部３０の撮影エリアＲ１およびＲ２が配置される。２つのライン照明Ｅｘ１およびＥｘ２は、それぞれＺ軸方向に平行であり、Ｙ軸方向に所定の距離Δｙだけ離れて配置される。
　サンプルＳの表面において、図２５に示したようにライン照明Ｅｘ１およびＥｘ２が形成される。これらのライン照明Ｅｘ１およびＥｘ２によってサンプルＳにおいて励起された蛍光は、図２３に示すように、対物レンズ４４によって集光され、ダイクロイックミラー４３に反射され、ダイクロイックミラー４２と、励起光をカットするバンドパスフィルタ４５とを透過し、コンデンサレンズ４６で再び集光されて、分光イメージング部３０に入射する。
　分光イメージング部３０は、図２３に示すように、観測スリット３１と、撮像素子３２と、第１プリズム３３と、ミラー３４と、回折格子３５と、第２プリズム３６とを有する。観測スリット３１は開口部である。回折格子３５は例えば波長分散素子である。
　図２３の例では、撮像素子３２は、２つの撮像素子３２ａ、３２ｂを含んで構成されている。この撮像素子３２は、回折格子３５によって波長分散された複数の光、例えば蛍光等を受光する。撮像素子３２には、例えば、ＣＣＤ（Charge　Coupled　Device）、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）などの２次元イメージャが採用される。
　観測スリット３１は、コンデンサレンズ４６の集光点に配置され、励起ライン数と同じ数、この例では２本のスリット部を有する。観測スリット３１を通過した２つの励起ライン由来の蛍光スペクトルは、第１プリズム３３で分離され、それぞれミラー３４を介して回折格子３５の格子面で反射することにより、励起波長各々の蛍光スペクトルにさらに分離される。分離された４つの蛍光スペクトルは、ミラー３４および第２プリズム３６を介して撮像素子３２ａおよび３２ｂに入射され、分光データとして、ライン方向の位置ｘと、波長λにより表現される分光データ（ｘ，λ）に展開される。分光データ（ｘ，λ）は、撮像素子３２に含まれる画素のうち、行方向において位置ｘ、列方向において波長λの位置の画素の画素値である。なお、分光データ（ｘ，λ）は、単に分光データとして記述されることがある。
　なお、撮像素子３２ａおよび３２ｂの画素サイズ［ｎｍ／Ｐｉｘｅｌ］は特に限定されず、例えば、２［ｎｍ／Ｐｉｘｅｌ］以上２０［ｎｍ／Ｐｉｘｅｌ］以下に設定される。この分散値は、回折格子３５のピッチや光学的に実現しても良いし、撮像素子３２ａおよび３２ｂのハードウェアビニングを使って実現しても良い。また、光路の途中にダイクロイックミラー４２やバンドパスフィルタ４５が挿入され、励起光、すなわちライン照明Ｅｘ１およびＥｘ２が撮像素子３２に到達しないようにされている。
　各ライン照明Ｅｘ１およびＥｘ２は、それぞれ単一の波長で構成される場合に限られず、それぞれが複数の波長で構成されてもよい。ライン照明Ｅｘ１およびＥｘ２がそれぞれ複数の波長で構成される場合、これらで励起される蛍光もそれぞれ複数のスペクトルを含む。この場合、分光イメージング部３０は、当該蛍光を励起波長に由来するスペクトルに分離するための波長分散素子を有する。波長分散素子は、回折格子やプリズムなどで構成され、典型的には、観測スリット３１と撮像素子３２との間の光路上に配置される。
　なお、ステージ２０および走査機構５０は、Ｘ－Ｙステージを構成し、サンプルＳの蛍光画像を取得するため、サンプルＳをＸ軸方向およびＹ軸方向へ移動させる。ＷＳＩ（Whole　slide　imaging）では、Ｙ軸方向にサンプルＳをスキャンし、その後、Ｘ軸方向に移動し、さらにＹ軸方向へのスキャンを行うといった動作が繰り返される。走査機構５０を用いることで、サンプルＳ、すなわち観察対象物Ｓａ上において空間的に距離Δｙだけ離れた、それぞれ異なる励起波長で励起された色素スペクトル、すなわち蛍光スペクトルを、Ｙ軸方向に連続的に取得することができる。
　走査機構５０は、サンプルＳにおける照射光の照射される位置を経時的に変化させる。例えば、走査機構５０は、ステージ２０をＹ軸方向に走査する。この走査機構５０によって、ステージ２０に対して複数のライン照明Ｅｘ１，Ｅｘ２をＹ軸方向、つまり、各ライン照明Ｅｘ１，Ｅｘ２の配列方向に走査させることができる。これは、この例に限定されず、光学系の途中に配置されたガルバノミラーによって複数のライン照明Ｅｘ１およびＥｘ２がＹ軸方向に走査されてもよい。各ライン照明Ｅｘ１およびＥｘ２由来のデータ、例えば、２次元データ又は３次元データは、Ｙ軸について距離Δｙだけ座標がシフトしたデータになるので、予め記憶された距離Δｙ、または、撮像素子３２の出力から計算される距離Δｙの値に基づいて、補正され出力される。
　図２３に示すように、非蛍光観察部７０は、光源７１、ダイクロイックミラー４３、対物レンズ４４、コンデンサレンズ７２、撮像素子７３などにより構成される。非蛍光観察部７０においては、図２３の例では、暗視野照明による観察系を示している。
　光源７１は、ステージ２０に対して対物レンズ４４と対向する側に配置され、ステージ２０上のサンプルＳに対して、ライン照明Ｅｘ１、Ｅｘ２とは反対側から照明光を照射する。暗視野照明の場合、光源７１は、対物レンズ４４のＮＡ（開口数）の外側から照明し、サンプルＳで回折した光（暗視野像）を対物レンズ４４、ダイクロイックミラー４３およびコンデンサレンズ７２を介して撮像素子７３で撮影する。暗視野照明を用いることで、蛍光染色サンプルのような一見透明なサンプルであってもコントラストを付けて観察することができる。
　なお、この暗視野像を蛍光と同時に観察して、リアルタイムのフォーカスに使ってもよい。この場合、照明波長は、蛍光観察に影響のない波長を選択すればよい。非蛍光観察部７０は、暗視野画像を取得する観察系に限られず、明視野画像、位相差画像、位相像、インラインホログラム（In-line　hologram）画像などの非蛍光画像を取得可能な観察系で構成されてもよい。例えば、非蛍光画像の取得方法として、シュリーレン法、位相差コントラスト法、偏光観察法、落射照明法などの種々の観察法が採用可能である。照明用光源の位置もステージ２０の下方に限られず、ステージ２０の上方や対物レンズ４４の周りにあってもよい。また、リアルタイムでフォーカス制御を行う方式だけでなく、予めフォーカス座標（Ｚ座標）を記録しておくプレフォーカスマップ方式等の他の方式が採用されてもよい。
　なお、上述では、励起光としてのライン照明は、ライン照明Ｅｘ１およびＥｘ２の２本で構成されたが、これに限定されず、３本、４本あるいは５本以上であってもよい。またそれぞれのライン照明は、色分離性能がなるべく劣化しないように選択された複数の励起波長を含んでもよい。また、ライン照明が１本であっても、複数の励起波長から構成される励起光源で、かつそれぞれの励起波長と、撮像素子３２で所得されるデータとを紐づけて記録すれば、異軸平行ほどの分離能は得られないが、多色スペクトルを得ることができる。
　以上、本開示に係る技術を蛍光観察装置５００に適用した適用例について説明した。なお、図２２及び図２３を参照して説明した上記の構成はあくまで一例であり、本実施形態に係る蛍光観察装置５００の構成は係る例に限定されない。例えば、蛍光観察装置５００は、図２２及び図２３に示す構成の全てを必ずしも備えなくてもよいし、図２２及び図２３に示されていない構成を備えてもよい。
　＜１－１２．作用・効果＞
　以上説明したように、本実施形態によれば、蛍光染色の標本画像から得られる蛍光成分（例えば、蛍光スペクトル）から染色蛍光成分及び自家蛍光成分（例えば、染色蛍光スペクトル及び自家蛍光スペクトル）のうち少なくとも一方を分離する分離部（例えば、蛍光分離部１３１Ａ）と、標本画像と、蛍光成分から染色蛍光成分及び自家蛍光成分のうち少なくとも一方を分離した分離後の画像との差分から画素毎に分離精度（例えば、ノルム値）を算出し、分離精度を画素毎に示す分離精度画像（例えば、ノルム画像）を生成する生成部１３１Ｂと、分離精度画像から、分離精度の外れ値を含む画素（例えば、外れ画素）を特定する評価部１３１Ｃが設けられている。これにより、分離精度画像が生成され、その分離生成画像に基づいて外れ画素が特定される。このため、外れ値を含む画素を用いて後処理を行うことが可能になる。例えば、外れ値を含む画素を分離画像から除外したり、また、外れ値を含む画素を後処理での使用から除外したり、外れ値を含む画素を含む領域をユーザに報知したりすることができる。このようにして、外れ値を含む画素を得ることで、分離画像精度及び分離精度を向上させることができる。
　また、外れ値を含む画素に基づいて処理を行う補正部１３１Ｄがさらに設けられてもよい。これにより、外れ値を含む画素に基づく画像処理を実行することが可能となる。例えば、外れ値を含む画素を分離画像から除外することができる。
　また、補正部１３１Ｄは、外れ値を含む画素に基づいて染色蛍光成分又は自家蛍光成分を含む分離画像をマスク処理してもよい。これにより、マスク処理した分離画像を得ることができる。
　また、補正部１３１Ｄは、分離精度画像の外れ値を含む画素と同じ所に位置する画素の値を０にし、その他の画素の値を１にしてマスク画像を生成してもよい。これにより、外れ値を含む画素と同じ所に位置する画素がマスクされた分離画像を容易に得ることができる。
　また、補正部１３１Ｄは、分離精度画像の外れ値を含む画素と同じ所に位置する画素を含む所定領域内の画素の値を０にし、その他の画素の値を１にしてマスク画像を生成してもよい。これにより、外れ値を含む画素と同じ所に位置する画素を含む所定領域がマスクされた分離画像を容易に得ることができる。
　また、補正部１３１Ｄは、後段の処理において分離精度画像の外れ値を含む画素と同じ所に位置する画素を除外してもよい。例えば、補正部１３１Ｄは、信号分離性能を示す信号分離値を求めるための画像において分離精度画像の外れ値を含む画素と同じ所に位置する画素を除外してもよい。これにより、信号分離値を求める際に、外れ値を含む画素に対応する画素を用いずに処理を行うことが可能になるので、信号分離値等の信号分離精度を上げることができる。なお、後段の処理としては、信号分離値の取得処理以外にも、例えば、陽性閾値を決める処理等がある。
　また、補正部１３１Ｄは、信号分離性能を示す信号分離値を求めるための画像において分離精度画像の外れ値を含む画素と同じ所に位置する画素の値を０に変えてもよい。これにより、信号分離値を求める際に、外れ値を含む画素に対応する画素を用いずに処理を行うことが可能になるので、信号分離値等の信号分離精度を上げることができる。
　また、補正部１３１Ｄは、信号分離性能を示す信号分離値を求めるための画像において分離精度画像の外れ値を含む画素と同じ所に位置する画素を含む細胞領域を除外してもよい。これにより、信号分離値を求める際に、外れ値を含む画素に対応する画素を含む細胞領域を用いずに処理を行うことが可能になるので、信号分離値等の信号分離精度を上げることができる。
　また、補正部１３１Ｄは、評価部１３１Ｃによる特定結果をユーザに提示する提示部１３１Ｅがさらに設けられてもよい。これにより、特定結果をユーザに提示することが可能になるので、ユーザは特定結果を把握することができる。
　また、提示部１３１Ｅは、外れ値を含む画素を含む分離精度画像を提示してもよい。これにより、ユーザは、外れ値を含む画素を含む分離精度画像を把握することができる。
　また、提示部１３１Ｅは、外れ値を含む画素を含む領域を提示してもよい。これにより、ユーザは、外れ値を含む画素を含む領域を把握することができる。
　また、生成部１３１Ｂは、標本画像と分離後の画像との差分値を画素毎に分離精度として算出してもよい。これにより、画素毎の分離精度を容易に求めることができる。
　また、差分値は、標本画像の画素値の行列をＡとし、分離後の蛍光成分（例えば、蛍光スペクトル）をＳとし、分離後の画像の画素値の行列をＣとした場合、｜Ａ－ＳＣ｜であってもよい。これにより、画素毎の分離精度を正確に求めることができる。
　また、差分値は、標本画像の画素値の行列をＡとし、分離後の蛍光成分（例えば、蛍光スペクトル）をＳとし、分離後の画像の画素値の行列をＤとし、転置行列ｔＡの疑似逆行列をｔＡ－１とした場合、｜Ａ－ＳＤｔＡ－１｜であってもよい。これにより、画素毎の分離精度を正確に求めることができる。
　また、生成部１３１Ｂは、分離精度画像の画素毎の分離精度を正規化してもよい。これにより、これにより、分離精度画像を規格化することが可能となるので、異なるサンプル間で分離精度画像を比較することができる。
　また、生成部１３１Ｂは、分離精度画像の画素毎の分離精度を分離前の標本画像の画素毎の画素値により割ってもよい。これにより、分離精度画像を容易に規格化することができる。
　また、分離部の一例である蛍光分離部１３１Ａは、最小二乗法、重み付き最小二乗法及び非負値行列因子分解のうち少なくとも一つを含む色分離計算により、蛍光成分から染色蛍光成分及び自家蛍光成分のうち少なくとも一方を分離してもよい。これにより、分離精度を向上させることができる。
　また、蛍光分離部１３１Ａは、分離精度が外れ値を超えた画素のスペクトルを用いて、再度、蛍光成分から染色蛍光成分及び自家蛍光成分のうち少なくとも一方を分離してもよい。これにより、分離精度をより向上させることができる。
　＜２．定量評価の一例＞
　＜２－１．定量評価の概要＞
　本実施形態に係る定量評価、すなわち信号分離値の算出の概要について簡単に説明する。
　従来、上記のような色分離アルゴリズム、例えば、色分離精度などを定量評価するため、実際に染色した画像では定量評価をする方法がなかった。この理由としては、「１．生体サンプルを実際に染色して撮影した画像だと、どこの場所に色素が染まったかが分からず、色素と自家蛍光を上手く分離できたかの判断ができない（正解が分からない）」、「２．ＦＣＭ（フローサイトメトリー）で用いられる、色素のスペクトルや検出系の波長分解能特性をつかって色素の分離性の良いパネルを作成する系だと、色素の重なりあいや自家蛍光の影響が大きい場合に使うことができない」、「３．抗原発現率、抗体色素標識率、色素輝度、励起効率からパネルを決定する系だと、組織部位によって自家蛍光の特性が異なるため空間的な複合評価に使うことができない」、「４．上記二つの系では、測定自家蛍光のスペクトル形状、付与すべきレベル及び測定系のノイズレベルがパネル設計時に不明であり考慮できない」という理由がある。
　そこで、色分離アルゴリズムなどの定量評価を行うためには、模擬画像を用いることが有効である。例えば、本実施形態では、撮影で取得した非染色画像の上に撮影パラメータに対応したノイズ特性を付与した色素スペクトルをタイル状に重畳して色素タイル画像（蛍光画像）を生成し、色素タイル画像及び非染色画像を合成し、実測を模擬した画像（模擬画像）を作成する。これにより、自家蛍光に対して色素輝度レベルが大きくない染色条件等も再現でき、色素と自家蛍光のある画素とを区別できる。その結果、色分離の精度を画素の平均と分散から信号分離値（Signal　separation値）として定量的に求めることができる。この定量評価について、以下で詳しく説明する。なお、信号分離値を求める処理においては、ノルム画像等の分離精度画像、すなわち外れ画素に基づいて、その外れ画素と同じ位置の画素を非染色画像や色素タイル画像等の画像から除外し、信号分離値を求める。
　＜２－２．定量評価に係る解析部の構成例＞
　本実施形態に係る定量評価に係る解析部１３３の構成例について図２６及び図２７を参照して説明する。図２６は、本実施形態に係る解析部１３３の概略構成の一例を示す図である。図２７は、本実施形態に係る模擬画像の生成を説明するための図である。
　図２６に示すように、解析部１３３は、模擬画像生成部１３１ａと、蛍光分離部１３１ｂと、評価部１３１ｃとを備える。蛍光分離部１３１ｂは色分離部１３２１に相当する。
　模擬画像生成部１３１ａは、図２７に示すように、自家蛍光成分を含む非染色画像（背景画像）と、色素タイル画像（蛍光画像）とを重畳し、模擬画像を生成する。色素タイル画像は、複数の色素タイルを有する色素タイル群である。この色素タイル画像は、例えば、蛍光色素（第一蛍光色素）の標準スペクトル（参照スペクトル）と、非染色画像の画素毎の撮像ノイズとが関連付けられた画像である。
　例えば、非染色画像の自家蛍光強度に対して付与する色素の強度は、抗原発現率、抗体標識率、色素励起効率、色素発光効率などから決定される。自家蛍光成分は、組織サンプルに内因される内因性ノイズである。内因性ノイズとしては、非染色画像の自家蛍光成分以外にも、例えば、非染色画像の他の蛍光色素（第二蛍光色素）の標準スペクトルも挙げられる。また、撮像ノイズは、例えば、非染色画像の撮像条件等に応じて変化するノイズである。この撮像ノイズの程度は画素毎に定量化また可視化されることになる。非染色画像の撮像条件は、例えば、レーザーパワーやゲイン、露光時間等を含む。
　撮像ノイズ（測定系ノイズ）としては、例えば、「１．自家蛍光による不要信号ノイズ」、「２．ＣＯＭＳ等のセンサ回路起因のランダムノイズ（例えば、読出しノイズや暗電流ノイズ等）」、「３．検出電荷量の平方根に応じて増えるショットノイズ（ランダム）」等が挙げられる。撮像ノイズを模擬するため、標準スペクトルとしての色素タイル画像に関連付ける、すなわち付与するノイズは、主に上記３のショットノイズである。これは、上記１及び２は背景の非染色画像（自家蛍光画像）に含まれるためである。タイルと背景を重畳することで、模擬したい撮像ノイズの上記１～３すべてを表現することが可能である。上記３で付与すべきショットノイズ量は、タイルに付与する色素信号の光子数または電荷量から決めることが可能である。例えば、本実施形態では、背景の非染色画像の電荷量を計算し、その値から色素の電荷量を決めて、さらにショットノイズ量を決める。なお、ショットノイズは、フォトンノイズとも呼ばれ、センサに到達する光子量が一定値を取ることがなく物理的に揺らぐことに起因するものである。このショットノイズは、測定系の回路をいくら改善してもなくらならないものである。
　ここで、図２７の例では、色素タイルは、表示用の画素である１０×１０画素分で構成されている（約０．３μｍ／ｐｉｘｅｌ）。これは非染色画像を撮影倍率２０倍で撮った場合であり、倍率を変えた場合、細胞サイズに合わせて色素タイルの大きさを変更する必要がある。一つの色素タイルのサイズは細胞のサイズに相当し、色素タイル画像の画素数は細胞サイズの画素数に相当する。画素の最小単位は細胞のサイズに等しい。色素タイル画像は、色素が異なる複数種の色素タイル、すなわち、複数の蛍光色素毎の標準スペクトルを含む。なお、一つの色素タイルに一つの色素ではなく、一つの色素タイルに複数の色素を混ぜることで、二重染色条件や三重染色条件での色分離性能を評価することも可能である。
　図２７の例では、９色の色素、すなわち色素タイルが用いられている。９色の色素タイルの配色パターンは、同色の色素タイルが斜めストライプ状に並ぶパターンであるが、これに限られるものではない。例えば、各色素タイルの配色パターンは、同色の色素タイルが縦ストライプ状や横ストライプ状、市松模様状などに並ぶパターンであってもよく、どの色素タイルがどの個所にあるのかを規定する所定の配色パターンであればよい。
　具体的には、模擬画像生成部１３１ａは、未染色組織画像等の非染色画像と撮影パラメータを入力パラメータとして取得する。撮像パラメータは、撮像条件の一例であり、例えば、レーザーパワーやゲイン、露光時間等を含む。模擬画像生成部１３１ａは、撮影パラメータに対応したノイズ特性を色素スペクトルに加えて色素タイルを生成し、ユーザが染色したい色素数分の色素タイルを繰り返し配置して、色素タイル画像をデータセットして生成する。
　蛍光分離部１３１ｂは、模擬画像生成部１３１ａにより生成された模擬画像に基づいて、第一蛍光色素の成分と自家蛍光成分を分離し、分離画像を生成する。この蛍光分離部１３１ｂは、模擬画像のデータセットに対して色分離計算を行い、分離画像を生成する。なお、蛍光分離部１３１ｂは、色分離部１３２１であり、色分離部１３２１と同様の処理を行う。色分離の手法は、例えば、ＬＳＭやＮＭＦ等を含む。
　評価部１３１ｃは、蛍光分離部１３１ｂにより生成された分離画像の分離の程度を評価する。この評価部１３１ｃは、色分離計算結果の平均と分散から分離画像の分離の程度（パネルの良否）を判定する。例えば、評価部１３１ｃは、分離画像からヒストグラムを生成し、そのヒストグラムから色素と色素以外との信号分離値（Signal　Separation値）を算出し、信号分離値に基づいて分離の程度を評価する。一例として、評価部１３１ｃは、色分離した陽性と陰性のピクセルをヒストグラムで表し、色分離精度の計算結果の数値である信号分離値を示すグラフを生成する。
　表示部１４０は、評価部１３１ｃの評価結果、例えば、色素ごとの信号分離値を示す情報や画像を表示する。例えば、表示部１４０は、評価部１３１ｃにより生成された色素ごとの信号分離値を示すグラフや図などを表示する。これにより、ユーザは評価部１３１ｃの評価結果を把握することができる。
　＜２－３．模擬画像作成の処理例＞
　本実施形態に係る模擬画像作成の処理例について図２８及び図２９を参照して説明する。図２８は、本実施形態に係る模擬画像生成処理の流れの一例を示すフローチャートである。図２９は、本実施形態に係るショットノイズ重畳処理を説明するための図である。
　図２８に示すように、ステップＳ１１において、ユーザが染色したい抗体及び色素の組み合わせを選定する。ステップＳ１２において、模擬画像生成部１３１ａは、付与する色素のスペクトル強度を、重畳する非染色画像の自家蛍光強度から決定する。ステップＳ１３において、模擬画像生成部１３１ａは、１画素ごとに撮影測定時のノイズレベルを考慮したノイズ、すなわち撮像ノイズを付与しながら、色素タイルを繰り返し配置し、蛍光画像、すなわち色素タイル画像を作成する。模擬画像生成部１３１ａは、作成した蛍光画像を非染色画像に重畳する。これにより、模擬画像が完成する。
　詳細には、上記のステップＳ１２では、背景画像である非染色画像の自家蛍光強度に対して付与する色素のスペクトル強度が決定される。例えば、非染色画像の自家蛍光強度に対して付与する色素スペクトルの輝度は、以下（ａ）から（ｃ）の流れで決定される。
　（ａ）色素のピーク位置強度の算出
　模擬画像生成部１３１ａは、各色素スペクトルのピーク位置１６ｎｍ分の強度を取得し、値を積算する。１６ｎｍ分は、最大値から２チャネル分である。
　（ｂ）自家蛍光のピーク位置強度
　模擬画像生成部１３１ａは、背景画像の自家蛍光強度を取得する。例えば、模擬画像生成部１３１ａは、各色素のピーク位置の２チャネル分に対応する背景画像のスペクトル強度を積算する。このとき、背景画像の波長チャネルのスペクトル強度は全画素の平均値である。
　（ｃ）自家蛍光強度に対して付与する色素強度の決定
　模擬画像生成部１３１ａは、背景画像の自家蛍光強度に対して抗原発現率や抗体標識率、色素励起効率、色素発光効率などから付与する色素強度を決定する。模擬画像生成部１３１ａは、設定した色素強度になるように、上記（ａ）と（ｂ）で求めたスペクトル強度から色素スペクトルの倍率を求めて調整する。なお、下記の式（１）から倍率が求められる。式（１）は、自家蛍光に対する色素強度の求め方に係る式である。
Figure JPOXMLDOC01-appb-M000001
　また、上記のステップＳ１３では、撮影パラメータに対応したノイズ重畳が行われる。例えば、記録デバイスであるＣＭＯＳのノイズ特性は露光時間に比例して大きくなる暗電流と読出しノイズ、信号強度の平方根に比例するショットノイズから構成される。本評価系において、暗電流ノイズと読出しノイズ成分は実測の非染色画像にすでに含まれるので、重畳する色素スペクトルにはショットノイズ成分のみ付与すればよい。ショットノイズ重畳は、以下（ａ）から（ｄ）の流れで行われる。
　（ａ）模擬画像生成部１３１ａは、色素スペクトルを波長校正データで除算し、ＡＤ値に戻す。波長校正データは、例えば、カメラ出力値から分光放射輝度への変換係数である。
　（ｂ）模擬画像生成部１３１ａは、背景画像撮影時のゲイン、ピクセル飽和電荷量からＡＤ値を電荷量ｅ－に換算する。
Figure JPOXMLDOC01-appb-M000002
　式（２）は、電荷量変換式である。Ｆ（λ）：色素の標準スペクトル、Ｃｏｒ（λ）：波長校正データ、Ｈ：変換係数、Ｅ（λ）：電荷量である。
　（ｃ）模擬画像生成部１３１ａは、σ＝Ｓ１／２（Ｓ：ピクセルあたりの電荷量ｅ－）のランダムノイズをショットノイズとして重畳する。
Figure JPOXMLDOC01-appb-M000003
　式（３）は、ショットノイズ重畳式である。ｎｅｗＥ（λ）：ショットノイズを重畳した色素の標準スペクトル、Ｎｒａｎｄ：σ＝１の正規乱数、Ｓ：ピクセルあたりの電荷量ｅ－である。
　（ｄ）模擬画像生成部１３１ａは、上記（ｃ）でショットノイズを重畳した後、（a）～（ｂ）と逆の流れで色素スペクトルを分光放射輝度に戻す。
　図２９は、上記の（ａ）～（ｄ）の流れを示す。上記の（ａ）～（ｄ）の流れで作成した色素スペクトルが画像の１画素分に相当するため、１０×１０画素の色素タイルとして繰り返し配置され、蛍光画像、すなわち色素タイル画像が作成される。
　＜２－４．定量評価の処理例＞
　本実施形態に係る定量評価の処理例について図３０から図３２を参照して説明する。図３０は、本実施形態に係る定量評価処理の流れの一例を示すフローチャートである。図３１は、本実施形態に係る分離画像及びヒストグラムの一例を示す図である。図３２は、本実施形態に係るヒストグラムに基づく信号分離値の算出を説明するための図である。
　図３０に示すように、ステップＳ２１において、蛍光分離部１３１ｂは模擬画像を受領する。ステップＳ２２において、蛍光分離部１３１ｂは模擬画像に対して色分離計算を実行する。ステップＳ２３において、評価部１３１ｃは分離画像からヒストグラムを作成する。ステップＳ２４において、評価部１３１ｃは、信号分離値（Signal　separation値）を算出する。
　詳細には、上記のステップＳ２２では、蛍光分離部１３１ｂは、使用した色素スペクトルのセットと自家蛍光スペクトルのセットを入力値として評価したい色分離アルゴリズム例えば、ＬＳＭやＮＭＦ等で色分離を実施する。
　また、上記のステップＳ２３では、評価部１３１ｃは、色分離計算後、色素毎に、図３１に示すように、分離画像からヒストグラムを生成する。
　また、上記のステップＳ２４では、評価部１３１ｃは、一つの細胞に相当する１０×１０ｐｉｘｅｌ、１タイルの平均値輝度を１つの信号ととらえ、図３２に示すように、全タイルの輝度の平均値μ、標準偏差σから、信号分離値を算出する。例えば、信号分離値が、検出限界値である３．２９σ＝１．６４５を超えれば、色分解性能、例えば、色分解精度が十分である。
Figure JPOXMLDOC01-appb-M000004
　式（４）は、信号分離値の算出式である。μ＿０：評価する色素以外のタイルの平均値、μ＿１：評価する色素のタイルの平均値、σ＿１：評価する色素のタイルの標準偏差、σ＿２：評価する色素以外のタイルの標準偏差である（図３２参照）。
　＜２－５．分離画像の画像例＞
　本実施形態に係る分離画像の画像例について図３３から図３５を参照して説明する。図３３から図３５は、それぞれ本実施形態に係る分離画像の一例を示す図である。
　図３３は分離画像の良い例であり、図３４は分離画像の悪い例１であり、図３５は分離画像の悪い例２である。悪い例１及び悪い例２のいずれも、自家蛍光漏れ込みが発生している。これらの画像は、必要に応じて、表示部１４０により表示される。この表示の有無は、操作部１６０に対するユーザの入力操作によって選択可能であってもよい。
　図３３に示すように、分離画像において自家蛍光漏れ込みがない。図３３の例では、部分拡大図が示されているが、この部分拡大図でも自家蛍光漏れ込みがない。一方、図３４に示すように、分離画像において自家蛍光漏れ込みがある。図３４の例では、自家蛍光漏れ込みがある箇所の部分拡大図が示されているが、強い自家蛍光漏れ込みがある。また、図３４と同様、図３５に示すように、分離画像において自家蛍光漏れ込みがある。図３５の例では、図３４と同様、自家蛍光漏れ込みがある箇所の部分拡大図が示されているが、強い自家蛍光漏れ込みがある。
　＜２－６．評価結果画像の画像例＞
　本実施形態に係る評価結果画像の画像例について図３６及び図３７を参照して説明する。図３６は、本実施形態に係る色素ごとの信号分離値を示す棒グラフである。図３７は、本実施形態に係る色素ごとの信号分離値を示す散布図である。
　図３６に示すように、色素ごとの信号分離値を示す棒グラフが表示部１４０により表示される。また、図３７に示すように、色素ごとの信号分離値を示す散布図が表示部１４０により表示される。この散布図は、励起が近い色素同士の漏れ込みを示す散布図である。これらの棒フラグや分散図は、評価部１３１ｃにより生成されて表示部１４０に出力される。棒グラフや分散図は、評価部１３１ｃの評価結果を示す画像であり、あくまでも一例である。この表示の有無や表示態様、例えば、棒グラフや分散図等の表示態様は、操作部１６０に対するユーザの入力操作によって選択可能であってもよい。
　以上、本実施形態に係る情報処理システムによれば、ゲインや露光時間などの撮影パラメータに対応するノイズ特性を画素毎の色素スペクトルに重畳する工夫を施しながら、染色したい色素数分、細胞の大きさに相応する画素数の色素タイルを繰り返し配置し、非染色画像に重畳することで実測を模擬した染色画像、すなわち模擬画像を作成する。これにより、測定自家蛍光のスペクトル形状やノイズレベルの特性を反映することが可能となるので、あらゆる撮影条件において模擬画像を作成することができる。
　また、色素タイルを繰り返し配置した模擬画像を作成することにより、色素を重畳した画素と自家蛍光を含むそれ以外の画素を区別できるようになるので、色分離の精度をそれぞれの画素の平均と標準偏差から信号分離値（Signal　separation値）として定量的に算出することができる。加えて、抗原発現率、抗体標識率、色素励起効率、色素発光効率などから非染色画像の自家蛍光スペクトルに対して付与する色素強度を設定することができるため、あらゆる染色条件でも色分離精度を評価することが可能である。
　つまり、模擬画像生成部１３１ａは、撮影で取得した非染色画像の上に撮影パラメータに対応したノイズ特性を付与した色素スペクトルをタイル状に重畳して色素タイル画像を生成し、色素タイル画像及び非染色画像を合成し、実測を模擬した画像、すなわち模擬画像を作成する。これにより、自家蛍光に対して色素輝度レベルが大きくない染色条件等も再現でき、色素と自家蛍光のある画素とを区別できる。その結果、色分離の精度を画素の平均と分散から信号分離値（Signal　separation値）として定量的に求めることができる。
　例えば、色分離アルゴリズムの精度について、分散と平均から求めた信号分離値という数値として定量的に求めることが可能になる。また、色素同士の組み合わせや色素と試薬の組み合わせの評価についても、数値として定量的に求めることができる。また、異なる自家蛍光スペクトルをもつ組織部位、すなわち異なる組織でも定量評価ができ、複合的な評価も可能となる。
　通常、色分離アルゴリズムの精度を目視による定性評価であるが、本実施形態によれば、最適な色分離アルゴリズムを選定するために定量評価を行うことができる。また、上記１～４で述べた課題があるが、あらゆる染色条件でも色分離の精度を定量評価することができる。また、複合的な評価が可能となるので、より最適なパネル設計をすることができる。さらに、色素の重なり合いや自家蛍光の影響が大きい場合でも評価を行うことができる。また、組織部位によって自家蛍光の特性が異なるが、空間的な複合評価を行うこともできる。測定系のノイズレベルも考慮した上でパネル設計のシミュレーションを行うことができる。
　例えば、重畳する非染色画像をＤＡＰＩ（4',6-Diamidino-2-phenylindole,dihydrochloride）染色のみにすれば、ユーザが選択した色素＋ＤＡＰＩでのシミュレーションが可能になる。また、ＤＡＰＩの漏れ込み等も考慮した上で、色分離アルゴリズムの評価やパネル設計ができる。
　＜２－７．作用・効果＞
　以上説明したように、定量評価の一例によれば、自家蛍光成分を含む非染色画像と、第一蛍光色素の標準スペクトル（参照スペクトル）及び非染色画像の画素毎の撮像ノイズが関連付けられた色素タイル画像とを重畳し、模擬画像を生成する模擬画像生成部１３１ａと、模擬画像に基づいて、第一蛍光色素の成分と自家蛍光成分とを分離し、分離画像を生成する蛍光分離部１３１ｂと、分離画像の分離の程度を評価する評価部１３１ｃが設けられる。これにより、模擬画像が生成され、その模擬画像に対して色分離処理が行われて分離画像が生成され、分離画像の分離の程度が評価される。このように模擬画像を用いることで、色分離精度を定量的に評価することが可能になるので、蛍光分離の程度を適切に評価することができる。
　また、色素タイル画像は、第一蛍光色素に加え、第二蛍光色素の標準スペクトルを含み、第一蛍光色素及び第二蛍光色素の個々の標準スペクトルと非染色画像の画素毎の撮像ノイズとが関連付けられた画像であってもよい。これにより、複数の蛍光色素に対応する模擬画像を生成することができる。
　また、撮像ノイズは、非染色画像の撮像条件に応じて変化するノイズであってもよい。これにより、非染色画像の撮像条件に対応する模擬画像を生成することができる。
　また、非染色画像の撮像条件は、レーザーパワー、ゲイン及び露光時間のうち少なくとも１つ又は全てを含んでもよい。これにより、それらの情報に対応する模擬画像を生成することができる。
　また、色素タイル画像は、複数の色素タイルを有する色素タイル群であってもよい。これにより、各色素タイルに対応する模擬画像を生成することができる。
　また、複数の色素タイルの個々のサイズは、細胞のサイズと同じであってもよい。これにより、細胞のサイズと同じサイズの各色素タイルに対応する模擬画像を生成することができる。
　また、複数の色素タイルは、所定の配色パターンで並ぶように配置されてもよい。これにより、所定の配色パターンに基づいて、各色素タイルに対応する模擬画像に対する色分離処理を行うことが可能になるので、色分離処理を効率よく実行することができる。
　また、撮像ノイズの程度は、色素タイル毎に定量化又は可視化されてもよい。これにより、撮像ノイズの程度が定量化されると、定量化された撮像ノイズの程度に対応する模擬画像を生成することができる。また、撮像ノイズの程度が可視化されると、ユーザは撮像ノイズの程度を把握することができる。
　また、模擬画像生成部１３１ａは、ユーザが指定した色素数分の色素タイルを繰り返し配置し、色素タイル画像を生成してもよい。これにより、ユーザが指定した色素数分の色素タイルに対応する模擬画像を生成することができる。
　また、模擬画像生成部１３１ａは、複数の色素を混ぜて色素タイルを作成してもよい。これにより、二重染色条件や三重染色条件等での色分離性能（例えば、色分離精度）を評価することができる。
　また、模擬画像生成部１３１ａは、非染色画像の自家蛍光強度に対して付与する色素のスペクトル強度を決定してもよい。これにより、自家蛍光強度に対して色素輝度レベルが大きくない染色条件等も再現でき、色素と自家蛍光のある画素とを区別することができる。
　また、模擬画像生成部１３１ａは、第一蛍光色素の標準スペクトルに撮像ノイズを重畳してもよい。これにより、標準スペクトルと撮像ノイズとを関連付けて色素タイル画像を生成することができる。
　また、重畳する撮像ノイズは、ショットノイズであってもよい。これにより、ショットノイズに対応する色素タイル画像を生成することができる。
　また、蛍光分離部１３１ｂは、最小二乗法や重み付最小二乗法、非負値行列因子分解のうち少なくとも一つを含む色分離計算により、第一蛍光色素の成分と自家蛍光成分を分離してもよい。これにより、精度よく色分離処理を行うことができる。
　また、評価部１３１ｃは、分離画像からヒストグラムを生成し、ヒストグラムから色素と色素以外との信号分離値を算出し、信号分離値に基づいて分離の程度を評価してもよい。これにより、精度よく分離の程度を評価することができる。例えば、信号分離値が所定値（例えば、１．６４５）を超えている場合には、分離の程度が良いと評価する。
　＜３．定量評価の変形例＞
　＜３－１．定量評価に係る解析部の構成例＞
　本実施形態に係る定量評価に係る解析部１３３の構成例について図３８を参照して説明する。図３８は、本実施形態に係る解析部１３３の概略構成の一例を示す図である。
　図３８に示すように、解析部１３３は、前述の模擬画像生成部１３１ａ、蛍光分離部１３１ｂ及び評価部１３１ｃに加え、推奨部１３１ｄを備える。
　推奨部１３１ｄは、評価部１３１ｃで評価された分離の程度から、ユーザが指定した色素の中から最適な試薬（蛍光試薬１０Ａ）を推奨する。例えば、推奨部１３１ｄは、自家蛍光スペクトルが異なる組織による空間的な情報評価や組織に対して最適な色素の組み合わせをユーザに提示するための画像（例えば、表や図など）を生成し、表示部１４０は、推奨部１３１ｄにより生成された画像を表示する。これにより、ユーザは、表示画像を視認し、最適な色素の組み合わせを把握することができる。
　例えば、評価部１３１ｃは、染色に使用する色素の組み合わせや、色素と試薬との組み合わせについて、信号分離値（Signal　Separation値）を算出する。推奨部１３１ｄは、算出結果（例えば、組み合わせ毎の信号分離値）に基づいて、どの組み合わせが最適であるかをユーザに提示するための画像を生成する。例えば、推奨部１３１ｄは、信号分離値が１．６４５を超えていない色素を除外し、最適な組み合わせを示す画像を生成する。なお、最適な組み合わせを生成する以外にも、例えば、推奨する複数の組み合わせを色分離性能（例えば、信号分離値）と共に示す画像（例えば、表や図など）を生成してもよい。また、抗体及び色素の組み合わせを示すマトリックス情報を示す画像（例えば、表など）を参照用に表示してもよい。
　＜３－２．作用・効果＞
　以上説明したように、定量評価の変形例によれば、前述の定量評価の一例と同様の効果を得ることができる。さらに、分離の程度に基づいて、ユーザが指定した色素に対応する最適な試薬（蛍光試薬１０Ａ）を推奨する推奨部１３１ｄが設けられる。これにより、ユーザは最適な試薬を把握することが可能となるので、ユーザの利便性を向上させることができる。
　また、推奨部１３１ｄは、色素の組み合わせ又は色素と試薬との組み合わせを示す画像（例えば、表や図など）を生成してもよい。これにより、ユーザは色素の組み合わせ又は色素と試薬との組み合わせを把握することが可能となるので、ユーザの利便性を向上させることができる。
　また、推奨部１３１ｄは、抗体及び色素の組み合わせを示す画像（例えば、図など）を生成してもよい。これにより、ユーザは抗体及び色素の組み合わせを把握することが可能となるので、ユーザの利便性を向上させることができる。
　＜４．他の実施形態＞
　上述した実施形態又は変形例に係る処理は、上記実施形態以外にも種々の異なる形態又は変形例にて実施されてよい。例えば、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
　また、上述した実施形態又は変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
　＜５．応用例＞
　本開示に係る技術は、例えば、顕微鏡システム等に応用されることができる。以下、図３９から図４１を参照して、応用され得る顕微鏡システム５０００の構成例について説明する。顕微鏡システム５０００の一部である顕微鏡装置５１００は、撮像装置として機能する。
　本開示の顕微鏡システムの構成例を図３９に示す。図３９に示される顕微鏡システム５０００は、顕微鏡装置５１００、制御部５１１０、及び情報処理部５１２０を含む。顕微鏡装置５１００は、光照射部５１０１、光学部５１０２、及び信号取得部５１０３を備えている。顕微鏡装置５１００はさらに、生体由来試料Ｓが配置される試料載置部５１０４を備えていてよい。なお、顕微鏡装置の構成は図３９に示されるものに限定されず、例えば、光照射部５１０１は、顕微鏡装置５１００の外部に存在してもよく、例えば顕微鏡装置５１００に含まれない光源が光照射部５１０１として利用されてもよい。また、光照射部５１０１は、光照射部５１０１と光学部５１０２とによって試料載置部５１０４が挟まれるように配置されていてよく、例えば、光学部５１０２が存在する側に配置されてもよい。顕微鏡装置５１００は、明視野観察、位相差観察、微分干渉観察、偏光観察、蛍光観察、及び暗視野観察のうちの１又は２以上を実行することができるように構成されてよい。
　顕微鏡システム５０００は、いわゆるＷＳＩ（Whole　Slide　Imaging）システム又はデジタルパソロジーイメージングシステムとして構成されてよく、病理診断のために用いられうる。また、顕微鏡システム５０００は、蛍光イメージングシステム、特には多重蛍光イメージングシステムとして構成されてもよい。
　例えば、顕微鏡システム５０００は、術中病理診断又は遠隔病理診断を行うために用いられてよい。当該術中病理診断では、手術が行われている間に、顕微鏡装置５１００が、当該手術の対象者から取得された生体由来試料Ｓのデータを取得し、そして、当該データを情報処理部５１２０へと送信しうる。当該遠隔病理診断では、顕微鏡装置５１００は、取得した生体由来試料Ｓのデータを、顕微鏡装置５１００とは離れた場所（別の部屋又は建物など）に存在する情報処理部５１２０へと送信しうる。そして、これらの診断において、情報処理部５１２０は、当該データを受信し、出力する。出力されたデータに基づき、情報処理部５１２０のユーザが、病理診断を行いうる。
　（生体由来試料）
　生体由来試料Ｓは、生体成分を含む試料であってよい。前記生体成分は、生体の組織、細胞、生体の液状成分（血液や尿等）、培養物、又は生細胞（心筋細胞、神経細胞、及び受精卵など）であってよい。前記生体由来試料は、固形物であってよく、パラフィンなどの固定試薬によって固定された標本又は凍結により形成された固形物であってよい。前記生体由来試料は、当該固形物の切片でありうる。前記生体由来試料の具体的な例として、生検試料の切片を挙げることができる。
　前記生体由来試料は、染色又は標識などの処理が施されたものであってよい。当該処理は、生体成分の形態を示すための又は生体成分が有する物質（表面抗原など）を示すための染色であってよく、ＨＥ（Hematoxylin-Eosin）染色、免疫組織化学（Immunohistochemistry）染色を挙げることができる。前記生体由来試料は、１又は２以上の試薬により前記処理が施されたものであってよく、当該試薬は、蛍光色素、発色試薬、蛍光タンパク質、又は蛍光標識抗体でありうる。
　前記標本は、組織サンプルから病理診断または臨床検査などを目的に作製されたものであってよい。また、前記標本は、人体に限らず、動物、植物、又は他の材料に由来するものであってもよい。前記標本は、使用される組織（例えば臓器または細胞など）の種類、対象となる疾病の種類、対象者の属性（例えば、年齢、性別、血液型、または人種など）、または対象者の生活習慣（例えば、食生活、運動習慣、または喫煙習慣など）などにより性質が異なる。前記標本は、各標本それぞれ識別可能な識別情報(バーコード又はＱＲコード（登録商標）等）を付されて管理されてよい。
　（光照射部）
　光照射部５１０１は、生体由来試料Ｓを照明するための光源、および光源から照射された光を標本に導く光学部である。光源は、可視光、紫外光、若しくは赤外光、又はこれらの組合せを生体由来試料に照射しうる。光源は、ハロゲン光源、レーザ光源、ＬＥＤ光源、水銀光源、及びキセノン光源のうちの１又は２以上であってよい。蛍光観察における光源の種類及び／又は波長は、複数でもよく、当業者により適宜選択されてよい。光照射部は、透過型、反射型又は落射型（同軸落射型若しくは側射型）の構成を有しうる。
　（光学部）
　光学部５１０２は、生体由来試料Ｓからの光を信号取得部５１０３へと導くように構成される。光学部は、顕微鏡装置５１００が生体由来試料Ｓを観察又は撮像することを可能とするように構成されうる。光学部５１０２は、対物レンズを含みうる。対物レンズの種類は、観察方式に応じて当業者により適宜選択されてよい。また、光学部は、対物レンズによって拡大された像を信号取得部に中継するためのリレーレンズを含んでもよい。光学部は、前記対物レンズ及び前記リレーレンズ以外の光学部品、接眼レンズ、位相板、及びコンデンサレンズなど、をさらに含みうる。また、光学部５１０２は、生体由来試料Ｓからの光のうちから所定の波長を有する光を分離するように構成された波長分離部をさらに含んでよい。波長分離部は、所定の波長又は波長範囲の光を選択的に信号取得部に到達させるように構成されうる。波長分離部は、例えば、光を選択的に透過させるフィルタ、偏光板、プリズム（ウォラストンプリズム）、及び回折格子のうちの１又は２以上を含んでよい。波長分離部に含まれる光学部品は、例えば対物レンズから信号取得部までの光路上に配置されてよい。波長分離部は、蛍光観察が行われる場合、特に励起光照射部を含む場合に、顕微鏡装置内に備えられる。波長分離部は、蛍光同士を互いに分離し又は白色光と蛍光とを分離するように構成されうる。
　（信号取得部）
　信号取得部５１０３は、生体由来試料Ｓからの光を受光し、当該光を電気信号、特にはデジタル電気信号へと変換することができるように構成されうる。信号取得部は、当該電気信号に基づき、生体由来試料Ｓに関するデータを取得することができるように構成されてよい。信号取得部は、生体由来試料Ｓの像（画像、特には静止画像、タイムラプス画像、又は動画像）のデータを取得することができるように構成されてよく、特に光学部によって拡大された画像のデータを取得するように構成されうる。信号取得部は、１次元又は２次元に並んで配列された複数の画素を備えている１つ又は複数の撮像素子、ＣＭＯＳ又はＣＣＤなど、を含む。信号取得部は、低解像度画像取得用の撮像素子と高解像度画像取得用の撮像素子とを含んでよく、又は、ＡＦなどのためのセンシング用撮像素子と観察などのための画像出力用撮像素子とを含んでもよい。撮像素子は、前記複数の画素に加え、各画素からの画素信号を用いた信号処理を行う信号処理部（ＣＰＵ、ＤＳＰ、及びメモリのうちの１つ、２以上を含む）、及び、画素信号から生成された画像データ及び信号処理部により生成された処理データの出力の制御を行う出力制御部を含みうる。前記複数の画素、前記信号処理部、及び前記出力制御部を含む撮像素子は、好ましくは１チップの半導体装置として構成されうる。なお、顕微鏡システム５０００は、イベント検出センサをさらに具備してもよい。当該イベント検出センサは、入射光を光電変換する画素を含み、当該画素の輝度変化が所定の閾値を超えたことをイベントとして検出するように構成されうる。当該イベント検出センサは、特には非同期型でありうる。
　（制御部）
　制御部５１１０は、顕微鏡装置５１００による撮像を制御する。制御部は、撮像制御のために、光学部５１０２及び／又は試料載置部５１０４の移動を駆動して、光学部と試料載置部との間の位置関係を調節しうる。制御部５１１０は、光学部及び／又は試料載置部を、互いに近づく又は離れる方向（例えば対物レンズの光軸方向）に移動させうる。また、制御部は、光学部及び／又は試料載置部を、前記光軸方向と垂直な面におけるいずれかの方向に移動させてもよい。制御部は、撮像制御のために、光照射部５１０１及び／又は信号取得部５１０３を制御してもよい。
　（試料載置部）
　試料載置部５１０４は、生体由来試料の試料載置部上における位置が固定できるように構成されてよく、いわゆるステージであってよい。試料載置部５１０４は、生体由来試料の位置を、対物レンズの光軸方向及び／又は当該光軸方向と垂直な方向に移動させることができるように構成されうる。
　（情報処理部）
　情報処理部５１２０は、顕微鏡装置５１００が取得したデータ（撮像データなど）を、顕微鏡装置５１００から取得しうる。情報処理部は、撮像データに対する画像処理を実行しうる。当該画像処理は、アンミキシング処理、特にはスペクトラルアンミキシング処理を含んでよい。当該アンミキシング処理は、撮像データから所定の波長又は波長範囲の光成分のデータを抽出して画像データを生成する処理、又は、撮像データから所定の波長又は波長範囲の光成分のデータを除去する処理などを含みうる。また、当該画像処理は、組織切片の自家蛍光成分と色素成分を分離する自家蛍光分離処理や互いに蛍光波長が異なる色素間の波長を分離する蛍光分離処理を含みうる。前記自家蛍光分離処理では、同一ないし性質が類似する前記複数の標本のうち、一方から抽出された自家蛍光シグナルを用いて他方の標本の画像情報から自家蛍光成分を除去する処理を行ってもよい。情報処理部５１２０は、制御部５１１０に撮像制御のためのデータを送信してよく、当該データを受信した制御部５１１０が、当該データに従い顕微鏡装置５１００による撮像を制御してもよい。
　情報処理部５１２０は、汎用のコンピュータなどの情報処理装置として構成されてよく、ＣＰＵ、ＲＡＭ、及びＲＯＭを備えていてよい。情報処理部は、顕微鏡装置５１００の筐体内に含まれていてよく、又は、当該筐体の外にあってもよい。また、情報処理部による各種処理又は機能は、ネットワークを介して接続されたサーバコンピュータ又はクラウドにより実現されてもよい。
　顕微鏡装置５１００による生体由来試料Ｓの撮像の方式は、生体由来試料の種類及び撮像の目的などに応じて、当業者により適宜選択されてよい。当該撮像方式の例を以下に説明する。
　撮像方式の一つの例は以下のとおりである。顕微鏡装置は、まず、撮像対象領域を特定しうる。当該撮像対象領域は、生体由来試料が存在する領域全体をカバーするように特定されてよく、又は、生体由来試料のうちの目的部分（目的組織切片、目的細胞、又は目的病変部が存在する部分）をカバーするように特定されてもよい。次に、顕微鏡装置は、当該撮像対象領域を、所定サイズの複数の分割領域へと分割し、顕微鏡装置は各分割領域を順次撮像する。これにより、各分割領域の画像が取得される。
　図４０に示されるように、顕微鏡装置は、生体由来試料Ｓ全体をカバーする撮像対象領域Ｒを特定する。そして、顕微鏡装置は、撮像対象領域Ｒを１６の分割領域へと分割する。そして、顕微鏡装置は分割領域Ｒ１の撮像を行い、そして次に、その分割領域Ｒ１に隣接する領域など、撮像対象領域Ｒに含まれる領域の内いずれか領域を撮像しうる。そして、未撮像の分割領域がなくなるまで、分割領域の撮像が行われる。なお、撮像対象領域Ｒ以外の領域についても、分割領域の撮像画像情報に基づき、撮像しても良い。或る分割領域を撮像した後に次の分割領域を撮像するために、顕微鏡装置と試料載置部との位置関係が調整される。当該調整は、顕微鏡装置の移動、試料載置部の移動、又は、これらの両方の移動により行われてよい。この例において、各分割領域の撮像を行う撮像装置は、２次元撮像素子（エリアセンサ）又は１次元撮像素子（ラインセンサ）であってよい。信号取得部は、光学部を介して各分割領域を撮像してよい。また、各分割領域の撮像は、顕微鏡装置及び／又は試料載置部を移動させながら連続的に行われてよく、又は、各分割領域の撮像に際して顕微鏡装置及び／又は試料載置部の移動が停止されてもよい。各分割領域の一部が重なり合うように、前記撮像対象領域の分割が行われてよく、又は、重なり合わないように前記撮像対象領域の分割が行われてもよい。各分割領域は、焦点距離及び／又は露光時間などの撮像条件を変えて複数回撮像されてもよい。また、情報処理装置は、隣り合う複数の分割領域をスティッチングして、より広い領域の画像データを生成しうる。当該スティッチング処理を、撮像対象領域全体にわたって行うことで、撮像対象領域について、より広い領域の画像を取得することができる。また、分割領域の画像、またはスティッチング処理を行った画像から、より解像度の低い画像データを生成しうる。
　撮像方式の他の例は以下のとおりである。顕微鏡装置は、まず、撮像対象領域を特定しうる。当該撮像対象領域は、生体由来試料が存在する領域全体をカバーするように特定されてよく、又は、生体由来試料のうちの目的部分（目的組織切片又は目的細胞が存在する部分）をカバーするように特定されてもよい。次に、顕微鏡装置は、撮像対象領域の一部の領域（「分割スキャン領域」ともいう）を、光軸と垂直な面内における一つの方向（「スキャン方向」ともいう）へスキャンして撮像する。当該分割スキャン領域のスキャンが完了したら、次に、前記スキャン領域の隣の分割スキャン領域を、スキャンする。これらのスキャン動作が、撮像対象領域全体が撮像されるまで繰り返される。図４１に示されるように、顕微鏡装置は、生体由来試料Ｓのうち、組織切片が存在する領域（グレーの部分）を撮像対象領域Ｓａとして特定する。そして、顕微鏡装置は、撮像対象領域Ｓａのうち、分割スキャン領域Ｒｓを、Ｙ軸方向へスキャンする。顕微鏡装置は、分割スキャン領域Ｒｓのスキャンが完了したら、次に、Ｘ軸方向における隣の分割スキャン領域をスキャンする。撮像対象領域Ｓａの全てについてスキャンが完了するまで、この動作が繰り返しされる。各分割スキャン領域のスキャンのために、及び、或る分割スキャン領域を撮像した後に次の分割スキャン領域を撮像するために、顕微鏡装置と試料載置部との位置関係が調整される。当該調整は、顕微鏡装置の移動、試料載置部の移動、又は、これらの両方の移動により行われてよい。この例において、各分割スキャン領域の撮像を行う撮像装置は、１次元撮像素子（ラインセンサ）又は２次元撮像素子（エリアセンサ）であってよい。信号取得部は、拡大光学系を介して各分割領域を撮像してよい。また、各分割スキャン領域の撮像は、顕微鏡装置及び／又は試料載置部を移動させながら連続的に行われてよい。各分割スキャン領域の一部が重なり合うように、前記撮像対象領域の分割が行われてよく、又は、重なり合わないように前記撮像対象領域の分割が行われてもよい。各分割スキャン領域は、焦点距離及び／又は露光時間などの撮像条件を変えて複数回撮像されてもよい。また、情報処理装置は、隣り合う複数の分割スキャン領域をスティッチングして、より広い領域の画像データを生成しうる。当該スティッチング処理を、撮像対象領域全体にわたって行うことで、撮像対象領域について、より広い領域の画像を取得することができる。また、分割スキャン領域の画像、またはスティッチング処理を行った画像から、より解像度の低い画像データを生成しうる。
　＜６．ハードウェアの構成例＞
　各実施形態（又は各変形例）に係る情報処理装置１００のハードウェアの構成例について図４２を参照して説明する。図４２は、情報処理装置１００のハードウェアの概略構成の一例を示すブロック図である。情報処理装置１００による各種処理は、例えば、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
　図４２に示すように、情報処理装置１００は、ＣＰＵ（Central　Processing　Unit）９０１、ＲＯＭ（Read　Only　Memory）９０２、ＲＡＭ（Random　Access　Memory）９０３及びホストバス９０４ａを備える。また、情報処理装置１００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３及びセンサ９１５を備える。情報処理装置１００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣなどの処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、情報処理装置１００の少なくとも処理部１３０及び制御部１５０を具現し得る。
　ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Peripheral　Component　Interconnect/Interface）バス等の外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
　入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、実施者によって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置１００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いて実施者により入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。実施者は、この入力装置９０６を操作することにより、情報処理装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。入力装置９０６は、例えば、情報処理装置１００の少なくとも操作部１６０を具現し得る。
　出力装置９０７は、取得した情報を実施者に対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音響出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置１００の少なくとも表示部１４０を具現し得る。
　ストレージ装置９０８は、データ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、情報処理装置１００の少なくとも保存部１２０を具現し得る。
　ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置１００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
　接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Universal　Serial　Bus）などによりデータ伝送可能な外部機器との接続口である。
　通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Local　Area　Network）、ＬＴＥ（Long　Term　Evolution）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Wireless　USB）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Asymmetric　Digital　Subscriber　Line）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。
　センサ９１５は、本実施形態においては、スペクトルを取得可能なセンサ（例えば、撮像素子等）を含むところ、他のセンサ（例えば、加速度センサ、ジャイロセンサ、地磁気センサ、感圧センサ、音センサ、または測距センサ等）を含んでもよい。センサ９１５は、例えば、情報処理装置１００の少なくとも画像取得部１１２を具現し得る。
　なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Local　Area　Network）、ＷＡＮ（Wide　Area　Network）などを含んでもよい。また、ネットワーク９２０は、ＩＰ－ＶＰＮ（Internet　Protocol-Virtual　Private　Network）などの専用回線網を含んでもよい。
　以上、情報処理装置１００の機能を実現可能なハードウェア構成例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本開示を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　なお、上記のような情報処理装置１００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等を含む。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　＜７．付記＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　蛍光染色の標本画像から得られる蛍光成分から染色蛍光成分及び自家蛍光成分のうち少なくとも一方を分離する分離部と、
　前記標本画像と、前記蛍光成分から前記染色蛍光成分及び前記自家蛍光成分のうち少なくとも一方を分離した分離後の画像との差分から画素毎に分離精度を算出し、前記分離精度を前記画素毎に示す分離精度画像を生成する生成部と、
　前記分離精度画像から、前記分離精度の外れ値を含む画素を特定する評価部と、
を備える情報処理装置。
（２）
　前記外れ値を含む画素に基づいて処理を行う補正部をさらに備える、
　上記（１）に記載の情報処理装置。
（３）
　前記補正部は、前記外れ値を含む画素に基づいて前記染色蛍光成分又は前記自家蛍光成分を含む分離画像をマスク処理する、
　上記（２）に記載の情報処理装置。
（４）
　前記補正部は、前記分離精度画像の前記外れ値を含む画素と同じ所に位置する画素の値を０にし、その他の画素の値を１にしてマスク画像を生成する、
　上記（３）に記載の情報処理装置。
（５）
　前記補正部は、前記分離精度画像の前記外れ値を含む画素と同じ所に位置する前記画素を含む所定領域内の画素の値を０にし、その他の画素の値を１にてマスク画像を生成する、
　上記（３）に記載の情報処理装置。
（６）
　前記補正部は、後段の処理において前記分離精度画像の前記外れ値を含む画素と同じ所に位置する画素を除外する、
　上記（２）に記載の情報処理装置。
（７）
　前記補正部は、信号分離性能を示す信号分離値を求めるための画像において前記分離精度画像の前記外れ値を含む画素と同じ所に位置する画素の値を０に変える、
　上記（２）に記載の情報処理装置。
（８）
　前記補正部は、信号分離性能を示す信号分離値を求めるための画像において前記分離精度画像の前記外れ値を含む画素と同じ所に位置する画素を含む細胞領域を除外する、
　上記（２）に記載の情報処理装置。
（９）
　前記評価部による特定結果をユーザに提示する提示部をさらに備える、
　上記（１）から（８）のいずれか一つに記載の情報処理装置。
（１０）
　前記提示部は、前記外れ値を含む画素を含む前記分離精度画像を提示する、
　上記（９）に記載の情報処理装置。
（１１）
　前記提示部は、前記外れ値を含む画素を含む領域を提示する、
　上記（９）又は（１０）に記載の情報処理装置。
（１２）
　前記生成部は、前記標本画像と分離後の前記画像との差分値を画素毎に前記分離精度として算出する、
　上記（１）から（１１）のいずれか一つに記載の情報処理装置。
（１３）
　前記差分値は、前記標本画像の画素値の行列をＡとし、分離後の前記蛍光成分をＳとし、分離後の前記画像の画素値の行列をＣとした場合、｜Ａ－ＳＣ｜である、
　上記（１２）に記載の情報処理装置。
（１４）
　前記差分値は、前記標本画像の画素値の行列をＡとし、分離後の前記蛍光成分をＳとし、分離後の前記画像の画素値の行列をＤとし、転置行列ｔＡの疑似逆行列をｔＡ－１とした場合、｜Ａ－ＳＤｔＡ－１｜である、
　上記（１２）に記載の情報処理装置。
（１５）
　前記生成部は、前記分離精度画像の画素毎の分離精度を正規化する、
　上記（１）から（１４）のいずれか一つに記載の情報処理装置。
（１６）
　前記生成部は、前記分離精度画像の画素毎の分離精度を分離前の前記標本画像の画素毎の画素値により割る、
　上記（１５）に記載の情報処理装置。
（１７）
　前記分離部は、最小二乗法、重み付き最小二乗法及び非負値行列因子分解のうち少なくとも一つを含む色分離計算により、前記蛍光成分から前記染色蛍光成分及び前記自家蛍光成分のうち少なくとも一方を分離する、
　上記（１）から（１６）のいずれか一つに記載の情報処理装置。
（１８）
　前記分離部は、前記分離精度が前記外れ値を超えた画素のスペクトルを用いて、再度、前記蛍光成分から前記染色蛍光成分及び前記自家蛍光成分のうち少なくとも一方を分離する、
　上記（１）から（１７）のいずれか一つに記載の情報処理装置。
（１９）
　蛍光染色の標本画像を取得する撮像装置と、
　前記標本画像を処理する情報処理装置と、
を備え、
　前記情報処理装置は、
　前記標本画像から得られる蛍光成分から染色蛍光成分及び自家蛍光成分のうち少なくとも一方を分離する分離部と、
　前記標本画像と、前記蛍光成分から前記染色蛍光成分及び前記自家蛍光成分のうち少なくとも一方を分離した分離後の画像との差分から画素毎に分離精度を算出し、前記分離精度を前記画素毎に示す分離精度画像を生成する生成部と、
　前記分離精度画像から、前記分離精度の外れ値を含む画素を特定する評価部と、
を有する生体試料観察システム。
（２０）
　蛍光染色の標本画像と、前記標本画像から得られる蛍光成分から染色蛍光成分及び自家蛍光成分のうち少なくとも一方を分離した分離後の画像との差分から画素毎に分離精度を算出し、前記分離精度を前記画素毎に示す分離精度画像を生成することを含む画像生成方法。
（２１）
　上記（１）から（１８）のいずれか一つに記載の情報処理装置を備える生体試料観察システム。
（２２）
　上記（１）から（１８）のいずれか一つに記載の情報処理装置により画像を生成する画像生成方法。
　１　　　　　観察ユニット
　２　　　　　処理ユニット
　３　　　　　表示部
　１０　　　　励起部
　１０Ａ　　　蛍光試薬
　１１Ａ　　　試薬識別情報
　２０　　　　ステージ
　２０Ａ　　　標本
　２１　　　　記憶部
　２１Ａ　　　標本識別情報
　２２　　　　データ校正部
　２３　　　　画像形成部
　３０　　　　分光イメージング部
　３０Ａ　　　蛍光染色標本
　４０　　　　観察光学系
　５０　　　　走査機構
　６０　　　　フォーカス機構
　７０　　　　非蛍光観察部
　８０　　　　制御部
　１００　　　情報処理装置
　１１０　　　取得部
　１１１　　　情報取得部
　１１２　　　画像取得部
　１２０　　　保存部
　１２１　　　情報保存部
　１２２　　　画像情報保存部
　１２３　　　解析結果保存部
　１３０　　　処理部
　１３１　　　解析部
　１３１Ａ　　蛍光分離部
　１３１Ｂ　　生成部
　１３１Ｃ　　評価部
　１３１Ｄ　　補正部
　１３１Ｅ　　提示部
　１３２　　　画像生成部
　１４０　　　表示部
　１５０　　　制御部
　１６０　　　操作部
　２００　　　データベース
　５００　　　蛍光観察装置
　１３１１　　連結部
　１３２１　　色分離部
　１３２１ａ　第１色分離部
　１３２１ｂ　第２色分離部
　１３２２　　スペクトル抽出部
　５０００　　顕微鏡システム
　５１００　　顕微鏡装置
　５１０１　　光照射部
　５１０２　　光学部
　５１０３　　信号取得部
　５１０４　　試料載置部
　５１１０　　制御部
　５１２０　　情報処理部

Claims (20)

  1. 　蛍光染色の標本画像から得られる蛍光成分から染色蛍光成分及び自家蛍光成分のうち少なくとも一方を分離する分離部と、
    　前記標本画像と、前記蛍光成分から前記染色蛍光成分及び前記自家蛍光成分のうち少なくとも一方を分離した分離後の画像との差分から画素毎に分離精度を算出し、前記分離精度を前記画素毎に示す分離精度画像を生成する生成部と、
    　前記分離精度画像から、前記分離精度の外れ値を含む画素を特定する評価部と、
    を備える情報処理装置。
  2. 　前記外れ値を含む画素に基づいて処理を行う補正部をさらに備える、
    　請求項１に記載の情報処理装置。
  3. 　前記補正部は、前記外れ値を含む画素に基づいて前記染色蛍光成分又は前記自家蛍光成分を含む分離画像をマスク処理する、
    　請求項２に記載の情報処理装置。
  4. 　前記補正部は、前記分離精度画像の前記外れ値を含む画素と同じ所に位置する画素の値を０にし、その他の画素の値を１にしてマスク画像を生成する、
    　請求項３に記載の情報処理装置。
  5. 　前記補正部は、前記分離精度画像の前記外れ値を含む画素と同じ所に位置する前記画素を含む所定領域内の画素の値を０にし、その他の画素の値を１にしてマスク画像を生成する、
    　請求項３に記載の情報処理装置。
  6. 　前記補正部は、後段の処理において前記分離精度画像の前記外れ値を含む画素と同じ所に位置する画素を除外する、
    　請求項２に記載の情報処理装置。
  7. 　前記補正部は、信号分離性能を示す信号分離値を求めるための画像において前記分離精度画像の前記外れ値を含む画素と同じ所に位置する画素の値を０に変える、
    　請求項２に記載の情報処理装置。
  8. 　前記補正部は、信号分離性能を示す信号分離値を求めるための画像において前記分離精度画像の前記外れ値を含む画素と同じ所に位置する画素を含む細胞領域を除外する、
    　請求項２に記載の情報処理装置。
  9. 　前記評価部による特定結果をユーザに提示する提示部をさらに備える、
    　請求項１に記載の情報処理装置。
  10. 　前記提示部は、前記外れ値を含む画素を含む前記分離精度画像を提示する、
    　請求項９に記載の情報処理装置。
  11. 　前記提示部は、前記外れ値を含む画素を含む領域を提示する、
    　請求項９に記載の情報処理装置。
  12. 　前記生成部は、前記標本画像と分離後の前記画像との差分値を画素毎に前記分離精度として算出する、
    　請求項１に記載の情報処理装置。
  13. 　前記差分値は、前記標本画像の画素値の行列をＡとし、分離後の前記蛍光成分をＳとし、分離後の前記画像の画素値の行列をＣとした場合、｜Ａ－ＳＣ｜である、
    　請求項１２に記載の情報処理装置。
  14. 　前記差分値は、前記標本画像の画素値の行列をＡとし、分離後の前記蛍光成分をＳとし、分離後の前記画像の画素値の行列をＤとし、転置行列ｔＡの疑似逆行列をｔＡ－１とした場合、｜Ａ－ＳＤｔＡ－１｜である、
    　請求項１２に記載の情報処理装置。
  15. 　前記生成部は、前記分離精度画像の画素毎の分離精度を正規化する、
    　請求項１に記載の情報処理装置。
  16. 　前記生成部は、前記分離精度画像の画素毎の分離精度を分離前の前記標本画像の画素毎の画素値により割る、
    　請求項１５に記載の情報処理装置。
  17. 　前記分離部は、最小二乗法、重み付き最小二乗法及び非負値行列因子分解のうち少なくとも一つを含む色分離計算により、前記蛍光成分から前記染色蛍光成分及び前記自家蛍光成分のうち少なくとも一方を分離する、
    　請求項１に記載の情報処理装置。
  18. 　前記分離部は、前記分離精度が前記外れ値を超えた画素のスペクトルを用いて、再度、前記蛍光成分から前記染色蛍光成分及び前記自家蛍光成分のうち少なくとも一方を分離する、
    　請求項１に記載の情報処理装置。
  19. 　蛍光染色の標本画像を取得する撮像装置と、
    　前記標本画像を処理する情報処理装置と、
    を備え、
    　前記情報処理装置は、
    　前記標本画像から得られる蛍光成分から染色蛍光成分及び自家蛍光成分のうち少なくとも一方を分離する分離部と、
    　前記標本画像と、前記蛍光成分から前記染色蛍光成分及び前記自家蛍光成分のうち少なくとも一方を分離した分離後の画像との差分から画素毎に分離精度を算出し、前記分離精度を前記画素毎に示す分離精度画像を生成する生成部と、
    　前記分離精度画像から、前記分離精度の外れ値を含む画素を特定する評価部と、
    を有する生体試料観察システム。
  20. 　蛍光染色の標本画像と、前記標本画像から得られる蛍光成分から染色蛍光成分及び自家蛍光成分のうち少なくとも一方を分離した分離後の画像との差分から画素毎に分離精度を算出し、前記分離精度を前記画素毎に示す分離精度画像を生成することを含む画像生成方法。
PCT/JP2022/003857 2021-06-29 2022-02-01 情報処理装置、生体試料観察システム及び画像生成方法 WO2023276219A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202280044996.9A CN117546007A (zh) 2021-06-29 2022-02-01 信息处理装置、生物样本观察系统及图像生成方法
DE112022003311.8T DE112022003311T5 (de) 2021-06-29 2022-02-01 Informationsverarbeitungsvorrichtung, system zur beobachtung biologischer proben und bilderzeugungsverfahren

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021107434 2021-06-29
JP2021-107434 2021-06-29

Publications (1)

Publication Number Publication Date
WO2023276219A1 true WO2023276219A1 (ja) 2023-01-05

Family

ID=84691068

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/003857 WO2023276219A1 (ja) 2021-06-29 2022-02-01 情報処理装置、生体試料観察システム及び画像生成方法

Country Status (3)

Country Link
CN (1) CN117546007A (ja)
DE (1) DE112022003311T5 (ja)
WO (1) WO2023276219A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5741648A (en) * 1992-11-20 1998-04-21 The Board Of Regents Of The University Of Oklahoma Cell analysis method using quantitative fluorescence image analysis
JP2008128982A (ja) * 2006-11-24 2008-06-05 Hamamatsu Photonics Kk 蛍光検出装置、蛍光検出方法および蛍光検出プログラム
US20180196244A1 (en) * 2017-01-10 2018-07-12 Tsinghua University Method for multi-color fluorescence imaging under single exposure, imaging method and imaging system
WO2018230615A1 (ja) * 2017-06-14 2018-12-20 国立大学法人京都大学 画像処理装置、コンピュータプログラム及び画像補完方法
JP2020020791A (ja) * 2018-07-24 2020-02-06 ソニー株式会社 情報処理装置、情報処理方法、情報処理システム、およびプログラム
WO2020179586A1 (ja) * 2019-03-04 2020-09-10 ソニー株式会社 情報処理装置、及び顕微鏡システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5741648A (en) * 1992-11-20 1998-04-21 The Board Of Regents Of The University Of Oklahoma Cell analysis method using quantitative fluorescence image analysis
JP2008128982A (ja) * 2006-11-24 2008-06-05 Hamamatsu Photonics Kk 蛍光検出装置、蛍光検出方法および蛍光検出プログラム
US20180196244A1 (en) * 2017-01-10 2018-07-12 Tsinghua University Method for multi-color fluorescence imaging under single exposure, imaging method and imaging system
WO2018230615A1 (ja) * 2017-06-14 2018-12-20 国立大学法人京都大学 画像処理装置、コンピュータプログラム及び画像補完方法
JP2020020791A (ja) * 2018-07-24 2020-02-06 ソニー株式会社 情報処理装置、情報処理方法、情報処理システム、およびプログラム
WO2020179586A1 (ja) * 2019-03-04 2020-09-10 ソニー株式会社 情報処理装置、及び顕微鏡システム

Also Published As

Publication number Publication date
DE112022003311T5 (de) 2024-04-18
CN117546007A (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
US11971355B2 (en) Fluorescence observation apparatus and fluorescence observation method
EP2943761B1 (en) Multispectral imaging system and methods
US10580128B2 (en) Whole slide multispectral imaging systems and methods
IL272907A (en) Microscopy of a tissue sample using understandable illumination
WO2007097171A1 (ja) スペクトル画像処理方法、スペクトル画像処理プログラム、及びスペクトルイメージングシステム
JPWO2007097170A1 (ja) スペクトル画像処理方法、コンピュータ実行可能なスペクトル画像処理プログラム、スペクトルイメージングシステム
WO2021177004A1 (ja) 顕微鏡装置、画像取得システム、及び画像取得方法
JP2024019444A (ja) 情報処理装置、及び情報処理システム
WO2022004500A1 (ja) 情報処理装置、情報処理方法、プログラム、顕微鏡システム及び解析システム
US11842555B2 (en) Signal acquisition apparatus, signal acquisition system, and signal acquisition method
WO2023276219A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
WO2022249583A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
Browne Imaging and image analysis in the comet assay
WO2023149296A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
US20210174147A1 (en) Operating method of image processing apparatus, image processing apparatus, and computer-readable recording medium
US11378515B2 (en) Image processing device, imaging system, actuation method of image processing device, and computer-readable recording medium
JP7404906B2 (ja) 情報処理装置、及び顕微鏡システム
WO2023157756A1 (ja) 情報処理装置、生体試料解析システム及び生体試料解析方法
WO2023157755A1 (ja) 情報処理装置、生体試料解析システム及び生体試料解析方法
WO2023189393A1 (ja) 生体試料観察システム、情報処理装置及び画像生成方法
WO2020239981A1 (en) Hyperspectral quantitative imaging cytometry system
WO2023248954A1 (ja) 生体試料観察システム、生体試料観察方法及びデータセット作成方法
WO2022075040A1 (ja) 画像生成システム、顕微鏡システム、および画像生成方法
WO2022259647A1 (ja) 情報処理装置、情報処理方法、及び顕微鏡システム
WO2022209262A1 (ja) 生体試料観察装置用照明装置、生体試料観察装置、観察装置用照明装置及び観察システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22832387

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 112022003311

Country of ref document: DE