WO2023149296A1 - 情報処理装置、生体試料観察システム及び画像生成方法 - Google Patents

情報処理装置、生体試料観察システム及び画像生成方法 Download PDF

Info

Publication number
WO2023149296A1
WO2023149296A1 PCT/JP2023/002215 JP2023002215W WO2023149296A1 WO 2023149296 A1 WO2023149296 A1 WO 2023149296A1 JP 2023002215 W JP2023002215 W JP 2023002215W WO 2023149296 A1 WO2023149296 A1 WO 2023149296A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
information
processing
unit
Prior art date
Application number
PCT/JP2023/002215
Other languages
English (en)
French (fr)
Inventor
憲治 池田
克尚 神明
哲朗 桑山
和博 中川
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023149296A1 publication Critical patent/WO2023149296A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence

Definitions

  • the present disclosure relates to an information processing device, a biological sample observation system, and an image generation method.
  • color-separated images in multiple fluorescence images may have a small amount of signal and be buried in the background (lower S/N) depending on the types of dyes/antibodies included. This can lead to results that are difficult to understand from a biological point of view.
  • CD3, CD5, and CD7 are all markers expressed in the T cell region, but depending on the combination with the dye, some markers may have a low S/N ratio.
  • Patent Document 1 in order to remove noise from an image to be processed, a tomographic image before drug administration or a tomographic image subjected to noise removal processing is used as a guidance image, and a guided filter is used to remove noise from the image to be processed.
  • a technique for performing noise removal processing is described.
  • the acquired signal is divided into coefficients based on the spectrum. If the spectral shapes are close to each other or if the signal is originally small, a color separation image with a low S/N (S/N ratio) will be obtained. Further, even if the obtained image is subjected to NR processing using a general isotropic filter, even the signal required for subsequent cell analysis will be smoothed. For this reason, it is required to obtain necessary signals buried in the background of the image to be processed while maintaining the signal strength necessary for analysis such as cell analysis. This also applies to images to be processed other than color separation images.
  • the present disclosure proposes an information processing device, a biological sample observation system, and an image generation method that are capable of acquiring a necessary signal hidden in the background of an image to be processed while maintaining the signal intensity necessary for analysis. .
  • An information processing apparatus includes a guide image generation unit that generates a guide image for correction by summing a plurality of images each including spectral information related to biomarkers and dividing by the number of the summed images. .
  • a biological sample observation system includes an imaging device that acquires a plurality of images each including spectral information related to biomarkers, and an information processing device that processes the plurality of images, wherein the information processing device has a guide image generation unit that adds up the plurality of images and divides by the total number of images to generate a guide image for correction.
  • the image generation method sums up a plurality of images each including spectral information related to biomarkers, divides the sum by the number of summed images, and generates a guide image for correction.
  • FIG. 2 is a diagram for explaining the main technical content according to the present disclosure
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of an information processing system according to an embodiment of the present disclosure
  • FIG. 4 is a flow chart showing an example of a basic processing flow of an information processing apparatus according to an embodiment of the present disclosure
  • FIG. 2 is a diagram illustrating an example of a schematic configuration of an analysis unit according to an embodiment of the present disclosure
  • FIG. FIG. 3 is a diagram for explaining an example of a method for generating concatenated fluorescence spectra according to embodiments of the present disclosure
  • FIG. 7 is a flow chart showing the flow of a first processing example of NR correction using a guide image according to the embodiment of the present disclosure
  • FIG. 4 is a diagram illustrating a color map for each Sigma according to a first processing example according to an embodiment of the present disclosure
  • FIG. 11 is a flow chart showing the flow of a modification of the first processing example according to the embodiment of the present disclosure
  • FIG. 11 is a flow chart showing the flow of a second processing example of NR correction using a guide image according to the embodiment of the present disclosure
  • FIG. FIG. 5 is a diagram illustrating a color map for each Sigma according to a second processing example according to an embodiment of the present disclosure
  • FIG. 11 illustrates benefits of the second processing example in actual cell analysis according to embodiments of the present disclosure
  • FIG. 11 is a flow chart showing the flow of a third processing example of NR correction using a guide image according to the embodiment of the present disclosure
  • FIG. 4 is a diagram showing an example of histograms of stained fluorescence component images and unstained fluorescence component images according to an embodiment of the present disclosure
  • FIG. 11 is a flow chart showing the flow of a fourth processing example of NR correction using a guide image according to the embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram illustrating an example of image processing according to the embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram illustrating an example of image processing according to the embodiment of the present disclosure
  • FIG. FIG. 12 is a flowchart showing a flow of a fifth processing example of NR correction using a guide image according to the embodiment of the present disclosure
  • FIG. 14 is a flow chart showing the flow of a sixth processing example of NR correction using a guide image according to the embodiment of the present disclosure
  • FIG. FIG. 14 is a flowchart showing the flow of a seventh processing example of NR correction using a guide image according to the embodiment of the present disclosure
  • FIG. 16 is a flow chart showing the flow of an eighth processing example of NR correction using a guide image according to the embodiment of the present disclosure
  • FIG. FIG. 21 is a flow chart showing a flow of a ninth processing example of NR correction using a guide image according to an embodiment of the present disclosure
  • FIG. FIG. 21 is a flow chart showing the flow of a tenth processing example of NR correction using a guide image according to the embodiment of the present disclosure
  • FIG. 4 is an enlarged view showing a region where a sample is irradiated with line illumination; It is a figure which shows roughly the whole structure of a microscope system. It is a figure which shows the example of an imaging system. It is a figure which shows the example of an imaging system. It is a figure which shows an example of the schematic structure of the hardware of an information processing apparatus.
  • Each of the one or more embodiments described below can be implemented independently. On the other hand, at least some of the embodiments described below may be implemented in combination with at least some of the other embodiments as appropriate. These multiple embodiments may include novel features that differ from each other. Therefore, these multiple embodiments can contribute to solving different purposes or problems, and can produce different effects.
  • Embodiment 2-1 Configuration example of information processing system 2-2.
  • Basic processing example of information processing apparatus 2-3 Processing example of fluorescence separation 2-4.
  • Ninth processing example 2-4-10 Tenth processing example 2-5. Action and effect 3. Other embodiment4.
  • Application example 5 Application example 6.
  • FIG. 1 is a diagram for explaining the main technical contents according to the present disclosure.
  • the main technical content of the present disclosure is to apply NR (noise reduction: Guided filter) technology using a guide image (Guide) as a filter, and to increase the positive cell rate obtained by cell analysis.
  • the present invention relates to image processing technology that makes the image plausible.
  • a guide image is created by merging (summing) multiple multispectral images (for example, color separation images) and dividing by the number of merged images.
  • NR correction is performed on the image.
  • the number of types of guide images is nine from Guide (1) to (9).
  • merging is summing up signal intensity values (for example, luminance values or pixel values) of a plurality of multispectral images for each pixel.
  • Guide (1) is simply an image that merges multiple multispectral images.
  • Guide (2) is an image obtained by subjecting the image of Guide (1) to image processing (for example, median filter, deconv).
  • Guide (3) is an image that merges multiple multispectral images with zeros below the positive threshold.
  • Guide (4) is an image obtained by subjecting the image of Guide (3) to image processing (for example, median filter, deconv).
  • Guide (5) is a merged image of multiple multispectral images corresponding only to membrane staining markers.
  • Guide (6) is an image obtained by subjecting the image of Guide (5) to image processing (for example, median filter, deconv).
  • Guide (7) is a merged image of multiple multispectral images corresponding only to membrane staining markers, with zeros below the positive threshold.
  • Guide (8) is an image obtained by subjecting the image of Guide (7) to image processing (for example, median filter, deconv).
  • Guide (9) is an image obtained by weighting the image of Guide (7) by the expression ratio.
  • Guide image generation processing such as Guides (1) to (9) and correction processing using the guide image will be described in detail in subsequent embodiments.
  • It functions as a guide image.
  • an image with a high S/N is used as a guide image.
  • NR correction makes it possible to restore the necessary signal buried in the background without weakening the signal strength necessary for cell analysis.
  • a guide image with a high S/N ratio may be prepared, signals only at positions where the guide image and the NR target image are spatially correlated may be left, and other signals may be subjected to smoothing processing.
  • an NR target image with a low S/N may be corrected based on a guide image composed of cells of the same type (for example, markers specifically expressed in T cell regions).
  • a guide image created with markers expressed in a specific cell type it is possible to improve the results of cell analysis limited to that cell type.
  • FIG. 1 is a diagram showing an example of a schematic configuration of an information processing system according to this embodiment.
  • An information processing system is an example of a biological sample observation system.
  • the information processing system includes an information processing device 100 and a database 200. As inputs to this information processing system, there are a fluorescent reagent 10A, a sample 20A, and a fluorescently stained sample 30A.
  • the fluorescent reagent 10A is a chemical used for staining the specimen 20A.
  • the fluorescent reagent 10A is, for example, a fluorescent antibody, a fluorescent probe, or a nuclear staining reagent, but the type of the fluorescent reagent 10A is not particularly limited to these.
  • Fluorescent antibodies include, for example, primary antibodies used for direct labeling, or secondary antibodies used for indirect labeling.
  • the fluorescent reagent 10A is managed with identification information capable of identifying the fluorescent reagent 10A and the manufacturing lot of the fluorescent reagent 10A.
  • the identification information is called “reagent identification information 11A.”
  • the reagent identification information 11A is, for example, barcode information such as one-dimensional barcode information or two-dimensional barcode information, but is not limited to this.
  • the fluorescent reagent 10A even if the product is of the same type, has different properties for each manufacturing lot depending on the manufacturing method, the state of the cells from which the antibody was obtained, and the like. For example, in the fluorescent reagent 10A, spectral information, quantum yield, fluorescence labeling rate, etc. differ for each production lot.
  • the fluorescence labeling ratio is also called "F/P value: Fluorescein/Protein" and refers to the number of fluorescent molecules that label an antibody.
  • the fluorescent reagent 10A is managed for each production lot by attaching the reagent identification information 11A.
  • the reagent information of each fluorescent reagent 10A is managed for each production lot.
  • the information processing apparatus 100 can separate the fluorescence signal and the autofluorescence signal while taking into account slight differences in properties that appear in each manufacturing lot.
  • the management of the fluorescent reagent 10A in production lot units is merely an example, and the fluorescent reagent 10A may be managed in units smaller than the production lot.
  • the specimen 20A is prepared from a specimen or tissue sample collected from a human body for the purpose of pathological diagnosis, clinical examination, or the like.
  • the type of tissue used such as organs or cells, the type of target disease, attributes of the subject such as age, sex, blood type, or race, or diet, exercise habits, etc. , or lifestyle habits of subjects such as smoking habits are not particularly limited.
  • the specimens 20A are managed with identification information that can identify each specimen 20A.
  • the identification information is called "specimen identification information 21A."
  • the specimen identification information 21A is, for example, barcode information such as one-dimensional barcode information or two-dimensional barcode information, but is not limited to this.
  • the properties of the specimen 20A differ depending on the type of tissue used, the type of target disease, the subject's attributes, or the subject's lifestyle.
  • measurement channels or spectral information differ depending on the type of tissue used. Therefore, in the information processing system according to the present embodiment, the specimens 20A are individually managed by attaching specimen identification information 21A. Accordingly, the information processing apparatus 100 can separate the fluorescence signal and the autofluorescence signal while taking into consideration even slight differences in properties that appear in each specimen 20A.
  • the fluorescently stained specimen 30A is created by staining the specimen 20A with the fluorescent reagent 10A.
  • the fluorescence-stained specimen 30A assumes that the specimen 20A is stained with at least one fluorescent reagent 10A, and the number of fluorescent reagents 10A used for staining is not particularly limited.
  • the staining method is determined by the combination of the specimen 20A and the fluorescent reagent 10A, and is not particularly limited.
  • the fluorescence-stained specimen 30A is input to the information processing apparatus 100 and imaged.
  • the information processing apparatus 100 includes an acquisition unit 110, a storage unit 120, a processing unit 130, a display unit 140, a control unit 150, and an operation unit 160, as shown in FIG.
  • the acquisition unit 110 is configured to acquire information used for various processes of the information processing apparatus 100 .
  • the acquisition section 110 includes an information acquisition section 111 and an image acquisition section 112 .
  • the information acquisition unit 111 is configured to acquire reagent information and sample information. More specifically, the information acquisition unit 111 acquires the reagent identification information 11A attached to the fluorescent reagent 10A and the specimen identification information 21A attached to the specimen 20A used to generate the fluorescently stained specimen 30A. For example, the information acquisition unit 111 acquires the reagent identification information 11A and the specimen identification information 21A using a barcode reader or the like. Then, the information acquisition unit 111 acquires the reagent information based on the reagent identification information 11A and the specimen information based on the specimen identification information 21A from the database 200, respectively. The information acquisition unit 111 stores the acquired information in the information storage unit 121, which will be described later.
  • the image acquisition unit 112 is configured to acquire image information of the fluorescently stained specimen 30A and the specimen 20A stained with at least one fluorescent reagent 10A. More specifically, the image acquisition unit 112 includes an arbitrary imaging device such as a CCD or CMOS, and acquires image information by imaging the fluorescence-stained specimen 30A using the imaging device.
  • image information is a concept that includes not only the image itself of the fluorescence-stained specimen 30A, but also measured values that are not visualized as images.
  • the image information may include information on the wavelength spectrum of fluorescence emitted from the fluorescently stained specimen 30A.
  • the wavelength spectrum of the fluorescence will be referred to as fluorescence spectrum.
  • the image acquisition unit 112 stores the image information in the image information storage unit 122, which will be described later.
  • the storage unit 120 is configured to store information used for various processes of the information processing apparatus 100 or information output by various processes. As shown in FIG. 1 , the storage unit 120 includes an information storage unit 121 , an image information storage unit 122 and an analysis result storage unit 123 .
  • the information storage unit 121 is configured to store reagent information and specimen information acquired by the information acquisition unit 111 . Note that after the analysis processing by the analysis unit 131 and the image information generation processing by the image generation unit 132, that is, the image information reconstruction processing, which will be described later, are completed, the information storage unit 121 stores the reagent information and specimen used for the processing. Free space may be increased by deleting information.
  • the image information storage unit 122 is configured to store the image information of the fluorescence-stained specimen 30A acquired by the image acquisition unit 112 .
  • the image information storage unit 122 Free space may be increased by deleting used image information.
  • the analysis result storage unit 123 is configured to store the result of analysis processing performed by the analysis unit 131, which will be described later.
  • the analysis result storage unit 123 stores the fluorescence signal of the fluorescent reagent 10A or the autofluorescence signal of the sample 20A separated by the analysis unit 131 .
  • the analysis result storage unit 123 separately provides the result of the analysis processing to the database 200 in order to improve the analysis accuracy by machine learning or the like. After providing the analysis result to the database 200, the analysis result saving unit 123 may appropriately delete the analysis result saved by itself to increase the free space.
  • the processing unit 130 is a functional configuration that performs various types of processing using image information, reagent information, and specimen information. As shown in FIG. 1, the processing unit 130 includes an analysis unit 131, an image generation unit 132, a guide image generation unit 133, and a correction unit .
  • the analysis unit 131 is configured to perform various analysis processes using image information, specimen information, and reagent information. For example, the analysis unit 131 extracts the autofluorescence signal of the sample 20A from the image information based on the sample information and the reagent information, for example, the autofluorescence spectrum, which is an example of an autofluorescence component, and the fluorescence signal of the fluorescent reagent 10A, such as a staining fluorescence component. A process of separating the staining fluorescence spectrum, which is an example, is performed.
  • the analysis unit 131 recognizes one or more elements that make up the autofluorescence signal based on the measurement channel included in the specimen information. For example, the analysis unit 131 recognizes one or more autofluorescence components forming the autofluorescence signal. Then, the analysis unit 131 predicts the autofluorescence signal included in the image information using the spectral information of these autofluorescence components included in the specimen information. Then, the analysis unit 131 separates the autofluorescence signal and the fluorescence signal from the image information based on the spectral information of the fluorescent component of the fluorescent reagent 10A and the predicted autofluorescence signal included in the reagent information.
  • the analysis unit 131 when the specimen 20A is dyed with two or more fluorescent reagents 10A, the analysis unit 131, based on the specimen information and the reagent information, from the image information or the fluorescence signal separated from the autofluorescence signal, The fluorescent signal of each of these two or more fluorescent reagents 10A is separated.
  • the analysis unit 131 uses the spectral information of the fluorescent component of each fluorescent reagent 10A included in the reagent information to separate the fluorescent signal of each fluorescent reagent 10A from the entire fluorescent signal after being separated from the autofluorescent signal. do.
  • the analysis unit 131 when the autofluorescence signal is composed of two or more autofluorescence components, the analysis unit 131, based on the specimen information and the reagent information, from the image information or the autofluorescence signal separated from the fluorescence signal, Separate the autofluorescent signal for each individual autofluorescent component. For example, the analysis unit 131 separates the autofluorescence signal of each autofluorescence component from the entire autofluorescence signal separated from the fluorescence signal using the spectrum information of each autofluorescence component included in the specimen information.
  • the analysis unit 131 that separates the fluorescence signal and the autofluorescence signal performs various processes using these signals.
  • the analysis unit 131 may extract the fluorescence signal from the image information of the other specimen 20A by performing a subtraction process on the image information of the other specimen 20A using the autofluorescence signal after separation. .
  • the subtraction process is also called "background subtraction process".
  • the similar specimen 20A here means, for example, a tissue section before staining of a tissue section to be stained, a section adjacent to the stained section, a section different from the stained section in the same block, or a section in a different block in the same tissue. , sections taken from different patients, etc.
  • the tissue section is hereinafter referred to as section.
  • Identical blocks were sampled from the same location as the stained section. Different blocks were sampled from different locations than the stained section. Therefore, when the autofluorescence signal can be extracted from a certain specimen 20A, the analysis unit 131 extracts the fluorescence signal from the image information of the other specimen 20A by removing the autofluorescence signal from the image information of the other specimen 20A. may be extracted. Further, when the analysis unit 131 calculates the S/N value using the image information of the other specimen 20A, the S/N value can be improved by using the background after removing the autofluorescence signal. can.
  • the analysis unit 131 can also perform various processes using the separated fluorescence signal or the autofluorescence signal. For example, the analysis unit 131 can use these signals to analyze the immobilization state of the specimen 20A, and to perform segmentation or area division for recognizing object areas included in image information.
  • Objects are, for example, cells, subcellular structures, or tissues.
  • Subcellular structures are, for example, the cytoplasm, cell membrane, nucleus, and the like.
  • Tissues include, for example, tumorous areas, nontumoral areas, connective tissue, blood vessels, blood vessel walls, lymphatic vessels, fibrotic structures, necrosis, and the like.
  • the image generation unit 132 is configured to generate, that is, reconstruct image information based on the fluorescence signal or the autofluorescence signal separated by the analysis unit 131 .
  • the image generator 132 can generate image information containing only fluorescence signals, or image information containing only autofluorescence signals.
  • the image generation unit 132 generates image information for each component. be able to.
  • the analysis unit 131 performs various processes using the separated fluorescence signal or autofluorescence signal
  • the image generation unit 132 may generate image information indicating the results of those processes.
  • Various types of processing include, for example, analysis of the immobilized state of the specimen 20A, segmentation, or calculation of the S/N value.
  • the distribution information of the fluorescent reagent 10A labeled on the target molecule or the like that is, the two-dimensional spread and intensity of the fluorescence, the wavelength, and the positional relationship between them can be visualized. It is possible to improve the visibility of the user, such as a doctor or a researcher, in the tissue image analysis area.
  • the image generation unit 132 may generate image information by performing control to distinguish the fluorescence signal from the autofluorescence signal based on the fluorescence signal or the autofluorescence signal separated by the analysis unit 131 . Specifically, it improves the brightness of the fluorescent spectrum of the fluorescent reagent 10A labeled with the target molecule or the like, extracts only the fluorescent spectrum of the labeled fluorescent reagent 10A and changes its color, and is labeled with two or more fluorescent reagents 10A.
  • Fluorescence spectra of two or more fluorescent reagents 10A are extracted from the sample 20A and each is changed to a different color, only the autofluorescence spectrum of the sample 20A is extracted and divided or subtracted, the dynamic range is improved, and the like are controlled to control the image. information may be generated. As a result, the user can clearly distinguish the color information derived from the fluorescent reagent bound to the target substance of interest, and the user's visibility can be improved.
  • the guide image generation unit 133 merges a plurality of color separation images (an example of a multispectral image) and divides by the number of merged images to generate a guide image for correction.
  • a color separation image is an image generated by color separation processing.
  • Summing and dividing the images means summing the signal intensities of the images and dividing by the total number of images.
  • the guide image generating unit 133 can perform image processing after merging/dividing when generating the guide image, or perform zero-filling processing on the color separation image before merging/dividing. In image processing, for example, noise removal filters, edge enhancement filters, and the like are used. Such guide image generation processing and the like will be described in detail later.
  • the correction unit 134 performs NR (noise reduction) correction on the color separation image (an example of the image to be processed) using the generated guide image. Further, the correction unit 134 can perform outlier processing on the color separation image before correction processing. Outlier processing is, for example, processing for removing signal intensity values such as red blood cells that greatly deviate from other signal intensity values. Such correction processing and the like will be described in detail later.
  • the display unit 140 presents the corrected image information (corrected image information) generated by the correction unit 134 to the user by displaying it on the display.
  • the type of display used as display unit 140 is not particularly limited. Further, although not described in detail in this embodiment, the corrected image information generated by the correction unit 134 may be presented to the user by being projected by a projector or printed by a printer. In other words, the method of outputting image information after correction is not particularly limited.
  • the control unit 150 is a functional configuration that controls overall processing performed by the information processing apparatus 100 .
  • the control unit 150 controls the start and end of various processes as described above based on the user's operation input through the operation unit 160 .
  • Various types of processing include, for example, imaging processing, analysis processing, image information generation processing, guide image information generation processing, image information correction processing, and image information display processing for the fluorescently stained specimen 30A.
  • Image information generation processing includes, for example, image information reconstruction processing.
  • the control content of the control part 150 is not specifically limited.
  • the control unit 150 may control processing generally performed in general-purpose computers, PCs, tablet PCs, and the like, for example, processing related to an OS (Operating System).
  • OS Operating System
  • the operation unit 160 is configured to receive an operation input from the user. More specifically, the operation unit 160 includes various input means such as a keyboard, a mouse, buttons, a touch panel, or a microphone. input can be performed. Information regarding the operation input performed via the operation unit 160 is provided to the control unit 150 .
  • the database 200 is a device that manages sample information, reagent information, and analysis processing results. More specifically, the database 200 associates and manages the specimen identification information 21A and the specimen information, and the reagent identification information 11A and the reagent information. Accordingly, the information acquisition unit 111 can acquire specimen information from the database 200 based on the specimen identification information 21A of the specimen 20A to be measured, and reagent information based on the reagent identification information 11A of the fluorescent reagent 10A.
  • the specimen information managed by the database 200 is, as described above, information including the measurement channel and spectrum information specific to the autofluorescence component contained in the specimen 20A.
  • the specimen information includes target information about each specimen 20A, specifically, types of tissues used such as organs, cells, blood, body fluids, ascites, and pleural effusions, target diseases, and so on.
  • type of subject such as age, sex, blood type, or race, or information about the subject's lifestyle, such as diet, exercise habits, or smoking habits.
  • the information including the measurement channel and spectrum information unique to the autofluorescence component contained in 20A and the target information may be associated with each specimen 20A.
  • tissue used is not particularly limited to the tissue collected from the subject, and includes in vivo tissues such as humans and animals, cell strains, and solutions, solvents, solutes, and materials contained in the subject of measurement. may
  • the reagent information managed by the database 200 is, as described above, information including the spectral information of the fluorescent reagent 10A.
  • Information about the fluorescent reagent 10A such as labeling rate, quantum yield, bleaching coefficient, and absorption cross-section or molar extinction coefficient may be included.
  • the fading coefficient is information indicating how easily the fluorescence intensity of the fluorescent reagent 10A is reduced.
  • the specimen information and reagent information managed by the database 200 may be managed in different configurations, and in particular, the information on reagents may be a reagent database that presents the user with the optimum combination of reagents.
  • the specimen information and reagent information are either provided by the manufacturer, etc., or measured independently within the information processing system according to the present disclosure.
  • the manufacturer of the fluorescent reagent 10A often does not measure and provide spectral information, fluorescence labeling rate, etc. for each manufacturing lot. Therefore, by independently measuring and managing these pieces of information within the information processing system according to the present disclosure, the separation accuracy between the fluorescence signal and the autofluorescence signal can be improved.
  • the database 200 may use catalog values published by manufacturers or literature values described in various documents as sample information and reagent information, particularly reagent information. .
  • actual specimen information and reagent information often differ from catalog values and literature values, so specimen information and reagent information are measured independently within the information processing system according to the present disclosure as described above. Managed is better.
  • the accuracy of analysis processing such as separation processing between fluorescence signals and autofluorescence signals is improved. obtain.
  • the analysis unit 131 of the information processing apparatus 100 uses a neural network to perform machine learning using learning data in which the fluorescent signal and autofluorescent signal after separation are associated with the image information, specimen information, and reagent information used for separation. Generate a classifier or estimator.
  • the analysis unit 131 inputs the information into the classifier or the estimator, thereby obtaining the fluorescence signal and the autofluorescence signal included in the image information. can be predicted and output.
  • a separation process is, for example, a separation process in which similar image information, specimen information, or reagent information is used.
  • the contents of processing include, for example, information and parameters used in the processing.
  • the machine learning method is not limited to the above, and a known machine learning technique can be used.
  • artificial intelligence may be used to separate the fluorescence signal and the autofluorescence signal.
  • various processing using the separated fluorescent signal or the autofluorescent signal for example, analysis of the immobilization state of the specimen 20A, segmentation, etc. may be improved by
  • the configuration example of the information processing system according to the present embodiment has been described above. Note that the above configuration described with reference to FIG. 2 is merely an example, and the configuration of the information processing system according to this embodiment is not limited to this example.
  • the information processing apparatus 100 does not necessarily have all the functional configurations shown in FIG. Further, the information processing apparatus 100 may include the database 200 therein.
  • the functional configuration of the information processing apparatus 100 can be flexibly modified according to specifications and operations.
  • the information processing apparatus 100 may perform processing other than the processing described above.
  • the reagent information includes information such as the quantum yield, fluorescence labeling rate, absorption cross section, or molar extinction coefficient of the fluorescent reagent 10A.
  • the reagent information, the number of fluorescent molecules in the image information, the number of antibodies bound to the fluorescent molecules, and the like may be calculated.
  • FIG. 3 is a flowchart showing an example of the basic processing flow of the information processing apparatus 100 according to this embodiment.
  • step S1001 the user determines the fluorescent reagent 10A and specimen 20A to be used for analysis.
  • step S1002 the user creates a fluorescently stained specimen 30A by staining the specimen 20A with the fluorescent reagent 10A.
  • step S1003 the image acquisition unit 112 of the information processing apparatus 100 acquires image information (for example, a fluorescently stained specimen image) by imaging the fluorescently stained specimen 30A.
  • step S1004 the information acquisition unit 111 acquires the reagent information and specimen information based on the reagent identification information 11A attached to the fluorescent reagent 10A and the specimen identification information 21A attached to the specimen 20A used to generate the fluorescently stained specimen 30A. is obtained from the database 200 .
  • step S1005 the analysis unit 131 separates the autofluorescence signal of the specimen 20A and the fluorescence signal of the fluorescent reagent 10A from the image information based on the specimen information and the reagent information.
  • the fluorescence signal includes signals of a plurality of fluorochromes (Yes in step S1006)
  • the analysis unit 131 separates the fluorescence signals of each fluorochrome in step S1007. If the fluorescent signal does not include signals of a plurality of fluorescent dyes (No in step S1006), separation processing of the fluorescent signals of the respective fluorescent dyes is not performed in step S1007.
  • step S1008 the image generation unit 132 uses the fluorescence signals separated by the analysis unit 131 to generate image information. For example, the image generation unit 132 generates image information from which the autofluorescence signal is removed from the image information, or generates image information in which the fluorescence signal is displayed for each fluorescent dye.
  • the guide image generation unit 133 generates a guide image
  • the correction unit 134 performs NR correction on the color separation image using the guide image, for example.
  • step S1010 the display unit 140 displays the image information corrected by the correction unit 134, and the series of processing ends.
  • each step in the flowchart of FIG. 3 does not necessarily have to be processed in chronological order according to the described order. That is, each step in the flow chart may be processed in a different order than the order described or in parallel.
  • the analysis unit 131 separates the fluorescence signal of each fluorescent dye in step S1007.
  • the fluorescence signal of each fluorochrome may be separated directly from the image information.
  • the analysis unit 131 may separate the autofluorescence signal of the specimen 20A from the image information after separating the fluorescence signal of each fluorescent dye from the image information.
  • the information processing apparatus 100 may also execute processing not shown in FIG.
  • the analysis unit 131 may not only separate signals, but may also perform segmentation based on the separated fluorescent signal or autofluorescent signal, or may analyze the immobilization state of the specimen 20A.
  • FIG. 4 is a diagram showing an example of a schematic configuration of the analysis unit 131 according to this embodiment.
  • FIG. 5 is a diagram for explaining an example of a method for generating a concatenated fluorescence spectrum according to this embodiment.
  • the analysis unit 131 includes a connection unit 1311, a color separation unit 1321, and a spectrum extraction unit 1322.
  • This analysis unit 131 is configured to perform various types of processing including fluorescence separation processing.
  • the analysis unit 131 is configured to concatenate fluorescence spectra as preprocessing for fluorescence separation processing and separate the concatenated fluorescence spectra for each molecule.
  • connection unit 1311 is configured to generate a connection fluorescence spectrum by connecting at least part of the plurality of fluorescence spectra acquired by the image acquisition unit 112 in the wavelength direction.
  • the connecting unit 1311 extracts data of a predetermined width in each fluorescence spectrum so as to include the maximum fluorescence intensity in each of the four fluorescence spectra (A to D in FIG. 5) acquired by the image acquisition unit 112. .
  • the width of the wavelength band from which the connecting part 1311 extracts data may be determined based on reagent information, excitation wavelength, fluorescence wavelength, or the like, and may be different for each fluorescent substance.
  • the width of the wavelength band from which the connector 1311 extracts data may be different for each of the fluorescence spectra shown in AD of FIG. Then, as shown in E of FIG. 5, the connecting unit 1311 generates one connected fluorescence spectrum by connecting the extracted data in the wavelength direction. Note that since the concatenated fluorescence spectrum is composed of data extracted from a plurality of fluorescence spectra, the wavelengths are not continuous at the boundaries of each concatenated data.
  • the connecting unit 1311 performs the above connection after aligning the intensity of the excitation light corresponding to each of the plurality of fluorescence spectra based on the intensity of the excitation light, in other words, after correcting the plurality of fluorescence spectra. . More specifically, the connecting unit 1311 divides each fluorescence spectrum by the excitation power density, which is the intensity of the excitation light, to equalize the intensity of the excitation light corresponding to each of the plurality of fluorescence spectra, and then perform the above connection. conduct. As a result, fluorescence spectra are obtained when excitation light of the same intensity is applied.
  • the intensity of the irradiated excitation light is different, the intensity of the spectrum absorbed by the fluorescence-stained specimen 30A also differs according to the intensity.
  • the spectrum is called an "absorption spectrum.” Therefore, as described above, by aligning the intensity of the excitation light corresponding to each of the plurality of fluorescence spectra, the absorption spectra can be appropriately evaluated.
  • the fluorescence-stained specimen 30A contains, for example, four types of fluorescent substances, DAPI, CK/AF488, PgR/AF594 and ER/AF647, each having an excitation wavelength of 392 nm (A ), 470 nm (FIG. 5B), 549 nm (FIG. 5C), and 628 nm (FIG. 5D).
  • the fluorescence wavelength is shifted to longer wavelengths than the excitation wavelength (Stokes shift) due to the release of energy for fluorescence emission.
  • the fluorescent substance contained in the fluorescently stained specimen 30A and the excitation wavelength of the irradiated excitation light are not limited to the above.
  • the connecting unit 1311 extracts the fluorescence spectrum SP1 in the wavelength band of 392 nm or more and 591 nm or less of the excitation wavelength from the fluorescence spectrum shown in A of FIG. Extract the fluorescence spectrum SP2 in the wavelength band of , Extract the fluorescence spectrum SP3 in the wavelength band of 549 nm or more and 748 nm or less from the fluorescence spectrum shown in C of FIG. A fluorescence spectrum SP4 in a wavelength band of 827 nm or less is extracted.
  • the connecting unit 1311 corrects the wavelength resolution of the extracted fluorescence spectrum SP1 to 16 nm (no intensity correction), corrects the intensity of the fluorescence spectrum SP2 to 1.2 times, and corrects the wavelength resolution to 8 nm,
  • the intensity of the fluorescence spectrum SP3 is corrected to 1.5 times (no wavelength resolution correction)
  • the intensity of the fluorescence spectrum SP4 is corrected to 4.0 times
  • the wavelength resolution is corrected to 4 nm.
  • the linking unit 1311 then links the corrected fluorescence spectra SP1 to SP4 in order to generate a linked fluorescence spectrum as shown in E of FIG.
  • FIG. 5 shows a case where the connection unit 1311 extracts and connects fluorescence spectra SP1 to SP4 having a predetermined bandwidth (200 nm width in FIG. 5) from the excitation wavelength when each fluorescence spectrum is acquired.
  • the bandwidth of the fluorescence spectrum extracted by the connecting part 1311 does not need to be the same for each fluorescence spectrum, and may be different. That is, the region extracted from each fluorescence spectrum by the connecting part 1311 may be a region including the peak wavelength of each fluorescence spectrum, and its wavelength band and bandwidth may be changed as appropriate. At that time, spectral wavelength deviation due to Stokes shift may be taken into consideration. By narrowing down the wavelength band to be extracted in this way, it is possible to reduce the amount of data, so that fluorescence separation processing can be executed at a higher speed.
  • the intensity of pumping light in this description may be pumping power or pumping power density, as described above.
  • the excitation power or excitation power density may be the power or power density obtained by actually measuring the excitation light emitted from the light source, or the power or power density obtained from the driving voltage applied to the light source.
  • the intensity of the excitation light in this description refers to the excitation power density, the absorption rate of the section to be observed for each excitation light, and the detection system that detects the fluorescence emitted from the section, such as the image acquisition unit 112. It may be a value obtained by correcting with the amplification factor of the detection signal or the like.
  • the intensity of the excitation light in this description may be the power density of the excitation light that actually contributes to the excitation of the fluorescent substance, or a value obtained by correcting the power density with the amplification factor of the detection system.
  • the absorption rate and amplification factor it is possible to appropriately correct the intensity of the excitation light that changes according to changes in the machine state and environment, enabling more accurate color separation.
  • a concatenated fluorescence spectrum can be generated.
  • the correction value based on the intensity of the excitation light for each fluorescence spectrum is not limited to a value for matching the intensity of the excitation light corresponding to each of the plurality of fluorescence spectra, and may be variously modified.
  • the correction value is also called an intensity correction value.
  • the signal intensity of fluorescence spectra having intensity peaks on the long wavelength side tends to be lower than the signal intensity of fluorescence spectra having intensity peaks on the short wavelength side. Therefore, when the combined fluorescence spectrum includes both a fluorescence spectrum with an intensity peak on the long wavelength side and a fluorescence spectrum with an intensity peak on the short wavelength side, the fluorescence spectrum with an intensity peak on the long wavelength side is hardly taken into account.
  • only fluorescence spectra having intensity peaks on the short wavelength side may be extracted.
  • a larger intensity correction value for a fluorescence spectrum having an intensity peak on the long wavelength side it is also possible to improve the separation accuracy of the fluorescence spectrum with an intensity peak on the short wavelength side.
  • the color separation unit 1321 includes, for example, a first color separation unit 1321a and a second color separation unit 1321b, and color-separates the connected fluorescence spectra of the stained sections input from the connection unit 1311 for each molecule.
  • a stained section is also referred to as a stained sample.
  • the first color separation unit 1321a separates the combined fluorescence spectrum of the stained sample input from the linking unit 1311 from the combined fluorescence reference spectrum included in the reagent information input from the information storage unit 121.
  • the concatenated fluorescence spectrum is separated into spectra for each molecule.
  • LSM least squares method
  • WLSM weighted least squares method
  • NMF nonnegative matrix factorization
  • Gram matrix tAA nonnegative matrix factorization
  • the second color separation unit 1321b performs color separation processing on the combined fluorescence spectrum of the stained sample input from the connection unit 1311, using the adjusted combined autofluorescence reference spectrum input from the spectrum extraction unit 1322. This separates the concatenated fluorescence spectra into individual molecule spectra.
  • the color separation processing similarly to the first color separation unit 1321a, for example, the least squares method (LSM), the weighted least squares method (WLSM), the non-negative matrix factorization (NMF), and the Gram matrix tAA . Non-negative matrix factorization, etc. may be used.
  • the method of least squares calculates the color mixture rate by, for example, fitting the connected fluorescence spectrum generated by the connecting unit 1311 to the reference spectrum.
  • weighting is performed so as to give importance to low signal level errors, using the Poisson distribution of the noise of the concatenated fluorescence spectrum (Signal), which is the measured value.
  • the offset value is the upper limit value at which weighting is not performed by the weighted least squares method. The offset value is determined by the characteristics of the sensor used for measurement, and requires separate optimization when an imaging device is used as the sensor.
  • the spectrum extraction unit 1322 is a configuration for improving the concatenated autofluorescence reference spectrum so as to obtain more accurate color separation results. Based on the color separation result by the color separation unit 1321, the reference spectrum is adjusted so that a more accurate color separation result can be obtained.
  • the spectrum extraction unit 1322 performs spectrum extraction processing using the color separation result input from the first color separation unit 1321a on the concatenated autofluorescence reference spectrum input from the information storage unit 121, and based on the result
  • the concatenated autofluorescence reference spectrum is adjusted by using the concatenated autofluorescence reference spectrum to improve the concatenated autofluorescence reference spectrum to yield more accurate color separation results.
  • NMF non-negative matrix factorization
  • SVD singular value decomposition
  • FIG. 4 illustrates a case in which the consolidated autofluorescence reference spectrum is adjusted once
  • the present invention is not limited to this.
  • the final color separation result may be acquired after repeating the process of readjusting the concatenated autofluorescence reference spectrum in the extraction unit 1322 one or more times.
  • the first color separation unit 1321a and the second color separation unit 1321b perform fluorescence separation processing using reference spectra (connected autofluorescence reference spectrum and connected fluorescence reference spectrum) connected in the wavelength direction. , can output a unique spectrum as a separation result. Separation results are not separated for each excitation wavelength. Therefore, the practitioner can more easily obtain the correct spectrum.
  • a reference spectrum concatenated autofluorescence reference spectrum
  • fluorescence separation processing is performed, so that the operator can detect autofluorescence from an appropriate space of the unstained section. It eliminates the need to extract spectra.
  • FIG. 6 is a flowchart showing the flow of the first processing example of NR correction using the guide image according to this embodiment.
  • FIG. 7 is a diagram showing a color map for each Sigma according to the first processing example according to the present embodiment. Sigma represents the NR intensity.
  • step S11 the above-described color separation (generation of color-separated image) is performed in step S11.
  • step S12 the guide image generation unit 133 merges all images after color separation (color separation images: Fluo 1, 2, 3, . . . ) and divides by the number of merged images to generate a guide image. do.
  • step S13 the correcting unit 134 performs NR correction by smoothing other portions while leaving the brightness of the portions that are spatially correlated between the generated guide image and the processing target image (NR correction target image).
  • step S14 cell analysis (for example, calculation of positive cell ratio, etc.) is performed on the image after NR correction.
  • the display unit 140 displays an image after NR correction. Thereby, the user can visually recognize the image after the NR correction. Further, the number of processing target images to be processed for NR correction may be one or plural. This image to be processed is selected and set by the user, for example. At this time, the user, for example, performs input operations on the operation unit 160 to select or change the image to be processed.
  • the smoothing range can be adjusted by Sigma, and the larger the Sigma, the stronger the NR effect.
  • Sigma is information about the standard deviation.
  • This sigma may be selected by the user or calculated from the image to be processed, which is the original image. For example, the sigma may be first automatically calculated from the image to be processed and set, and then changed and set by the user as necessary. At this time, the user selects or changes the sigma by performing an input operation on the operation unit 160, for example.
  • FIG. 8 is a flow chart showing the flow of a modification of the first processing example according to this embodiment.
  • the correction unit 134 determines whether outlier processing is performed.
  • outlier processing is, for example, zero-filling processing for zeroing outliers in the image to be processed in advance. In this way, by zeroing outliers in the image to be processed in advance in order to prevent unnecessary artifacts from occurring due to NR correction, it is possible to obtain a more reliable NR correction result.
  • FIG. 9 is a flowchart showing the flow of a second processing example of NR correction using a guide image according to this embodiment.
  • FIG. 10 is a diagram showing a color map for each Sigma according to the second processing example according to the present embodiment. Sigma represents the NR intensity.
  • FIG. 11 is a diagram showing benefits of the second processing example in actual cell analysis according to this embodiment.
  • the guide image generation unit 133 performs color separation after color separation in step S31. (color separated images: Fluo 1, 2, 3, 4, 5) are merged and divided by the number of merged images. By executing it, a guide image is generated.
  • noise removal processing and edge enhancement processing can be used.
  • a median filter, an average filter, a Gaussian filter, etc. can be used as a noise removal filter.
  • edge enhancement process for example, Deconvwnr, Deconvreg, Deconvlucy, Deconvblind, primary differential filter, secondary differential filter, etc. can be used as an edge enhancement filter.
  • the smoothing range can be adjusted by Sigma, and the larger the Sigma, the stronger the NR effect.
  • the sigma is information about the standard deviation, and may be selected by the user or calculated from the processing target image, which is the original image, as in the first processing example.
  • the guide image generation unit 133 performs image processing after summing and dividing a plurality of multispectral images. Image processing may be performed after the images are summed and before division.
  • FIG. 12 is a flowchart showing the flow of a third processing example of NR correction using a guide image according to this embodiment.
  • the guide image generation unit 133 performs color separation after color separation in step S41.
  • a plurality of images (color separation images: Fluo 1, 2, 3, 4, 5) are zero-filled to zero pixels below a predetermined positive threshold, and in step S42, each image after zeroing are merged and divided by the number of merged images to generate a guide image.
  • a plurality of multispectral images for example, color separation images
  • a plurality of multispectral images after zeroing By merging and dividing, the guide image has a higher S/N ratio. Therefore, the NR effect can be enhanced by increasing the S/N ratio of the guide image.
  • the guide image generation unit 133 generates a multispectral image, for example, a stained fluorescence component image D2 (see FIG. 13) based on the unstained fluorescence component image D22 (see FIG. 13) derived by the color separation unit 1321 as described above.
  • a positivity threshold can be determined.
  • FIG. 13 is a diagram showing an example of histograms of the stained fluorescence component image D2 and the unstained fluorescence component image D22.
  • the X-axis indicates the brightness value and the Y-axis indicates the frequency.
  • the positive threshold is determined based on the unstained fluorescence component image D22 obtained from the unstained specimen fluorescence spectrum D21 used as the negative control group. Therefore, in the stained fluorescence component image D2, the image section affected by the fluorescence caused by the fluorescent reagent 10A can be accurately distinguished from the image section not affected by the fluorescence, and can be specified as the positive cell image. can.
  • the guide image generation unit 133 may determine, as a positive threshold, a luminance value (see symbol “T1” in FIG. 13) corresponding to an edge (in particular, a high luminance value side edge) of the histogram of the unstained fluorescence component image D22. good. It should be noted that the method of obtaining the edge of the histogram of the unstained fluorescence component image D22 is not limited.
  • the guide image generation unit 133 may determine the maximum luminance value in the unstained fluorescence component image D22 as the edge of the histogram of the unstained fluorescence component image D22.
  • the guide image generation unit 133 obtains the slope of the gradient of the histogram of the unstained fluorescence component image D22 (see symbol “G” in FIG. 13), and based on the slope, determines the edges of the histogram of the unstained specimen fluorescence spectrum D21. You can decide.
  • the method of determining the “gradient point for determining the slope” in the histogram of the unstained fluorescence component image D22 is not limited.
  • the guide image generation unit 133 may determine the gradient location based on the frequency of luminance values of the unstained fluorescence component image D22. Specifically, it is possible to determine the gradient location in the same manner as the method of determining the "positive threshold value T2" described later.
  • FIG. 14 is a flowchart showing the flow of a fourth processing example of NR correction using a guide image according to this embodiment.
  • 15 and 16 are diagrams each showing an example of image processing according to this embodiment.
  • the guide image generation unit 133 performs the merging/dividing image in step S43 after steps S41 and S42.
  • a guide image is generated by performing image processing on it.
  • This image processing is basically the same processing as the second processing example, but may be different processing.
  • the guide image generation unit 133 performs image processing using a noise removal filter in step S431, and then performs an edge enhancement filter in step S432. may be used to perform image processing.
  • the guide image generation unit 133 executes image processing using an edge enhancement filter in step S432, in reverse to the flow of image processing in FIG. Image processing using a removal filter may be performed.
  • the degree of the NR effect varies depending on the type of image to be processed. As for the flow of processing, the flow of image processing in FIG. 15 can obtain a better NR effect.
  • FIG. 17 is a flowchart showing the flow of a fifth processing example of NR correction using a guide image according to this embodiment.
  • the guide image generation unit 133 does not execute step S41 in FIG.
  • a guide image is generated by merging images, for example, only images corresponding to specific cell types such as only membrane staining markers (color separation images: Fluo 3, 4, 5) and dividing by the number of merged images. Although only three color separation images are merged in the example of FIG. 17, the number is not limited.
  • the S/N of the guide image is made higher by merging/dividing only the images corresponding to the specific cell type, such as only the membrane staining marker, when creating the guide image. Therefore, the NR effect can be enhanced by increasing the S/N ratio of the guide image.
  • FIG. 18 is a flowchart showing the flow of the sixth processing example of NR correction using the guide image according to this embodiment.
  • the guide image generation unit 133 performs after step S42 and after merging/division in step S43.
  • a guide image is generated by performing image processing on the image of .
  • This image processing is basically the same processing as the second processing example, but may be different processing.
  • FIG. 19 is a flowchart showing the flow of the seventh processing example of NR correction using the guide image according to this embodiment.
  • the guide image generation unit 133 performs the A plurality of specific images, for example, only images corresponding to specific cell types such as membrane staining markers only (color separation images: Fluo 3, 4, 5), pixels below a predetermined positive threshold are zeroed (filled with zero) Further, in step S42, each image after zeroing is merged and divided by the number of merged images to generate a guide image.
  • FIG. 20 is a flowchart showing the flow of the eighth processing example of NR correction using the guide image according to this embodiment.
  • the guide image generation unit 133 in addition to the processing of the seventh processing example (see FIG. 19), the guide image generation unit 133 generates a guide image in step S43 after steps S41 and S42.
  • the image generation unit 133 generates a guide image by performing image processing on the merged/divided image.
  • This image processing is basically the same processing as the second processing example, but may be different processing.
  • pixels below a predetermined positive threshold value are zeroed only in images corresponding to specific cell types, and only the zeroed images are merged and divided, and then merged and divided.
  • image processing such as noise removal processing and edge enhancement processing
  • the S/N of the guide image is made higher. Therefore, the NR effect can be enhanced by increasing the S/N ratio of the guide image.
  • FIG. 21 is a flowchart showing the flow of the ninth processing example of NR correction using the guide image according to this embodiment.
  • the guide image generation unit 133 in addition to the processing of the modification of the first processing example described above, the guide image generation unit 133 generates a cell analysis result (for example, positive cell ratio, number of positive cells, etc.) are used as weights for merging.
  • a cell analysis result for example, positive cell ratio, number of positive cells, etc.
  • cell analysis results for example, the positive cell rate, the number of positive cells, etc.
  • weights and merged are used as weights and merged when creating a guide image.
  • FIG. 22 is a flowchart showing the flow of the tenth processing example of NR correction using the guide image according to this embodiment.
  • the guide image generation unit 133 in step S51, generates a positive cell rate ( Positive rate) is a positive cell rate similar to that of the same cell type marker, and until the positive cell rate reaches a positive cell rate similar to that of the same cell type marker, in step S12, create a guide image Sometimes the positive cell rate is used as a weight for merging.
  • the information processing apparatus 100 sums up a plurality of images (for example, color separation images) each including spectral information related to biomarkers, and divides by the number of the summed images.
  • a guide image generation unit 133 that generates a guide image for correction is provided. This makes it possible to perform NR correction on the image to be processed using the guide image, so that necessary signals buried in the background of the image to be processed are acquired while maintaining the signal intensity necessary for analysis. be able to.
  • the information processing apparatus 100 may further include a correction unit 134 that performs noise reduction correction on the processing target image using the guide image. As a result, it is possible to reliably acquire the necessary signal buried in the background of the image to be processed while maintaining the signal intensity necessary for analysis.
  • the correction unit 134 may perform outlier processing on the processing target image before noise reduction correction. This makes it possible to increase the S/N ratio of the guide image, thereby enhancing the NR effect.
  • the guide image generation unit 133 may perform image processing after summing and dividing a plurality of images. This makes it possible to increase the S/N ratio of the guide image, thereby enhancing the NR effect.
  • the guide image generation unit 133 may perform image processing after summing a plurality of images and before division. This makes it possible to increase the S/N ratio of the guide image, thereby enhancing the NR effect.
  • the guide image generation unit 133 may perform a process of zeroing pixels below a predetermined positive threshold for a plurality of images before summing the plurality of images. This makes it possible to increase the S/N ratio of the guide image, thereby enhancing the NR effect.
  • the guide image generation unit 133 may perform processing for zeroing pixels below a predetermined positive threshold for a plurality of images, and perform image processing after summing and dividing the plurality of images. This makes it possible to increase the S/N ratio of the guide image, thereby enhancing the NR effect.
  • the guide image generation unit 133 may perform a process of zeroing pixels below a predetermined positive threshold for a plurality of images, and may perform image processing after summing the plurality of images and before division. This makes it possible to increase the S/N ratio of the guide image, thereby enhancing the NR effect.
  • the guide image generation unit 133 may sum only the images corresponding to the specific cell tumor among the plurality of images. This makes it possible to increase the S/N ratio of the guide image, thereby enhancing the NR effect.
  • the guide image generation unit 133 may perform image processing after summing and dividing only the image corresponding to the specific cell tumor among the plurality of images. This makes it possible to increase the S/N ratio of the guide image, thereby enhancing the NR effect.
  • the guide image generation unit 133 may perform image processing after adding only the image corresponding to the specific cell tumor among the plurality of images and before dividing. This makes it possible to increase the S/N ratio of the guide image, thereby enhancing the NR effect.
  • the guide image generation unit 133 performs zero-filling processing for zeroing pixels below a predetermined positive threshold for the image corresponding to the specific cell tumor among the plurality of images, and Only corresponding images may be summed. This makes it possible to increase the S/N ratio of the guide image, thereby enhancing the NR effect.
  • the guide image generation unit 133 may perform image processing after summing and dividing only the images corresponding to the specific cell tumor after the zero-filling process. This makes it possible to increase the S/N ratio of the guide image, thereby enhancing the NR effect.
  • the guide image generation unit 133 may perform image processing after summing only the images corresponding to the specific cell tumor after the zero-filling process and before dividing. This makes it possible to increase the S/N ratio of the guide image, thereby enhancing the NR effect.
  • the guide image generation unit 133 may add up a plurality of images using the analysis result for the image to be processed as a weight.
  • analysis results for example, cell analysis results
  • guide image generation can be reflected in guide image generation.
  • the guide image generation unit 133 may repeat summing a plurality of images using the analysis result as a weight until the analysis result is approximately the same as the comparison target analysis result. This eliminates the need for human judgment and realizes automation.
  • each of the plurality of images may be a color separation image. Even if each image is a color-separated image, it is possible to acquire the necessary signal hidden in the background of the image to be processed while maintaining the signal strength necessary for analysis.
  • the guide image generation unit 133 may perform image processing using a noise removal filter and an edge enhancement filter. This makes it possible to increase the S/N ratio of the guide image, thereby enhancing the NR effect.
  • each component of each device illustrated is functionally conceptual and does not necessarily need to be physically configured as illustrated.
  • the specific form of distribution and integration of each device is not limited to the one shown in the figure, and all or part of them can be functionally or physically distributed and integrated in arbitrary units according to various loads and usage conditions. Can be integrated and configured.
  • FIG. 23 is a diagram showing an example of a schematic configuration of a fluoroscopy apparatus 500 according to this embodiment.
  • FIG. 24 is a diagram showing an example of a schematic configuration of the observation unit 1 according to this embodiment.
  • the fluorescence observation device 500 has an observation unit 1, a processing unit 2, and a display section 3.
  • the observation unit 1 includes an excitation section (irradiation section) 10, a stage 20, a spectral imaging section 30, an observation optical system 40, a scanning mechanism 50, a focus mechanism 60, and a non-fluorescent observation section 70.
  • the excitation unit 10 irradiates the observation object with a plurality of irradiation lights with different wavelengths.
  • the excitation unit 10 irradiates a pathological specimen (pathological sample), which is an object to be observed, with a plurality of line illuminations with different wavelengths arranged in parallel with different axes.
  • the stage 20 is a table for supporting a pathological specimen, and is configured to be movable by the scanning mechanism 50 in a direction perpendicular to the direction of line light from the line illumination.
  • the spectroscopic imaging unit 30 includes a spectroscope, and obtains a fluorescence spectrum (spectral data) of a pathological specimen linearly excited by line illumination.
  • the observation unit 1 functions as a line spectroscope that acquires spectral data according to line illumination.
  • the observation unit 1 captures, for each line, a plurality of fluorescence images generated by an imaging target (pathological specimen) for each of a plurality of fluorescence wavelengths, and acquires data of the captured plurality of fluorescence images in the order of the lines. It also functions as an imaging device.
  • different axes parallel means that the multiple line illuminations are different axes and parallel.
  • a different axis means not being on the same axis, and the distance between the axes is not particularly limited.
  • Parallel is not limited to being parallel in a strict sense, but also includes a state of being substantially parallel. For example, there may be distortion derived from an optical system such as a lens, or deviation from a parallel state due to manufacturing tolerances, and such cases are also regarded as parallel.
  • the excitation unit 10 and the spectral imaging unit 30 are connected to the stage 20 via an observation optical system 40.
  • the observation optical system 40 has a function of following the optimum focus by the focus mechanism 60 .
  • the observation optical system 40 may be connected to a non-fluorescent observation section 70 for performing dark-field observation, bright-field observation, and the like.
  • the observation unit 1 may be connected with a control section 80 that controls the excitation section 10, the spectral imaging section 30, the scanning mechanism 50, the focusing mechanism 60, the non-fluorescent observation section 70, and the like.
  • the processing unit 2 includes a storage section 21 , a data proofreading section 22 and an image forming section 23 .
  • the processing unit 2 Based on the fluorescence spectrum of the pathological specimen (hereinafter also referred to as sample S) acquired by the observation unit 1, the processing unit 2 typically forms an image of the pathological specimen or calculates the distribution of the fluorescence spectrum. Output.
  • the image here refers to the composition ratio of pigments that compose the spectrum, the autofluorescence derived from the sample, the waveform converted to RGB (red, green and blue) colors, the luminance distribution of a specific wavelength band, and the like.
  • the storage unit 21 includes a non-volatile storage medium such as a hard disk drive or flash memory, and a storage control unit that controls writing and reading of data to and from the storage medium.
  • the storage unit 21 stores spectral data indicating the correlation between each wavelength of light emitted by each of the plurality of line illuminations included in the excitation unit 10 and fluorescence received by the camera of the spectral imaging unit 30 .
  • the storage unit 21 pre-stores information indicating the standard spectrum of the autofluorescence of the sample (pathological specimen) to be observed and information indicating the standard spectrum of the single dye that stains the sample.
  • the data calibration unit 22 configures the spectral data stored in the storage unit 21 based on the captured image captured by the camera of the spectral imaging unit 30 .
  • the image forming unit 23 forms a fluorescence image of the sample based on the spectral data and the intervals ⁇ y between the plurality of line illuminations irradiated by the excitation unit 10 .
  • the processing unit 2 including the data proofreading unit 22, the image forming unit 23, etc. is a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and other hardware elements and necessary components used in a computer. It is realized by a program (software). Instead of or in addition to CPU, PLD (Programmable Logic Device) such as FPGA (Field Programmable Gate Array), DSP (Digital Signal Processor), other ASIC (Application Specific Integrated Circuit), etc. may be used. good.
  • the display unit 3 displays various information such as an image based on the fluorescence image formed by the image forming unit 23, for example.
  • the display section 3 may be, for example, a monitor integrally attached to the processing unit 2 or a display device connected to the processing unit 2 .
  • the display unit 3 includes, for example, a display element such as a liquid crystal device or an organic EL device, and a touch sensor, and is configured as a UI (User Interface) for displaying input settings of imaging conditions, captured images, and the like.
  • UI User Interface
  • the excitation unit 10 includes two line illuminations Ex1 and Ex2 each emitting light of two wavelengths.
  • the line illumination Ex1 emits light with a wavelength of 405 nm and light with a wavelength of 561 nm
  • the line illumination Ex2 emits light with a wavelength of 488 nm and light with a wavelength of 645 nm.
  • the excitation unit 10 has a plurality of (four in this example) excitation light sources L1, L2, L3, and L4.
  • Each of the excitation light sources L1 to L4 is composed of a laser light source that outputs laser light with wavelengths of 405 nm, 488 nm, 561 nm and 645 nm, respectively.
  • each of the excitation light sources L1 to L4 is composed of a light emitting diode (LED), a laser diode (LD), or the like.
  • the excitation unit 10 includes a plurality of collimator lenses 11, a plurality of laser line filters 12, a plurality of dichroic mirrors 13a, 13b, 13c, a homogenizer 14, and a condenser lens 15 so as to correspond to the respective excitation light sources L1 to L4. , and an entrance slit 16 .
  • the laser light emitted from the excitation light source L1 and the laser light emitted from the excitation light source L3 are collimated by a collimator lens 11, respectively, and then transmitted through a laser line filter 12 for cutting the skirt of each wavelength band. and are made coaxial by the dichroic mirror 13a.
  • the two coaxial laser beams are further beam-shaped by a homogenizer 14 such as a fly-eye lens and a condenser lens 15 to form line illumination Ex1.
  • the laser light emitted from the excitation light source L2 and the laser light emitted from the excitation light source L4 are coaxially coaxial with each other by the dichroic mirrors 13b and 13c, and line illumination is performed so that the line illumination Ex2 has a different axis from the line illumination Ex1. become.
  • the line illuminations Ex1 and Ex2 form off-axis line illuminations (primary images) separated by a distance ⁇ y at the entrance slit 16 (slit conjugate) having a plurality of slit portions each passable.
  • the primary image is irradiated onto the sample S on the stage 20 via the observation optical system 40 .
  • the observation optical system 40 has a condenser lens 41 , dichroic mirrors 42 and 43 , an objective lens 44 , a bandpass filter 45 , and a condenser lens (an example of an imaging lens) 46 .
  • the line illuminations Ex1 and Ex2 are collimated by a condenser lens 41 paired with an objective lens 44, reflected by dichroic mirrors 42 and 43, transmitted through the objective lens 44, and irradiated onto the sample S on the stage 20. .
  • FIG. 25 is a diagram showing an example of the sample S according to this embodiment.
  • FIG. 25 shows a state in which the sample S is viewed from the irradiation directions of the line illuminations Ex1 and Ex2, which are the excitation light.
  • the sample S is typically composed of a slide containing an observation object Sa such as a tissue section as shown in FIG.
  • the observation target Sa is, for example, a biological sample such as nucleic acid, cell, protein, bacterium, or virus.
  • a sample S (observation target Sa) is dyed with a plurality of fluorescent dyes.
  • the observation unit 1 enlarges the sample S to a desired magnification and observes it.
  • FIG. 26 is an enlarged view of the area A in which the sample S according to the present embodiment is irradiated with the line illuminations Ex1 and Ex2.
  • two line illuminations Ex1 and Ex2 are arranged in area A, and imaging areas R1 and R2 of spectral imaging unit 30 are arranged so as to overlap with the respective line illuminations Ex1 and Ex2.
  • the two line illuminations Ex1 and Ex2 are each parallel to the Z-axis direction and arranged apart from each other by a predetermined distance ⁇ y in the Y-axis direction.
  • line illuminations Ex1 and Ex2 are formed as shown in FIG. Fluorescence excited in the sample S by these line illuminations Ex1 and Ex2 is collected by the objective lens 44 and reflected by the dichroic mirror 43, as shown in FIG. It passes through the pass filter 45 , is condensed again by the condenser lens 46 , and enters the spectral imaging section 30 .
  • the spectral imaging unit 30 includes an observation slit (aperture) 31, an imaging element 32, a first prism 33, a mirror 34, a diffraction grating 35 (wavelength dispersion element), and a second prism. 36.
  • the imaging element 32 is configured including two imaging elements 32a and 32b.
  • the imaging device 32 captures (receives) a plurality of lights (fluorescence, etc.) wavelength-dispersed by the diffraction grating 35 .
  • a two-dimensional imager such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) is adopted as the imaging device 32 .
  • the observation slit 31 is arranged at the condensing point of the condenser lens 46 and has the same number of slit parts as the number of excitation lines (two in this example).
  • the fluorescence spectra derived from the two excitation lines that have passed through the observation slit 31 are separated by the first prism 33 and reflected by the grating surfaces of the diffraction grating 35 via the mirrors 34, respectively, so that the fluorescence spectra of the excitation wavelengths are further divided into separated.
  • the four separated fluorescence spectra are incident on the imaging devices 32a and 32b via the mirror 34 and the second prism 36, and the spectral data represented by the position x in the line direction and the wavelength ⁇ (x, ⁇ ).
  • the spectral data (x, ⁇ ) is a pixel value of a pixel at position x in the row direction and at wavelength ⁇ in the column direction among the pixels included in the image sensor 32 . Note that the spectroscopic data (x, ⁇ ) may be simply described as spectroscopic data.
  • the pixel size (nm/Pixel) of the imaging elements 32a and 32b is not particularly limited, and is set to 2 (nm/Pixel) or more and 20 (nm/Pixel) or less, for example.
  • This dispersion value may be realized by the pitch of the diffraction grating 35, optically, or by hardware binning of the imaging elements 32a and 32b.
  • a dichroic mirror 42 and a bandpass filter 45 are inserted in the optical path to prevent the excitation light (line illuminations Ex1 and Ex2) from reaching the imaging device 32 .
  • Each of the line illuminations Ex1 and Ex2 is not limited to being configured with a single wavelength, and may each be configured with a plurality of wavelengths. If the line illuminations Ex1 and Ex2 each consist of multiple wavelengths, the fluorescence excited by them also contains multiple spectra.
  • the spectroscopic imaging unit 30 has a wavelength dispersive element for separating the fluorescence into spectra derived from the excitation wavelengths.
  • the wavelength dispersive element is composed of a diffraction grating, a prism, or the like, and is typically arranged on the optical path between the observation slit 31 and the imaging element 32 .
  • stage 20 and the scanning mechanism 50 constitute an XY stage, and in order to acquire a fluorescence image of the sample S, the sample S is moved in the X-axis direction and the Y-axis direction.
  • WSI whole slide imaging
  • the operation of scanning the sample S in the Y-axis direction, moving in the X-axis direction, and then scanning in the Y-axis direction is repeated.
  • dye spectra (fluorescence spectra) excited at different excitation wavelengths which are spatially separated by a distance ⁇ y on the sample S (observation object Sa), are continuously scanned in the Y-axis direction. can be obtained.
  • the scanning mechanism 50 changes the position of the sample S irradiated with the irradiation light over time. For example, the scanning mechanism 50 scans the stage 20 in the Y-axis direction.
  • the scanning mechanism 50 can scan the stage 20 with the plurality of line illuminations Ex1 and Ex2 in the Y-axis direction, that is, in the arrangement direction of the line illuminations Ex1 and Ex2. This is not limited to this example, and a plurality of line illuminations Ex1 and Ex2 may be scanned in the Y-axis direction by a galvanomirror arranged in the middle of the optical system.
  • Data derived from each of the line illuminations Ex1 and Ex2 is data whose coordinates are shifted by a distance ⁇ y about the Y axis. Based on the value of the distance ⁇ y calculated from the output, it is corrected and output.
  • the non-fluorescent observation section 70 is composed of a light source 71, a dichroic mirror 43, an objective lens 44, a condenser lens 72, an imaging device 73, and the like.
  • the example of FIG. 24 shows an observation system using dark field illumination.
  • the light source 71 is arranged on the side of the stage 20 facing the objective lens 44, and irradiates the sample S on the stage 20 with illumination light from the side opposite to the line illuminations Ex1 and Ex2.
  • the light source 71 illuminates from outside the NA (numerical aperture) of the objective lens 44 , and the light (dark field image) diffracted by the sample S passes through the objective lens 44 , the dichroic mirror 43 and the condenser lens 72 . Then, the image sensor 73 takes a picture.
  • dark field illumination even seemingly transparent samples such as fluorescently stained samples can be observed with contrast.
  • the non-fluorescent observation unit 70 is not limited to an observation system that acquires a dark field image, but is an observation system capable of acquiring non-fluorescent images such as bright field images, phase contrast images, phase images, and in-line hologram images. may consist of For example, various observation methods such as the Schlieren method, the phase contrast method, the polarizing observation method, and the epi-illumination method can be employed as methods for obtaining non-fluorescent images.
  • the position of the illumination light source is also not limited to below the stage 20 , and may be above the stage 20 or around the objective lens 44 . In addition to the method of performing focus control in real time, other methods such as a pre-focus map method in which focus coordinates (Z coordinates) are recorded in advance may be employed.
  • the line illumination as excitation light is composed of two line illuminations Ex1 and Ex2, but is not limited to this, and may be three, four, or five or more.
  • Each line illumination may also include multiple excitation wavelengths selected to minimize degradation of color separation performance.
  • the excitation light source is composed of a plurality of excitation wavelengths, and if each excitation wavelength and the data obtained by the imaging device 32 are linked and recorded, a different axis can be obtained. It does not give as much resolution as parallelism, but it does give a multicolor spectrum.
  • the configuration described above with reference to FIGS. 23 and 24 is merely an example, and the configuration of the fluorescence observation apparatus 500 according to this embodiment is not limited to the example.
  • the fluoroscopy apparatus 500 may not necessarily include all of the configurations shown in FIGS. 23 and 24, or may include configurations not shown in FIGS.
  • the technology according to the present disclosure can be applied to, for example, a microscope system.
  • a configuration example of a microscope system 5000 that can be applied will be described below with reference to FIGS. 27 to 29.
  • FIG. A microscope device 5100 that is part of the microscope system 5000 functions as an imaging device.
  • a configuration example of the microscope system of the present disclosure is shown in FIG.
  • a microscope system 5000 shown in FIG. 27 includes a microscope device 5100 , a control section 5110 and an information processing section 5120 .
  • a microscope device 5100 includes a light irradiation section 5101 , an optical section 5102 , and a signal acquisition section 5103 .
  • the microscope device 5100 may further include a sample placement section 5104 on which the biological sample S is placed. Note that the configuration of the microscope device 5100 is not limited to that shown in FIG. It may be used as the irradiation unit 5101 .
  • the light irradiation section 5101 may be arranged such that the sample mounting section 5104 is sandwiched between the light irradiation section 5101 and the optical section 5102, and may be arranged on the side where the optical section 5102 exists, for example.
  • the microscope apparatus 5100 may be configured to be able to perform one or more of bright field observation, phase contrast observation, differential interference contrast observation, polarization observation, fluorescence observation, and dark field observation.
  • the microscope system 5000 may be configured as a so-called WSI (Whole Slide Imaging) system or a digital pathology imaging system, and can be used for pathological diagnosis.
  • Microscope system 5000 may also be configured as a fluorescence imaging system, in particular a multiplex fluorescence imaging system.
  • the microscope system 5000 may be used to perform intraoperative pathological diagnosis or remote pathological diagnosis.
  • the microscope device 5100 acquires data of the biological sample S obtained from the subject of the surgery, and transfers the data to the information processing unit 5120. can send.
  • the microscope device 5100 can transmit the acquired data of the biological sample S to the information processing unit 5120 located in a place (another room, building, or the like) away from the microscope device 5100 .
  • the information processing section 5120 receives and outputs the data.
  • a user of the information processing unit 5120 can make a pathological diagnosis based on the output data.
  • the biological sample S may be a sample containing a biological component.
  • the biological components may be tissues, cells, liquid components of a living body (blood, urine, etc.), cultures, or living cells (cardiomyocytes, nerve cells, fertilized eggs, etc.).
  • the biological sample may be a solid, a specimen fixed with a fixative such as paraffin, or a solid formed by freezing.
  • the biological sample can be a section of the solid.
  • a specific example of the biological sample is a section of a biopsy sample.
  • the biological sample may be one that has undergone processing such as staining or labeling.
  • the treatment may be staining for indicating the morphology of biological components or for indicating substances (surface antigens, etc.) possessed by biological components, examples of which include HE (Hematoxylin-Eosin) staining and immunohistochemistry staining. be able to.
  • the biological sample may be treated with one or more reagents, and the reagents may be fluorescent dyes, chromogenic reagents, fluorescent proteins, or fluorescently labeled antibodies.
  • the specimen may be one prepared from a tissue sample for the purpose of pathological diagnosis or clinical examination. Moreover, the specimen is not limited to the human body, and may be derived from animals, plants, or other materials.
  • the specimen may be the type of tissue used (such as an organ or cell), the type of target disease, the subject's attributes (such as age, sex, blood type, or race), or the subject's lifestyle. The properties differ depending on habits (for example, eating habits, exercise habits, smoking habits, etc.).
  • the specimens may be managed with identification information (bar code, QR code (registered trademark), etc.) that allows each specimen to be identified.
  • the light irradiation unit 5101 is a light source for illuminating the biological sample S and an optical unit for guiding the light irradiated from the light source to the specimen.
  • the light source may irradiate the biological sample with visible light, ultraviolet light, or infrared light, or a combination thereof.
  • the light source may be one or more of a halogen light source, a laser light source, an LED light source, a mercury light source, and a xenon light source.
  • a plurality of types and/or wavelengths of light sources may be used in fluorescence observation, and may be appropriately selected by those skilled in the art.
  • the light irradiation unit 5101 can have a transmissive, reflective, or episcopic (coaxial episcopic or lateral) configuration.
  • the optical section 5102 is configured to guide the light from the biological sample S to the signal acquisition section 5103 .
  • the optical unit 5102 can be configured to allow the microscope device 5100 to observe or image the biological sample S.
  • Optical section 5102 may include an objective lens.
  • the type of objective lens may be appropriately selected by those skilled in the art according to the observation method.
  • the optical section 5102 may include a relay lens for relaying the image magnified by the objective lens to the signal acquisition section 5103 .
  • the optical unit 5102 may further include optical components other than the objective lens and the relay lens, an eyepiece lens, a phase plate, a condenser lens, and the like.
  • the optical section 5102 may further include a wavelength separation section configured to separate light having a predetermined wavelength from the light from the biological sample S.
  • the wavelength separation section can be configured to selectively allow light of a predetermined wavelength or wavelength range to reach the signal acquisition section 5103 .
  • the wavelength separator may include, for example, one or more of a filter that selectively transmits light, a polarizing plate, a prism (Wollaston prism), and a diffraction grating.
  • the optical components included in the wavelength separation section may be arranged on the optical path from the objective lens to the signal acquisition section 5103, for example.
  • the wavelength separation unit is provided in the microscope device 5100 when fluorescence observation is performed, particularly when an excitation light irradiation unit is included.
  • the wavelength separator may be configured to separate fluorescent light from each other or white light and fluorescent light.
  • the signal acquisition unit 5103 can be configured to receive light from the biological sample S and convert the light into an electrical signal, particularly a digital electrical signal.
  • the signal acquisition unit 5103 may be configured to acquire data regarding the biological sample S based on the electrical signal.
  • the signal acquisition unit 5103 may be configured to acquire data of an image (image, particularly a still image, a time-lapse image, or a moving image) of the biological sample S.
  • the image magnified by the optical unit 5102 It may be configured to acquire image data.
  • the signal acquisition unit 5103 includes one or more image sensors, such as CMOS or CCD, having a plurality of pixels arranged one-dimensionally or two-dimensionally.
  • the signal acquisition unit 5103 may include an imaging device for obtaining a low-resolution image and an imaging device for obtaining a high-resolution image, or may include an imaging device for sensing such as AF and an imaging device for image output for observation. element.
  • the image pickup device includes a signal processing unit (including one or more of CPU, DSP, and memory) that performs signal processing using pixel signals from each pixel, and pixel signals and an output control unit for controlling the output of the image data generated from and the processed data generated by the signal processing unit.
  • An imaging device including the plurality of pixels, the signal processing section, and the output control section may preferably be configured as a one-chip semiconductor device.
  • the microscope system 5000 may further include an event detection sensor.
  • the event detection sensor includes a pixel that photoelectrically converts incident light, and can be configured to detect, as an event, a change in luminance of the pixel exceeding a predetermined threshold. The event detection sensor can in particular be asynchronous.
  • the control unit 5110 controls imaging by the microscope device 5100 .
  • the control unit 5110 can drive the movement of the optical unit 5102 and/or the sample placement unit 5104 to adjust the positional relationship between the optical unit 5102 and the sample placement unit 5104 for imaging control.
  • the control unit 5110 can move the optical unit 5102 and/or the sample mounting unit 5104 in a direction toward or away from each other (for example, the optical axis direction of the objective lens).
  • the control section 5110 may move the optical section 5102 and/or the sample placement section 5104 in any direction on a plane perpendicular to the optical axis direction.
  • the control unit 5110 may control the light irradiation unit 5101 and/or the signal acquisition unit 5103 for imaging control.
  • the sample mounting section 5104 may be configured such that the position of the biological sample on the sample mounting section 5104 can be fixed, and may be a so-called stage.
  • the sample mounting section 5104 can be configured to move the position of the biological sample in the optical axis direction of the objective lens and/or in a direction perpendicular to the optical axis direction.
  • the information processing section 5120 can acquire data (such as imaging data) acquired by the microscope device 5100 from the microscope device 5100 .
  • the information processing section 5120 can perform image processing on captured data.
  • the image processing may include an unmixing process, in particular a spectral unmixing process.
  • the unmixing process is a process of extracting data of light components of a predetermined wavelength or wavelength range from the imaging data to generate image data, or removing data of light components of a predetermined wavelength or wavelength range from the imaging data. It can include processing and the like.
  • the image processing may include autofluorescence separation processing for separating the autofluorescence component and dye component of the tissue section, and fluorescence separation processing for separating the wavelengths between dyes having different fluorescence wavelengths.
  • autofluorescence signals extracted from one may be used to remove autofluorescence components from image information of the other specimen.
  • the information processing section 5120 may transmit data for imaging control to the control section 5110, and the control section 5110 receiving the data may control imaging by the microscope apparatus 5100 according to the data.
  • the information processing unit 5120 may be configured as an information processing device such as a general-purpose computer, and may include a CPU, RAM, and ROM.
  • the information processing section 5120 may be included in the housing of the microscope device 5100 or may be outside the housing.
  • Various processing or functions by the information processing section 5120 may be realized by a server computer or cloud connected via a network.
  • a method of imaging the biological sample S by the microscope device 5100 may be appropriately selected by a person skilled in the art according to the type of the biological sample and the purpose of imaging. An example of the imaging method will be described below.
  • the microscope device 5100 can first identify an imaging target region.
  • the imaging target region may be specified so as to cover the entire region where the biological sample exists, or a target portion (target tissue section, target cell, or target lesion portion) of the biological sample. ) may be specified to cover
  • the microscope device 5100 divides the imaging target region into a plurality of divided regions of a predetermined size, and the microscope device 5100 sequentially images each divided region. As a result, an image of each divided area is obtained.
  • the microscope device 5100 identifies an imaging target region R that covers the entire biological sample S. Then, the microscope device 5100 divides the imaging target region R into 16 divided regions. Then, the microscope device 5100 can image the divided region R1, and then any region included in the imaging target region R, such as a region adjacent to the divided region R1. Then, image capturing of the divided areas is performed until there are no unimaged divided areas. Areas other than the imaging target area R may also be imaged based on the captured image information of the divided areas. After imaging a certain divided area, the positional relationship between the microscope device 5100 and the sample mounting section 5104 is adjusted in order to image the next divided area.
  • the adjustment may be performed by moving the microscope device 5100, moving the sample placement section 5104, or moving both of them.
  • the image capturing device that captures each divided area may be a two-dimensional image sensor (area sensor) or a one-dimensional image sensor (line sensor).
  • the signal acquisition unit 5103 may image each divided area via the optical unit 5102 .
  • the imaging of each divided region may be performed continuously while moving the microscope device 5100 and/or the sample mounting unit 5104, or when imaging each divided region, the microscope device 5100 and/or the sample mounting unit Movement of 5104 may be stopped.
  • the imaging target area may be divided so that the divided areas partially overlap each other, or the imaging target area may be divided so that the divided areas do not overlap.
  • Each divided area may be imaged multiple times by changing imaging conditions such as focal length and/or exposure time.
  • the information processing apparatus can stitch a plurality of adjacent divided areas to generate image data of a wider area. By performing the stitching process over the entire imaging target area, it is possible to obtain an image of a wider area of the imaging target area. Also, image data with lower resolution can be generated from the image of the divided area or the image subjected to the stitching process.
  • the microscope device 5100 can first identify an imaging target region.
  • the imaging target region may be specified so as to cover the entire region where the biological sample exists, or the target portion (target tissue section or target cell-containing portion) of the biological sample. may be specified.
  • the microscope device 5100 scans a partial region (also referred to as a “divided scan region”) of the imaging target region in one direction (also referred to as a “scanning direction”) within a plane perpendicular to the optical axis. Take an image. After the scanning of the divided scan area is completed, the next divided scan area next to the scan area is scanned. These scanning operations are repeated until the entire imaging target area is imaged. As shown in FIG.
  • the microscope device 5100 identifies a region (gray portion) in which a tissue section exists in the biological sample S as an imaging target region Sa. Then, the microscope device 5100 scans the divided scan area Rs in the imaging target area Sa in the Y-axis direction. After completing scanning of the divided scan region Rs, the microscope device 5100 next scans an adjacent divided scan region in the X-axis direction. This operation is repeated until scanning is completed for the entire imaging target area Sa.
  • the positional relationship between the microscope device 5100 and the sample placement section 5104 is adjusted for scanning each divided scan area and for imaging the next divided scan area after imaging a certain divided scan area. The adjustment may be performed by moving the microscope device 5100, moving the sample placement section 5104, or moving both of them.
  • the imaging device that captures each divided scan area may be a one-dimensional imaging device (line sensor) or a two-dimensional imaging device (area sensor).
  • the signal acquisition unit 5103 may capture an image of each divided area via an enlarging optical system.
  • the imaging of each divided scan region may be performed continuously while moving the microscope device 5100 and/or the sample placement unit 5104 .
  • the imaging target area may be divided such that the divided scan areas partially overlap each other, or the imaging target area may be divided so that the divided scan areas do not overlap.
  • Each divided scan area may be imaged multiple times by changing imaging conditions such as focal length and/or exposure time.
  • the information processing apparatus can stitch a plurality of adjacent divided scan areas to generate image data of a wider area. By performing the stitching process over the entire imaging target area, it is possible to obtain an image of a wider area of the imaging target area. Also, image data with lower resolution can be generated from the image of the divided scan area or the image subjected to the stitching process.
  • FIG. 30 is a block diagram showing an example of a schematic hardware configuration of the information processing apparatus 100. As shown in FIG. Various types of processing by the information processing apparatus 100 are realized by, for example, cooperation between software and hardware described below.
  • the information processing apparatus 100 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, and a host bus 904a.
  • the information processing apparatus 100 also includes a bridge 904 , an external bus 904 b , an interface 905 , an input device 906 , an output device 907 , a storage device 908 , a drive 909 , a connection port 911 , a communication device 913 and a sensor 915 .
  • the information processing apparatus 100 may have a processing circuit such as a DSP or ASIC in place of or together with the CPU 901 .
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls general operations within the information processing device 100 according to various programs.
  • the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs, calculation parameters, and the like used by the CPU 901 .
  • the RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901 can embody at least the processing unit 130 and the control unit 150 of the information processing apparatus 100, for example.
  • the CPU 901, ROM 902 and RAM 903 are interconnected by a host bus 904a including a CPU bus.
  • the host bus 904a is connected via a bridge 904 to an external bus 904b such as a PCI (Peripheral Component Interconnect/Interface) bus.
  • PCI Peripheral Component Interconnect/Interface
  • the host bus 904a, the bridge 904 and the external bus 904b do not necessarily have to be configured separately, and these functions may be implemented in one bus.
  • the input device 906 is implemented by a device such as a mouse, keyboard, touch panel, button, microphone, switch, lever, etc., through which information is input by the practitioner.
  • the input device 906 may be, for example, a remote control device using infrared rays or other radio waves, or may be an externally connected device such as a mobile phone or PDA corresponding to the operation of the information processing device 100.
  • the input device 906 may include, for example, an input control circuit that generates an input signal based on information input by the practitioner using the above input means and outputs the signal to the CPU 901 .
  • the input device 906 can embody at least the operation unit 160 of the information processing device 100, for example.
  • the output device 907 is formed by a device capable of visually or audibly notifying the practitioner of the acquired information.
  • Such devices include display devices such as CRT display devices, liquid crystal display devices, plasma display devices, EL display devices and lamps, audio output devices such as speakers and headphones, and printer devices.
  • the output device 907 can embody at least the display unit 140 of the information processing device 100, for example.
  • the storage device 908 is a device for storing data.
  • the storage device 908 is implemented by, for example, a magnetic storage device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 908 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 908 stores programs executed by the CPU 901, various data, and various data acquired from the outside.
  • the storage device 908 can embody at least the storage unit 120 of the information processing device 100, for example.
  • the drive 909 is a reader/writer for storage media, and is built in or externally attached to the information processing apparatus 100 .
  • the drive 909 reads out information recorded on a removable storage medium such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 903 .
  • Drive 909 can also write information to a removable storage medium.
  • connection port 911 is an interface connected to an external device, and is a connection port with an external device capable of data transmission by, for example, USB (Universal Serial Bus).
  • USB Universal Serial Bus
  • the communication device 913 is, for example, a communication interface formed by a communication device or the like for connecting to the network 920 .
  • the communication device 913 is, for example, a communication card for wired or wireless LAN (Local Area Network), LTE (Long Term Evolution), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 913 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various types of communication, or the like.
  • This communication device 913 can transmit and receive signals and the like to and from the Internet and other communication devices, for example, according to a predetermined protocol such as TCP/IP.
  • the sensor 915 in this embodiment includes a sensor capable of acquiring a spectrum (e.g., an imaging device, etc.), other sensors (e.g., acceleration sensor, gyro sensor, geomagnetic sensor, pressure sensor, sound sensor, or range sensor, etc.).
  • the sensor 915 may embody at least the image acquisition unit 112 of the information processing device 100, for example.
  • the network 920 is a wired or wireless transmission path for information transmitted from devices connected to the network 920 .
  • the network 920 may include a public network such as the Internet, a telephone network, a satellite communication network, various LANs (Local Area Networks) including Ethernet (registered trademark), WANs (Wide Area Networks), and the like.
  • Network 920 may also include a dedicated line network such as IP-VPN (Internet Protocol-Virtual Private Network).
  • a hardware configuration example capable of realizing the functions of the information processing apparatus 100 has been shown above.
  • Each component described above may be implemented using general-purpose members, or may be implemented by hardware specialized for the function of each component. Therefore, it is possible to appropriately change the hardware configuration to be used according to the technical level at which the present disclosure is implemented.
  • a computer-readable recording medium storing such a computer program can also be provided. Recording media include, for example, magnetic disks, optical disks, magneto-optical disks, flash memories, and the like. Also, the above computer program may be distributed, for example, via a network without using a recording medium.
  • a guide image generation unit that generates a guide image for correction by summing a plurality of images each containing spectral information related to biomarkers and dividing by the number of the summed images, Information processing equipment.
  • (2) further comprising a correction unit that performs noise reduction correction on the image to be processed using the guide image;
  • (3) The correction unit performs outlier processing on the processing target image before the noise reduction correction.
  • the guide image generation unit performs image processing after summing and dividing the plurality of images.
  • the information processing apparatus according to any one of (1) to (3) above.
  • the guide image generation unit performs image processing after summing the plurality of images and before dividing.
  • the information processing apparatus according to any one of (1) to (3) above.
  • the guide image generation unit performs a process of zeroing pixels below a predetermined positive threshold for the plurality of images before summing the plurality of images.
  • the information processing apparatus according to any one of (1) to (3) above.
  • the guide image generation unit performs processing for zeroing pixels below a predetermined positive threshold for the plurality of images, and performs image processing after summing and dividing the plurality of images.
  • the information processing apparatus according to (6) above.
  • the guide image generation unit performs processing for zeroing pixels below a predetermined positive threshold for the plurality of images, and performs image processing after summing the plurality of images and before dividing.
  • the guide image generation unit sums only the images corresponding to the specific cell tumor among the plurality of images, The information processing apparatus according to any one of (1) to (3) above.
  • the guide image generation unit performs image processing after summing and dividing only the image corresponding to the specific cell tumor among the plurality of images.
  • the information processing device according to (9) above.
  • (11) The guide image generation unit performs image processing after adding only the image corresponding to the specific cell tumor among the plurality of images and before dividing.
  • the guide image generation unit performs a zero-filling process for zeroing pixels below a predetermined positive threshold for the image corresponding to the specific cell tumor among the plurality of images, and the specific cell after the zero-filling process. summing only said images corresponding to tumors; The information processing apparatus according to (9) above. (13) The guide image generation unit performs image processing after summing and dividing only the image corresponding to the specific cell tumor after the zero-filling process. The information processing device according to (12) above. (14) The guide image generation unit performs image processing after adding only the image corresponding to the specific cell tumor after the zero-filling process and before dividing. The information processing device according to (12) above.
  • the guide image generation unit sums the plurality of images using an analysis result of the image to be processed as a weight.
  • the guide image generation unit repeats summing the plurality of images using the analysis result as a weight until the analysis result is approximately the same as the comparison target analysis result.
  • the information processing device according to (15) above.
  • each of the plurality of images is a color separation image;
  • the guide image generation unit performs the image processing using a noise removal filter and an edge enhancement filter.
  • an imaging device that acquires a plurality of images each containing spectral information about a biomarker; an information processing device that processes the plurality of images; with The information processing device is a guide image generation unit that generates a guide image for correction by summing the plurality of images and dividing by the number of the summed images; Biological sample observation system. (20) summing a plurality of images each containing spectral information about biomarkers and dividing by the number of summed images to generate a guide image for correction; Image generation method.
  • a biological sample observation system comprising the information processing device according to any one of (1) to (18) above.
  • observation unit 2 processing unit 3 display unit 10 excitation unit 10A fluorescent reagent 11A reagent identification information 20 stage 20A specimen 21 storage unit 21A specimen identification information 22 data calibration unit 23 image forming unit 30 spectroscopic imaging unit 30A fluorescence-stained specimen 40 observation optical system 50 scanning mechanism 60 focusing mechanism 70 non-fluorescent observation unit 80 control unit 100 information processing device 110 acquisition unit 111 information acquisition unit 112 image acquisition unit 120 storage unit 121 information storage unit 122 image information storage unit 123 analysis result storage unit 130 processing unit 131 Analysis unit 132 Image generation unit 133 Guide image generation unit 134 Correction unit 140 Display unit 150 Control unit 160 Operation unit 200 Database 500 Fluorescence observation device 1311 Connection unit 1321 Color separation unit 1321a First color separation unit 1321b Second color separation unit 1322 Spectrum Extraction unit 5000 Microscope system 5100 Microscope device 5101 Light irradiation unit 5102 Optical unit 5103 Signal acquisition unit 5104 Sample placement unit 5110 Control unit 5120 Information processing unit

Abstract

本開示に係る一形態の情報処理装置（１００）は、バイオマーカに関するスペクトル情報をそれぞれ含む複数の画像を合算し、合算した画像の枚数で除算して補正用のガイド画像を生成するガイド画生成部（１３３）を備える。

Description

情報処理装置、生体試料観察システム及び画像生成方法
　本開示は、情報処理装置、生体試料観察システム及び画像生成方法に関する。
　例えば、多重蛍光画像における色分離画像は、含まれている色素／抗体の種類によっては、信号量が少なくバックグラウンドに埋もれてしまう（Ｓ／Ｎが低くなってしまう）ことがある。その結果、バイオロジカルな観点からは理解し難い結果を招くことがある。一例として、ＣＤ３、ＣＤ５、ＣＤ７はいずれもＴ細胞領域に発現するマーカであるが、色素との組み合わせによっては一部のマーカでＳ／Ｎが低くなってしまう場合がある。
　ここで、例えば、特許文献１には、処理対象画像からノイズを除去するため、薬剤投与前の断層画像またはノイズ除去処理された断層画像をガイダンス画像として用いて、ガイディド・フィルタにより処理対象画像に対してノイズ除去処理を行う技術が記載されている。
特開２０１９－１１３４７５号公報
　しかしながら、色分離アルゴリズムの仕組み上（スペクトル色分離）、取得した信号をスペクトルに拠り係数分割している。スペクトル形状が近しい場合や、信号がそもそも小さいような場合には、Ｓ／Ｎ（ＳＮ比）が低い色分離画像が得られてしまう。また、得られた画を一般的な等方性フィルタによるＮＲ処理を行っても、後段の細胞解析で必要となる信号さえも平滑化してしまうことになる。このため、細胞解析などの解析で必要な信号強度を保持したまま、処理対象画像のバックグランドに埋もれた必要信号を取得することが求められている。これは、色分離画像以外の処理対象画像でも同様である。
　そこで、本開示では、解析で必要な信号強度を保持したまま、処理対象画像のバックグランドに埋もれた必要信号を取得することが可能な情報処理装置、生体試料観察システム及び画像生成方法を提案する。
　本開示の実施形態に係る情報処理装置は、バイオマーカに関するスペクトル情報をそれぞれ含む複数の画像を合算し、合算した画像の枚数で除算して補正用のガイド画像を生成するガイド画生成部を備える。
　本開示の実施形態に係る生体試料観察システムは、バイオマーカに関するスペクトル情報をそれぞれ含む複数の画像を取得する撮像装置と、前記複数の画像を処理する情報処理装置と、を備え、前記情報処理装置は、前記複数の画像を合算し、合算した画像の枚数で除算して補正用のガイド画像を生成するガイド画生成部を有する。
　本開示の実施形態に係る画像生成方法は、バイオマーカに関するスペクトル情報をそれぞれ含む複数の画像を合算し、合算した画像の枚数で除算して補正用のガイド画像を生成する。
本開示に係る主要な技術内容を説明するための図である。 本開示の実施形態に係る情報処理システムの概略構成の一例を示す図である。 本開示の実施形態に係る情報処理装置の基本的な処理の流れの一例を示すフローチャートである。 本開示の実施形態に係る解析部の概略構成の一例を示す図である。 本開示の実施形態に係る連結蛍光スペクトルの生成方法の一例を説明するための図である。 本開示の実施形態に係るガイド画像を用いたＮＲ補正の第１処理例の流れを示すフローチャートである。 本開示の実施形態に係る第１処理例によるシグマ（Ｓｉｇｍａ）ごとのカラーマップを示す図である。 本開示の実施形態に係る第１処理例の変形例の流れを示すフローチャートである。 本開示の実施形態に係るガイド画像を用いたＮＲ補正の第２処理例の流れを示すフローチャートである。 本開示の実施形態に係る第２処理例によるシグマ（Ｓｉｇｍａ）ごとのカラーマップを示す図である。 本開示の実施形態に係る実際の細胞解析における第２処理例の恩恵を示す図である。 本開示の実施形態に係るガイド画像を用いたＮＲ補正の第３処理例の流れを示すフローチャートである。 本開示の実施形態に係る染色蛍光成分画像及び非染色蛍光成分画像のヒストグラムの一例を示す図である。 本開示の実施形態に係るガイド画像を用いたＮＲ補正の第４処理例の流れを示すフローチャートである。 本開示の実施形態に係る画像処理の処理例を示す図である。 本開示の実施形態に係る画像処理の処理例を示す図である。 本開示の実施形態に係るガイド画像を用いたＮＲ補正の第５処理例の流れを示すフローチャートである。 本開示の実施形態に係るガイド画像を用いたＮＲ補正の第６処理例の流れを示すフローチャートである。 本開示の実施形態に係るガイド画像を用いたＮＲ補正の第７処理例の流れを示すフローチャートである。 本開示の実施形態に係るガイド画像を用いたＮＲ補正の第８処理例の流れを示すフローチャートである。 本開示の実施形態に係るガイド画像を用いたＮＲ補正の第９処理例の流れを示すフローチャートである。 本開示の実施形態に係るガイド画像を用いたＮＲ補正の第１０処理例の流れを示すフローチャートである。 蛍光観察装置の概略構成の一例を示す図である。 観察ユニットの概略構成の一例を示す図である。 サンプルの一例を示す図である。 サンプルにライン照明が照射される領域を拡大して示す図である。 顕微鏡システムの全体構成を概略的に示す図である。 撮像方式の例を示す図である。 撮像方式の例を示す図である。 情報処理装置のハードウェアの概略構成の一例を示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、この実施形態により本開示に係る装置、システム及び方法等が限定されるものではない。また、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、基本的に同一の符号を付することにより重複説明を省略する。
　以下に説明される１又は複数の実施形態は、各々が独立に実施されることが可能である。一方で、以下に説明される複数の実施形態は少なくとも一部が他の実施形態の少なくとも一部と適宜組み合わせて実施されてもよい。これら複数の実施形態は、互いに異なる新規な特徴を含み得る。したがって、これら複数の実施形態は、互いに異なる目的又は課題を解決することに寄与し得、互いに異なる効果を奏し得る。
　以下に示す項目順序に従って本開示を説明する。
　１．はじめに
　２．実施形態
　２－１．情報処理システムの構成例
　２－２．情報処理装置の基本的な処理例
　２－３．蛍光分離の処理例
　２－４．ガイド画像を用いたＮＲ補正の処理例
　２－４－１．第１処理例
　２－４－２．第２処理例
　２－４－３．第３処理例
　２－４－４．第４処理例
　２－４－５．第５処理例
　２－４－６．第６処理例
　２－４－７．第７処理例
　２－４－８．第８処理例
　２－４－９．第９処理例
　２－４－１０．第１０処理例
　２－５．作用・効果
　３．他の実施形態
　４．適用例
　５．応用例
　６．ハードウェアの構成例
　７．付記
　＜１．はじめに＞
　本開示に係る主要な技術内容について図１を参照して説明する。図１は、本開示に係る主要な技術内容を説明するための図である。
　図１に示すように、本開示に係る主要な技術内容は、ガイド画像（Ｇｕｉｄｅ）をフィルタとして用いたＮＲ（ノイズリダクション：Ｇｕｉｄｅｄ　ｆｉｌｔｅｒ）技術を適用し、細胞解析により得られる陽性細胞率をより確からしいものにする画像処理技術に関する。この画像処理技術において、複数枚のマルチスペクトル画像（例えば、色分離画像）をマージ（合算）し、マージした画像枚数で除算することでガイド画像を作成し、作成したガイド画像を用いてマルチスペクトル画像に対してＮＲ補正を行う。図１の例では、ガイド画像の種類数は、Ｇｕｉｄｅ（１）から（９）の九種類である。なお、マージとは、複数のマルチスペクトル画像のそれぞれの信号強度値（例えば、輝度値又は画素値など）を画素ごとに合算することである。
　Ｇｕｉｄｅ（１）は、シンプルに複数のマルチスペクトル画像をマージした画像である。Ｇｕｉｄｅ（２）は、Ｇｕｉｄｅ（１）の画像に対して画像処理（例えば、ｍｅｄｉａｎフィルタ、ｄｅｃｏｎｖ）を施した画像である。Ｇｕｉｄｅ（３）は、陽性閾値以下をゼロにして複数のマルチスペクトル画像をマージした画像である。Ｇｕｉｄｅ（４）は、Ｇｕｉｄｅ（３）の画像に対して画像処理（例えば、ｍｅｄｉａｎフィルタ、ｄｅｃｏｎｖ）を施した画像である。Ｇｕｉｄｅ（５）は、膜染色マーカのみに対応する複数のマルチスペクトル画像をマージした画像である。Ｇｕｉｄｅ（６）は、Ｇｕｉｄｅ（５）の画像に対して画像処理（例えば、ｍｅｄｉａｎフィルタ、ｄｅｃｏｎｖ）を施した画像である。Ｇｕｉｄｅ（７）は、陽性閾値以下をゼロにして、膜染色マーカのみに対応する複数のマルチスペクトル画像をマージした画像である。Ｇｕｉｄｅ（８）は、Ｇｕｉｄｅ（７）の画像に対して画像処理（例えば、ｍｅｄｉａｎフィルタ、ｄｅｃｏｎｖ）を施した画像である。Ｇｕｉｄｅ（９）は、Ｇｕｉｄｅ（７）の画像に対して発現割合で重みづけを施した画像である。
　このようなＧｕｉｄｅ（１）から（９）などのガイド画像の生成処理やガイド画像を用いる補正処理などについて詳しくは後段の実施形態で説明するが、ガイド画像は、マルチスペクトル画像のＮＲ補正用のガイド画像として機能するものである。例えば、スペクトル色分離の特性上スペクトル形状が近しい場合や、そもそも取得信号が小さい場合にＳ／Ｎが低い色分離画像を得てしまうという問題に対して、Ｓ／Ｎが高い画をガイド画像とし、ＮＲ補正を実施することで、細胞解析で必要な信号強度を弱めることなく、バックグラウンドに埋もれた必要信号を復元することを可能にする。例えば、Ｓ／Ｎが高いガイド画像を用意し、そのガイド画像とＮＲ対象画像とで空間的に相関のある位置だけの信号を残し、それ以外は平滑化処理を行ってもよい。これにより、細胞解析に必要な信号は保持したまま、不要なバックグラウンド信号だけを除去できる。また、バイオロジカルな観点で説明のつく結果を得ることができる。その結果、診断の精度向上を実現することができる。さらに、同一細胞種（例えば、Ｔ細胞領域に特異的に発現するマーカ）で構成するガイド画像を元に、Ｓ／Ｎが低いＮＲ対象画像を補正してもよい。これにより、特定細胞種に発現するマーカで作成するガイド画像を用いることで、その細胞種に限定して細胞解析の結果を改善することができる。
　＜２．実施形態＞
　＜２－１．情報処理システムの構成例＞
　本実施形態に係る情報処理システムの構成例について図１を参照して説明する。図１は、本実施形態に係る情報処理システムの概略構成の一例を示す図である。情報処理システムは、生体試料観察システムの一例である。
　図１に示すように、本実施形態に係る情報処理システムは、情報処理装置１００と、データベース２００とを備える。この情報処理システムへの入力として、蛍光試薬１０Ａと、標本２０Ａと、蛍光染色標本３０Ａとが存在する。
　（蛍光試薬１０Ａ）
　蛍光試薬１０Ａは、標本２０Ａの染色に使用される薬品である。蛍光試薬１０Ａは、例えば、蛍光抗体、蛍光プローブ、または核染色試薬などであるが、蛍光試薬１０Ａの種類はこれらに特に限定されない。蛍光抗体には、例えば、直接標識に使用される一次抗体、または間接標識に使用される二次抗体が含まれる。また、蛍光試薬１０Ａは、蛍光試薬１０Ａおよび蛍光試薬１０Ａの製造ロットを識別可能な識別情報を付されて管理される。以降、その識別情報を「試薬識別情報１１Ａ」と呼称する。試薬識別情報１１Ａは、例えば、一次元バーコード情報や二次元バーコード情報などのバーコード情報などであるが、これに限定されない。蛍光試薬１０Ａは、同種類の製品であっても、製造方法や抗体が取得された細胞の状態などに応じて製造ロット毎にその性質が異なる。例えば、蛍光試薬１０Ａにおいて、製造ロット毎にスペクトル情報、量子収率、または蛍光標識率などが異なる。蛍光標識率は、「F/P値：Fluorescein/Protein」とも呼称され、抗体を標識する蛍光分子数を指す。そこで、本実施形態に係る情報処理システムにおいて、蛍光試薬１０Ａは、試薬識別情報１１Ａを付されることによって製造ロット毎に管理される。換言すると、各蛍光試薬１０Ａの試薬情報は製造ロット毎に管理される。これによって、情報処理装置１００は、製造ロット毎に現れる僅かな性質の違いも考慮した上で蛍光シグナルと自家蛍光シグナルとを分離することができる。なお、蛍光試薬１０Ａが製造ロット単位で管理されることはあくまで一例であり、蛍光試薬１０Ａは製造ロットよりも細かい単位で管理されてもよい。
　（標本２０Ａ）
　標本２０Ａは、人体から採取された検体または組織サンプルから病理診断または臨床検査などを目的に作製されたものである。標本２０Ａについて、例えば臓器または細胞などの使用される組織の種類、対象となる疾病の種類、例えば年齢、性別、血液型、または人種などの対象者の属性、または、例えば食生活、運動習慣、または喫煙習慣などの対象者の生活習慣は特に限定されない。また、標本２０Ａは、各標本２０Ａを識別可能な識別情報を付されて管理される。以降、その識別情報を「標本識別情報２１Ａ」と呼称する。標本識別情報２１Ａは、試薬識別情報１１Ａと同様に、例えば、一次元バーコード情報や二次元バーコード情報などのバーコード情報などであるが、これに限定されない。標本２０Ａは、使用される組織の種類、対象となる疾病の種類、対象者の属性、または対象者の生活習慣などに応じてその性質が異なる。例えば、標本２０Ａにおいて、使用される組織の種類などに応じて計測チャネルまたはスペクトル情報などが異なる。そこで、本実施形態に係る情報処理システムにおいて、標本２０Ａは、標本識別情報２１Ａを付されることによって個々に管理される。これによって、情報処理装置１００は、標本２０Ａ毎に現れる僅かな性質の違いも考慮した上で蛍光シグナルと自家蛍光シグナルとを分離することができる。
　（蛍光染色標本３０Ａ）
　蛍光染色標本３０Ａは、標本２０Ａが蛍光試薬１０Ａによって染色されることで作成されたものである。本実施形態において、蛍光染色標本３０Ａは、標本２０Ａが少なくとも１つの蛍光試薬１０Ａによって染色されることを想定しているところ、染色に用いられる蛍光試薬１０Ａの数は特に限定されない。また、染色方法は、標本２０Ａおよび蛍光試薬１０Ａそれぞれの組み合わせなどによって決まり、特に限定されるものではない。蛍光染色標本３０Ａは、情報処理装置１００に対して入力され、撮像される。
　（情報処理装置１００）
　情報処理装置１００は、図１に示すように、取得部１１０と、保存部１２０と、処理部１３０と、表示部１４０と、制御部１５０と、操作部１６０と、を備える。
　（取得部１１０）
　取得部１１０は、情報処理装置１００の各種処理に使用される情報を取得する構成である。図１に示すように、取得部１１０は、情報取得部１１１と、画像取得部１１２と、を備える。
　（情報取得部１１１）
　情報取得部１１１は、試薬情報および標本情報を取得する構成である。より具体的には、情報取得部１１１は、蛍光染色標本３０Ａの生成に使用された蛍光試薬１０Ａに付された試薬識別情報１１Ａ、および標本２０Ａに付された標本識別情報２１Ａを取得する。例えば、情報取得部１１１は、バーコードリーダーなどを用いて試薬識別情報１１Ａおよび標本識別情報２１Ａを取得する。そして、情報取得部１１１は、試薬識別情報１１Ａに基づいて試薬情報を、標本識別情報２１Ａに基づいて標本情報をそれぞれデータベース２００から取得する。情報取得部１１１は、取得したこれらの情報を後述する情報保存部１２１に保存する。
　（画像取得部１１２）
　画像取得部１１２は、蛍光染色標本３０Ａ、少なくとも１つの蛍光試薬１０Ａで染色された標本２０Ａの画像情報を取得する構成である。より具体的には、画像取得部１１２は、例えばＣＣＤやＣＭＯＳなどの任意の撮像素子を備えており、当該撮像素子を用いて蛍光染色標本３０Ａを撮像することで画像情報を取得する。ここで、「画像情報」は、蛍光染色標本３０Ａの画像自体だけでなく、像として視覚化されていない測定値なども含む概念であることに留意されたい。例えば、画像情報には、蛍光染色標本３０Ａから放射した蛍光の波長スペクトルに関する情報が含まれていてもよい。以下、その蛍光の波長スペクトルを蛍光スペクトルという。画像取得部１１２は、画像情報を後述する画像情報保存部１２２に保存する。
　（保存部１２０）
　保存部１２０は、情報処理装置１００の各種処理に使用される情報、または各種処理によって出力された情報を保存する構成である。図１に示すように、保存部１２０は、情報保存部１２１と、画像情報保存部１２２と、解析結果保存部１２３と、を備える。
　（情報保存部１２１）
　情報保存部１２１は、情報取得部１１１によって取得された試薬情報および標本情報を保存する構成である。なお、後述する解析部１３１による解析処理および画像生成部１３２による画像情報の生成処理、すなわち画像情報の再構築処理が終了した後には、情報保存部１２１は、処理に用いられた試薬情報および標本情報を削除することで空き容量を増やしてもよい。
　（画像情報保存部１２２）
　画像情報保存部１２２は、画像取得部１１２によって取得された蛍光染色標本３０Ａの画像情報を保存する構成である。なお、情報保存部１２１と同様に、解析部１３１による解析処理および画像生成部１３２による画像情報の生成処理、すなわち画像情報の再構築処理が終了した後には、画像情報保存部１２２は、処理に用いられた画像情報を削除することで空き容量を増やしてもよい。
　（解析結果保存部１２３）
　解析結果保存部１２３は、後述する解析部１３１によって行われた解析処理の結果を保存する構成である。例えば、解析結果保存部１２３は、解析部１３１によって分離された、蛍光試薬１０Ａの蛍光シグナルまたは標本２０Ａの自家蛍光シグナルを保存する。また、解析結果保存部１２３は、別途、機械学習などによって解析精度を向上させるために、解析処理の結果をデータベース２００へ提供する。なお、解析結果保存部１２３は、解析処理の結果をデータベース２００へ提供した後には、自らが保存している解析処理の結果を適宜削除することで空き容量を増やしてもよい。
　（処理部１３０）
　処理部１３０は、画像情報、試薬情報、および標本情報を用いて各種処理を行う機能構成である。図１に示すように、処理部１３０は、解析部１３１と、画像生成部１３２と、ガイド画生成部１３３と、補正部１３４と、を備える。
　（解析部１３１）
　解析部１３１は、画像情報、標本情報および試薬情報を用いて各種解析処理を行う構成である。例えば、解析部１３１は、標本情報および試薬情報に基づいて画像情報から標本２０Ａの自家蛍光シグナル、例えば、自家蛍光成分の一例である自家蛍光スペクトルと蛍光試薬１０Ａの蛍光シグナル、例えば、染色蛍光成分の一例である染色蛍光スペクトルとを分離する処理を行う。
　より具体的には、解析部１３１は、標本情報に含まれる計測チャネルに基づいて自家蛍光シグナルを構成する１以上の要素を認識する。例えば、解析部１３１は、自家蛍光シグナルを構成する１以上の自家蛍光成分を認識する。そして、解析部１３１は、標本情報に含まれる、これらの自家蛍光成分のスペクトル情報を用いて画像情報に含まれる自家蛍光シグナルを予想する。そして、解析部１３１は、試薬情報に含まれる、蛍光試薬１０Ａの蛍光成分のスペクトル情報、および予想した自家蛍光シグナルに基づいて画像情報から自家蛍光シグナルと蛍光シグナルとを分離する。
　ここで、標本２０Ａが２以上の蛍光試薬１０Ａで染色されている場合、解析部１３１は、標本情報および試薬情報に基づいて画像情報、または、自家蛍光シグナルと分離された後の蛍光シグナルから、これら２以上の蛍光試薬１０Ａそれぞれの蛍光シグナルを分離する。例えば、解析部１３１は、試薬情報に含まれる、各蛍光試薬１０Ａの蛍光成分のスペクトル情報を用いて、自家蛍光シグナルと分離された後の蛍光シグナル全体から各蛍光試薬１０Ａそれぞれの蛍光シグナルを分離する。
　また、自家蛍光シグナルが２以上の自家蛍光成分によって構成されている場合、解析部１３１は、標本情報および試薬情報に基づいて画像情報、または、蛍光シグナルと分離された後の自家蛍光シグナルから、各自家蛍光成分それぞれの自家蛍光シグナルを分離する。例えば、解析部１３１は、標本情報に含まれる各自家蛍光成分のスペクトル情報を用いて、蛍光シグナルと分離された後の自家蛍光シグナル全体から各自家蛍光成分それぞれの自家蛍光シグナルを分離する。
　蛍光シグナルおよび自家蛍光シグナルを分離した解析部１３１は、これらのシグナルを用いて各種処理を行う。例えば、解析部１３１は、分離後の自家蛍光シグナルを用いて、他の標本２０Ａの画像情報に対して減算処理を行うことで当該他の標本２０Ａの画像情報から蛍光シグナルを抽出してもよい。その減算処理は、「バックグラウンド減算処理」とも呼称される。標本２０Ａに使用される組織、対象となる疾病の種類、対象者の属性、および対象者の生活習慣などの観点で同一または類似の標本２０Ａが複数存在する場合、これらの標本２０Ａの自家蛍光シグナルは類似している可能性が高い。ここでいう類似の標本２０Ａとは、例えば染色される組織切片の染色前の組織切片、染色された切片に隣接する切片、同一ブロックにおける染色切片と異なる切片、又は同一組織における異なるブロックにおける切片等、異なる患者から採取した切片などが含まれる。以下、組織切片を切片と呼称する。同一ブロックは、染色切片と同一の場所からサンプリングされたものである。異なるブロックは、染色切片と異なる場所からサンプリングされたものである。そこで、解析部１３１は、ある標本２０Ａから自家蛍光シグナルを抽出できた場合、他の標本２０Ａの画像情報から当該自家蛍光シグナルを除去することで、当該他の標本２０Ａの画像情報から蛍光シグナルを抽出してもよい。また、解析部１３１は、他の標本２０Ａの画像情報を用いてＳ／Ｎ値を算出する際に、自家蛍光シグナルを除去した後のバックグラウンドを用いることでＳ／Ｎ値を改善することができる。
　また、解析部１３１は、バックグラウンド減算処理以外にも分離後の蛍光シグナルまたは自家蛍光シグナルを用いて様々な処理を行うことができる。例えば、解析部１３１は、これらのシグナルを用いて標本２０Ａの固定化状態の解析を行ったり、画像情報に含まれる物体の領域を認識するセグメンテーションまたは領域分割を行ったりすることができる。物体は、例えば、細胞、細胞内構造、または組織、などである。細胞内構造は、例えば、細胞質、細胞膜、核、などである。組織は、例えば、腫瘍部、非腫瘍部、結合組織、血管、血管壁、リンパ管、繊維化構造、壊死、などである。
　（画像生成部１３２）
　画像生成部１３２は、解析部１３１によって分離された蛍光シグナルまたは自家蛍光シグナルに基づいて画像情報を生成、すなわち再構成する構成である。例えば、画像生成部１３２は、蛍光シグナルのみが含まれる画像情報を生成したり、自家蛍光シグナルのみが含まれる画像情報を生成したりすることができる。その際、蛍光シグナルが複数の蛍光成分によって構成されていたり、自家蛍光シグナルが複数の自家蛍光成分によって構成されたりしている場合、画像生成部１３２は、それぞれの成分単位で画像情報を生成することができる。さらに、解析部１３１が分離後の蛍光シグナルまたは自家蛍光シグナルを用いた各種処理を行った場合、画像生成部１３２は、それらの処理の結果を示す画像情報を生成してもよい。各種処理としては、例えば、標本２０Ａの固定化状態の解析、セグメンテーション、またはＳ／Ｎ値の算出などがある。本構成によれば、標的分子等に標識された蛍光試薬１０Ａの分布情報、つまり蛍光の二次元的な広がりや強度、波長、及びそれぞれの位置関係が可視化され、特に標的物質の情報が複雑な組織画像解析領域においてユーザである医師や研究者の視認性を向上させることができる。
　また、画像生成部１３２は、解析部１３１によって分離された蛍光シグナルまたは自家蛍光シグナルに基づいて自家蛍光シグナルに対する蛍光シグナルを区別するよう制御し、画像情報を生成しても良い。具体的には、標的分子等に標識された蛍光試薬１０Ａの蛍光スペクトルの輝度を向上させる、標識された蛍光試薬１０Ａの蛍光スペクトルのみを抽出し変色させる、２以上の蛍光試薬１０Ａによって標識された標本２０Ａから２以上の蛍光試薬１０Ａの蛍光スペクトルを抽出しそれぞれを別の色に変色する、標本２０Ａの自家蛍光スペクトルのみを抽出し除算または減算する、ダイナミックレンジを向上させる、等を制御し画像情報を生成してもよい。これによりユーザは目的となる標的物質に結合した蛍光試薬由来の色情報を明確に区別することが可能となり、ユーザの視認性を向上させることができる。
　（ガイド画生成部１３３）
　ガイド画生成部１３３は、複数の色分離画像（マルチスペクトル画像の一例）をマージし、マージした画像枚数で除算することで、補正用のガイド画像を生成する。色分離画像は、色分離処理によって生成された画像である。また、画像を合算して除算することは、画像の信号強度を合算して、合算した画像枚数で除算することである。また、ガイド画生成部１３３は、ガイド画像生成時、マージ・除算処理後に画像処理を実行したり、マージ・除算処理前に色分離画像にゼロ埋め処理を実行したりすることが可能である。画像処理では、例えば、ノイズ除去フィルタやエッジ強調フィルタなどが用いられる。このようなガイド画像生成処理などについて詳しくは後段で説明する。
　（補正部１３４）
　補正部１３４は、生成されたガイド画像を用いて色分離画像（処理対象画像の一例）に対してＮＲ（ノイズリダクション）補正を行う。また、補正部１３４は、補正処理前に色分離画像に対して外れ値処理を実行することが可能である。外れ値処理は、例えば、他の信号強度値から大きく外れる赤血球などの信号強度値を取り除く処理である。このような補正処理などについて詳しくは後段で説明する。
　（表示部１４０）
　表示部１４０は、補正部１３４によって生成された補正後の画像情報（補正済画像情報）をディスプレイに表示することでユーザへ提示する構成である。なお、表示部１４０として用いられるディスプレイの種類は特に限定されない。また、本実施形態では詳細に説明しないが、補正部１３４によって生成された補正後の画像情報がプロジェクターによって投影されたり、プリンタによってプリントされたりすることでユーザへ提示されてもよい。換言すると、補正後の画像情報の出力方法は特に限定されない。
　（制御部１５０）
　制御部１５０は、情報処理装置１００が行う処理全般を統括的に制御する機能構成である。例えば、制御部１５０は、操作部１６０を介して行われるユーザによる操作入力に基づいて、上記で説明したような各種処理の開始や終了などを制御する。各種処理としては、例えば、蛍光染色標本３０Ａの撮像処理、解析処理、画像情報の生成処理、ガイド画像情報の生成処理、画像情報の補正処理および画像情報の表示処理などがある。画像情報の生成処理としては、例えば、画像情報の再構築処理がある。なお、制御部１５０の制御内容は特に限定されない。例えば、制御部１５０は、汎用コンピュータ、ＰＣ、タブレットＰＣなどにおいて一般的に行われる処理、例えば、ＯＳ（Operating　System）に関する処理を制御してもよい。
　（操作部１６０）
　操作部１６０は、ユーザからの操作入力を受ける構成である。より具体的には、操作部１６０は、キーボード、マウス、ボタン、タッチパネル、またはマイクロフォンなどの各種入力手段を備えており、ユーザはこれらの入力手段を操作することで情報処理装置１００に対して様々な入力を行うことができる。操作部１６０を介して行われた操作入力に関する情報は制御部１５０へ提供される。
　（データベース２００）
　データベース２００は、標本情報、試薬情報、および解析処理の結果を管理する装置である。より具体的に説明すると、データベース２００は、標本識別情報２１Ａと標本情報、試薬識別情報１１Ａと試薬情報をそれぞれ紐づけて管理する。これによって、情報取得部１１１は、計測対象である標本２０Ａの標本識別情報２１Ａに基づいて標本情報を、蛍光試薬１０Ａの試薬識別情報１１Ａに基づいて試薬情報をデータベース２００から取得することができる。
　データベース２００が管理する標本情報は、上記のとおり、標本２０Ａに含まれる自家蛍光成分固有の計測チャネルおよびスペクトル情報を含む情報である。しかし、これら以外にも、標本情報には、各標本２０Ａについての対象情報、具体的には、例えば臓器、細胞、血液、体液、腹水、胸水などの使用される組織の種類、対象となる疾病の種類、例えば年齢、性別、血液型、または人種などの対象者の属性、または、例えば食生活、運動習慣、または喫煙習慣などの対象者の生活習慣に関する情報が含まれてもよく、標本２０Ａに含まれる自家蛍光成分固有の計測チャネルおよびスペクトル情報を含む情報及び対象情報は標本２０Ａごとに紐づけられてもよい。これにより、対象情報から標本２０Ａに含まれる自家蛍光成分固有の計測チャネルおよびスペクトル情報を含む情報を容易にたどることができ、例えば複数の標本２０Ａにおける対象情報の類似性から解析部１３１に過去に行われた類似の分離処理を実行させ、測定時間を短縮することが可能となる。なお、「使用される組織」は対象から採取された組織には特に限定されず、ヒトや動物等の生体内組織や細胞株、測定の対象物に含まれる溶液、溶剤、溶質、材料も含めてもよい。
　また、データベース２００が管理する試薬情報は、上記のとおり、蛍光試薬１０Ａのスペクトル情報を含む情報であり、しかし、これ以外にも、試薬情報には、製造ロット、蛍光成分、抗体、クローン、蛍光標識率、量子収率、褪色係数、および、吸収断面積またはモル吸光係数などの蛍光試薬１０Ａに関する情報が含まれてもよい。褪色係数は、蛍光試薬１０Ａの蛍光強度の低減し易さを示す情報である。さらに、データベース２００が管理する標本情報および試薬情報は異なる構成で管理されていてもよく、特に試薬に関する情報はユーザに最適な試薬の組み合わせを提示する試薬データベースであってもよい。
　ここで、標本情報および試薬情報は、製造者であるメーカーなどから提供されるか、本開示に係る情報処理システム内で独自に計測されることを想定している。例えば、蛍光試薬１０Ａの製造者は、製造ロット毎にスペクトル情報や蛍光標識率などを計測し提供することなどをしない場合が多い。したがって、本開示に係る情報処理システム内で独自にこれらの情報を計測し、管理することで蛍光シグナルと自家蛍光シグナルの分離精度が向上され得る。また、管理の簡略化のために、データベース２００は、メーカーなどによって公開されているカタログ値、または各種文献に記載されている文献値などを標本情報および試薬情報、特に試薬情報として用いてもよい。しかし、一般的に、実際の標本情報および試薬情報はカタログ値や文献値とは異なる場合が多いため、上記のように標本情報および試薬情報が本開示に係る情報処理システム内で独自に計測され管理される方がより好ましい。
　また、データベース２００にて管理されている標本情報、試薬情報、および解析処理の結果を用いる機械学習技術などによって、例えば、蛍光シグナルと自家蛍光シグナルとの分離処理などの解析処理の精度が向上され得る。機械学習技術などを用いて学習を行う主体は特に限定されないところ、本実施形態では情報処理装置１００の解析部１３１が学習を行う場合を一例として説明する。例えば、解析部１３１は、ニューラルネットワークを用いて、分離後の蛍光シグナルおよび自家蛍光シグナルと、分離に用いられた画像情報、標本情報および試薬情報とが紐づけられた学習データによって機械学習された分類器または推定器を生成する。そして、画像情報、標本情報および試薬情報が新たに取得された場合、解析部１３１は、それらの情報を分類器または推定器に入力することで、当該画像情報に含まれる蛍光シグナルおよび自家蛍光シグナルを予測して出力することができる。
　また、予測される蛍光シグナルおよび自家蛍光シグナルよりも精度の高い、過去に行われた類似の分離処理を算出し、それらの処理における処理の内容を統計的または回帰的に分析し、分析結果に基づいて蛍光シグナルと自家蛍光シグナルの分離処理を改善する方法が出力されてもよい。分離処理は、例えば、類似の画像情報、標本情報、または試薬情報が用いられる分離処理である。処理の内容は、例えば、処理に用いられる情報やパラメータなどを含む。なお、機械学習の方法は上記に限定されず、公知の機械学習技術が用いられ得る。また、人工知能によって蛍光シグナルと自家蛍光シグナルの分離処理が行われてもよい。また、蛍光シグナルと自家蛍光シグナルとの分離処理だけでなく、分離後の蛍光シグナルまたは自家蛍光シグナルを用いた各種処理、例えば、標本２０Ａの固定化状態の解析、またはセグメンテーションなどが機械学習技術などによって改善されてもよい。
　以上、本実施形態に係る情報処理システムの構成例について説明した。なお、図２を参照して説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理システムの構成は係る例に限定されない。例えば、情報処理装置１００は、図２に示す機能構成の全てを必ずしも備えなくてもよい。また、情報処理装置１００は、データベース２００を内部に備えていてもよい。情報処理装置１００の機能構成は、仕様や運用に応じて柔軟に変形可能である。
　また、情報処理装置１００は、上記で説明してきた処理以外の処理を行ってもよい。例えば、蛍光試薬１０Ａに関する量子収率、蛍光標識率、および吸収断面積、もしくはモル吸光係数などの情報が試薬情報に含まれることによって、情報処理装置１００は、自家蛍光シグナルが除去された画像情報、および試薬情報を用いて画像情報における蛍光分子数や、蛍光分子と結合している抗体数などを算出してもよい。
　＜２－２．情報処理装置の基本的な処理例＞
　本実施形態に係る情報処理装置１００の基本的な処理例について図３を参照して説明する。図３は、本実施形態に係る情報処理装置１００の基本的な処理の流れの一例を示すフローチャートである。
　図３に示すように、ステップＳ１００１では、ユーザが解析に用いる蛍光試薬１０Ａおよび標本２０Ａを決定する。ステップＳ１００２では、ユーザが蛍光試薬１０Ａを用いて標本２０Ａを染色することで蛍光染色標本３０Ａを作成する。
　ステップＳ１００３では、情報処理装置１００の画像取得部１１２が蛍光染色標本３０Ａを撮像することで画像情報（例えば、蛍光染色標本画像）を取得する。ステップＳ１００４では、情報取得部１１１が蛍光染色標本３０Ａの生成に使用された蛍光試薬１０Ａに付された試薬識別情報１１Ａ、および標本２０Ａに付された標本識別情報２１Ａに基づいて試薬情報および標本情報をデータベース２００から取得する。
　ステップＳ１００５では、解析部１３１が、標本情報および試薬情報に基づいて画像情報から標本２０Ａの自家蛍光シグナルと蛍光試薬１０Ａの蛍光シグナルとを分離する。ここで、蛍光シグナルに複数の蛍光色素のシグナルが含まれる場合（ステップＳ１００６のＹｅｓ）、ステップＳ１００７にて、解析部１３１が各蛍光色素の蛍光シグナルを分離する。なお、蛍光シグナルに複数の蛍光色素のシグナルが含まれない場合（ステップＳ１００６のＮｏ）には、ステップＳ１００７にて各蛍光色素の蛍光シグナルの分離処理は行われない。
　ステップＳ１００８では、画像生成部１３２が解析部１３１によって分離された蛍光シグナルを用いて画像情報を生成する。例えば、画像生成部１３２は、画像情報から自家蛍光シグナルが除去された画像情報を生成したり、蛍光シグナルを蛍光色素ごとに表示した画像情報を生成したりする。ステップＳ１００９では、ガイド画生成部１３３がガイド画像を生成し、補正部１３４が例えば色分離画像に対してガイド画像を用いてＮＲ補正を実行する。ステップＳ１０１０では、表示部１４０が補正部１３４によって補正された画像情報を表示することで一連の処理が終了する。
　なお、図３のフローチャートにおける各ステップは、必ずしも記載された順序に沿って時系列に処理される必要はない。すなわち、フローチャートにおける各ステップは、記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
　例えば、解析部１３１は、ステップＳ１００５にて画像情報から標本２０Ａの自家蛍光シグナルと蛍光試薬１０Ａの蛍光シグナルとを分離した後に、ステップＳ１００７にて各蛍光色素の蛍光シグナルを分離するのではなく、直に画像情報から各蛍光色素の蛍光シグナルを分離してもよい。また、解析部１３１は、画像情報から各蛍光色素の蛍光シグナルを分離した後に、画像情報から標本２０Ａの自家蛍光シグナルを分離してもよい。
　また、情報処理装置１００は、図３には示されていない処理を併せて実行してもよい。例えば、解析部１３１はシグナルを分離するだけでなく、分離した蛍光シグナルまたは自家蛍光シグナルに基づいてセグメンテーションを行ったり、標本２０Ａの固定化状態の解析を行ったりしてもよい。
　＜２－３．蛍光分離の処理例＞
　本実施形態に係る蛍光分離の処理例について図４及び図５を参照して説明する。図４は、本実施形態に係る解析部１３１の概略構成の一例を示す図である。図５は、本実施形態に係る連結蛍光スペクトルの生成方法の一例を説明するための図である。
　図４に示すように、解析部１３１は、連結部１３１１と、色分離部１３２１と、スペクトル抽出部１３２２と、を備える。この解析部１３１は、蛍光分離処理を含む各種処理を行う構成になっている。例えば、解析部１３１は、蛍光分離処理の前処理として蛍光スペクトルを連結し、その連結蛍光スペクトルを分子毎に分離する構成になっている。
　（連結部１３１１）
　連結部１３１１は、画像取得部１１２によって取得された複数の蛍光スペクトルの少なくとも一部を波長方向に連結することで連結蛍光スペクトルを生成する構成になっている。例えば、連結部１３１１は、画像取得部１１２によって取得された４つの蛍光スペクトル（図５のＡ～Ｄ）それぞれにおける蛍光強度の最大値を含むように、各蛍光スペクトルにおける所定幅のデータを抽出する。連結部１３１１がデータを抽出する波長帯域の幅は、試薬情報、励起波長又は蛍光波長等に基づいて決定され得、各蛍光物質についてそれぞれ異なっていてもよい。換言すると、連結部１３１１がデータを抽出する波長帯域の幅は、図５のＡ～Ｄに示された蛍光スペクトルそれぞれで異なっていてもよい。そして図５のＥに示すように、連結部１３１１は、抽出したデータを波長方向に互いに連結することで一つの連結蛍光スペクトルを生成する。なお、連結蛍光スペクトルは、複数の蛍光スペクトルから抽出されたデータによって構成されるため、連結された各データの境界では波長が連続していない点に留意されたい。
　このとき、連結部１３１１は、励起光の強度に基づいて、複数の蛍光スペクトルそれぞれに対応する励起光の強度を揃えた後に、換言すると、複数の蛍光スペクトルを補正した後に、上記の連結を行う。より具体的には、連結部１３１１は、励起光の強度である励起パワー密度で各蛍光スペクトルを除算することで、複数の蛍光スペクトルそれぞれに対応する励起光の強度を揃えた後に上記の連結を行う。これによって、同一強度の励起光が照射された場合の蛍光スペクトルが求められる。また、照射される励起光の強度が異なる場合、その強度に応じて蛍光染色標本３０Ａに吸収されるスペクトルの強度も異なる。以降、そのスペクトルを「吸収スペクトル」と呼称する。したがって、上記のように、複数の蛍光スペクトルそれぞれに対応する励起光の強度が揃えられることで、吸収スペクトルを適切に評価することができる。
　ここで、図５のＡ～Ｄは、画像取得部１１２によって取得された蛍光スペクトルの具体例である。図５のＡ～Ｄでは、蛍光染色標本３０Ａに、例えば、ＤＡＰＩ、ＣＫ／ＡＦ４８８、ＰｇＲ／ＡＦ５９４及びＥＲ／ＡＦ６４７という４種の蛍光物質が含まれ、それぞれの励起波長として３９２ｎｍ（図５のＡ）、４７０ｎｍ（図５のＢ）、５４９ｎｍ（図５のＣ）、６２８ｎｍ（図５のＤ）を有する励起光が照射された場合に取得された蛍光スペクトルの具体例が示されている。なお、蛍光発光のためにエネルギーが放出されることにより、蛍光波長は励起波長よりも長波長側にシフトしている点に留意されたい（ストークスシフト）。また、蛍光染色標本３０Ａに含まれる蛍光物質、及び照射される励起光の励起波長は上記に限定されない。
　詳細には、連結部１３１１は、図５のＡに示す蛍光スペクトルから励起波長３９２ｎｍ以上５９１ｎｍ以下の波長帯域の蛍光スペクトルＳＰ１を抽出し、図５のＢに示す蛍光スペクトルから励起波長４７０ｎｍ以上６６９ｎｍ以下の波長帯域の蛍光スペクトルＳＰ２を抽出し、図５のＣに示す蛍光スペクトルから励起波長５４９ｎｍ以上７４８ｎｍ以下の波長帯域の蛍光スペクトルＳＰ３を抽出し、図５のＤに示す蛍光スペクトルから励起波長６２８ｎｍ以上８２７ｎｍ以下の波長帯域の蛍光スペクトルＳＰ４を抽出する。次に、連結部１３１１は、抽出した蛍光スペクトルＳＰ１の波長分解能を１６ｎｍに補正し（強度補正は無し）、蛍光スペクトルＳＰ２の強度を１．２倍に補正するとともに波長分解能を８ｎｍに補正し、蛍光スペクトルＳＰ３の強度を１．５倍に補正し（波長分解能の補正は無し）、蛍光スペクトルＳＰ４の強度を４．０倍に補正するとともに波長分解能を４ｎｍに補正する。そして、連結部１３１１は、補正後の蛍光スペクトルＳＰ１～ＳＰ４を順番に連結することで、図５のＥに示すような連結蛍光スペクトルを生成する。
　なお、図５には、連結部１３１１が各蛍光スペクトルを取得した際の励起波長から所定帯域幅（図５では２００ｎｍ幅）の蛍光スペクトルＳＰ１～ＳＰ４を抽出して連結した場合が示されているが、連結部１３１１が抽出する蛍光スペクトルの帯域幅は、各蛍光スペクトルで一致している必要はなく、異なっていてもよい。すなわち、連結部１３１１が各蛍光スペクトルから抽出する領域は、各蛍光スペクトルのピーク波長を含む領域であればよく、その波長帯域及び帯域幅については適宜変更されてよい。その際、ストークスシフトによるスペクトル波長のズレが考慮されてもよい。このように、抽出する波長帯域を絞り込むことで、データ量を削減することが可能となるため、より高速に蛍光分離処理を実行することが可能となる。
　また、本説明における励起光の強度は、上述したように、励起パワーや励起パワー密度であってよい。励起パワー又は励起パワー密度は、光源から出射した励起光を実測することで得られたパワー又はパワー密度であってもよいし、光源に与える駆動電圧から求まるパワー又はパワー密度であってもよい。なお、本説明における励起光の強度は、上記励起パワー密度を、観測対象である切片の各励起光に対する吸収率や、切片から放射した蛍光を検出する検出系、例えば、画像取得部１１２等における検出信号の増幅率等で補正することで得られた値であってもよい。すなわち、本説明における励起光の強度は、蛍光物質の励起に実際に寄与した励起光のパワー密度や、そのパワー密度を検出系の増幅率等で補正した値等であってもよい。吸収率や増幅率等を考慮することで、マシン状態や環境等の変化に応じて変化する励起光の強度を適切に補正することが可能となるため、より高い精度の色分離を可能にする連結蛍光スペクトルを生成することが可能となる。
　なお、各蛍光スペクトルに対する励起光の強度に基づいた補正値は、複数の蛍光スペクトルそれぞれに対応する励起光の強度を揃えるための値に限定されず、種々変形されてよい。上記補正値は、強度補正値ともいう。例えば、長波長側に強度ピークを持つ蛍光スペクトルのシグナル強度は、短波長側に強度ピークを蛍光スペクトルのシグナル強度よりも低い傾向にある。そのため、連結蛍光スペクトルに長波長側に強度ピークを持つ蛍光スペクトルと短波長側に強度ピークを持つ蛍光スペクトルとの両方が含まれる場合、長波長側に強度ピークを持つ蛍光スペクトルが殆加味されず、短波長側に強度ピークを持つ蛍光スペクトルだけが抽出されてしまう場合がある。そのような場合、例えば、長波長側に強度ピークを持つ蛍光スペクトルに対する強度補正値をより大きな値とすることで、短波長側に強度ピークを蛍光スペクトルの分離精度を高めることも可能である。
　（色分離部１３２１）
　色分離部１３２１は、例えば、第１色分離部１３２１ａと第２色分離部１３２１ｂとを備え、連結部１３１１から入力された染色切片の連結蛍光スペクトルを分子毎に色分離する。染色切片は、染色サンプルともいう。
　より具体的には、第１色分離部１３２１ａは、連結部１３１１から入力された染色サンプルの連結蛍光スペクトルに対して、情報保存部１２１から入力された、試薬情報に含まれる連結蛍光参照スペクトルと標本情報に含まれる連結自家蛍光参照スペクトルとを用いた色分離処理を実行することで、連結蛍光スペクトルを分子ごとのスペクトルに分離する。なお、色分離処理には、例えば、最小二乗法（ＬＳＭ）や重み付き最小二乗法（ＷＬＳＭ）、非負値行列因子分解（ＮＭＦ）、グラム行列ｔＡＡを用いた非負値行列因子分解等が用いられてもよい。
　第２色分離部１３２１ｂは、連結部１３１１から入力された染色サンプルの連結蛍光スペクトルに対して、スペクトル抽出部１３２２から入力された調整後の連結自家蛍光参照スペクトルを用いた色分離処理を実行することで、連結蛍光スペクトルを分子ごとのスペクトルに分離する。なお、色分離処理には、第１色分離部１３２１ａと同様に、例えば、最小二乗法（ＬＳＭ）や重み付き最小二乗法（ＷＬＳＭ）、非負値行列因子分解（ＮＭＦ）、グラム行列ｔＡＡを用いた非負値行列因子分解等が用いられてもよい。
　ここで、最小二乗法は、例えば、連結部１３１１によって生成された連結蛍光スペクトルを参照スペクトルにフィッティングすることで、混色率を算出するものである。また、重み付き最小二乗法においては、測定値である連結蛍光スペクトル（Ｓｉｇｎａｌ）のノイズがポアソン分布になることを利用して、低いシグナルレベルの誤差を重視するように重みが付けられる。ただし、重み付き最小二乗法で加重が行われない上限値をＯｆｆｓｅｔ値とする。Ｏｆｆｓｅｔ値は測定に使用されるセンサの特性によって決まり、センサとして撮像素子が使用される場合には別途最適化が必要である。
　（スペクトル抽出部１３２２）
　スペクトル抽出部１３２２は、連結自家蛍光参照スペクトルをより精度の高い色分離結果を得ることができるように改良するための構成であり、情報保存部１２１から入力された標本情報に含まれる連結自家蛍光参照スペクトルを、色分離部１３２１による色分離結果に基づいて、より精度の高い色分離結果を得られるものに調整する。
　スペクトル抽出部１３２２は、情報保存部１２１から入力された連結自家蛍光参照スペクトルに対して、第１色分離部１３２１ａから入力された色分離結果を用いたスペクトル抽出処理を実行し、その結果に基づいて連結自家蛍光参照スペクトルを調整することで、連結自家蛍光参照スペクトルをより精度の高い色分離結果を得られるものに改良する。なお、スペクトル抽出処理には、例えば、非負値行列因子分解（ＮＭＦ）や特異値分解（ＳＶＤ）等が用いられてもよい。
　なお、図４では、連結自家蛍光参照スペクトルの調整を１回とした場合を例示したが、これに限定されず、第２色分離部１３２１ｂによる色分離結果をスペクトル抽出部１３２２に入力し、スペクトル抽出部１３２２において連結自家蛍光参照スペクトルの調整を再度実行する処理を１回以上繰り返した後に、最終的な色分離結果を取得するようにしてもよい。
　上記のように、第１色分離部１３２１ａや第２色分離部１３２１ｂは、波長方向に連結された参照スペクトル（連結自家蛍光参照スペクトル及び連結蛍光参照スペクトル）を用いて蛍光分離処理を行うことで、分離結果として一意のスペクトルを出力することができる。励起波長毎に分離結果が分かれない。したがって、実施者は、より容易に正しいスペクトルを得ることができる。また、分離に用いられる自家蛍光に関する参照スペクトル（連結自家蛍光参照スペクトル）が自動的に取得され、蛍光分離処理が行われることにより、実施者が非染色切片の適切な空間から自家蛍光に相当するスペクトルを抽出しなくてもよくなる。
　＜２－４．ガイド画像を用いたＮＲ補正の処理例＞
　本実施形態に係るガイド画像を用いたＮＲ補正の処理例について図６から図２２を参照して説明する。以下では、処理例として、第１処理例から第１０処理例について順次説明する。
　＜２－４－１．第１処理例＞
　図６は、本実施形態に係るガイド画像を用いたＮＲ補正の第１処理例の流れを示すフローチャートである。図７は、本実施形態に係る第１処理例によるシグマ（Ｓｉｇｍａ）ごとのカラーマップを示す図である。シグマは、ＮＲ強度を表す。
　図６に示すように、第１処理例では、ステップＳ１１において、上述した色分離（色分離画像の生成）が行われる。ステップＳ１２において、ガイド画生成部１３３が、色分離後の全画像（色分離画像：Ｆｌｕｏ１、２、３、・・・）をマージし、マージした画像枚数で除算することで、ガイド画像を生成する。ステップＳ１３において、補正部１３４が、生成されたガイド画像と処理対象画像（ＮＲ補正対象画）で空間的に相関のある箇所の輝度を残しながら、それ以外の箇所を平滑化によりＮＲ補正を行う。ステップＳ１４において、ＮＲ補正後の画像に対して細胞解析（例えば、陽性細胞率の算出など）が行われる。
　細胞解析では、例えば、表示部１４０は、ＮＲ補正後の画像を表示する。これにより、ユーザはＮＲ補正後の画像を視認することができる。また、ＮＲ補正の処理対象となる処理対象画像は一枚でも、複数枚でもよい。この処理対象画像は、例えば、ユーザによって選択されて設定される。このとき、ユーザは、例えば、操作部１６０を入力操作して処理対象画像を選択したり、変更したりする。
　図７に示すように、平滑化の範囲はシグマ（Ｓｉｇｍａ）で調整でき、大きくなるほど強いＮＲ効果を有する。シグマは、標準偏差に関する情報である。このシグマは、ユーザにより選択されてもよく、元の画像である処理対象画像から算出されてもよい。例えば、最初にシグマが処理対象画像から自動的に算出されて設定され、その後、必要に応じてユーザにより変更されて設定されてもよい。このとき、ユーザは、例えば、操作部１６０を入力操作してシグマを選択したり、変更したりする。
　図８は、本実施形態に係る第１処理例の変形例の流れを示すフローチャートである。図８に示すように、変形例では、上述した第１処理例の処理に加え、ステップＳ２１において、補正部１３４が外れ値処理の有無を判断する。補正部１３４が、外れ値処理が必要であると判断すると（ステップＳ２１のＹｅｓ）、外れ値処理を行い、処理をステップＳ１３に進める。外れ値処理は、例えば、予め処理対象画像内の外れ値をゼロ化するゼロ埋め処理である。このように、ＮＲ補正による余計なアーティファクト発生を防ぐために、予め処理対象画像内の外れ値をゼロ化しておくことで、より確からしいＮＲ補正結果を得ることができる。
　＜２－４－２．第２処理例＞
　図９は、本実施形態に係るガイド画像を用いたＮＲ補正の第２処理例の流れを示すフローチャートである。図１０は、本実施形態に係る第２処理例によるシグマ（Ｓｉｇｍａ）ごとのカラーマップを示す図である。シグマは、ＮＲ強度を表す。図１１は、本実施形態に係る実際の細胞解析における第２処理例の恩恵を示す図である。
　図９に示すように、第２処理例では、上述した第１処理例の変形例のガイド画生成（図８中のステップＳ１２）として、ガイド画生成部１３３が、ステップＳ３１において、色分離後の複数枚の画像（色分離画像：Ｆｌｕｏ１、２、３、４、５）をマージし、マージした画像枚数で除算し、さらに、ステップＳ３２において、マージ・除算後の画像に対して画像処理を実行することで、ガイド画像を生成する。
　画像処理としては、例えば、ノイズ除去処理やエッジ強調処理などを用いることが可能である。ノイズ除去処理では、ノイズ除去フィルタとして、例えば、Ｍｅｄｉａｎフィルタ、平均フィルタ、ガウシアンフィルタなどを用いることが可能である。また、エッジ強調処理では、エッジ強調フィルタとして、例えば、Ｄｅｃｏｎｖｗｎｒ、Ｄｅｃｏｎｖｒｅｇ、Ｄｅｃｏｎｖｌｕｃｙ、Ｄｅｃｏｎｖｂｌｉｎｄ、１次微分フィルタ、２次微分フィルタなどを用いることが可能である。
　図１０に示すように、第２処理例でも、第１処理例と同様、平滑化の範囲はシグマ（Ｓｉｇｍａ）で調整でき、大きくなるほど強いＮＲ効果を有する。シグマは、標準偏差に関する情報であり、第１処理例と同様、ユーザにより選択されてもよく、元の画像である処理対象画像から算出されてもよい。
　このような第２処理例では、ガイド画像作成時に複数枚のマルチスペクトル画像（例えば、色分離画像）をマージ・除算した後に、マージ・除算後の画像に対してノイズ除去処理やエッジ強調処理などの画像処理を加えることで、ガイド画像をよりＳ／Ｎが高いものにする。したがって、ガイド画像をよりＳ／Ｎが高いものにすることで、ＮＲ効果を高めることができる。
　ここで、図１１に示すように、図１１中の拡大図の右側の図において、ＣＤ３の塗り潰し領域（斜線による塗り潰し領域）が、Ｏｒｉｇｉｎａｌ（オリジナル）の画と、第２処理例でＮＲ補正した画（Ｇｕｉｄｅ２＿ｓｉｇｍａ４でＮＲ補正した画）とで異なっている。つまり、Ｏｒｉｇｉｎａｌの画で陽性としてカウントされていた領域が、第２処理例でＮＲ補正した画（Ｇｕｉｄｅ２＿ｓｉｇｍａ４でＮＲ補正した画）では陰性としてカウントされており、より確からしい結果となっていることがわかる。
　なお、第２処理例では、ガイド画生成部１３３が、複数のマルチスペクトル画像を合算して除算した後に画像処理を行っているが、これに限定されるものではなく、例えば、複数のマルチスペクトル画像を合算した後で除算する前に画像処理を行ってもよい。
　＜２－４－３．第３処理例＞
　図１２は、本実施形態に係るガイド画像を用いたＮＲ補正の第３処理例の流れを示すフローチャートである。
　図１２に示すように、第３処理例では、上述した第１処理例の変形例のガイド画生成（図８中のステップＳ１２）として、ガイド画生成部１３３が、ステップＳ４１において、色分離後の複数枚の画像（色分離画像：Ｆｌｕｏ１、２、３、４、５）で所定の陽性閾値以下の画素をゼロ化するゼロ埋め処理を行い、さらに、ステップＳ４２において、ゼロ化後の各画像をマージし、マージした画像枚数で除算することで、ガイド画像を生成する。
　このような第３処理例では、ガイド画像作成時に複数枚のマルチスペクトル画像（例えば、色分離画像）において、予め陽性閾値以下の画素をゼロ化した後に、ゼロ化後の複数枚のマルチスペクトル画像をマージ・除算することで、ガイド画像をよりＳ／Ｎが高いものにする。したがって、ガイド画像をよりＳ／Ｎが高いものにすることで、ＮＲ効果を高めることができる。
　（陽性閾値の決定方法）
　ガイド画生成部１３３は、上述のようにして色分離部１３２１により導出される非染色蛍光成分画像Ｄ２２（図１３参照）に基づき、マルチスペクトル画像、例えば染色蛍光成分画像Ｄ２（図１３参照）に対する陽性閾値を決定することができる。図１３は、染色蛍光成分画像Ｄ２及び非染色蛍光成分画像Ｄ２２のヒストグラムの一例を示す図である。図１３においてＸ軸は輝度値を示し、Ｙ軸は頻度を示す。一例として、非染色蛍光成分画像Ｄ２２の輝度値に基づいて、陽性閾値を決めることが可能である。なお、本例における陽性閾値の具体的な決定方法は限定されない。
　本例によれば、陰性対照群として用いられる非染色標本蛍光スペクトルＤ２１から得られる非染色蛍光成分画像Ｄ２２に基づいて、陽性閾値が決定される。そのため染色蛍光成分画像Ｄ２のうち、蛍光試薬１０Ａに起因する蛍光の影響を受けている画像セクションを、当該蛍光の影響を受けていない画像セクションから精度良く区別して、陽性細胞像として特定することができる。
　ガイド画生成部１３３は、例えば、非染色蛍光成分画像Ｄ２２のヒストグラムのエッジ（特に高輝度値側エッジ）に対応する輝度値（図１３の符号「Ｔ１」参照）を、陽性閾値として決めてもよい。なお、非染色蛍光成分画像Ｄ２２のヒストグラムのエッジの求め方は限定されない。
　例えば、ガイド画生成部１３３は、非染色蛍光成分画像Ｄ２２のうちの最大の輝度値を、非染色蛍光成分画像Ｄ２２のヒストグラムのエッジとして決めてもよい。あるいは、ガイド画生成部１３３は、非染色蛍光成分画像Ｄ２２のヒストグラムの勾配の傾き（図１３の符号「Ｇ」参照）を求め、当該傾きに基づいて非染色標本蛍光スペクトルＤ２１のヒストグラムのエッジを決めてもよい。この場合、非染色蛍光成分画像Ｄ２２のヒストグラムにおける「傾きを決定するための勾配箇所」の決め方は限定されない。例えば、ガイド画生成部１３３は、非染色蛍光成分画像Ｄ２２の輝度値の頻度に基づいて、当該勾配箇所を決めてもよい。具体的には、後述の「陽性閾値Ｔ２」の決め方と同様にして、当該勾配箇所を決めることが可能である。
　＜２－４－４．第４処理例＞
　図１４は、本実施形態に係るガイド画像を用いたＮＲ補正の第４処理例の流れを示すフローチャートである。図１５及び図１６は、それぞれ本実施形態に係る画像処理の処理例を示す図である。
　図１４に示すように、第４処理例では、上述した第３処理例の処理に加え、ガイド画生成部１３３が、ステップＳ４１及びステップＳ４２の後、ステップＳ４３において、マージ・除算後の画像に対して画像処理を行うことで、ガイド画像を生成する。この画像処理は、基本的に第２処理例と同様の処理であるが、異なる処理であってもよい。
　このような第４処理例では、ガイド画像作成時に予め陽性閾値以下の画素をゼロ化してマージ・除算した後に、マージ・除算後の画像に対してノイズ除去処理やエッジ強調処理などの画像処理を加えることで、ガイド画像をよりＳ／Ｎが高いものにする。したがって、ガイド画像をよりＳ／Ｎが高いものにすることで、ＮＲ効果を高めることができる。
　図１５に示すように、図１４中のステップＳ４３の画像処理において、ガイド画生成部１３３が、ステップＳ４３１において、ノイズ除去フィルタを用いた画像処理を実行し、その後、ステップＳ４３２において、エッジ強調フィルタを用いた画像処理を実行してもよい。
　一方、図１６に示すように、図１５の画像処理の流れと逆に、ガイド画生成部１３３が、ステップＳ４３２において、エッジ強調フィルタを用いた画像処理を実行し、その後、ステップＳ４３１において、ノイズ除去フィルタを用いた画像処理を実行してもよい。
　なお、処理対象画像などの種類によってもＮＲ効果の程度は変わるが、例えば、処理対象画像が色分離後のマルチスペクトル画像である場合には、図１５の画像処理の流れと、図１６の画像処理の流れとでは、図１５の画像処理の流れの方が良いＮＲ効果を得ることができる。
　＜２－４－５．第５処理例＞
　図１７は、本実施形態に係るガイド画像を用いたＮＲ補正の第５処理例の流れを示すフローチャートである。
　図１７に示すように、第５処理例では、ガイド画生成部１３３が、上述した第３処理例の図１２中のステップＳ４１を実行せず、ステップＳ４２において、色分離後の複数枚の特定画像、例えば、膜染色マーカだけなどの特定細胞種に対応する画像のみ（色分離画像：Ｆｌｕｏ３、４、５）をマージし、マージした画像枚数で除算することで、ガイド画像を生成する。なお、図１７の例では、三枚の色分離画像のみをマージしているが、その数は限定されるものではない。
　このような第５処理例では、ガイド画像作成時に膜染色マーカだけなどの特定細胞種に対応する画像のみをマージ・除算することで、ガイド画像をよりＳ／Ｎが高いものにする。したがって、ガイド画像をよりＳ／Ｎが高いものにすることで、ＮＲ効果を高めることができる。
　＜２－４－６．第６処理例＞
　図１８は、本実施形態に係るガイド画像を用いたＮＲ補正の第６処理例の流れを示すフローチャートである。
　図１８に示すように、第６処理例では、ガイド画生成部１３３が、上述した第５処理例の処理（図１７参照）に加えて、ステップＳ４２の後、ステップＳ４３において、マージ・除算後の画像に対して画像処理を行うことで、ガイド画像を生成する。この画像処理は、基本的に第２処理例と同様の処理であるが、異なる処理であってもよい。
　このような第６処理例では、ガイド画像作成時に膜染色マーカだけなど特定細胞種に対応する画像のみをマージ・除算した後に、マージ・除算後の画像に対してノイズ除去処理やエッジ強調処理などの画像処理を加えることで、ガイド画像をよりＳ／Ｎが高いものにする。したがって、ガイド画像をよりＳ／Ｎが高いものにすることで、ＮＲ効果を高めることができる。
　＜２－４－７．第７処理例＞
　図１９は、本実施形態に係るガイド画像を用いたＮＲ補正の第７処理例の流れを示すフローチャートである。
　図１９に示すように、第７処理例では、ガイド画生成部１３３が、上述した第５処理例の処理（図１７参照）に加えて、ステップＳ４２の前、ステップＳ４１において、色分離後の複数枚の特定画像、例えば、膜染色マーカだけなどの特定細胞種に対応する画像のみ（色分離画像：Ｆｌｕｏ３、４、５）で所定の陽性閾値以下の画素をゼロ化し（ゼロ埋めを行い）、さらに、ステップＳ４２において、ゼロ化後の各画像をマージし、マージした画像枚数で除算することで、ガイド画像を生成する。
　このような第７処理例では、ガイド画像作成時に特定細胞種に対応する画像のみにおいて所定の陽性閾値以下の画素をゼロ化した後に、ゼロ化した各画像のみをマージ・除算することで、ガイド画像をよりＳ／Ｎが高いものにする。したがって、ガイド画像をよりＳ／Ｎが高いものにすることで、ＮＲ効果を高めることができる。
　＜２－４－８．第８処理例＞
　図２０は、本実施形態に係るガイド画像を用いたＮＲ補正の第８処理例の流れを示すフローチャートである。
　図２０に示すように、第８処理例では、ガイド画生成部１３３が、上述した第７処理例の処理（図１９参照）に加えて、ステップＳ４１及びステップＳ４２の後、ステップＳ４３において、ガイド画生成部１３３が、マージ・除算後の画像に対して画像処理を行うことで、ガイド画像を生成する。この画像処理は、基本的に第２処理例と同様の処理であるが、異なる処理であってもよい。
　このような第８処理例によれば、ガイド画像作成時に特定細胞種に対応する画像のみにおいて所定の陽性閾値以下の画素をゼロ化し、ゼロ化した画像のみをマージ・除算した後に、マージ・除算後の画像に対してノイズ除去処理やエッジ強調処理などの画像処理を加えることで、ガイド画像をよりＳ／Ｎが高いものにする。したがって、ガイド画像をよりＳ／Ｎが高いものにすることで、ＮＲ効果を高めることができる。
　＜２－４－９．第９処理例＞
　図２１は、本実施形態に係るガイド画像を用いたＮＲ補正の第９処理例の流れを示すフローチャートである。
　図２１に示すように、第９処理例では、上述した第１処理例の変形例の処理に加え、ガイド画生成部１３３が、ステップＳ１２において、ガイド画像作成時に細胞解析の結果（例えば、陽性細胞率や陽性細胞数など）を重みとして用いてマージする。
　このような第９処理例によれば、ガイド画像作成時に細胞解析の結果（例えば、陽性細胞率や陽性細胞数など）を重みとして用いてマージする。これにより、細胞解析の結果をガイド画像作成に反映させることができる。
　＜２－４－１０．第１０処理例＞
　図２２は、本実施形態に係るガイド画像を用いたＮＲ補正の第１０処理例の流れを示すフローチャートである。
　図２２に示すように、第１０処理例では、上述した第１処理例の変形例の処理に加え、ガイド画生成部１３３が、ステップＳ５１において、細胞解析の結果の一例である陽性細胞率（陽性率）が同一細胞種マーカと同程度の陽性細胞率であるか否かを判断し、陽性細胞率が同一細胞種マーカと同程度の陽性細胞率になるまで、ステップＳ１２において、ガイド画像作成時に陽性細胞率を重みとして用いてマージする。
　このような第１０処理例によれば、ガイド画像作成時に同一細胞種マーカと同程度の陽性率になるまで自動的に重み付けをした上でマージする。これにより、人の判断が加わらず自動化を実現できる。
　＜２－５．作用・効果＞
　以上説明したように、本実施形態によれば、情報処理装置１００は、バイオマーカに関するスペクトル情報をそれぞれ含む複数の画像（例えば、色分離画像）を合算し、合算した画像の枚数で除算して補正用のガイド画像を生成するガイド画生成部１３３を備える。これにより、ガイド画像を用いて処理対象画像に対してＮＲ補正を行うことが可能になるので、解析で必要な信号強度を保持したまま、処理対象画像のバックグランドに埋もれた必要信号を取得することができる。
　また、情報処理装置１００は、ガイド画像を用いて処理対象画像に対してノイズリダクション補正を行う補正部１３４をさらに備えてもよい。これにより、確実に、解析で必要な信号強度を保持したまま、処理対象画像のバックグランドに埋もれた必要信号を取得することができる。
　また、補正部１３４は、ノイズリダクション補正の前に、処理対象画像に対して外れ値処理を行ってもよい。これにより、ガイド画像をよりＳ／Ｎが高いものにすることが可能になるので、ＮＲ効果を高めることができる。
　また、ガイド画生成部１３３は、複数の画像を合算して除算した後に画像処理を行ってもよい。これにより、ガイド画像をよりＳ／Ｎが高いものにすることが可能になるので、ＮＲ効果を高めることができる。
　また、ガイド画生成部１３３は、複数の画像を合算した後で除算する前に画像処理を行ってもよい。これにより、ガイド画像をよりＳ／Ｎが高いものにすることが可能になるので、ＮＲ効果を高めることができる。
　また、ガイド画生成部１３３は、複数の画像を合算する前に複数の画像に対して所定の陽性閾値以下の画素をゼロ化する処理を行ってもよい。これにより、ガイド画像をよりＳ／Ｎが高いものにすることが可能になるので、ＮＲ効果を高めることができる。
　また、ガイド画生成部１３３は、複数の画像に対して所定の陽性閾値以下の画素をゼロ化する処理を行い、複数の画像を合算して除算した後に画像処理を行ってもよい。これにより、ガイド画像をよりＳ／Ｎが高いものにすることが可能になるので、ＮＲ効果を高めることができる。
　また、ガイド画生成部１３３は、複数の画像に対して所定の陽性閾値以下の画素をゼロ化する処理を行い、複数の画像を合算した後で除算する前に画像処理を行ってもよい。これにより、ガイド画像をよりＳ／Ｎが高いものにすることが可能になるので、ＮＲ効果を高めることができる。
　また、ガイド画生成部１３３は、複数の画像のうち特定細胞腫に対応する画像のみを合算してもよい。これにより、ガイド画像をよりＳ／Ｎが高いものにすることが可能になるので、ＮＲ効果を高めることができる。
　また、ガイド画生成部１３３は、複数の画像のうち特定細胞腫に対応する画像のみを合算して除算した後に画像処理を行ってもよい。これにより、ガイド画像をよりＳ／Ｎが高いものにすることが可能になるので、ＮＲ効果を高めることができる。
　また、ガイド画生成部１３３は、複数の画像のうち特定細胞腫に対応する画像のみを合算した後で除算する前に画像処理を行ってもよい。これにより、ガイド画像をよりＳ／Ｎが高いものにすることが可能になるので、ＮＲ効果を高めることができる。
　また、ガイド画生成部１３３は、複数の画像のうち特定細胞腫に対応する画像に対して所定の陽性閾値以下の画素をゼロ化するゼロ埋め処理を行い、ゼロ埋め処理後の特定細胞腫に対応する画像のみを合算してもよい。これにより、ガイド画像をよりＳ／Ｎが高いものにすることが可能になるので、ＮＲ効果を高めることができる。
　また、ガイド画生成部１３３は、ゼロ埋め処理後の特定細胞腫に対応する画像のみを合算して除算した後に画像処理を行ってもよい。これにより、ガイド画像をよりＳ／Ｎが高いものにすることが可能になるので、ＮＲ効果を高めることができる。
　また、ガイド画生成部１３３は、ゼロ埋め処理後の特定細胞腫に対応する画像のみを合算した後で除算する前に画像処理を行ってもよい。これにより、ガイド画像をよりＳ／Ｎが高いものにすることが可能になるので、ＮＲ効果を高めることができる。
　また、ガイド画生成部１３３は、処理対象画像に対する解析結果を重みとして用いて複数の画像を合算してもよい。これにより、解析結果（例えば、細胞解析の結果）をガイド画像生成に反映させることができる。
　また、ガイド画生成部１３３は、解析結果が比較対象の解析結果と同程度となるまで、解析結果を重みとして用いて複数の画像を合算することを繰り返してもよい。これにより、人の判断を不要とし、自動化を実現することができる。
　また、複数の画像は、それぞれ色分離画像であってもよい。各画像が色分離画像であっても、解析で必要な信号強度を保持したまま、処理対象画像のバックグランドに埋もれた必要信号を取得することができる。
　また、ガイド画生成部１３３は、ノイズ除去フィルタ及びエッジ強調フィルタを用いて画像処理を行ってもよい。これにより、ガイド画像をよりＳ／Ｎが高いものにすることが可能になるので、ＮＲ効果を高めることができる。
　＜３．他の実施形態＞
　上述した実施形態又は変形例に係る処理は、上記実施形態以外にも種々の異なる形態又は変形例にて実施されてよい。例えば、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
　また、上述した実施形態又は変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
　＜４．適用例＞
　本開示に係る技術は、例えば、蛍光観察装置５００（顕微鏡システムの一例）等に適用され得る。以下、図２３及び図２４を参照して、適用され得る蛍光観察装置５００の構成例について説明する。図２３は、本実施形態に係る蛍光観察装置５００の概略構成の一例を示す図である。図２４は、本実施形態に係る観察ユニット１の概略構成の一例を示す図である。
　図２３に示すように、蛍光観察装置５００は、観察ユニット１と、処理ユニット２と、表示部３とを有する。
　観察ユニット１は、励起部（照射部）１０と、ステージ２０と、分光イメージング部３０と、観察光学系４０と、走査機構５０と、フォーカス機構６０と、非蛍光観察部７０とを含む。
　励起部１０は、波長が異なる複数の照射光を観察対象物に照射する。励起部１０は、例えば、異軸平行に配置された波長の異なる複数のライン照明を観察対象物である病理標本（病理サンプル）に照射する。ステージ２０は、病理標本を支持する台であって、走査機構５０により、ライン照明によるライン光の方向に対して垂直方向に移動可能に構成されている。分光イメージング部３０は、分光器を含み、ライン照明によりライン状に励起された病理標本の蛍光スペクトル（分光データ）を取得する。
　すなわち、観察ユニット１は、ライン照明に応じた分光データを取得するライン分光器として機能する。また、観察ユニット１は、複数の蛍光波長それぞれについて撮像対象（病理標本）により生成された複数の蛍光画像をライン毎に撮像し、撮像した複数の蛍光画像のデータをラインの並び順で取得する撮像装置としても機能する。
　ここで、異軸平行とは、複数のライン照明が異軸かつ平行であることをいう。異軸とは、同軸上に無いことをいい、軸間の距離は特に限定されない。平行とは、厳密な意味での平行に限られず、ほぼ平行である状態も含む。例えば、レンズ等の光学系由来のディストーションや製造公差による平行状態からの逸脱があってもよく、この場合も平行とみなす。
　励起部１０と分光イメージング部３０は、ステージ２０に対し、観察光学系４０を介して接続されている。観察光学系４０は、フォーカス機構６０によって最適な焦点に追従する機能を有している。観察光学系４０には、暗視野観察、明視野観察などを行うための非蛍光観察部７０が接続されてもよい。また、観察ユニット１には、励起部１０、分光イメージング部３０、走査機構５０、フォーカス機構６０、非蛍光観察部７０などを制御する制御部８０が接続されてもよい。
　処理ユニット２は、記憶部２１と、データ校正部２２と、画像形成部２３とを含む。この処理ユニット２は、観察ユニット１によって取得された病理標本（以下、サンプルＳともいう。）の蛍光スペクトルに基づいて、典型的には、病理標本の画像を形成し、あるいは蛍光スペクトルの分布を出力する。ここでいう画像とは、そのスペクトルを構成する色素やサンプル由来の自家蛍光などの構成比率、波形からＲＧＢ（赤緑青）カラーに変換されたものや、特定の波長帯の輝度分布などをいう。
　記憶部２１は、例えばハードディスクドライブやフラッシュメモリといった不揮発性の記憶媒体と、当該記憶媒体に対するデータの書き込みおよび読み出しを制御する記憶制御部と、を含む。記憶部２１は、励起部１０が含む複数のライン照明それぞれにより射出される光の各波長と、分光イメージング部３０のカメラで受光された蛍光との相関を示す分光データが記憶される。また、記憶部２１には、観察対象となるサンプル（病理標本）に関する自家蛍光の標準スペクトルを示す情報や、サンプルを染色する色素単体の標準スペクトルを示す情報が予め記憶される。
　データ校正部２２は、分光イメージング部３０のカメラで撮像された撮像画像に基づき記憶部２１に記憶された分光データの構成を行う。画像形成部２３は、分光データと、励起部１０により照射された複数のライン照明の間隔Δｙとに基づき、サンプルの蛍光画像を形成する。例えば、データ校正部２２や画像形成部２３等を含む処理ユニット２は、ＣＰＵ（Central　Processing　Unit）、ＲＡＭ（Random　Access　Memory）、ＲＯＭ（Read　Only　Memory）等のコンピュータに用いられるハードウェア要素および必要なプログラム（ソフトウェア）により実現される。ＣＰＵに代えて、またはこれに加えて、ＦＰＧＡ（Field　Programmable　Gate　Array）等のＰＬＤ（Programmable　Logic　Device）、あるいは、ＤＳＰ（Digital　Signal　Processor）、その他ＡＳＩＣ（Application　Specific　Integrated　Circuit）等が用いられてもよい。
　表示部３は、例えば、画像形成部２３で形成された蛍光画像に基づく画像等の各種情報を表示する。この表示部３は、例えば、処理ユニット２に一体的に取り付けられたモニタで構成されてもよいし、処理ユニット２に接続された表示装置であってもよい。表示部３は、例えば、液晶デバイスあるいは有機ＥＬデバイス等の表示素子と、タッチセンサとを備え、撮影条件の入力設定や撮影画像等を表示するＵＩ（User　Interface）として構成される。
　次に、観察ユニット１の詳細について図２４を参照して説明する。ここでは、励起部１０がそれぞれ２波長の発光を行う２つのライン照明Ｅｘ１およびＥｘ２を含むものとして説明する。例えば、ライン照明Ｅｘ１が波長４０５ｎｍの光と波長５６１ｎｍの光とを発光し、ライン照明Ｅｘ２が波長４８８ｎｍの光と波長６４５ｎｍの光とを発光する。
　図２４に示すように、励起部１０は、複数（本例では４つ）の励起光源Ｌ１、Ｌ２、Ｌ３、Ｌ４を有する。各励起光源Ｌ１～Ｌ４は、波長がそれぞれ４０５ｎｍ、４８８ｎｍ、５６１ｎｍ及び６４５ｎｍのレーザ光を出力するレーザ光源で構成される。例えば、各励起光源Ｌ１～Ｌ４は、発光ダイオード（ＬＥＤ）やレーザダイオード（ＬＤ）などで構成される。
　さらに、励起部１０は、各励起光源Ｌ１～Ｌ４に対応するよう、複数のコリメータレンズ１１、複数のレーザラインフィルタ１２、複数のダイクロイックミラー１３ａ、１３ｂ、１３ｃと、ホモジナイザ１４と、コンデンサレンズ１５と、入射スリット１６とを有する。
　励起光源Ｌ１から出射されるレーザ光と励起光源Ｌ３から出射されるレーザ光は、それぞれコリメータレンズ１１によって平行光になった後、各々の波長帯域の裾野をカットするためのレーザラインフィルタ１２を透過し、ダイクロイックミラー１３ａによって同軸にされる。同軸化された２つのレーザ光は、さらに、ライン照明Ｅｘ１となるべくフライアイレンズなどのホモジナイザ１４とコンデンサレンズ１５によってビーム成形される。
　励起光源Ｌ２から出射されるレーザ光と励起光源Ｌ４から出射されるレーザ光も同様に各ダイクロイックミラー１３ｂ、１３ｃによって同軸化され、ライン照明Ｅｘ１とは異軸のライン照明Ｅｘ２となるようにライン照明化される。ライン照明Ｅｘ１およびＥｘ２は、各々が通過可能な複数のスリット部を有する入射スリット１６（スリット共役）において距離Δｙだけ離れた異軸ライン照明（１次像）を形成する。
　なお、本実施形態では、４つのレーザを２つの同軸、２つの異軸とした例について説明するが、このほかに、２つのレーザを２つの異軸構成にしたり、４つのレーザを４つの異軸構成にしたりしてもよい。
　１次像は、観察光学系４０を介してステージ２０上のサンプルＳに照射される。観察光学系４０は、コンデンサレンズ４１と、ダイクロイックミラー４２，４３と、対物レンズ４４と、バンドパスフィルタ４５と、コンデンサレンズ（結像レンズの一例）４６とを有する。ライン照明Ｅｘ１、Ｅｘ２は、対物レンズ４４と対になったコンデンサレンズ４１で平行光にされ、ダイクロイックミラー４２、４３により反射されて対物レンズ４４を透過し、ステージ２０上のサンプルＳに照射される。
　ここで、図２５は、本実施形態に係るサンプルＳの一例を示す図である。図２５では、サンプルＳを励起光であるライン照明Ｅｘ１およびＥｘ２の照射方向から見た様子が示されている。サンプルＳは、典型的には、図２５に示すような組織切片等の観察対象物Ｓａを含むスライドで構成されるが、勿論それ以外であってもよい。観察対象物Ｓａは、例えば、核酸、細胞、タンパク、菌、ウイルスなどの生体試料である。サンプルＳ（観察対象物Ｓａ）は、複数の蛍光色素によって染色されている。観察ユニット１は、サンプルＳを所望の倍率に拡大して観察する。
　図２６は、本実施形態に係るサンプルＳにライン照明Ｅｘ１およびＥｘ２が照射される領域Ａを拡大して示す図である。図２６の例では、領域Ａに２つのライン照明Ｅｘ１およびＥｘ２が配置されており、それぞれのライン照明Ｅｘ１およびＥｘ２に重なるように、分光イメージング部３０の撮影エリアＲ１およびＲ２が配置される。２つのライン照明Ｅｘ１およびＥｘ２は、それぞれＺ軸方向に平行であり、Ｙ軸方向に所定の距離Δｙだけ離れて配置される。
　サンプルＳの表面において、図２６に示したようにライン照明Ｅｘ１およびＥｘ２が形成される。これらのライン照明Ｅｘ１およびＥｘ２によってサンプルＳにおいて励起された蛍光は、図２４に示すように、対物レンズ４４によって集光され、ダイクロイックミラー４３に反射され、ダイクロイックミラー４２と、励起光をカットするバンドパスフィルタ４５とを透過し、コンデンサレンズ４６で再び集光されて、分光イメージング部３０に入射する。
　分光イメージング部３０は、図２４に示すように、観測スリット（開口部）３１と、撮像素子３２と、第１プリズム３３と、ミラー３４と、回折格子３５（波長分散素子）と、第２プリズム３６とを有する。
　図２４の例では、撮像素子３２は、２つの撮像素子３２ａ、３２ｂを含んで構成されている。この撮像素子３２は、回折格子３５によって波長分散された複数の光（蛍光等）を撮像（受光）する。撮像素子３２には、例えば、ＣＣＤ（Charge　Coupled　Device）、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）などの２次元イメージャが採用される。
　観測スリット３１は、コンデンサレンズ４６の集光点に配置され、励起ライン数と同じ数（この例では２本）のスリット部を有する。観測スリット３１を通過した２つの励起ライン由来の蛍光スペクトルは、第１プリズム３３で分離され、それぞれミラー３４を介して回折格子３５の格子面で反射することにより、励起波長各々の蛍光スペクトルにさらに分離される。分離された４つの蛍光スペクトルは、ミラー３４および第２プリズム３６を介して撮像素子３２ａおよび３２ｂに入射され、分光データとして、ライン方向の位置ｘと、波長λにより表現される分光データ（ｘ，λ）に展開される。分光データ（ｘ，λ）は、撮像素子３２に含まれる画素のうち、行方向において位置ｘ、列方向において波長λの位置の画素の画素値である。なお、分光データ（ｘ，λ）は、単に分光データとして記述されることがある。
　なお、撮像素子３２ａおよび３２ｂの画素サイズ（ｎｍ／Ｐｉｘｅｌ）は特に限定されず、例えば、２（ｎｍ／Ｐｉｘｅｌ）以上２０（ｎｍ／Ｐｉｘｅｌ）以下に設定される。この分散値は、回折格子３５のピッチや光学的に実現しても良いし、撮像素子３２ａおよび３２ｂのハードウェアビニングを使って実現しても良い。また、光路の途中にダイクロイックミラー４２やバンドパスフィルタ４５が挿入され、励起光（ライン照明Ｅｘ１およびＥｘ２）が撮像素子３２に到達しないようにされている。
　各ライン照明Ｅｘ１およびＥｘ２は、それぞれ単一の波長で構成される場合に限られず、それぞれが複数の波長で構成されてもよい。ライン照明Ｅｘ１およびＥｘ２がそれぞれ複数の波長で構成される場合、これらで励起される蛍光もそれぞれ複数のスペクトルを含む。この場合、分光イメージング部３０は、当該蛍光を励起波長に由来するスペクトルに分離するための波長分散素子を有する。波長分散素子は、回折格子やプリズムなどで構成され、典型的には、観測スリット３１と撮像素子３２との間の光路上に配置される。
　なお、ステージ２０および走査機構５０は、Ｘ－Ｙステージを構成し、サンプルＳの蛍光画像を取得するため、サンプルＳをＸ軸方向およびＹ軸方向へ移動させる。ＷＳＩ（Whole　slide　imaging）では、Ｙ軸方向にサンプルＳをスキャンし、その後、Ｘ軸方向に移動し、さらにＹ軸方向へのスキャンを行うといった動作が繰り返される。走査機構５０を用いることで、サンプルＳ（観察対象物Ｓａ）上において空間的に距離Δｙだけ離れた、それぞれ異なる励起波長で励起された色素スペクトル（蛍光スペクトル）を、Ｙ軸方向に連続的に取得することができる。
　走査機構５０は、サンプルＳにおける照射光の照射される位置を経時的に変化させる。例えば、走査機構５０は、ステージ２０をＹ軸方向に走査する。この走査機構５０によって、ステージ２０に対して複数のライン照明Ｅｘ１，Ｅｘ２をＹ軸方向、つまり、各ライン照明Ｅｘ１，Ｅｘ２の配列方向に走査させることができる。これは、この例に限定されず、光学系の途中に配置されたガルバノミラーによって複数のライン照明Ｅｘ１およびＥｘ２がＹ軸方向に走査されてもよい。各ライン照明Ｅｘ１およびＥｘ２由来のデータ（例えば、２次元データ又は３次元データ）は、Ｙ軸について距離Δｙだけ座標がシフトしたデータになるので、予め記憶された距離Δｙ、または、撮像素子３２の出力から計算される距離Δｙの値に基づいて、補正され出力される。
　図２４に示すように、非蛍光観察部７０は、光源７１、ダイクロイックミラー４３、対物レンズ４４、コンデンサレンズ７２、撮像素子７３などにより構成される。非蛍光観察部７０においては、図２４の例では、暗視野照明による観察系を示している。
　光源７１は、ステージ２０に対して対物レンズ４４と対向する側に配置され、ステージ２０上のサンプルＳに対して、ライン照明Ｅｘ１、Ｅｘ２とは反対側から照明光を照射する。暗視野照明の場合、光源７１は、対物レンズ４４のＮＡ（開口数）の外側から照明し、サンプルＳで回折した光（暗視野像）を対物レンズ４４、ダイクロイックミラー４３およびコンデンサレンズ７２を介して撮像素子７３で撮影する。暗視野照明を用いることで、蛍光染色サンプルのような一見透明なサンプルであってもコントラストを付けて観察することができる。
　なお、この暗視野像を蛍光と同時に観察して、リアルタイムのフォーカスに使ってもよい。この場合、照明波長は、蛍光観察に影響のない波長を選択すればよい。非蛍光観察部７０は、暗視野画像を取得する観察系に限られず、明視野画像、位相差画像、位相像、インラインホログラム（In-line　hologram）画像などの非蛍光画像を取得可能な観察系で構成されてもよい。例えば、非蛍光画像の取得方法として、シュリーレン法、位相差コントラスト法、偏光観察法、落射照明法などの種々の観察法が採用可能である。照明用光源の位置もステージ２０の下方に限られず、ステージ２０の上方や対物レンズ４４の周りにあってもよい。また、リアルタイムでフォーカス制御を行う方式だけでなく、予めフォーカス座標（Ｚ座標）を記録しておくプレフォーカスマップ方式等の他の方式が採用されてもよい。
　なお、上述では、励起光としてのライン照明は、ライン照明Ｅｘ１およびＥｘ２の２本で構成されたが、これに限定されず、３本、４本あるいは５本以上であってもよい。またそれぞれのライン照明は、色分離性能がなるべく劣化しないように選択された複数の励起波長を含んでもよい。また、ライン照明が１本であっても、複数の励起波長から構成される励起光源で、かつそれぞれの励起波長と、撮像素子３２で所得されるデータとを紐づけて記録すれば、異軸平行ほどの分離能は得られないが、多色スペクトルを得ることができる。
　以上、本開示に係る技術を蛍光観察装置５００に適用した適用例について説明した。なお、図２３及び図２４を参照して説明した上記の構成はあくまで一例であり、本実施形態に係る蛍光観察装置５００の構成は係る例に限定されない。例えば、蛍光観察装置５００は、図２３及び図２４に示す構成の全てを必ずしも備えなくてもよいし、図２３及び図２４に示されていない構成を備えてもよい。
　＜５．応用例＞
　本開示に係る技術は、例えば、顕微鏡システム等に応用されることができる。以下、図２７から図２９を参照して、応用され得る顕微鏡システム５０００の構成例について説明する。顕微鏡システム５０００の一部である顕微鏡装置５１００は、撮像装置として機能する。
　本開示の顕微鏡システムの構成例を図２７に示す。図２７に示される顕微鏡システム５０００は、顕微鏡装置５１００、制御部５１１０、及び情報処理部５１２０を含む。顕微鏡装置５１００は、光照射部５１０１、光学部５１０２、及び信号取得部５１０３を備えている。顕微鏡装置５１００はさらに、生体由来試料Ｓが配置される試料載置部５１０４を備えていてよい。なお、顕微鏡装置５１００の構成は図２７に示されるものに限定されず、例えば、光照射部５１０１は、顕微鏡装置５１００の外部に存在してもよく、例えば顕微鏡装置５１００に含まれない光源が光照射部５１０１として利用されてもよい。また、光照射部５１０１は、光照射部５１０１と光学部５１０２とによって試料載置部５１０４が挟まれるように配置されていてよく、例えば、光学部５１０２が存在する側に配置されてもよい。顕微鏡装置５１００は、明視野観察、位相差観察、微分干渉観察、偏光観察、蛍光観察、及び暗視野観察のうちの１又は２以上を実行することができるように構成されてよい。
　顕微鏡システム５０００は、いわゆるＷＳＩ（Whole　Slide　Imaging）システム又はデジタルパソロジーイメージングシステムとして構成されてよく、病理診断のために用いられうる。また、顕微鏡システム５０００は、蛍光イメージングシステム、特には多重蛍光イメージングシステムとして構成されてもよい。
　例えば、顕微鏡システム５０００は、術中病理診断又は遠隔病理診断を行うために用いられてよい。当該術中病理診断では、手術が行われている間に、顕微鏡装置５１００が、当該手術の対象者から取得された生体由来試料Ｓのデータを取得し、そして、当該データを情報処理部５１２０へと送信しうる。当該遠隔病理診断では、顕微鏡装置５１００は、取得した生体由来試料Ｓのデータを、顕微鏡装置５１００とは離れた場所（別の部屋又は建物など）に存在する情報処理部５１２０へと送信しうる。そして、これらの診断において、情報処理部５１２０は、当該データを受信し、出力する。出力されたデータに基づき、情報処理部５１２０のユーザが、病理診断を行いうる。
　（生体由来試料）
　生体由来試料Ｓは、生体成分を含む試料であってよい。前記生体成分は、生体の組織、細胞、生体の液状成分（血液や尿等）、培養物、又は生細胞（心筋細胞、神経細胞、及び受精卵など）であってよい。前記生体由来試料は、固形物であってよく、パラフィンなどの固定試薬によって固定された標本又は凍結により形成された固形物であってよい。前記生体由来試料は、当該固形物の切片でありうる。前記生体由来試料の具体的な例として、生検試料の切片を挙げることができる。
　前記生体由来試料は、染色又は標識などの処理が施されたものであってよい。当該処理は、生体成分の形態を示すための又は生体成分が有する物質（表面抗原など）を示すための染色であってよく、ＨＥ（Hematoxylin-Eosin）染色、免疫組織化学（Immunohistochemistry）染色を挙げることができる。前記生体由来試料は、１又は２以上の試薬により前記処理が施されたものであってよく、当該試薬は、蛍光色素、発色試薬、蛍光タンパク質、又は蛍光標識抗体でありうる。
　前記標本は、組織サンプルから病理診断または臨床検査などを目的に作製されたものであってよい。また、前記標本は、人体に限らず、動物、植物、又は他の材料に由来するものであってもよい。前記標本は、使用される組織（例えば臓器または細胞など）の種類、対象となる疾病の種類、対象者の属性（例えば、年齢、性別、血液型、または人種など）、または対象者の生活習慣（例えば、食生活、運動習慣、または喫煙習慣など）などにより性質が異なる。前記標本は、各標本それぞれ識別可能な識別情報（バーコード又はＱＲコード（登録商標）等）を付されて管理されてよい。
　（光照射部）
　光照射部５１０１は、生体由来試料Ｓを照明するための光源、および光源から照射された光を標本に導く光学部である。光源は、可視光、紫外光、若しくは赤外光、又はこれらの組合せを生体由来試料に照射しうる。光源は、ハロゲン光源、レーザ光源、ＬＥＤ光源、水銀光源、及びキセノン光源のうちの１又は２以上であってよい。蛍光観察における光源の種類及び／又は波長は、複数でもよく、当業者により適宜選択されてよい。光照射部５１０１は、透過型、反射型又は落射型（同軸落射型若しくは側射型）の構成を有しうる。
　（光学部）
　光学部５１０２は、生体由来試料Ｓからの光を信号取得部５１０３へと導くように構成される。光学部５１０２は、顕微鏡装置５１００が生体由来試料Ｓを観察又は撮像することを可能とするように構成されうる。光学部５１０２は、対物レンズを含みうる。対物レンズの種類は、観察方式に応じて当業者により適宜選択されてよい。また、光学部５１０２は、対物レンズによって拡大された像を信号取得部５１０３に中継するためのリレーレンズを含んでもよい。光学部５１０２は、前記対物レンズ及び前記リレーレンズ以外の光学部品、接眼レンズ、位相板、及びコンデンサレンズなど、をさらに含みうる。また、光学部５１０２は、生体由来試料Ｓからの光のうちから所定の波長を有する光を分離するように構成された波長分離部をさらに含んでよい。波長分離部は、所定の波長又は波長範囲の光を選択的に信号取得部５１０３に到達させるように構成されうる。波長分離部は、例えば、光を選択的に透過させるフィルタ、偏光板、プリズム（ウォラストンプリズム）、及び回折格子のうちの１又は２以上を含んでよい。波長分離部に含まれる光学部品は、例えば対物レンズから信号取得部５１０３までの光路上に配置されてよい。波長分離部は、蛍光観察が行われる場合、特に励起光照射部を含む場合に、顕微鏡装置５１００内に備えられる。波長分離部は、蛍光同士を互いに分離し又は白色光と蛍光とを分離するように構成されうる。
　（信号取得部）
　信号取得部５１０３は、生体由来試料Ｓからの光を受光し、当該光を電気信号、特にはデジタル電気信号へと変換することができるように構成されうる。信号取得部５１０３は、当該電気信号に基づき、生体由来試料Ｓに関するデータを取得することができるように構成されてよい。信号取得部５１０３は、生体由来試料Ｓの像（画像、特には静止画像、タイムラプス画像、又は動画像）のデータを取得することができるように構成されてよく、特に光学部５１０２によって拡大された画像のデータを取得するように構成されうる。信号取得部５１０３は、１次元又は２次元に並んで配列された複数の画素を備えている１つ又は複数の撮像素子、ＣＭＯＳ又はＣＣＤなど、を含む。信号取得部５１０３は、低解像度画像取得用の撮像素子と高解像度画像取得用の撮像素子とを含んでよく、又は、ＡＦなどのためのセンシング用撮像素子と観察などのための画像出力用撮像素子とを含んでもよい。撮像素子は、前記複数の画素に加え、各画素からの画素信号を用いた信号処理を行う信号処理部（ＣＰＵ、ＤＳＰ、及びメモリのうちの１つ、２以上を含む）、及び、画素信号から生成された画像データ及び信号処理部により生成された処理データの出力の制御を行う出力制御部を含みうる。前記複数の画素、前記信号処理部、及び前記出力制御部を含む撮像素子は、好ましくは１チップの半導体装置として構成されうる。なお、顕微鏡システム５０００は、イベント検出センサをさらに具備してもよい。当該イベント検出センサは、入射光を光電変換する画素を含み、当該画素の輝度変化が所定の閾値を超えたことをイベントとして検出するように構成されうる。当該イベント検出センサは、特には非同期型でありうる。
　（制御部）
　制御部５１１０は、顕微鏡装置５１００による撮像を制御する。制御部５１１０は、撮像制御のために、光学部５１０２及び／又は試料載置部５１０４の移動を駆動して、光学部５１０２と試料載置部５１０４との間の位置関係を調節しうる。制御部５１１０は、光学部５１０２及び／又は試料載置部５１０４を、互いに近づく又は離れる方向（例えば対物レンズの光軸方向）に移動させうる。また、制御部５１１０は、光学部５１０２及び／又は試料載置部５１０４を、前記光軸方向と垂直な面におけるいずれかの方向に移動させてもよい。制御部５１１０は、撮像制御のために、光照射部５１０１及び／又は信号取得部５１０３を制御してもよい。
　（試料載置部）
　試料載置部５１０４は、生体由来試料の試料載置部５１０４上における位置が固定できるように構成されてよく、いわゆるステージであってよい。試料載置部５１０４は、生体由来試料の位置を、対物レンズの光軸方向及び／又は当該光軸方向と垂直な方向に移動させることができるように構成されうる。
　（情報処理部）
　情報処理部５１２０は、顕微鏡装置５１００が取得したデータ（撮像データなど）を、顕微鏡装置５１００から取得しうる。情報処理部５１２０は、撮像データに対する画像処理を実行しうる。当該画像処理は、アンミキシング処理、特にはスペクトラルアンミキシング処理を含んでよい。当該アンミキシング処理は、撮像データから所定の波長又は波長範囲の光成分のデータを抽出して画像データを生成する処理、又は、撮像データから所定の波長又は波長範囲の光成分のデータを除去する処理などを含みうる。また、当該画像処理は、組織切片の自家蛍光成分と色素成分を分離する自家蛍光分離処理や互いに蛍光波長が異なる色素間の波長を分離する蛍光分離処理を含みうる。前記自家蛍光分離処理では、同一ないし性質が類似する前記複数の標本のうち、一方から抽出された自家蛍光シグナルを用いて他方の標本の画像情報から自家蛍光成分を除去する処理を行ってもよい。情報処理部５１２０は、制御部５１１０に撮像制御のためのデータを送信してよく、当該データを受信した制御部５１１０が、当該データに従い顕微鏡装置５１００による撮像を制御してもよい。
　情報処理部５１２０は、汎用のコンピュータなどの情報処理装置として構成されてよく、ＣＰＵ、ＲＡＭ、及びＲＯＭを備えていてよい。情報処理部５１２０は、顕微鏡装置５１００の筐体内に含まれていてよく、又は、当該筐体の外にあってもよい。また、情報処理部５１２０による各種処理又は機能は、ネットワークを介して接続されたサーバコンピュータ又はクラウドにより実現されてもよい。
　顕微鏡装置５１００による生体由来試料Ｓの撮像の方式は、生体由来試料の種類及び撮像の目的などに応じて、当業者により適宜選択されてよい。当該撮像方式の例を以下に説明する。
　撮像方式の一つの例は以下のとおりである。顕微鏡装置５１００は、まず、撮像対象領域を特定しうる。当該撮像対象領域は、生体由来試料が存在する領域全体をカバーするように特定されてよく、又は、生体由来試料のうちの目的部分（目的組織切片、目的細胞、又は目的病変部が存在する部分）をカバーするように特定されてもよい。次に、顕微鏡装置５１００は、当該撮像対象領域を、所定サイズの複数の分割領域へと分割し、顕微鏡装置５１００は各分割領域を順次撮像する。これにより、各分割領域の画像が取得される。
　図２８に示されるように、顕微鏡装置５１００は、生体由来試料Ｓ全体をカバーする撮像対象領域Ｒを特定する。そして、顕微鏡装置５１００は、撮像対象領域Ｒを１６の分割領域へと分割する。そして、顕微鏡装置５１００は分割領域Ｒ１の撮像を行い、そして次に、その分割領域Ｒ１に隣接する領域など、撮像対象領域Ｒに含まれる領域の内いずれか領域を撮像しうる。そして、未撮像の分割領域がなくなるまで、分割領域の撮像が行われる。なお、撮像対象領域Ｒ以外の領域についても、分割領域の撮像画像情報に基づき、撮像しても良い。或る分割領域を撮像した後に次の分割領域を撮像するために、顕微鏡装置５１００と試料載置部５１０４との位置関係が調整される。当該調整は、顕微鏡装置５１００の移動、試料載置部５１０４の移動、又は、これらの両方の移動により行われてよい。この例において、各分割領域の撮像を行う撮像装置は、２次元撮像素子（エリアセンサ）又は１次元撮像素子（ラインセンサ）であってよい。信号取得部５１０３は、光学部５１０２を介して各分割領域を撮像してよい。また、各分割領域の撮像は、顕微鏡装置５１００及び／又は試料載置部５１０４を移動させながら連続的に行われてよく、又は、各分割領域の撮像に際して顕微鏡装置５１００及び／又は試料載置部５１０４の移動が停止されてもよい。各分割領域の一部が重なり合うように、前記撮像対象領域の分割が行われてよく、又は、重なり合わないように前記撮像対象領域の分割が行われてもよい。各分割領域は、焦点距離及び／又は露光時間などの撮像条件を変えて複数回撮像されてもよい。また、情報処理装置は、隣り合う複数の分割領域をスティッチングして、より広い領域の画像データを生成しうる。当該スティッチング処理を、撮像対象領域全体にわたって行うことで、撮像対象領域について、より広い領域の画像を取得することができる。また、分割領域の画像、またはスティッチング処理を行った画像から、より解像度の低い画像データを生成しうる。
　撮像方式の他の例は以下のとおりである。顕微鏡装置５１００は、まず、撮像対象領域を特定しうる。当該撮像対象領域は、生体由来試料が存在する領域全体をカバーするように特定されてよく、又は、生体由来試料のうちの目的部分（目的組織切片又は目的細胞が存在する部分）をカバーするように特定されてもよい。次に、顕微鏡装置５１００は、撮像対象領域の一部の領域（「分割スキャン領域」ともいう）を、光軸と垂直な面内における一つの方向（「スキャン方向」ともいう）へスキャンして撮像する。当該分割スキャン領域のスキャンが完了したら、次に、前記スキャン領域の隣の分割スキャン領域を、スキャンする。これらのスキャン動作が、撮像対象領域全体が撮像されるまで繰り返される。図２９に示されるように、顕微鏡装置５１００は、生体由来試料Ｓのうち、組織切片が存在する領域（グレーの部分）を撮像対象領域Ｓａとして特定する。そして、顕微鏡装置５１００は、撮像対象領域Ｓａのうち、分割スキャン領域Ｒｓを、Ｙ軸方向へスキャンする。顕微鏡装置５１００は、分割スキャン領域Ｒｓのスキャンが完了したら、次に、Ｘ軸方向における隣の分割スキャン領域をスキャンする。撮像対象領域Ｓａの全てについてスキャンが完了するまで、この動作が繰り返しされる。各分割スキャン領域のスキャンのために、及び、或る分割スキャン領域を撮像した後に次の分割スキャン領域を撮像するために、顕微鏡装置５１００と試料載置部５１０４との位置関係が調整される。当該調整は、顕微鏡装置５１００の移動、試料載置部５１０４の移動、又は、これらの両方の移動により行われてよい。この例において、各分割スキャン領域の撮像を行う撮像装置は、１次元撮像素子（ラインセンサ）又は２次元撮像素子（エリアセンサ）であってよい。信号取得部５１０３は、拡大光学系を介して各分割領域を撮像してよい。また、各分割スキャン領域の撮像は、顕微鏡装置５１００及び／又は試料載置部５１０４を移動させながら連続的に行われてよい。各分割スキャン領域の一部が重なり合うように、前記撮像対象領域の分割が行われてよく、又は、重なり合わないように前記撮像対象領域の分割が行われてもよい。各分割スキャン領域は、焦点距離及び／又は露光時間などの撮像条件を変えて複数回撮像されてもよい。また、情報処理装置は、隣り合う複数の分割スキャン領域をスティッチングして、より広い領域の画像データを生成しうる。当該スティッチング処理を、撮像対象領域全体にわたって行うことで、撮像対象領域について、より広い領域の画像を取得することができる。また、分割スキャン領域の画像、またはスティッチング処理を行った画像から、より解像度の低い画像データを生成しうる。
　＜６．ハードウェアの構成例＞
　各実施形態（又は各変形例）に係る情報処理装置１００のハードウェアの構成例について図３０を参照して説明する。図３０は、情報処理装置１００のハードウェアの概略構成の一例を示すブロック図である。情報処理装置１００による各種処理は、例えば、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
　図３０に示すように、情報処理装置１００は、ＣＰＵ（Central　Processing　Unit）９０１、ＲＯＭ（Read　Only　Memory）９０２、ＲＡＭ（Random　Access　Memory）９０３及びホストバス９０４ａを備える。また、情報処理装置１００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３及びセンサ９１５を備える。情報処理装置１００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣなどの処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、情報処理装置１００の少なくとも処理部１３０及び制御部１５０を具現し得る。
　ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Peripheral　Component　Interconnect/Interface）バス等の外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
　入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、実施者によって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置１００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いて実施者により入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。実施者は、この入力装置９０６を操作することにより、情報処理装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。入力装置９０６は、例えば、情報処理装置１００の少なくとも操作部１６０を具現し得る。
　出力装置９０７は、取得した情報を実施者に対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音響出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置１００の少なくとも表示部１４０を具現し得る。
　ストレージ装置９０８は、データ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、情報処理装置１００の少なくとも保存部１２０を具現し得る。
　ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置１００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
　接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Universal　Serial　Bus）などによりデータ伝送可能な外部機器との接続口である。
　通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Local　Area　Network）、ＬＴＥ（Long　Term　Evolution）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Wireless　USB）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Asymmetric　Digital　Subscriber　Line）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。
　センサ９１５は、本実施形態においては、スペクトルを取得可能なセンサ（例えば、撮像素子等）を含むところ、他のセンサ（例えば、加速度センサ、ジャイロセンサ、地磁気センサ、感圧センサ、音センサ、または測距センサ等）を含んでもよい。センサ９１５は、例えば、情報処理装置１００の少なくとも画像取得部１１２を具現し得る。
　なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Local　Area　Network）、ＷＡＮ（Wide　Area　Network）などを含んでもよい。また、ネットワーク９２０は、ＩＰ－ＶＰＮ（Internet　Protocol-Virtual　Private　Network）などの専用回線網を含んでもよい。
　以上、情報処理装置１００の機能を実現可能なハードウェア構成例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本開示を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　なお、上記のような情報処理装置１００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等を含む。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　＜７．付記＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　バイオマーカに関するスペクトル情報をそれぞれ含む複数の画像を合算し、合算した画像の枚数で除算して補正用のガイド画像を生成するガイド画生成部を備える、
　情報処理装置。
（２）
　前記ガイド画像を用いて処理対象画像に対してノイズリダクション補正を行う補正部をさらに備える、
　上記（１）に記載の情報処理装置。
（３）
　前記補正部は、前記ノイズリダクション補正の前に、前記処理対象画像に対して外れ値処理を行う、
　上記（２）に記載の情報処理装置。
（４）
　前記ガイド画生成部は、前記複数の画像を合算して除算した後に画像処理を行う、
　上記（１）から（３）のいずれか一つに記載の情報処理装置。
（５）
　前記ガイド画生成部は、前記複数の画像を合算した後で除算する前に画像処理を行う、
　上記（１）から（３）のいずれか一つに記載の情報処理装置。
（６）
　前記ガイド画生成部は、前記複数の画像を合算する前に前記複数の画像に対して所定の陽性閾値以下の画素をゼロ化する処理を行う、
　上記（１）から（３）のいずれか一つに記載の情報処理装置。
（７）
　前記ガイド画生成部は、前記複数の画像に対して所定の陽性閾値以下の画素をゼロ化する処理を行い、前記複数の画像を合算して除算した後に画像処理を行う、
　上記（６）に記載の情報処理装置。
（８）
　前記ガイド画生成部は、前記複数の画像に対して所定の陽性閾値以下の画素をゼロ化する処理を行い、前記複数の画像を合算した後で除算する前に画像処理を行う、
　上記（６）に記載の情報処理装置。
（９）
　前記ガイド画生成部は、前記複数の画像のうち特定細胞腫に対応する画像のみを合算する、
　上記（１）から（３）のいずれか一つに記載の情報処理装置。
（１０）
　前記ガイド画生成部は、前記複数の画像のうち特定細胞腫に対応する前記画像のみを合算して除算した後に画像処理を行う、
　上記（９）に記載の情報処理装置。
（１１）
　前記ガイド画生成部は、前記複数の画像のうち特定細胞腫に対応する前記画像のみを合算した後で除算する前に画像処理を行う、
　上記（９）に記載の情報処理装置。
（１２）
　前記ガイド画生成部は、前記複数の画像のうち特定細胞腫に対応する前記画像に対して所定の陽性閾値以下の画素をゼロ化するゼロ埋め処理を行い、前記ゼロ埋め処理後の前記特定細胞腫に対応する前記画像のみを合算する、
　上記（９）に記載の情報処理装置。
（１３）
　前記ガイド画生成部は、前記ゼロ埋め処理後の前記特定細胞腫に対応する前記画像のみを合算して除算した後に画像処理を行う、
　上記（１２）に記載の情報処理装置。
（１４）
　前記ガイド画生成部は、前記ゼロ埋め処理後の前記特定細胞腫に対応する前記画像のみを合算した後で除算する前に画像処理を行う、
　上記（１２）に記載の情報処理装置。
（１５）
　前記ガイド画生成部は、処理対象画像に対する解析結果を重みとして用いて前記複数の画像を合算する、
　請求項（１）から（１４）のいずれか一つに記載の情報処理装置。
（１６）
　前記ガイド画生成部は、前記解析結果が比較対象の解析結果と同程度となるまで、解析結果を重みとして用いて前記複数の画像を合算することを繰り返す、
　上記（１５）に記載の情報処理装置。
（１７）
　前記複数の画像は、それぞれ色分離画像である、
　上記（１）から（１６）のいずれか一つに記載の情報処理装置。
（１８）
　前記ガイド画生成部は、ノイズ除去フィルタ及びエッジ強調フィルタを用いて前記画像処理を行う、
　上記（４）、（５）、（７）、（８）、（１０）、（１１）、（１３）又は（１４）に記載の情報処理装置。
（１９）
　バイオマーカに関するスペクトル情報をそれぞれ含む複数の画像を取得する撮像装置と、
　前記複数の画像を処理する情報処理装置と、
を備え、
　前記情報処理装置は、
　前記複数の画像を合算し、合算した画像の枚数で除算して補正用のガイド画像を生成するガイド画生成部を有する、
　生体試料観察システム。
（２０）
　バイオマーカに関するスペクトル情報をそれぞれ含む複数の画像を合算し、合算した画像の枚数で除算して補正用のガイド画像を生成する、
　画像生成方法。
（２１）
　上記（１）から（１８）のいずれか一つに記載の情報処理装置を備える生体試料観察システム。
（２２）
　上記（１）から（１８）のいずれか一つに記載の情報処理装置により画像を生成する画像生成方法。
　１　　　　　観察ユニット
　２　　　　　処理ユニット
　３　　　　　表示部
　１０　　　　励起部
　１０Ａ　　　蛍光試薬
　１１Ａ　　　試薬識別情報
　２０　　　　ステージ
　２０Ａ　　　標本
　２１　　　　記憶部
　２１Ａ　　　標本識別情報
　２２　　　　データ校正部
　２３　　　　画像形成部
　３０　　　　分光イメージング部
　３０Ａ　　　蛍光染色標本
　４０　　　　観察光学系
　５０　　　　走査機構
　６０　　　　フォーカス機構
　７０　　　　非蛍光観察部
　８０　　　　制御部
　１００　　　情報処理装置
　１１０　　　取得部
　１１１　　　情報取得部
　１１２　　　画像取得部
　１２０　　　保存部
　１２１　　　情報保存部
　１２２　　　画像情報保存部
　１２３　　　解析結果保存部
　１３０　　　処理部
　１３１　　　解析部
　１３２　　　画像生成部
　１３３　　　ガイド画生成部
　１３４　　　補正部
　１４０　　　表示部
　１５０　　　制御部
　１６０　　　操作部
　２００　　　データベース
　５００　　　蛍光観察装置
　１３１１　　連結部
　１３２１　　色分離部
　１３２１ａ　第１色分離部
　１３２１ｂ　第２色分離部
　１３２２　　スペクトル抽出部
　５０００　　顕微鏡システム
　５１００　　顕微鏡装置
　５１０１　　光照射部
　５１０２　　光学部
　５１０３　　信号取得部
　５１０４　　試料載置部
　５１１０　　制御部
　５１２０　　情報処理部

Claims (20)

  1. 　バイオマーカに関するスペクトル情報をそれぞれ含む複数の画像を合算し、合算した画像の枚数で除算して補正用のガイド画像を生成するガイド画生成部を備える、
    　情報処理装置。
  2. 　前記ガイド画像を用いて処理対象画像に対してノイズリダクション補正を行う補正部をさらに備える、
    　請求項１に記載の情報処理装置。
  3. 　前記補正部は、前記ノイズリダクション補正の前に、前記処理対象画像に対して外れ値処理を行う、
    　請求項２に記載の情報処理装置。
  4. 　前記ガイド画生成部は、前記複数の画像を合算して除算した後に画像処理を行う、
    　請求項１に記載の情報処理装置。
  5. 　前記ガイド画生成部は、前記複数の画像を合算した後で除算する前に画像処理を行う、
    　請求項１に記載の情報処理装置。
  6. 　前記ガイド画生成部は、前記複数の画像を合算する前に前記複数の画像に対して所定の陽性閾値以下の画素をゼロ化する処理を行う、
    　請求項１に記載の情報処理装置。
  7. 　前記ガイド画生成部は、前記複数の画像に対して所定の陽性閾値以下の画素をゼロ化する処理を行い、前記複数の画像を合算して除算した後に画像処理を行う、
    　請求項６に記載の情報処理装置。
  8. 　前記ガイド画生成部は、前記複数の画像に対して所定の陽性閾値以下の画素をゼロ化する処理を行い、前記複数の画像を合算した後で除算する前に画像処理を行う、
    　請求項６に記載の情報処理装置。
  9. 　前記ガイド画生成部は、前記複数の画像のうち特定細胞腫に対応する画像のみを合算する、
    　請求項１に記載の情報処理装置。
  10. 　前記ガイド画生成部は、前記複数の画像のうち特定細胞腫に対応する前記画像のみを合算して除算した後に画像処理を行う、
    　請求項９に記載の情報処理装置。
  11. 　前記ガイド画生成部は、前記複数の画像のうち特定細胞腫に対応する前記画像のみを合算した後で除算する前に画像処理を行う、
    　請求項９に記載の情報処理装置。
  12. 　前記ガイド画生成部は、前記複数の画像のうち特定細胞腫に対応する前記画像に対して所定の陽性閾値以下の画素をゼロ化するゼロ埋め処理を行い、前記ゼロ埋め処理後の前記特定細胞腫に対応する前記画像のみを合算する、
    　請求項９に記載の情報処理装置。
  13. 　前記ガイド画生成部は、前記ゼロ埋め処理後の前記特定細胞腫に対応する前記画像のみを合算して除算した後に画像処理を行う、
    　請求項１２に記載の情報処理装置。
  14. 　前記ガイド画生成部は、前記ゼロ埋め処理後の前記特定細胞腫に対応する前記画像のみを合算した後で除算する前に画像処理を行う、
    　請求項１２に記載の情報処理装置。
  15. 　前記ガイド画生成部は、処理対象画像に対する解析結果を重みとして用いて前記複数の画像を合算する、
    　請求項１に記載の情報処理装置。
  16. 　前記ガイド画生成部は、前記解析結果が比較対象の解析結果と同程度となるまで、解析結果を重みとして用いて前記複数の画像を合算することを繰り返す、
    　請求項１５に記載の情報処理装置。
  17. 　前記複数の画像は、それぞれ色分離画像である、
    　請求項１に記載の情報処理装置。
  18. 　前記ガイド画生成部は、ノイズ除去フィルタ及びエッジ強調フィルタを用いて前記画像処理を行う、
    　請求項４に記載の情報処理装置。
  19. 　バイオマーカに関するスペクトル情報をそれぞれ含む複数の画像を取得する撮像装置と、
    　前記複数の画像を処理する情報処理装置と、
    を備え、
    　前記情報処理装置は、
    　前記複数の画像を合算し、合算した画像の枚数で除算して補正用のガイド画像を生成するガイド画生成部を有する、
    　生体試料観察システム。
  20. 　バイオマーカに関するスペクトル情報をそれぞれ含む複数の画像を合算し、合算した画像の枚数で除算して補正用のガイド画像を生成する、
    　画像生成方法。
PCT/JP2023/002215 2022-02-07 2023-01-25 情報処理装置、生体試料観察システム及び画像生成方法 WO2023149296A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-017079 2022-02-07
JP2022017079 2022-02-07

Publications (1)

Publication Number Publication Date
WO2023149296A1 true WO2023149296A1 (ja) 2023-08-10

Family

ID=87552227

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/002215 WO2023149296A1 (ja) 2022-02-07 2023-01-25 情報処理装置、生体試料観察システム及び画像生成方法

Country Status (1)

Country Link
WO (1) WO2023149296A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009042197A (ja) * 2007-08-13 2009-02-26 Topcon Corp 光画像計測装置
JP2017208016A (ja) * 2016-05-20 2017-11-24 三菱電機株式会社 移動体検出装置、観測システム及び移動体検出方法
JP2020504289A (ja) * 2016-10-20 2020-02-06 オプティナ ダイアグノスティクス，インコーポレイテッド 生体組織内の異常を検出するための方法及びシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009042197A (ja) * 2007-08-13 2009-02-26 Topcon Corp 光画像計測装置
JP2017208016A (ja) * 2016-05-20 2017-11-24 三菱電機株式会社 移動体検出装置、観測システム及び移動体検出方法
JP2020504289A (ja) * 2016-10-20 2020-02-06 オプティナ ダイアグノスティクス，インコーポレイテッド 生体組織内の異常を検出するための方法及びシステム

Similar Documents

Publication Publication Date Title
CA2774422C (en) Multi-modality contrast and brightfield context rendering for enhanced pathology determination and multi-analyte detection in tissue
US10580128B2 (en) Whole slide multispectral imaging systems and methods
US6337472B1 (en) Light imaging microscope having spatially resolved images
Krafft et al. Advances in optical biopsy–correlation of malignancy and cell density of primary brain tumors using Raman microspectroscopic imaging
US8013991B2 (en) Raman difference spectra based disease classification
JP5185151B2 (ja) 顕微鏡観察システム
US7956996B2 (en) Distinguishing between invasive ductal carcinoma and invasive lobular carcinoma using raman molecular imaging
US11668653B2 (en) Raman-based immunoassay systems and methods
JP2021529951A (ja) 画像データを組み合わせることによる染色組織試料の合成画像の作成
WO2021177004A1 (ja) 顕微鏡装置、画像取得システム、及び画像取得方法
WO2022004500A1 (ja) 情報処理装置、情報処理方法、プログラム、顕微鏡システム及び解析システム
WO2023149296A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
WO2022249583A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
WO2023276219A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
JP7090171B2 (ja) 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム
WO2023157756A1 (ja) 情報処理装置、生体試料解析システム及び生体試料解析方法
WO2023157755A1 (ja) 情報処理装置、生体試料解析システム及び生体試料解析方法
WO2023189393A1 (ja) 生体試料観察システム、情報処理装置及び画像生成方法
WO2023248954A1 (ja) 生体試料観察システム、生体試料観察方法及びデータセット作成方法
WO2022209443A1 (ja) 医療用画像解析装置、医療用画像解析方法及び医療用画像解析システム
EP4318402A1 (en) Information processing device, information processing method, information processing system and conversion model
Bedard Multi-modal imaging techniques for early cancer diagnostics
JP2024061696A (ja) 医療用画像解析装置、医療用画像解析方法及び医療用画像解析システム
CN116887760A (zh) 医用图像处理设备、医用图像处理方法和程序

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23749612

Country of ref document: EP

Kind code of ref document: A1