WO2022004500A1 - 情報処理装置、情報処理方法、プログラム、顕微鏡システム及び解析システム - Google Patents

情報処理装置、情報処理方法、プログラム、顕微鏡システム及び解析システム Download PDF

Info

Publication number
WO2022004500A1
WO2022004500A1 PCT/JP2021/023679 JP2021023679W WO2022004500A1 WO 2022004500 A1 WO2022004500 A1 WO 2022004500A1 JP 2021023679 W JP2021023679 W JP 2021023679W WO 2022004500 A1 WO2022004500 A1 WO 2022004500A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
component
fluorescent
autofluorescent
fluorescence
Prior art date
Application number
PCT/JP2021/023679
Other languages
English (en)
French (fr)
Inventor
亜衣 後藤
和博 中川
友彦 中村
憲治 池田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2022533896A priority Critical patent/JPWO2022004500A1/ja
Priority to US18/011,827 priority patent/US20230243839A1/en
Priority to EP21831481.3A priority patent/EP4174554A4/en
Publication of WO2022004500A1 publication Critical patent/WO2022004500A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/58—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving labelled substances
    • G01N33/582—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving labelled substances with fluorescent label
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N2021/6417—Spectrofluorimetric devices
    • G01N2021/6419—Excitation at two or more wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N2021/6417—Spectrofluorimetric devices
    • G01N2021/6421—Measuring at two or more wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • This disclosure relates to an information processing apparatus, an information processing method, a program, a microscope system and an analysis system.
  • the accuracy of measurement of fluorescence intensity reflecting the amount of antibody may be affected by autofluorescence or the like. Even when the autofluorescent component is removed from the captured image of the stained tissue section by color separation using a spectrum, it is impossible to completely eliminate the autofluorescent component remaining in the stained fluorescent image obtained by this color separation. rice field.
  • this disclosure is made in view of the above circumstances, and proposes an information processing device, an information processing method, a program, a microscope system, and an analysis system that can improve the analysis accuracy in fluorescence observation.
  • a fluorescent image observed from a sample labeled with one or more fluorescent dyes is a fluorescent component image containing one or more fluorescent components and an autofluorescent image containing one or more autofluorescent components.
  • a separation unit that separates into a component image, a generation unit that generates an autofluorescence component-corrected image using the reference spectra of one or more autofluorescent substances contained in the sample, and the autofluorescence component image, and the autofluorescence. It includes a processing unit that processes the fluorescent component image based on the component corrected image.
  • FIG. 1 It is a figure which shows an example of the autofluorescent component image generated in step S103 of FIG. It is a figure which shows an example of the autofluorescence reference spectrum included in the sample information acquired in step S102 of FIG. It is a figure for demonstrating step S112 of FIG. It is a figure for demonstrating step S114 of FIG. It is a flowchart for demonstrating the extraction process and the analysis of the analysis target area which concerns on the comparative example of 1st Embodiment. It is a schematic diagram for demonstrating the extraction process and the analysis of the analysis target area which concerns on the comparative example shown in FIG. It is a flowchart for demonstrating the extraction process and the analysis of the analysis target area which concerns on 1st Embodiment. FIG.
  • FIG. 14 is a schematic diagram for explaining the extraction process of the analysis target region and the analysis thereof according to the present embodiment shown in FIG. It is a flowchart for demonstrating the extraction process and the analysis of the analysis target area which concerns on 2nd Embodiment. It is a schematic diagram for demonstrating the extraction process and the analysis of the analysis target area which concerns on this Embodiment shown in FIG. It is a flowchart for demonstrating the generation process and the analysis of the spectrum intensity ratio image which concerns on 3rd Embodiment. It is a figure for demonstrating the 1st generation method which concerns on 3rd Embodiment. It is a figure for demonstrating the 2nd generation method which concerns on 3rd Embodiment.
  • FIG. 1 It is a flowchart for demonstrating the generation process of the fluorescence component image using the machine learning which concerns on 4th Embodiment. It is a schematic diagram for demonstrating the generation process of the fluorescence component image using the machine learning which concerns on this embodiment shown in FIG. It is a figure which shows an example of the measurement system of the information processing system which concerns on embodiment. It is a figure for demonstrating the method of calculating the number of fluorescent molecules (or the number of antibodies) in 1 pixel which concerns on embodiment. It is a block diagram which shows the hardware configuration example of the information processing apparatus which concerns on each embodiment and a modification.
  • a multi-channel image (number of pixels ⁇ wavelength channel (CH)) obtained by exciting a pathological specimen section stained with immunohistochemically with excitation light of a plurality of wavelengths and imaging with an imaging device for fluorescence separation. )) Is related to image processing after performing color separation processing.
  • CH wavelength channel
  • the multi-channel image in the present disclosure includes a plurality of wavelength channels (however, a single wavelength channel) such as a stained sample image, a fluorescent component image, a fluorescent component corrected image, a self-fluorescent component image, and a self-fluorinated component corrected image described later.
  • Can include various images of a data cube structure composed of image data (which does not exclude). Therefore, the fluorescence component image, the fluorescence component correction image, the autofluorescence component image, and the autofluorescence component correction image are not limited to the image data of the fluorescence component or the autofluorescence component of a single wavelength channel, respectively, and are of a plurality of wavelength channels. It may be a spectral image composed of a fluorescent component or an autofluorescent component. Further, the fluorescence component and the autofluorescence component in the present description mean the wavelength component of fluorescence or autofluorescence in the multi-channel image obtained by imaging with an imaging device.
  • spectral information derived from an autofluorescent substance (hereinafter referred to as an autofluorescent component or an autofluorescent spectrum) is obtained by color separation using a spectrum from an captured image (hereinafter referred to as a stained sample image) of a stained tissue section (hereinafter also referred to as a stained section). ) Is executed (hereinafter referred to as color separation processing), it is impossible to completely eliminate the autofluorescent component contained in the stained sample image (referred to as fluorescent component image) after the color separation processing. This has been a factor that causes problems such as hindering the quantification of the amount of dye antibody distributed in the analysis target region in the stained sample image.
  • the autofluorescent component extracted from the stained specimen image by the color separation treatment and the spectral information derived from the fluorescent substance (fluorescent component, also referred to as the fluorescence spectrum) obtained by the color separation treatment are used.
  • An image (autofluorescent component corrected image) in which the spectral intensity of autofluorescence is calculated is generated from the composed fluorescent component image (also referred to as an antibody number image).
  • the brightness threshold processing of the stained sample image is performed using the autofluorescent component corrected image generated from the stained sample image. This makes it possible to extract a region having a specific signal of a fluorescent substance (also referred to as a stained fluorescent dye) that is distinguished from autofluorescence.
  • a fluorescent substance also referred to as a stained fluorescent dye
  • an image in which the spectral intensity of fluorescence is calculated is generated from the fluorescent component derived from the fluorescent substance obtained by the color separation treatment and the fluorescent component image.
  • the relative ratio between the spectral intensity derived from the fluorescent substance and the spectral intensity derived from the self-fluorescent substance is calculated. This makes it possible to evaluate the color separation accuracy and the designed fluorescent dye antibody panel.
  • Patent Document 1 proposes a method of setting a threshold value based on the difference in pixel luminance value and extracting an object, but there is a correlation between the difference in luminance value and the presence or absence of molecular expression. Since it cannot be said that there is, it may not be appropriate to extract the target by such a method. On the other hand, in the following embodiment, since the target region is extracted using the autofluorescent component-corrected image in which the correlation between the difference in the luminance value and the presence / absence of the expression of the molecule is recognized, the target region is appropriately extracted. Is possible.
  • the area using continuous sections of the same tissue block, but even if continuous sections are used, the image taken of the area shifted by several ⁇ m in the optical axis direction is used, so it is not possible. It may be affected by spatial differences in the distribution morphology and signal intensity of cells and autofluorescent substances between the stained section and the stained section.
  • the autofluorescent component corrected image is generated based on the spectral information of the autofluorescent substance extracted from the stained section itself, the conditions such as the autofluorescent substance are spatially the same. It is possible to quantify the stained sample image with.
  • the information processing system according to the present embodiment includes an information processing apparatus 100 and a database 200, and as inputs to the information processing system, a fluorescent reagent 10, a sample 20, and a fluorescent stained sample 30 are provided. And exists.
  • the fluorescent reagent 10 is a chemical used for staining the specimen 20.
  • the fluorescent reagent 10 is, for example, a fluorescent antibody (including a primary antibody used for direct labeling or a secondary antibody used for indirect labeling), a fluorescent probe, a nuclear staining reagent, or the like. The types are not limited to these.
  • the fluorescent reagent 10 is managed with identification information (hereinafter referred to as "reagent identification information 11") that can identify the fluorescent reagent 10 (or the production lot of the fluorescent reagent 10).
  • the reagent identification information 11 is, for example, bar code information or the like (one-dimensional bar code information, two-dimensional bar code information, or the like), but is not limited thereto.
  • the fluorescent reagent 10 Even if the fluorescent reagent 10 is the same product, its properties differ depending on the production lot, depending on the production method, the state of the cells from which the antibody has been obtained, and the like.
  • the wavelength spectrum (fluorescence spectrum), quantum yield, fluorescence labeling rate, etc. of fluorescence are different for each production lot. Therefore, in the information processing system according to the present embodiment, the fluorescent reagent 10 is managed for each production lot by attaching the reagent identification information 11. As a result, the information processing apparatus 100 can perform fluorescence separation in consideration of slight differences in properties that appear for each production lot.
  • the specimen 20 is prepared from a specimen or a tissue sample collected from a human body for the purpose of pathological diagnosis or the like.
  • the specimen 20 may be a tissue section, cells or fine particles, and for the specimen 20, the type of tissue (eg, organ, etc.) used, the type of target disease, the attributes of the subject (eg, age, gender, blood type, etc.) Or race, etc.), or the lifestyle habits of the subject (eg, eating habits, exercise habits, smoking habits, etc.) are not particularly limited.
  • the tissue section was sampled from, for example, an unstained section of the tissue section to be stained (hereinafter, simply referred to as a section), a section adjacent to the stained section, and the same block (same place as the stained section).
  • specimen 20 may include sections that are different from the stained section in (s), sections in different blocks (sampled from different locations than the stained sections) in the same tissue, sections taken from different patients, and the like.
  • specimen identification information 21 is, for example, bar code information (one-dimensional bar code information, two-dimensional bar code information, etc.), but is not limited thereto.
  • the properties of the specimen 20 differ depending on the type of tissue used, the type of target disease, the attributes of the subject, the lifestyle of the subject, and the like.
  • the measurement channel or the wavelength spectrum of autofluorescence (autofluorescence spectrum) or the like differs depending on the type of tissue used or the like. Therefore, in the information processing system according to the present embodiment, the specimen 20 is individually managed by being attached with the specimen identification information 21. As a result, the information processing apparatus 100 can perform fluorescence separation in consideration of the slight difference in properties that appears for each sample 20.
  • the fluorescence-stained specimen 30 is prepared by staining the specimen 20 with the fluorescent reagent 10.
  • the fluorescent-stained specimen 30 assumes that the specimen 20 is stained with one or more fluorescent reagents 10, and the number of fluorescent reagents 10 used for staining is not particularly limited.
  • the staining method is determined by the combination of the specimen 20 and the fluorescent reagent 10, and is not particularly limited.
  • the information processing apparatus 100 includes an acquisition unit 110, a storage unit 120, a processing unit 130, a display unit 140, a control unit 150, and an operation unit 160.
  • the information processing apparatus 100 may include, for example, a fluorescence microscope and the like, but is not necessarily limited to this, and may include various apparatus.
  • the information processing device 100 may be a PC (Personal Computer) or the like.
  • the acquisition unit 110 is configured to acquire information used for various processes of the information processing apparatus 100. As shown in FIG. 1, the acquisition unit 110 includes an information acquisition unit 111 and a fluorescence signal acquisition unit 112.
  • the information acquisition unit 111 is configured to acquire information regarding the fluorescent reagent 10 (hereinafter referred to as “reagent information”) and information regarding the sample 20 (hereinafter referred to as “sample information”). More specifically, the information acquisition unit 111 acquires the reagent identification information 11 attached to the fluorescent reagent 10 used to generate the fluorescently stained specimen 30, and the specimen identification information 21 attached to the specimen 20. For example, the information acquisition unit 111 acquires the reagent identification information 11 and the sample identification information 21 using a barcode reader or the like. Then, the information acquisition unit 111 acquires the reagent information from the database 200 based on the reagent identification information 11 and the sample information based on the sample identification information 21. The information acquisition unit 111 stores these acquired information in the information storage unit 121, which will be described later.
  • the sample information includes information on the autofluorescence spectrum (hereinafter, also referred to as an autofluorescence reference spectrum) of one or more autofluorescent substances in the sample 20, and the reagent information includes a fluorescence-stained sample. It is assumed that information regarding the fluorescence spectrum of the fluorescent substance in No. 30 (hereinafter, also referred to as a fluorescence reference spectrum) is included.
  • the autofluorescence reference spectrum and the fluorescence reference spectrum are also collectively referred to as "reference spectrum”.
  • the fluorescence signal acquisition unit 112 is a plurality of fluorescent signal acquisition units 112 when a plurality of excitation lights having different wavelengths are irradiated to the fluorescence-stained sample 30 (prepared by staining the sample 20 with the fluorescence reagent 10). It is a configuration that acquires a plurality of fluorescence signals corresponding to each of the excitation lights. More specifically, the fluorescence signal acquisition unit 112 receives light and outputs a detection signal according to the amount of the received light, so that the data is composed of the fluorescence spectrum of the fluorescence-stained sample 30 based on the detection signal. Acquire a cube (hereinafter referred to as a stained sample image).
  • the content of the excitation light (including the excitation wavelength, the intensity, etc.) is determined based on the reagent information and the like (in other words, the information regarding the fluorescent reagent 10 and the like).
  • the fluorescence signal referred to here is not particularly limited as long as it is a signal derived from fluorescence, and the fluorescence spectrum is merely an example thereof. In this description, the case where the fluorescence signal is a fluorescence spectrum is illustrated.
  • a to D in FIG. 2 are specific examples of the fluorescence spectrum acquired by the fluorescence signal acquisition unit 112.
  • the fluorescently stained specimen 30 contains four types of fluorescent substances, DAPI, CK / AF488, PgR / AF594, and ER / AF647, and each has an excitation wavelength of 392 [nm] (FIG. 2).
  • the fluorescence signal acquisition unit 112 stores a stained sample image composed of the acquired fluorescence spectrum in the fluorescence signal storage unit 122, which will be described later.
  • the storage unit 120 is configured to store information used for various processes of the information processing apparatus 100 or information output by various processes. As shown in FIG. 1, the storage unit 120 includes an information storage unit 121 and a fluorescence signal storage unit 122.
  • the information storage unit 121 is configured to store the reagent information and the sample information acquired by the information acquisition unit 111.
  • the fluorescence signal storage unit 122 is configured to store the fluorescence signal of the fluorescence-stained specimen 30 acquired by the fluorescence signal acquisition unit 112.
  • the processing unit 130 is configured to perform various processing including color separation processing. As shown in FIG. 1, the processing unit 130 includes a separation processing unit 132 and an image generation unit 133.
  • the separation processing unit 132 has a configuration for separating the stained sample image into the fluorescence spectrum for each fluorescent substance. As described later, the autofluorescent spectrum is extracted from the input stained sample image, and the extracted autofluorescent spectrum is used. Generates an autofluorescent component corrected image (generation unit). Then, the separation processing unit 132 executes the color separation processing of the stained sample image using the generated autofluorescent component corrected image (separation unit).
  • the separation processing unit 132 can function as a generation unit, a separation unit, a correction unit, and an image generation unit in the claims.
  • LSM least squares method
  • WLSM weighted least squares method
  • NMF non-negative matrix factorization
  • SMD singular value decomposition
  • PCA principal component analysis
  • the operation unit 160 is configured to receive an operation input from the implementer. More specifically, the operation unit 160 includes various input means such as a keyboard, a mouse, a button, a touch panel, or a microphone, and the practitioner operates the input means to the information processing apparatus 100. Various inputs can be made. Information regarding the operation input performed via the operation unit 160 is provided to the control unit 150.
  • the database 200 is a device for managing reagent information, sample information, and the like. More specifically, the database 200 manages the reagent identification information 11 and the reagent information, and the sample identification information 21 and the sample information in association with each other. As a result, the information acquisition unit 111 can acquire reagent information from the database 200 based on the reagent identification information 11 of the fluorescent reagent 10 and sample information based on the sample identification information 21 of the sample 20.
  • the reagent information managed by the database 200 is information including, but not necessarily limited to, the measurement channel and the fluorescence reference spectrum peculiar to the fluorescent substance possessed by the fluorescent reagent 10.
  • the "measurement channel” is a concept indicating a fluorescent substance contained in the fluorescent reagent 10. Since the number of fluorescent substances varies depending on the fluorescent reagent 10, the measurement channel is managed by being associated with each fluorescent reagent 10 as reagent information. Further, the fluorescence reference spectrum included in the reagent information is the fluorescence spectrum of each of the fluorescent substances contained in the measurement channel as described above.
  • the sample information managed by the database 200 is information including the measurement channel peculiar to the autofluorescent substance and the autofluorescent reference spectrum possessed by the sample 20 (not necessarily limited to these).
  • "Measurement channel” is a concept indicating an autofluorescent substance contained in a specimen 20, and in the example of FIG. 8, it is a concept referring to Hemoglobin, ArchidonicAcid, Catalase, Collagen, FAD, NADPH, and ProLongDiamond. Since the number of autofluorescent substances varies depending on the sample 20, the measurement channel is managed by being associated with each sample 20 as sample information. Further, the autofluorescence reference spectrum included in the sample information is the autofluorescence spectrum of each autofluorescent substance included in the measurement channel as described above. The information managed in the database 200 is not necessarily limited to the above.
  • the configuration example of the information processing system according to this embodiment has been described above.
  • the above configuration described with reference to FIG. 1 is merely an example, and the configuration of the information processing system according to the present embodiment is not limited to such an example.
  • the information processing apparatus 100 may not necessarily include all of the configurations shown in FIG. 1, or may include configurations not shown in FIG.
  • the information processing system may include an image pickup device (including, for example, a scanner) that acquires a fluorescence spectrum, and an information processing device that performs processing using the fluorescence spectrum.
  • the fluorescence signal acquisition unit 112 shown in FIG. 1 may be realized by an image pickup apparatus, and other configurations may be realized by an information processing apparatus.
  • the information processing system according to the present embodiment may include an image pickup device for acquiring a fluorescence spectrum and software used for processing using the fluorescence spectrum.
  • the information processing system does not have to have a physical configuration (for example, a memory, a processor, etc.) for storing or executing the software.
  • the 1 may be realized by an image pickup apparatus, and other configurations may be realized by an information processing apparatus in which the software is executed. Then, the software is provided to the information processing apparatus via a network (for example, from a website or a cloud server), or is provided to the information processing apparatus via an arbitrary storage medium (for example, a disk or the like).
  • the information processing device on which the software is executed may be various servers (for example, a cloud server or the like), a general-purpose computer, a PC, a tablet PC, or the like.
  • the method by which the software is provided to the information processing device and the type of the information processing device are not limited to the above. Further, it should be noted that the configuration of the information processing system according to the present embodiment is not necessarily limited to the above, and a configuration that can be conceived by a person skilled in the art can be applied based on the technical level at the time of use.
  • the information processing system described above may be realized as, for example, a microscope system. Therefore, subsequently, with reference to FIG. 5, a configuration example of the microscope system in the case where the information processing system according to the present embodiment is realized as a microscope system will be described.
  • the microscope system includes a microscope 101 and a data processing unit 107.
  • the microscope 101 includes a stage 102, an optical system 103, a light source 104, a stage drive unit 105, a light source drive unit 106, and a fluorescence signal acquisition unit 112.
  • the stage 102 has a mounting surface on which the fluorescently stained specimen 30 can be mounted, and is driven by the stage driving unit 105 in a parallel direction (xy plane direction) and a vertical direction (z-axis direction) with respect to the mounting surface. ) It is said that it can be moved.
  • the fluorescently stained specimen 30 has a thickness of, for example, several ⁇ m to several tens of ⁇ m in the Z direction, is sandwiched between a slide glass SG and a cover glass (not shown), and is fixed by a predetermined fixing method.
  • the optical system 103 is arranged above the stage 102.
  • the optical system 103 includes an objective lens 103A, an imaging lens 103B, a dichroic mirror 103C, an emission filter 103D, and an excitation filter 103E.
  • the light source 104 is, for example, a light bulb such as a mercury lamp, an LED (Light Emitting Diode), or the like, and is driven by the light source driving unit 106 to irradiate the fluorescent label attached to the fluorescent dyed sample 30 with excitation light.
  • the excitation filter 103E When the fluorescence image of the fluorescence-stained sample 30 is obtained, the excitation filter 103E generates excitation light by transmitting only the light having an excitation wavelength that excites the fluorescent dye among the light emitted from the light source 104.
  • the dichroic mirror 103C reflects the excitation light transmitted and incident by the excitation filter and guides it to the objective lens 103A.
  • the objective lens 103A collects the excitation light on the fluorescence-stained specimen 30. Then, the objective lens 103A and the imaging lens 103B magnify the image of the fluorescence-stained specimen 30 to a predetermined magnification, and form the magnified image on the imaging surface of the fluorescence signal acquisition unit 112.
  • the staining agent bound to each tissue of the fluorescence-stained specimen 30 emits fluorescence.
  • This fluorescence passes through the dichroic mirror 103C via the objective lens 103A and reaches the imaging lens 103B via the emission filter 103D.
  • the emission filter 103D absorbs the light transmitted through the excitation filter 103E magnified by the objective lens 103A and transmits only a part of the colored light.
  • the image of the color-developed light from which the external light is lost is magnified by the imaging lens 103B and imaged on the fluorescence signal acquisition unit 112.
  • the data processing unit 107 drives the light source 104, acquires a fluorescence image of the fluorescence-stained specimen 30 using the fluorescence signal acquisition unit 112, and performs various processing using the fluorescence image acquisition unit 112. More specifically, the data processing unit 107 is described with reference to FIG. 1, the information acquisition unit 111, the storage unit 120, the processing unit 130, the display unit 140, the control unit 150, and the operation unit 160 of the information processing apparatus 100. , Or as a configuration of part or all of the database 200.
  • the data processing unit 107 functions as the control unit 150 of the information processing apparatus 100 to control the driving of the stage driving unit 105 and the light source driving unit 106, and to control the acquisition of the spectrum by the fluorescence signal acquisition unit 112. Or something.
  • the data processing unit 107 functions as the processing unit 130 of the information processing apparatus 100 to generate a fluorescence spectrum, separate the fluorescence spectrum for each fluorescent substance, and generate image information based on the separation result. Or something.
  • the configuration example of the microscope system in the case where the information processing system according to the present embodiment is realized as a microscope system has been described above.
  • the above configuration described with reference to FIG. 5 is merely an example, and the configuration of the microscope system according to the present embodiment is not limited to such an example.
  • the microscope system may not necessarily include all of the configurations shown in FIG. 5, or may include configurations not shown in FIG.
  • the minimum square method is to calculate the color mixing ratio by fitting a reference spectrum to a fluorescence spectrum which is a pixel value of each pixel in an input stained sample image.
  • the color mixing ratio is an index showing the degree to which each substance is mixed.
  • the following equation (1) is a reference spectrum (St) from the fluorescence spectrum (Signal). It is an equation expressing the residual obtained by subtracting the color-mixed spectrum of the fluorescence reference spectrum and the autofluorescence reference spectrum at the color mixing ratio a.
  • the "Signal (1 x number of channels)" in the formula (1) indicates that the fluorescence spectrum (Signal) exists as many as the number of channels having a wavelength.
  • Signal is a matrix representing one or more fluorescence spectra.
  • St number of substances x number of channels
  • a (1 x number of substances) indicates that a color mixing ratio a is provided for each substance (fluorescent substance and autofluorescent substance).
  • a is a matrix representing the color mixing ratio of each reference spectrum in the fluorescence spectrum.
  • the separation processing unit 132 calculates the color mixing ratio a of each substance that minimizes the sum of squares of the residual formula (1).
  • the sum of squares of the residuals is minimized when the result of the partial differential with respect to the color mixing ratio a is 0 for the equation (1) expressing the residuals. Therefore, the separation processing unit 132 uses the following equation ( By solving 2), the color mixing ratio a of each substance that minimizes the sum of squares of the residuals is calculated.
  • “St'" in the equation (2) indicates the transposed matrix of the reference spectrum St. Further, "inv (St * St')" indicates an inverse matrix of St * St'.
  • the separation processing unit 132 may extract the spectrum of each fluorescent substance from the fluorescence spectrum by performing a calculation related to the weighted least squares method (Weighted Last Squares Method) instead of the least squares method. ..
  • the weighted least squares method the measured value, the noise of the fluorescence spectrum (Signal), is weighted so as to emphasize the error of the low signal level by utilizing the fact that the noise has a Poisson distribution.
  • the upper limit value at which weighting is not performed by the weighted least squares method is used as the Offset value.
  • the Offset value is determined by the characteristics of the sensor used for the measurement, and needs to be optimized separately when the image sensor is used as the sensor.
  • each element (each component) of St represented by a matrix is divided (in other words, each component) by each corresponding element (each component) in the "Signal + Offset value" also represented by a matrix. , Element division) means to calculate St_.
  • NMF non-negative matrix factorization
  • SMD singular value decomposition
  • PCA principal component analysis
  • FIG. 3 is a diagram illustrating an outline of NMF.
  • the NMF uses a non-negative N-row M-column (N ⁇ M) matrix A, a non-negative N-row k-column (N ⁇ k) matrix W, and a non-negative k-row M column (k). It is decomposed into the matrix H of ⁇ M).
  • the matrix W and the matrix H are determined so that the mean square residual D between the matrix A and the product (W * H) of the matrix W and the matrix H is minimized.
  • the matrix A corresponds to the spectrum before the autofluorescence reference spectrum is extracted (N is the number of pixels and M is the number of wavelength channels), and the matrix H is the extracted autofluorescence.
  • NMF For factorization in NMF, an iterative method starting with a random initial value for the matrix W and the matrix H is used.
  • the value of k (the number of autofluorescent reference spectra) is mandatory, but the initial values of the matrix W and the matrix H are not mandatory and can be set as options, and when the initial values of the matrix W and the matrix H are set.
  • the solution is constant.
  • the initial values of the matrix W and the matrix H are not set, these initial values are set at random and the solution is not constant.
  • the specimen 20 has different properties depending on the type of tissue used, the type of target disease, the attributes of the subject, the lifestyle of the subject, and the like, and the autofluorescence spectrum also differs. Therefore, the information processing apparatus 100 according to the second embodiment can realize more accurate color separation processing by actually measuring the autofluorescence reference spectrum for each sample 20 as described above.
  • clustering for example, among stained images, spectra similar in the wavelength direction and the intensity direction are classified into the same class. As a result, an image having a smaller number of pixels than the stained image is generated, so that the scale of the matrix A'using this image as an input can be reduced.
  • the image generation unit 133 is configured to generate image information based on the separation result of the fluorescence spectrum by the separation processing unit 132. For example, the image generation unit 133 generates image information using a fluorescence spectrum corresponding to one or more fluorescent substances, or generates image information using an autofluorescence spectrum corresponding to one or more autofluorescent substances. Can be generated.
  • the number and combination of fluorescent substances (molecules) or autofluorescent substances (molecules) used by the image generation unit 133 to generate image information are not particularly limited. Further, when various processes (for example, segmentation or calculation of S / N value) are performed using the fluorescence spectrum after separation or the autofluorescence spectrum, the image generation unit 133 is an image showing the results of those processes. Information may be generated.
  • the display unit 140 is configured to present the image information generated by the image generation unit 133 to the practitioner by displaying it on the display.
  • the type of display used as the display unit 140 is not particularly limited. Further, although not described in detail in the present embodiment, the image information generated by the image generation unit 133 may be projected by the projector or printed by the printer and presented to the practitioner (in other words, an image).
  • the information output method is not particularly limited).
  • the control unit 150 has a functional configuration that comprehensively controls all the processing performed by the information processing apparatus 100.
  • the control unit 150 may perform various processes as described above (for example, an adjustment process of the placement position of the fluorescent stained sample 30, a fluorescent stained sample, etc., based on an operation input by the practitioner performed via the operation unit 160. 30 is controlled to start or end the excitation light irradiation processing, spectrum acquisition processing, autofluorescence component correction image generation processing, color separation processing, image information generation processing, image information display processing, etc.).
  • the control content of the control unit 150 is not particularly limited.
  • the control unit 150 may control a process generally performed in a general-purpose computer, a PC, a tablet PC, or the like (for example, a process related to an OS (Operating System)).
  • the stained sample image is color-separated.
  • a pseudo autofluorescent component image (autofluorescent component corrected image) is generated using the spectral information (autofluorescent component (spectrum)) derived from the autofluorescent substance obtained during processing, and this is used to generate a stained sample image. Enables quantitative analysis.
  • an autofluorescent component-corrected image is generated using the corresponding autofluorescent reference spectrum, and the autofluorescent component-corrected image is used.
  • a color-separated fluorescent component image is generated with higher accuracy.
  • the generated fluorescent component image may be displayed on the display unit 140, or may be subjected to predetermined processing (analysis processing, etc.) by the processing unit 130 or other configuration (for example, an analysis device connected via a network). ) May be executed.
  • the predetermined treatment may be, for example, a treatment such as detection of a specific cell.
  • FIG. 6 is a flowchart showing an example of basic operation of the information processing system according to the present embodiment. The following operations are executed, for example, by operating each unit under the control of the control unit 150.
  • the information acquisition unit 111 of the acquisition unit 110 acquires a stained sample image by imaging the fluorescent stained sample 30 (step S101).
  • the stained sample image acquired in this manner is stored in, for example, the information storage unit 121 in the storage unit 120.
  • the information acquisition unit 111 acquires reagent information and sample information from the database 200 connected via the network (step S102).
  • the sample information includes information regarding the autofluorescence reference spectrum of one or more autofluorescent substances in the sample 20, and the reagent information relates to the fluorescence reference spectrum of the fluorescent substance in the fluorescence-stained sample 30. Contains information.
  • the acquired reagent information and sample information are stored in, for example, the information storage unit 121 in the storage unit 120.
  • the separation processing unit 132 acquires the stained sample image, the reagent information, and the sample information stored in the information storage unit 121, and refers to the acquired stained sample image by, for example, autofluorescence using the minimum square method.
  • the color separation process of the stained sample image is executed (step S103). This color separation process produces a fluorescent component image and an autofluorescent component image.
  • the separation processing unit 132 generates an autofluorescent component corrected image using the autofluorescent component image generated in step S103 and the autofluorescent reference spectrum included in the sample information acquired in step S102 (step S104). ). The generation of the autofluorescent component corrected image will be described in more detail later.
  • the separation processing unit 132 generates a fluorescence component image by processing the stained sample image using the autofluorescence component corrected image (step S105).
  • the color separation accuracy is further improved, that is, the autofluorescent component is further improved. It is possible to generate a fluorescent component image in which the residual amount of the fluorescent component is reduced (correction unit).
  • the separation processing unit 132 transmits the generated fluorescent component image to the image generation unit 133, an external server, or the like (step S106). After that, this operation ends.
  • FIG. 7 is a flowchart showing an operation example when generating a pseudo-autofluorescent component image according to the present embodiment.
  • FIG. 8 is a diagram showing an example of the autofluorescence component image generated in step S103 of FIG. 6, and
  • FIG. 9 is a diagram of the autofluorescence reference spectrum included in the sample information acquired in step S102 of FIG. It is a figure which shows an example.
  • FIG. 10 is a diagram for explaining step S112 of FIG. 7, and FIG. 11 is a diagram for explaining step S114 of FIG. 7.
  • the separation processing unit 132 is first unselected from the autofluorescence component images (see FIG. 8) generated in step S103 of FIG. (This is an autofluorescent component image of the autofluorescent channel CHn (n is a natural number)) is selected (step S111).
  • the autofluorescent channel may be identification information given for each autofluorescence.
  • the separation processing unit 132 includes the autofluorescence component image of the autofluorescence channel CHn selected in step S111 and the autofluorescence reference spectrum included in the sample information acquired in step S102 of FIG. (See FIG. 9), a spectrum image relating to the autofluorescence channel CHn is generated from the autofluorescence reference spectrum of the autofluorescence channel CHn (step S112).
  • the above-mentioned NMF can be used to generate this spectral image.
  • the separation processing unit 132 determines whether or not all the autofluorescent component images have been selected in step S111 (step S113), and if not selected (NO in step S113), returns to step S111. Select an unselected autofluorescent component image and perform subsequent actions.
  • step S111 when all the autofluorescent component images have been selected in step S111 (YES in step S113), the separation processing unit 132 has the autofluorescent channel CH generated in the repeated step S112 as shown in FIG. The respective spectral images are added (step S114). As a result, an autofluorescent component corrected image is generated. After that, the separation processing unit 132 ends the operation shown in FIG. 7.
  • FIG. 12 is a flowchart for explaining the analysis target area extraction process and its analysis according to the comparative example
  • FIG. 13 explains the analysis target area extraction process and its analysis according to the comparative example shown in FIG. It is a schematic diagram for.
  • FIG. 14 is a flowchart for explaining the analysis target area extraction process and its analysis according to the present embodiment
  • FIG. 15 shows the analysis target area extraction process and its analysis according to the present embodiment shown in FIG. It is a schematic diagram for explaining the analysis.
  • a stained section is imaged to obtain a stained sample image, and an unstained tissue section adjacent to or adjacent to the stained section (hereinafter, unstained tissue section or An image of an unstained section (hereinafter referred to as an unstained sample image) is acquired by imaging an unstained section (also referred to as an unstained section) (step S901).
  • a color separation process using the acquired stained sample image and the unstained sample image is executed to generate a fluorescent component image and an autofluorescent component image (step S902).
  • a threshold value for the number of antibodies for extracting a candidate region (extraction target region) of the analysis target region (analysis target region) is set (step S903).
  • the threshold value of the number of antibodies may be, for example, a threshold value for the pixel value of each pixel in the fluorescent component image.
  • the extraction target region may be a region hatched with dots in step S903 of FIG.
  • a mask image for extracting the analysis target area is generated based on the comparison result (step S904).
  • a binary mask is generated as a mask image, which is '1' when the pixel value is equal to or more than the threshold value and '0' when the pixel value is less than the threshold value.
  • the pixel or region to which "1" is assigned is a pixel or region that is a candidate for analysis target, and the pixel or region to which "0" is assigned is a pixel or region excluded from the analysis target. good.
  • the analysis target region is extracted from the fluorescence component image by executing the logical product calculation of each pixel of the mask image generated in step S904 and each pixel of the fluorescence component image (step S905).
  • an extracted image in which the region labeled with the fluorescent dye antibody (morphological information to be analyzed) is extracted can be obtained by using the value extracted from the autofluorescent component image as a threshold.
  • the analysis target area is sent to an analysis device such as an external server and evaluated quantitatively (step S906).
  • a stained sample image is acquired by imaging a stained section (step S1). That is, in the present embodiment, it is not necessary to take an image of the unstained section to obtain an unstained specimen image.
  • a fluorescent component image is generated by performing a color separation process on the stained sample image (step S2). Further, in the present embodiment, an autofluorescent component corrected image is generated using the autofluorescent component image generated by the color separation process and the autofluorescent reference spectrum included in the acquired sample information (step S3).
  • a threshold value for the number of antibodies for extracting an extraction target region that is a candidate for the analysis target region is set based on the autofluorescent component corrected image (step S4).
  • the threshold value of the number of antibodies may be, for example, a threshold value for the pixel value of each pixel in the fluorescent component image, and the extraction target region is shown in FIG. It may be a region hatched with dots in step S4.
  • a mask image is generated by comparing the pixel value of each pixel in the stained sample image with the threshold value (step S5), and subsequently generated in step S5.
  • the analysis target region is extracted from the fluorescence component image (step S6).
  • an extracted image in which the region labeled with the fluorescent dye antibody (morphological information to be analyzed) is extracted can be obtained by using the value extracted from the autofluorescent component-corrected image as a threshold.
  • the extracted analysis target area is sent to an analysis device such as an external server and evaluated quantitatively (step S7).
  • a value defined by the user from the autofluorescent component corrected image or a numerical value having objectivity is set as a threshold value, and the pixel value in the stained sample image is set.
  • An analysis target area is extracted using a mask image (binary mask) generated based on the magnitude relationship between the image and the threshold value.
  • the autofluorescent component corrected image for setting the threshold, it is possible to save the trouble of separately imaging the unstained section to acquire the unstained specimen image and the trouble of generating the autofluorescent component image.
  • it retains spatial information (the signal distribution is the same, such as autofluorescent components and noise sources) in the stained sample image, in other words, it correlates with the stained sample image and the fluorescent component image. Since the threshold value can be set based on the self-fluorescent component corrected image, it is possible to achieve the effect that the threshold value having a correlation with the stained sample image or the fluorescent component image can be set.
  • the threshold value for all the pixels of the stained sample image is uniquely set from the generated autofluorescent component corrected image.
  • the second embodiment by setting a different threshold value for each pixel, a threshold value distribution image in which not necessarily the same threshold value is spatially distributed is generated.
  • the configuration and basic operation of the information processing system may be the same as the configuration and basic operation of the information processing system according to the first embodiment, and therefore detailed description thereof will be omitted here.
  • FIG. 16 is a flowchart for explaining the analysis target area extraction process and its analysis according to the present embodiment
  • FIG. 17 shows the analysis target area extraction process and its analysis according to the present embodiment shown in FIG. It is a schematic diagram for demonstrating.
  • the stained section is imaged in the same manner as the operation described using steps S1 to S3 of FIGS. 14 and 15 in the first embodiment.
  • a stained sample image is acquired (step S21)
  • a fluorescent component image is generated by performing a color separation process on the stained sample image (step S22)
  • the autofluorescent component image generated by the color separation process and the acquired sample are obtained.
  • An autofluorescent component-corrected image is generated using the autofluorescent reference spectrum included in the information (step S23).
  • a threshold distribution image in which a threshold for the number of antibodies different for each pixel is set is generated based on the autofluorescent component corrected image (step S24).
  • a method for generating a threshold distribution image in which the threshold value differs for each pixel for example, a method of multiplying the pixel value of each pixel of the autofluorescent component corrected image by a preset coefficient can be adopted.
  • the coefficient may be determined, for example, within a numerical range considered reasonable.
  • a value based on the maximum value or the average value of the pixel values in the autofluorescent component corrected image may be used as a coefficient.
  • a mask for extracting an analysis target region by comparing the pixel value of each pixel in the stained sample image with the threshold value of the corresponding pixel in the threshold distribution image and based on the comparison result.
  • Generate an image (step S25).
  • a binary mask is generated as a mask image, which is '1' when the pixel value is equal to or more than the threshold value and '0' when the pixel value is less than the threshold value.
  • the pixel or region to which "1" is assigned is a pixel or region that is a candidate for analysis target, and the pixel or region to which "0" is assigned is from the analysis target. It may be an excluded pixel or region.
  • the pixel hatched with dots may be, for example, a pixel whose pixel value is equal to or higher than the corresponding threshold value.
  • the analysis target region is extracted from the fluorescence component image by executing the logical product operation of the mask image generated in S25 and the fluorescence component image (step). S26).
  • an extracted image in which the region labeled with the fluorescent dye antibody (morphological information to be analyzed) is extracted can be obtained by using the value extracted from the autofluorescent component-corrected image as a threshold.
  • the extracted analysis target area is sent to an analysis device such as an external server and evaluated quantitatively (step S27).
  • the threshold value in generating a binary mask for extracting only the target region from the stained sample image, is unique from the autofluorescent component corrected image as in the first embodiment. Generates a threshold distribution image that allows different thresholds to be spatially distributed, rather than being set locally. As a result, it becomes possible to set the threshold value using the pixel value of the autofluorescent component corrected image corresponding to the stained sample image, so that the distribution of the autofluorescent component in each tissue region and the influence of hardware occur on the system. It is possible to extract the analysis target area using the threshold distribution image that retains the spatial information of the obtained noise. As a result, it becomes possible to further improve the analysis accuracy in fluorescence observation.
  • a third embodiment will be described.
  • a case where an autofluorescent component-corrected image is generated from a stained sample image is exemplified.
  • a pseudo fluorescent component image hereinafter referred to as a fluorescent component corrected image
  • the spectral intensity ratio thereof is calculated to obtain the autofluorescent component.
  • the ratio of the fluorescent dye intensity is acquired as information.
  • the configuration and basic operation of the information processing system may be the same as the configuration and basic operation of the information processing system according to the above-described embodiment, and therefore detailed description thereof will be omitted here.
  • the spectral intensity ratio is generated as, for example, spatially distributed information, that is, image data (spectral intensity ratio image).
  • FIG. 18 is a flowchart for explaining the generation process of the spectral intensity ratio image and the analysis thereof according to the present embodiment.
  • step S104 the same operation as in steps S101 to S104 of FIG. 6 is executed to generate an autofluorescent component corrected image.
  • a fluorescence component corrected image is generated by applying the same operation when generating an autofluorescent component corrected image (step S301).
  • the fluorescence component corrected image generation flow can be carried out by replacing the autofluorescent component image in the operation described with reference to FIG. 7 in the first embodiment with the fluorescent component image and replacing the autofluorescent reference spectrum with the fluorescence reference spectrum. Therefore, detailed description thereof will be omitted here.
  • the separation processing unit 132 generates a spectral intensity ratio image by calculating the ratio (spectral intensity ratio) between the corresponding pixels in the fluorescence component corrected image and the autofluorescent component corrected image (step S302).
  • the spectral intensity ratio image is sent to an analysis device such as an external server and evaluated quantitatively (step S303).
  • the spectral intensity ratio image generates, for example, a spectral intensity image showing the spectral intensity of each pixel of the fluorescent component corrected image and a spectral intensity image showing the spectral intensity of each pixel of the self-fluorescent component corrected image. However, it may be generated by calculating the ratio of the spectral intensities of the corresponding pixels.
  • the method for generating the spectral intensity images of the fluorescence component corrected image and the autofluorescent component corrected image is not particularly limited. Therefore, two generation methods will be illustrated below.
  • FIG. 19 is a diagram for explaining the first generation method. As shown in FIG. 19, in the first generation method, the pixel values for each wavelength channel of the fluorescence component corrected image / autofluorescent component corrected image of the data cube structure are added up in the wavelength direction (step S31), and the spectral intensity is increased. Generate an image.
  • FIG. 20 is a diagram for explaining the second generation method.
  • the maximum pixel value in the wavelength direction is extracted from the pixel values for each wavelength channel of the fluorescence component-corrected image / self-fluorescence component-corrected image of the data cube structure.
  • step S32 a spectral intensity image is generated.
  • the fluorescence component correction image is generated by multiplying each pixel of the fluorescence component image by the fluorescence reference spectrum extracted by the color separation process, and the fluorescence component correction image and the fluorescence component correction image and A spectral intensity image of each autofluorescence component corrected image is obtained. Then, a spectral intensity ratio image, which is information that spatially indicates the ratio of the fluorescent dye intensity to the autofluorescence, is generated from the spectral intensity ratio of each pixel of the fluorescence component corrected image and each pixel of the autofluorescent component corrected image.
  • the spectral intensity ratio image generated in this way is used for performance evaluation of the measurement system (corresponding to the acquisition unit 110) in the information processing system, color separation accuracy evaluation in the processing unit 130, and design / evaluation of the fluorescence reagent panel. It is possible to utilize it.
  • FIG. 21 is a flowchart for explaining a process of generating a fluorescence component image using machine learning according to the present embodiment
  • FIG. 22 is a fluorescence component image using machine learning according to the present embodiment shown in FIG. 21. It is a schematic diagram for demonstrating the generation process of.
  • the fluorescent component image generated by the color separation process in step S401 and the pseudo-autofluorescent component image generated in step S403 are input to the machine learning unit 401, and the fluorescent component is input to the machine learning unit 401.
  • feature quantities such as signal intensity and distribution derived from the autofluorescent component (for example, autofluorescent spectrum) can be obtained from the stained sample image.
  • Extract step S404.
  • various machine learning such as DNN (Deep Neural Network), CNN (Convolutional Neural Network), and RNN (Recurrent Neural Network) can be applied.
  • the machine learning unit 401 may be mounted on, for example, a processing unit 130 or the like in the information processing device 100, or may be mounted on a cloud server or the like connected to the information processing device 100 via a predetermined network. ..
  • the feature amount extracted in step S404 is used to generate a more accurate fluorescent component image in which the residual amount of the autofluorescent component is further reduced (step S405), and this operation is terminated.
  • the fluorescent component image generated by the color separation processing on the stained sample image and the autofluorescent component corrected image generated from the fluorescent component image are used as input images, and machine learning of unsupervised learning is applied. Therefore, feature quantities such as signal intensity and distribution derived from the autofluorescent component are extracted from the stained sample image, and a more accurate fluorescent component image is generated based on these extracted feature quantities.
  • machine learning that uses the stained sample image as an input, in other words, the autofluorescent component corrected image generated from the stained sample image, the link between the input image and the output image of the machine learning is executed. Since it is easy to attach, it is possible to achieve the effect of easily enhancing the learning effect.
  • FIG. 23 is a diagram showing an example of a measurement system of the information processing system according to the embodiment.
  • FIG. 23 shows an example of a measurement system for photographing a wide field of view of a fluorescently stained specimen 30 (or an unstained specimen 20) such as WSI (Whole Slide Imaging).
  • the measurement system according to the embodiment is not limited to the measurement system illustrated in FIG. 23, and may be a measurement system that captures the entire imaging region or a necessary region (also referred to as an region of interest) at once, or a line scan.
  • Any measurement system that can acquire image data with sufficient resolution (hereinafter referred to as wide-field image data) of the entire shooting area or the region of interest such as a measurement system that acquires an image of the entire shooting region or the region of interest. It may be variously modified.
  • the measurement system includes, for example, an information processing apparatus 100, an XY stage 501, an excitation light source 510, a beam splitter 511, an objective lens 512, a spectroscope 513, and photodetection. It is equipped with a vessel 514.
  • the XY stage 501 is a stage on which the fluorescent-stained specimen 30 (or the specimen 20) to be analyzed is placed, and is, for example, a plane (XY plane) parallel to the mounting surface of the fluorescent-stained specimen 30 (or the specimen 20). It may be a movable stage in.
  • the excitation light source 510 is a light source for exciting the fluorescence-stained specimen 30 (or the specimen 20), and for example, emits a plurality of excitation lights having different wavelengths along a predetermined optical axis.
  • the beam splitter 511 is composed of, for example, a dichroic mirror or the like, reflects the excitation light from the excitation light source 510, and transmits the fluorescence from the fluorescence-stained sample 30 (or sample 20).
  • the objective lens 512 irradiates the fluorescence-stained specimen 30 (or specimen 20) on the XY stage 501 with the excitation light reflected by the beam splitter 511.
  • the spectroscope 513 is configured by using one or more prisms, lenses, or the like, emits light from the fluorescence-stained sample 30 (or sample 20), and disperses the fluorescence transmitted through the objective lens 512 and the beam splitter 511 in a predetermined direction.
  • the light detector 514 detects the light intensity of each wavelength of fluorescence separated by the spectroscope 513, and acquires the fluorescence signal (fluorescence spectrum and / or self-fluorescence spectrum) obtained by the detection of the fluorescence signal of the information processing apparatus 100. Input to unit 112.
  • the field of view such as WSI
  • the field of view the area that can be shot at one time
  • the field of view the area that can be shot at one time
  • the field of view the field of view
  • Each field of view is photographed in sequence.
  • field-of-view image data the image data obtained by shooting each field of view
  • the generated wide-field image data is stored in, for example, the fluorescence signal storage unit 122.
  • the tiling of the visual field image data may be executed by the acquisition unit 110 of the information processing apparatus 100, the storage unit 120, or the processing unit 130.
  • the processing unit 130 performs the above-mentioned processing on the obtained wide-field image data, so that the coefficient C, that is, the fluorescence separated image for each fluorescent molecule (or the autofluorescence for each autofluorescent molecule) Fluorescent separation image) is acquired.
  • FIG. 24 is a schematic diagram for explaining a method of calculating the number of fluorescent molecules (or the number of antibodies) in one pixel in the embodiment.
  • the size of the bottom surface of the sample corresponding to the image sensor 1 [pixel] is assumed to be 13/20 ( ⁇ m) ⁇ 13 /. It is assumed to be 20 ( ⁇ m). Then, it is assumed that the thickness of the sample is 10 ( ⁇ m).
  • the volume (m 3 ) of this rectangular parallelepiped is represented by 13/20 ( ⁇ m) ⁇ 13/20 ( ⁇ m) ⁇ 10 ( ⁇ m).
  • the volume (liter) is represented by 13/20 ( ⁇ m) ⁇ 13/20 ( ⁇ m) ⁇ 10 ( ⁇ m) ⁇ 10 3.
  • the concentration of the number of antibodies (which may be the number of fluorescent molecules) contained in the sample is uniform and is 300 (nM)
  • the number of antibodies per pixel is represented by the following formula (11). Will be done.
  • the number of fluorescent molecules or the number of antibodies in the fluorescent stained sample 30 is calculated as a result of the fluorescent separation treatment, so that the practitioner can compare the number of fluorescent molecules among a plurality of fluorescent substances or under different conditions. It is possible to compare the captured data. Further, since the brightness (or fluorescence intensity) is a continuous value, while the number of fluorescent molecules or the number of antibodies is a discrete value, the information processing apparatus 100 according to the modified example has image information based on the number of fluorescent molecules or the number of antibodies. The amount of data can be reduced by outputting.
  • FIG. 25 is a block diagram showing a hardware configuration example of the information processing apparatus 100.
  • Various processes by the information processing apparatus 100 are realized by the cooperation between the software and the hardware described below.
  • the information processing apparatus 100 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, and a host bus 904a. Further, the information processing device 100 includes a bridge 904, an external bus 904b, an interface 905, an input device 906, an output device 907, a storage device 908, a drive 909, a connection port 911, a communication device 913, and a sensor 915.
  • the information processing apparatus 100 may have a processing circuit such as a DSP or an ASIC in place of or in combination with the CPU 901.
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls the overall operation in the information processing device 100 according to various programs. Further, the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs, calculation parameters, and the like used by the CPU 901.
  • the RAM 903 temporarily stores a program used in the execution of the CPU 901, parameters that appropriately change in the execution, and the like.
  • the CPU 901 may embody, for example, at least the processing unit 130 and the control unit 150 of the information processing apparatus 100.
  • the CPU 901, ROM 902 and RAM 903 are connected to each other by a host bus 904a including a CPU bus and the like.
  • the host bus 904a is connected to an external bus 904b such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 904. It is not always necessary to separately configure the host bus 904a, the bridge 904, and the external bus 904b, and these functions may be implemented in one bus.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 906 is realized by a device such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, and a lever, in which information is input by the practitioner. Further, the input device 906 may be, for example, a remote control device using infrared rays or other radio waves, or an externally connected device such as a mobile phone or a PDA that supports the operation of the information processing device 100. .. Further, the input device 906 may include, for example, an input control circuit that generates an input signal based on the information input by the practitioner using the above input means and outputs the input signal to the CPU 901. By operating the input device 906, the practitioner can input various data to the information processing device 100 and instruct the processing operation. The input device 906 may embody at least the operation unit 160 of the information processing device 100, for example.
  • the output device 907 is formed of a device capable of visually or audibly notifying the practitioner of the acquired information. Such devices include display devices such as CRT display devices, liquid crystal display devices, plasma display devices, EL display devices and lamps, acoustic output devices such as speakers and headphones, and printer devices.
  • the output device 907 may embody at least the display unit 140 of the information processing device 100, for example.
  • the storage device 908 is a device for storing data.
  • the storage device 908 is realized by, for example, a magnetic storage device such as an HDD, a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like.
  • the storage device 908 may include a storage medium, a recording device for recording data on the storage medium, a reading device for reading data from the storage medium, a deleting device for deleting data recorded on the storage medium, and the like.
  • the storage device 908 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the storage device 908 may embody at least the storage unit 120 of the information processing device 100, for example.
  • the drive 909 is a reader / writer for a storage medium, and is built in or externally attached to the information processing apparatus 100.
  • the drive 909 reads information recorded in a removable storage medium such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 903.
  • the drive 909 can also write information to the removable storage medium.
  • connection port 911 is an interface connected to an external device, and is a connection port with an external device capable of transmitting data by, for example, USB (Universal Serial Bus).
  • USB Universal Serial Bus
  • the communication device 913 is, for example, a communication interface formed by a communication device or the like for connecting to the network 920.
  • the communication device 913 is, for example, a communication card for a wired or wireless LAN (Local Area Network), LTE (Long Term Evolution), Bluetooth (registered trademark), WUSB (Wireless USB), or the like.
  • the communication device 913 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communications, or the like.
  • the communication device 913 can transmit and receive signals and the like to and from the Internet and other communication devices in accordance with a predetermined protocol such as TCP / IP.
  • the senor 915 includes a sensor capable of acquiring a spectrum (for example, an image pickup element or the like), and another sensor (for example, an acceleration sensor, a gyro sensor, a geomagnetic sensor, a pressure sensor, a sound sensor, or a sound sensor). (Distance measuring sensor, etc.) may be included.
  • the sensor 915 can embody, for example, at least the fluorescence signal acquisition unit 112 of the information processing apparatus 100.
  • the network 920 is a wired or wireless transmission path for information transmitted from a device connected to the network 920.
  • the network 920 may include a public line network such as the Internet, a telephone line network, a satellite communication network, various LANs (Local Area Network) including Ethernet (registered trademark), and a WAN (Wide Area Network).
  • the network 920 may include a dedicated line network such as IP-VPN (Internet Protocol-Virtual Private Network).
  • the hardware configuration example that can realize the function of the information processing device 100 is shown above.
  • Each of the above components may be realized by using a general-purpose member, or may be realized by hardware specialized for the function of each component. Therefore, it is possible to appropriately change the hardware configuration to be used according to the technical level at the time of implementing the present disclosure.
  • the recording medium includes, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, and the like. Further, the above computer program may be distributed, for example, via a network without using a recording medium.
  • a separation unit that separates a fluorescent image observed from a specimen labeled with one or more fluorescent dyes into a fluorescent component image containing one or more fluorescent components and an autofluorescent component image containing one or more autofluorescent components.
  • a generation unit that generates an autofluorescent component-corrected image using the reference spectrum of each of the one or more autofluorescent substances contained in the sample and the autofluorescent component image.
  • a processing unit that processes the fluorescent component image based on the autofluorescent component corrected image, and Information processing device equipped with.
  • the region information is a binary mask indicating a region labeled with the fluorescent dye.
  • the processing unit generates the binary mask based on the magnitude relationship between the threshold value set based on the autofluorescent component corrected image and the pixel value of each pixel in the fluorescent image.
  • Device (7)
  • the processing unit sets a threshold value for each pixel based on the pixel value of each pixel in the autofluorescent component corrected image, and is based on the magnitude relationship between the threshold value for each pixel and the pixel value of each pixel in the fluorescent image.
  • the information processing apparatus according to (5) above, which generates the binary mask.
  • An image generation unit that generates a spectral intensity ratio image representing the ratio between the spectral intensity of each pixel in the fluorescence component corrected image and the spectral intensity of each pixel in the autofluorescent component corrected image.
  • a storage unit that stores the imaging conditions when the sample is imaged and the fluorescence image is acquired, and the spectral intensity ratio image in association with each other.
  • the information processing apparatus according to (8) or (9) above.
  • a correction unit for correcting the fluorescence component image based on the fluorescence image, the fluorescence component image, and the autofluorescence component correction image is provided.
  • the processing unit processes the corrected fluorescent component image based on the autofluorescent component corrected image.
  • the information processing apparatus according to any one of (1) to (10).
  • the correction unit estimates the feature amount of the autofluorescent substance in the fluorescence image from the fluorescence component image and the autofluorescence component correction image, and corrects the fluorescence component image based on the estimated feature amount.
  • (13) The information processing apparatus according to (12), wherein the correction unit estimates the feature amount by using a trained model in which the fluorescence component image and the autofluorescence component correction image are input.
  • (14) The information processing apparatus according to (13) above, wherein the trained model is a model trained by unsupervised learning.
  • a light source that irradiates a sample labeled with one or more fluorescent dyes, an image pickup device that observes the fluorescence emitted from the sample that is irradiated with the light, and a process for a fluorescent image acquired by the image pickup device.
  • a microscope system with a program to perform The program is executed on a computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Hematology (AREA)
  • Biomedical Technology (AREA)
  • Urology & Nephrology (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Microbiology (AREA)
  • Cell Biology (AREA)
  • Biotechnology (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

蛍光観察における解析精度を向上する。実施形態に係る情報処理装置は、１以上の蛍光色素で標識された標本より観測された蛍光画像を１以上の蛍光成分を含む蛍光成分画像と１以上の自家蛍光成分を含む自家蛍光成分画像とに分離する分離部（１３２）と、前記標本に含まれる１以上の自家蛍光物質それぞれの参照スペクトルと前記自家蛍光成分画像とを用いて自家蛍光成分補正画像を生成する生成部（１３３）と、前記自家蛍光成分補正画像に基づいて前記蛍光成分画像を処理する処理部（１３０）とを備える。

Description

情報処理装置、情報処理方法、プログラム、顕微鏡システム及び解析システム
　本開示は、情報処理装置、情報処理方法、プログラム、顕微鏡システム及び解析システムに関する。
　近年、がん免疫療法などの発展から多数のサブセットに分類される免疫細胞に対し、それらの表現型である分子を複数種のマーカを用いて検出し、評価するニーズが高まっている。蛍光色素をマーカとしたマルチカラーイメージング解析方法は、それらの局在と機能との関連性を導く上で有効な手段であるとされている。
米国特許第８２０００１３号明細書
　一般に、蛍光色素抗体を用いて染色された染色組織切片を蛍光観察する際、自家蛍光などが原因で抗体量を反映した蛍光強度の測定の正確性が影響されることがある。スペクトルを用いた色分離によって染色組織切片の撮像画像から自家蛍光成分を除去した場合においても、この色分離により得られた染色蛍光画像に残存する自家蛍光成分を完全になくすことは不可能であった。
　このように、染色蛍光画像に自家蛍光成分が残存すると、染色蛍光画像中の解析対象領域に分布する色素抗体量の定量化に支障をきたすなどの不具合が生じ、蛍光観察における解析精度向上の妨げとなっていた。
　そこで本開示は、上記事情に鑑みてなされたものであり、蛍光観察における解析精度を向上することを可能にする情報処理装置、情報処理方法、プログラム、顕微鏡システム及び解析システムを提案する。
　本開示の実施形態に係る情報処理装置は、１以上の蛍光色素で標識された標本より観測された蛍光画像を１以上の蛍光成分を含む蛍光成分画像と１以上の自家蛍光成分を含む自家蛍光成分画像とに分離する分離部と、前記標本に含まれる１以上の自家蛍光物質それぞれの参照スペクトルと前記自家蛍光成分画像とを用いて自家蛍光成分補正画像を生成する生成部と、前記自家蛍光成分補正画像に基づいて前記蛍光成分画像を処理する処理部とを備える。
第１の実施形態に係る情報処理システムの構成例を示すブロック図である。 蛍光信号取得部によって取得された蛍光スペクトルの具体例を示す図である。 非負値行列因子分解の概要を説明する図である。 クラスタリングの概要を説明する図である。 第１の実施形態に係る情報処理システムが顕微鏡システムとして実現される場合における顕微鏡システムの構成例を示すブロック図である。 第１の実施形態に係る情報処理システムの基本動作例を示すフローチャートである。 第１の実施形態に係る疑似自家蛍光成分画像を生成する際の動作例を示すフローチャートである。 図６のステップＳ１０３で生成される自家蛍光成分画像の一例を示す図である。 図６のステップＳ１０２で取得される標本情報に含まれる自家蛍光参照スペクトルの一例を示す図である。 図７のステップＳ１１２を説明するための図である。 図７のステップＳ１１４を説明するための図である。 第１の実施形態の比較例に係る解析対象領域の抽出処理及びその解析を説明するためのフローチャートである。 図１２に示す比較例に係る解析対象領域の抽出処理及びその解析を説明するための模式図である。 第１の実施形態に係る解析対象領域の抽出処理及びその解析を説明するためのフローチャートである。 図１４に示す本実施形態に係る解析対象領域の抽出処理及びその解析を説明するための模式図である。 第２の実施形態に係る解析対象領域の抽出処理及びその解析を説明するためのフローチャートである。 図１６に示す本実施形態に係る解析対象領域の抽出処理及びその解析を説明するための模式図である。 第３の実施形態に係るスペクトル強度比画像の生成処理及びその解析を説明するためのフローチャートである。 第３の実施形態に係る第１の生成手法を説明するための図である。 第３の実施形態に係る第２の生成手法を説明するための図である。 第４の実施形態に係る機械学習を用いた蛍光成分画像の生成処理を説明するためのフローチャートである。 図２１に示す本実施形態に係る機械学習を用いた蛍光成分画像の生成処理を説明するための模式図である。 実施形態に係る情報処理システムの測定系の一例を示す図である。 実施形態に係る１画素における蛍光分子数（又は抗体数）を算出する方法を説明するための図である。 各実施形態及び変形例に係る情報処理装置のハードウェア構成例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　　０．はじめに
　　１．第１の実施形態
　　　１．１．構成例
　　　１．２．顕微鏡システムへの応用例
　　　１．３．最小二乗法について
　　　１．４．非負値行列因子分解（ＮＭＦ）について
　　　１．５．第１実施形態の特徴的な構成
　　　　１．５．１．基本動作例
　　　　１．５．２．自家蛍光成分補正画像生成フロー例
　　　１．６．解析対象領域の抽出及び解析
　　　１．７．作用・効果
　　２．第２実施形態
　　　２．１．解析対象領域の抽出及びその解析
　　　２．２．作用・効果
　　３．第３実施形態
　　　３．１．スペクトル強度比画像の生成及びその解析
　　　３．２．スペクトル強度画像の生成手法
　　　　３．２．１　第１の生成手法
　　　　３．２．２　第２の生成手法
　　　３．３．作用・効果
　　４．第４実施形態
　　　４．１．機械学習を用いた蛍光成分画像の生成
　　　４．２．作用・効果
　　５．測定系の構成例
　　６．蛍光分子数（又は抗体数）の算出方法
　　７．ハードウェア構成例
　　＜０．はじめに＞
　近年、がん免疫療法などの発展から多数のサブセットに分類される免疫細胞に対し、それらの表現型である分子を複数種のマーカを用いて検出し、評価するニーズが高まっている。蛍光色素をマーカとしたマルチカラーイメージング解析方法は、それらの局在と機能との関連性を導く上で有効な手段であるとされており、以下の実施形態においても採用されている。
　以下の実施形態は、免疫組織化学的に染色した病理標本切片を複数波長の励起光で励起し、蛍光分離するイメージング装置にて撮像して得られたマルチチャネル画像（画素数×波長チャネル（ＣＨ））に対して色分離処理を行った後の画像処理に関するものである。
　なお、本開示におけるマルチチャネル画像には、後述する染色標本画像、蛍光成分画像、蛍光成分補正画像、自家蛍光成分画像、自家蛍光成分補正画像など、複数の波長チャネル（ただし、単一の波長チャネルを除外するものではない）の画像データから構成されるデータキューブ構造の種々の画像が含まれ得る。したがって、蛍光成分画像、蛍光成分補正画像、自家蛍光成分画像、及び、自家蛍光成分補正画像は、それぞれ単一の波長チャネルの蛍光成分又は自家蛍光成分の画像データに限られず、複数の波長チャネルの蛍光成分又は自家蛍光成分で構成されたスペクトル画像であってもよい。また、本説明における蛍光成分及び自家蛍光成分とは、イメージング装置にて撮像して得られたマルチチャネル画像における蛍光又は自家蛍光の波長成分を意味している。
　上述したように、蛍光色素抗体を用いて染色された染色組織切片を蛍光観察する際、自家蛍光などが原因で抗体量を反映した蛍光強度の測定の正確性が影響されることがある。また、染色組織切片（以下、染色切片ともいう）の撮像画像（以下、染色標本画像という）からスペクトルを用いた色分離によって自家蛍光物質由来のスペクトル情報（以下、自家蛍光成分又は自家蛍光スペクトルという）を除去する処理（以下、色分離処理という）を実行した場合においても、色分離処理後の染色標本画像（蛍光成分画像という）に含まれる自家蛍光成分を完全になくすことは不可能であり、染色標本画像中の解析対象領域に分布する色素抗体量の定量化に支障をきたすなどの不具合を生じさせる要因となっていた。
　そこで以下の実施形態では、これらの課題を解決するため、染色切片の色分離画像（各蛍光成分及び／又は各自家蛍光成分のスペクトル画像。すなわち、蛍光成分画像及び／又は自家蛍光成分画像）から擬似的な自家蛍光成分画像（自家蛍光成分補正画像）を生成し、これを用いる画像処理に関して、以下の特徴を有する方法を提案する。
　第１の特徴として、以下の実施形態では、色分離処理によって染色標本画像から抽出された自家蛍光成分と、色分離処理により得られる蛍光物質由来のスペクトル情報（蛍光成分。蛍光スペクトルともいう）より構成される蛍光成分画像（抗体数画像ともいう）から、自家蛍光のスペクトル強度を算出した画像（自家蛍光成分補正画像）を生成する。このような自家蛍光成分補正画像を用いることで、非染色切片を撮像することで取得した自家蛍光成分画像を別途取得する手間の削減や、位置情報に紐づけられたスペクトル情報を用いることによる定量性の向上などの効果を奏することが可能となる。
　第２の特徴として、染色標本画像から生成した自家蛍光成分補正画像を用いて、染色標本画像の輝度閾値処理を行う。これにより、自家蛍光とは区別される蛍光物質（染色蛍光色素ともいう）の特異的なシグナルを有する領域を抽出することが可能となる。
　第３の特徴として、蛍光物質についても同様に、色分離処理により得られる蛍光物質由来の蛍光成分と蛍光成分画像とから、蛍光のスペクトル強度を算出した画像（蛍光成分補正画像）を生成し、蛍光物質由来のスペクトル強度と自家蛍光物質由来のスペクトル強度との相対比を算出する。これにより、色分離精度や設計した蛍光色素抗体パネルを評価することも可能となる。
　なお、上述した特許文献１には、ピクセル輝度値の差分をもとに閾値を設定し対象を抽出する手法が提案されているが、輝度値の差分と分子の発現の有無との間に相関があるとはいえないため、このような手法による対象の抽出は適切でない可能性がある。これに対し、以下の実施形態では、輝度値の差分と分子の発現の有無との間に相関が認められる自家蛍光成分補正画像を用いて対象領域を抽出するため、適切に対象領域を抽出することが可能となる。
　また、in　silico　labeling技術（Eric　M．　Christiansen　et　al.,　“In　Silico　Labeling:　Predicting　Fluorescent　Labels　in　Unlabeled　Images”,　Cell,　１７３,　７９２－８０３,　April　１９,　２０１８）では、深層学習を活用して透過画像（自家蛍光成分画像）から対象となる細胞領域を予測し、高精度な蛍光ラベル画像を再現することが可能である。しかし、本技術では、学習データとして実際に蛍光ラベルした画像も入力画像として一緒に用意する必要があるが、２つの入力画像（自家蛍光成分画像と蛍光ラベル画像）として同一視野のものを用意することはできず、連続切片のものを用いることになるため、両入力画像間に空間的な差異が生じてしまう。これに対し、以下の実施形態では染色切片を撮像することで取得した染色標本画像から擬似的な自家蛍光成分画像を生成するため、同一の母集団のデータを用いて定量性を議論することができる。
　さらに、同一組織ブロックの連続切片を用いて領域指定を行うことも考えられるが、連続切片を用いた場合でも光軸方向に数μｍ程度ずれた領域を撮影した画像を用いることになるため、非染色切片と染色切片との間で細胞や自家蛍光物質の分布形態や信号強度などの点で空間的な差異による影響を受ける可能性がある。これに対し、以下の実施形態では、染色切片そのものから抽出される自家蛍光物質のスペクトル情報をもとに自家蛍光成分補正画像を生成するため、自家蛍光物質などのばらつきが空間的に同一な条件で染色標本画像を定量化することが可能となる。
　　＜１．第１の実施形態＞
　まず、本開示に係る第１の実施形態について説明する。
　（１．１．構成例）
　図１を参照して、本実施形態に係る情報処理システムの構成例について説明する。図１に示すように、本実施形態に係る情報処理システムは、情報処理装置１００と、データベース２００と、を備え、情報処理システムへの入力として、蛍光試薬１０、標本２０と、蛍光染色標本３０と、が存在する。
　（蛍光試薬１０）
　蛍光試薬１０は、標本２０の染色に使用される薬品である。蛍光試薬１０は、例えば、蛍光抗体（直接標識に使用される一次抗体、または間接標識に使用される二次抗体が含まれる）、蛍光プローブ、または核染色試薬等であるが、蛍光試薬１０の種類はこれらに限定されない。また、蛍光試薬１０は、蛍光試薬１０（または蛍光試薬１０の製造ロット）を識別可能な識別情報（以降「試薬識別情報１１」と呼称する）を付されて管理される。試薬識別情報１１は、例えばバーコード情報等（一次元バーコード情報や二次元バーコード情報等）であるが、これに限定されない。蛍光試薬１０は、同一の製品であっても、製造方法や抗体が取得された細胞の状態等に応じて製造ロット毎にその性質が異なる。例えば、蛍光試薬１０において、製造ロット毎に蛍光の波長スペクトル（蛍光スペクトル）、量子収率、または蛍光標識率等が異なる。そこで、本実施形態に係る情報処理システムにおいて、蛍光試薬１０は、試薬識別情報１１を付されることによって製造ロット毎に管理される。これによって、情報処理装置１００は、製造ロット毎に現れる僅かな性質の違いも考慮した上で蛍光分離を行うことができる。
　（標本２０）
　標本２０は、人体から採取された検体または組織サンプルから病理診断などを目的に作製されたものである。標本２０は、組織切片や細胞や微粒子でもよく、標本２０について、使用される組織（例えば臓器等）の種類、対象となる疾病の種類、対象者の属性（例えば、年齢、性別、血液型、または人種等）、または対象者の生活習慣（例えば、食生活、運動習慣、または喫煙習慣等）は特に限定されない。なお、組織切片には、例えば、染色される組織切片（以下、単に切片ともいう）の染色前の切片、染色された切片に隣接する切片、同一ブロック（染色切片と同一の場所からサンプリングされたもの）における染色切片と異なる切片、又は同一組織における異なるブロック（染色切片と異なる場所からサンプリングされたもの）における切片、異なる患者から採取した切片などが含まれ得る。また、標本２０は、各標本２０を識別可能な識別情報（以降、「標本識別情報２１」と呼称する）を付されて管理される。標本識別情報２１は、試薬識別情報１１と同様に、例えばバーコード情報等（一次元バーコード情報や二次元バーコード情報等）であるが、これに限定されない。標本２０は、使用される組織の種類、対象となる疾病の種類、対象者の属性、または対象者の生活習慣等に応じてその性質が異なる。例えば、標本２０において、使用される組織の種類等に応じて計測チャネルまたは自家蛍光の波長スペクトル（自家蛍光スペクトル）等が異なる。そこで、本実施形態に係る情報処理システムにおいて、標本２０は、標本識別情報２１を付されることによって個々に管理される。これによって、情報処理装置１００は、標本２０毎に現れる僅かな性質の違いも考慮した上で蛍光分離を行うことができる。
　（蛍光染色標本３０）
　蛍光染色標本３０は、標本２０が蛍光試薬１０により染色されることで作成されたものである。本実施形態において、蛍光染色標本３０は、標本２０が１以上の蛍光試薬１０によって染色されることを想定しているところ、染色に用いられる蛍光試薬１０の数は特に限定されない。また、染色方法は、標本２０および蛍光試薬１０それぞれの組み合わせ等によって決まり、特に限定されるものではない。
　（情報処理装置１００）
　情報処理装置１００は、図１に示すように、取得部１１０と、保存部１２０と、処理部１３０と、表示部１４０と、制御部１５０と、操作部１６０と、を備える。情報処理装置１００は、例えば蛍光顕微鏡等であり得るところ、必ずしもこれに限定されず種々の装置を含んでもよい。例えば、情報処理装置１００は、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）等であってもよい。
　（取得部１１０）
　取得部１１０は、情報処理装置１００の各種処理に使用される情報を取得する構成である。図１に示すように、取得部１１０は、情報取得部１１１と、蛍光信号取得部１１２と、を備える。
　（情報取得部１１１）
　情報取得部１１１は、蛍光試薬１０に関する情報（以降、「試薬情報」と呼称する）や、標本２０に関する情報（以降、「標本情報」と呼称する）を取得する構成である。より具体的には、情報取得部１１１は、蛍光染色標本３０の生成に使用された蛍光試薬１０に付された試薬識別情報１１、および標本２０に付された標本識別情報２１を取得する。例えば、情報取得部１１１は、バーコードリーダー等を用いて試薬識別情報１１および標本識別情報２１を取得する。そして、情報取得部１１１は、試薬識別情報１１に基づいて試薬情報を、標本識別情報２１に基づいて標本情報をそれぞれデータベース２００から取得する。情報取得部１１１は、取得したこれらの情報を後述する情報保存部１２１に保存する。
　ここで、本実施形態において、標本情報には、標本２０における１以上の自家蛍光物質の自家蛍光スペクトル（以下、自家蛍光参照スペクトルともいう）に関する情報が含まれ、試薬情報には、蛍光染色標本３０における蛍光物質の蛍光スペクトル（以下、蛍光参照スペクトルともいう）に関する情報が含まれるとする。なお、自家蛍光参照スペクトルと蛍光参照スペクトルとをそれぞれ若しくはまとめて「参照スペクトル」とも呼称する。
　（蛍光信号取得部１１２）
　蛍光信号取得部１１２は、蛍光染色標本３０（標本２０が蛍光試薬１０により染色されることで作成されたもの）に対して、波長が互いに異なる複数の励起光が照射されたときの、複数の励起光それぞれに対応する複数の蛍光信号を取得する構成である。より具体的には、蛍光信号取得部１１２は、光を受光し、その受光量に応じた検出信号を出力することで、当該検出信号に基づいて蛍光染色標本３０の蛍光スペクトルで構成されたデータキューブ（以下、染色標本画像という）を取得する。ここで、励起光の内容（励起波長や強度等を含む）は試薬情報等（換言すると、蛍光試薬１０に関する情報等）に基づいて決定される。なお、ここでいう蛍光信号は蛍光に由来する信号であれば特に限定されず、蛍光スペクトルはその単なる一例である。本説明では、蛍光信号が蛍光スペクトルである場合を例示する。
　図２のＡ～Ｄは、蛍光信号取得部１１２によって取得される蛍光スペクトルの具体例である。図２のＡ～Ｄでは蛍光染色標本３０に、ＤＡＰＩ、ＣＫ／ＡＦ４８８、ＰｇＲ／ＡＦ５９４、およびＥＲ／ＡＦ６４７という４種の蛍光物質が含まれ、それぞれの励起波長として３９２［ｎｍ］（図２のＡ）、４７０［ｎｍ］（図２のＢ）、５４９［ｎｍ］（図２のＣ）、６２８［ｎｍ］（図２のＤ）を有する励起光が照射された場合に取得された蛍光スペクトルの具体例が示されている。なお、蛍光発光のためにエネルギーが放出されることにより、蛍光波長は励起波長よりも長波長側にシフトしている点に留意されたい（ストークスシフト）。また、蛍光染色標本３０に含まれる蛍光物質、及び照射される励起光の励起波長は上記に限定されない。蛍光信号取得部１１２は、取得した蛍光スペクトルよりなる染色標本画像を後述する蛍光信号保存部１２２に保存する。
　（保存部１２０）
　保存部１２０は、情報処理装置１００の各種処理に使用される情報、または各種処理によって出力された情報を保存する構成である。図１に示すように、保存部１２０は、情報保存部１２１と、蛍光信号保存部１２２と、を備える。
　（情報保存部１２１）
　情報保存部１２１は、情報取得部１１１によって取得された試薬情報および標本情報を保存する構成である。
　（蛍光信号保存部１２２）
　蛍光信号保存部１２２は、蛍光信号取得部１１２によって取得された蛍光染色標本３０の蛍光信号を保存する構成である。
　（処理部１３０）
　処理部１３０は、色分離処理を含む各種処理を行う構成である。図１に示すように、処理部１３０は、分離処理部１３２と、画像生成部１３３と、を備える。
　（分離処理部１３２）
　分離処理部１３２は、染色標本画像を蛍光物質毎の蛍光スペクトルに分離する構成であり、後述するように、入力された染色標本画像から自家蛍光スペクトルを抽出し、抽出した自家蛍光スペクトルを用いて自家蛍光成分補正画像を生成する（生成部）。そして、分離処理部１３２は、生成した自家蛍光成分補正画像を用いて染色標本画像の色分離処理を実行する（分離部）。この分離処理部１３２は、請求の範囲における生成部、分離部、補正部、画像生成部としての機能を果たし得る。
　色分離処理には、例えば、最小二乗法（ＬＳＭ）や重み付き最小二乗法（ＷＬＳＭ）等が用いられてもよい。また、自家蛍光スペクトル及び／又は蛍光スペクトルの抽出には、例えば、非負値行列因子分解（ＮＭＦ）や特異値分解（ＳＶＤ）や主成分分析（ＰＣＡ）等が用いられてもよい。
　（操作部１６０）
　操作部１６０は、実施者からの操作入力を受ける構成である。より具体的には、操作部１６０は、キーボード、マウス、ボタン、タッチパネル、またはマイクロフォン等の各種入力手段を備えており、実施者はこれらの入力手段を操作することで情報処理装置１００に対して様々な入力を行うことができる。操作部１６０を介して行われた操作入力に関する情報は制御部１５０へ提供される。
　（データベース２００）
　データベース２００は、試薬情報および標本情報等を管理する装置である。より具体的に説明すると、データベース２００は、試薬識別情報１１と試薬情報、標本識別情報２１と標本情報をそれぞれ紐づけて管理する。これによって、情報取得部１１１は、蛍光試薬１０の試薬識別情報１１に基づいて試薬情報を、標本２０の標本識別情報２１に基づいて標本情報をデータベース２００から取得することができる。
　データベース２００が管理する試薬情報は、蛍光試薬１０が有する蛍光物質固有の計測チャネルおよび蛍光参照スペクトルを含む情報であることを想定している（必ずしもこれらに限定されない）。「計測チャネル」とは、蛍光試薬１０に含まれる蛍光物質を示す概念である。蛍光物質の数は蛍光試薬１０によって様々であるため、計測チャネルは、試薬情報として各蛍光試薬１０に紐づけられて管理されている。また、試薬情報に含まれる蛍光参照スペクトルとは、上記のとおり、計測チャネルに含まれる蛍光物質それぞれの蛍光スペクトルある。
　また、データベース２００が管理する標本情報は、標本２０が有する自家蛍光物質固有の計測チャネルおよび自家蛍光参照スペクトルを含む情報であることを想定している（必ずしもこれらに限定されない）。「計測チャネル」とは、標本２０に含まれる自家蛍光物質を示す概念であり、図８の例では、Ｈｅｍｏｇｌｏｂｉｎ、ＡｒｃｈｉｄｏｎｉｃＡｃｉｄ、Ｃａｔａｌａｓｅ、Ｃｏｌｌａｇｅｎ、ＦＡＤ、ＮＡＤＰＨ、およびＰｒｏＬｏｎｇＤｉａｍｏｎｄを指す概念である。自家蛍光物質の数は標本２０によって様々であるため、計測チャネルは、標本情報として各標本２０に紐づけられて管理されている。また、標本情報に含まれる自家蛍光参照スペクトルとは、上記のとおり、計測チャネルに含まれる自家蛍光物質それぞれの自家蛍光スペクトルである。なお、データベース２００で管理される情報は必ずしも上記に限定されない。
　以上、本実施形態に係る情報処理システムの構成例について説明した。なお、図１を参照して説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理システムの構成は係る例に限定されない。例えば、情報処理装置１００は、図１に示す構成の全てを必ずしも備えなくてもよいし、図１に示されていない構成を備えてもよい。
　ここで、本実施形態に係る情報処理システムは、蛍光スペクトルを取得する撮像装置（例えば、スキャナ等を含む）と、蛍光スペクトルを用いて処理を行う情報処理装置と、を備えていてもよい。この場合、図１に示した蛍光信号取得部１１２は撮像装置によって実現され得、その他の構成は情報処理装置によって実現され得る。また、本実施形態に係る情報処理システムは、蛍光スペクトルを取得する撮像装置と、蛍光スペクトルを用いる処理に使われるソフトウェアと、を備えていてもよい。換言すると、当該ソフトウェアを記憶したり実行したりする物理構成（例えば、メモリやプロセッサ等）が情報処理システムに備えられていなくてもよい。この場合、図１に示した蛍光信号取得部１１２は撮像装置によって実現され得、その他の構成は当該ソフトウェアが実行される情報処理装置によって実現され得る。そして、ソフトウェアは、ネットワークを介して（例えば、ウェブサイトやクラウドサーバ等から）情報処理装置に提供されたり、任意の記憶媒体（例えば、ディスク等）を介して情報処理装置に提供されたりする。また、当該ソフトウェアが実行される情報処理装置は、各種サーバ（例えば、クラウドサーバ等）、汎用コンピュータ、ＰＣ、またはタブレットＰＣ等であり得る。なお、ソフトウェアが情報処理装置に提供される方法、および情報処理装置の種類は上記に限定されない。また、本実施形態に係る情報処理システムの構成は必ずしも上記に限定されず、使用時の技術水準に基づいて、いわゆる当業者が想到可能な構成が適用され得る点に留意されたい。
　（１．２．顕微鏡システムへの応用例）
　上記で説明してきた情報処理システムは、例えば顕微鏡システムとして実現されてもよい。そこで、続いて図５を参照して、本実施形態に係る情報処理システムが顕微鏡システムとして実現される場合における顕微鏡システムの構成例について説明する。
　図５に示すように、本実施形態に係る顕微鏡システムは、顕微鏡１０１と、データ処理部１０７と、を備える。
　顕微鏡１０１は、ステージ１０２と、光学系１０３と、光源１０４と、ステージ駆動部１０５と、光源駆動部１０６と、蛍光信号取得部１１２と、を備える。
　ステージ１０２は、蛍光染色標本３０を載置可能な載置面を有し、ステージ駆動部１０５の駆動により当該載置面に対して平行方向（ｘ－ｙ平面方向）及び垂直方向（ｚ軸方向）へ移動可能とされている。蛍光染色標本３０は、Ｚ方向に例えば数μｍから数十μｍの厚さを有し、スライドガラスＳＧ及びカバーガラス（図示無し）に挟まれて所定の固定手法により固定されている。
　ステージ１０２の上方には光学系１０３が配置される。光学系１０３は、対物レンズ１０３Ａと、結像レンズ１０３Ｂと、ダイクロイックミラー１０３Ｃと、エミッションフィルタ１０３Ｄと、励起フィルタ１０３Ｅと、を備える。光源１０４は、例えば水銀ランプ等の電球やＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等であり、光源駆動部１０６の駆動により蛍光染色標本３０に付された蛍光標識に対する励起光を照射するものである。
　励起フィルタ１０３Ｅは、蛍光染色標本３０の蛍光像を得る場合に、光源１０４から出射された光のうち蛍光色素を励起する励起波長の光のみを透過させることで励起光を生成する。ダイクロイックミラー１０３Ｃは、当該励起フィルタで透過されて入射する励起光を反射させて対物レンズ１０３Ａへ導く。対物レンズ１０３Ａは、当該励起光を蛍光染色標本３０へ集光する。そして対物レンズ１０３Ａ及び結像レンズ１０３Ｂは、蛍光染色標本３０の像を所定の倍率に拡大し、当該拡大像を蛍光信号取得部１１２の撮像面に結像させる。
　蛍光染色標本３０に励起光が照射されると、蛍光染色標本３０の各組織に結合している染色剤が蛍光を発する。この蛍光は、対物レンズ１０３Ａを介してダイクロイックミラー１０３Ｃを透過し、エミッションフィルタ１０３Ｄを介して結像レンズ１０３Ｂへ到達する。エミッションフィルタ１０３Ｄは、上記対物レンズ１０３Ａによって拡大された、励起フィルタ１０３Ｅを透過した光を吸収し発色光の一部のみを透過する。当該外光が喪失された発色光の像は、上述のとおり、結像レンズ１０３Ｂにより拡大され、蛍光信号取得部１１２上に結像される。
　データ処理部１０７は、光源１０４を駆動させ、蛍光信号取得部１１２を用いて蛍光染色標本３０の蛍光像を取得し、これを用いて各種処理を行う構成である。より具体的には、データ処理部１０７は、図１を参照して説明した、情報処理装置１００の情報取得部１１１、保存部１２０、処理部１３０、表示部１４０、制御部１５０、操作部１６０、又はデータベース２００の一部又は全部の構成として機能し得る。例えば、データ処理部１０７は、情報処理装置１００の制御部１５０として機能することで、ステージ駆動部１０５及び光源駆動部１０６の駆動を制御したり、蛍光信号取得部１１２によるスペクトルの取得を制御したりする。また、データ処理部１０７は、情報処理装置１００の処理部１３０として機能することで、蛍光スペクトルを生成したり、蛍光スペクトルを蛍光物質毎に分離したり、分離結果に基づいて画像情報を生成したりする。
　以上、本実施形態に係る情報処理システムが顕微鏡システムとして実現される場合における顕微鏡システムの構成例について説明した。なお、図５を参照して説明した上記の構成はあくまで一例であり、本実施形態に係る顕微鏡システムの構成は係る例に限定されない。例えば、顕微鏡システムは、図５に示す構成の全てを必ずしも備えなくてもよいし、図５に示されていない構成を備えてもよい。
　（１．３．最小二乗法について）
　ここで、分離処理部１３２による色分離処理において用いられる最小二乗法について説明する。最小二乗法は、入力された染色標本画像における各画素の画素値である蛍光スペクトルに参照スペクトルをフィッティングすることで、混色率を算出するものである。なお、混色率は、各物質が混ざり合う度合を示す指標である。以下の式（１）は、蛍光スペクトル（Ｓｉｇｎａｌ）から、参照スペクトル（Ｓｔ）。蛍光参照スペクトル及び自家蛍光参照スペクトルが混色率ａで混色されたものを減算して得られる残差を表す式である。なお、式（１）における「Ｓｉｇｎａｌ（１×チャンネル数）」とは、蛍光スペクトル（Ｓｉｇｎａｌ）が波長のチャンネル数だけ存在することを示している。例えば、Ｓｉｇｎａｌは、１以上の蛍光スペクトルを表す行列である。また、「Ｓｔ（物質数×チャンネル数）」とは、参照スペクトルが、それぞれの物質（蛍光物質及び自家蛍光物質）について波長のチャンネル数だけ存在することを示している。例えば、Ｓｔは、１以上の参照スペクトルを表す行列である。また、「ａ（１×物質数）」とは、混色率ａが各物質（蛍光物質及び自家蛍光物質）について設けられることを示している。例えば、ａは、蛍光スペクトルにおける参照スペクトルそれぞれの混色率を表す行列である。
Figure JPOXMLDOC01-appb-M000001
　そして、分離処理部１３２は、残差式（１）の２乗和が最小となる各物質の混色率ａを算出する。残差の２乗和が最小となるのは、残差を表す式（１）について、混色率ａに関する偏微分の結果が０である場合であるため、分離処理部１３２は、以下の式（２）を解くことで残差の２乗和が最小となる各物質の混色率ａを算出する。なお、式（２）における「Ｓｔ´」は、参照スペクトルＳｔの転置行列を示している。また、「ｉｎｖ（Ｓｔ＊Ｓｔ´）」は、Ｓｔ＊Ｓｔ´の逆行列を示している。
Figure JPOXMLDOC01-appb-M000002
　ここで、上記式（１）の各値の具体例を以下の式（３）～式（５）に示す。式（３）～式（５）の例では、蛍光スペクトル（Ｓｉｇｎａｌ）において、３種の物質（物質数が３）の参照スペクトル（Ｓｔ）がそれぞれ異なる混色率ａで混色される場合が示されている。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　そして、式（３）および式（５）の各値による上記式（２）の計算結果の具体例を以下の式（６）に示す。式（６）のとおり、計算結果として正しく「ａ＝（３　２　１）」（すなわち上記式（４）と同一の値）が算出されることがわかる。
Figure JPOXMLDOC01-appb-M000006
　なお、分離処理部１３２は、上述したように、最小二乗法ではなく重み付き最小二乗法（Ｗｅｉｇｈｔｅｄ　Ｌｅａｓｔ　Ｓｑｕａｒｅ　Ｍｅｔｈｏｄ）に関する計算を行うことにより、蛍光スペクトルから蛍光物質ごとのスペクトルを抽出してもよい。重み付き最小二乗法においては、測定値である蛍光スペクトル（Ｓｉｇｎａｌ）のノイズがポアソン分布になることを利用して、低いシグナルレベルの誤差を重視するように重みが付けられる。ただし、重み付き最小二乗法で加重が行われない上限値をＯｆｆｓｅｔ値とする。Ｏｆｆｓｅｔ値は測定に使用されるセンサの特性によって決まり、センサとして撮像素子が使用される場合には別途最適化が必要である。重み付き最小二乗法が行われる場合には、上記の式（１）及び式（２）における参照スペクトルＳｔが以下の式（７）で表されるＳｔ＿に置換される。なお、以下の式（７）は、行列で表されるＳｔの各要素（各成分）を、同じく行列で表される「Ｓｉｇｎａｌ＋Ｏｆｆｓｅｔ値」においてそれぞれ対応する各要素（各成分）で除算（換言すると、要素除算）することでＳｔ＿を算出することを意味する。
Figure JPOXMLDOC01-appb-M000007
　ここで、Ｏｆｆｓｅｔ値が１であり、参照スペクトルＳｔおよび蛍光スペクトルＳｉｇｎａｌの値がそれぞれ上記の式（３）および式（５）で表される場合の、上記式（７）で表されるＳｔ＿の具体例を以下の式（８）に示す。
Figure JPOXMLDOC01-appb-M000008
　そして、この場合の混色率ａの計算結果の具体例を以下の式（９）に示す。式（９）のとおり、計算結果として正しく「ａ＝（３　２　１）」が算出されることがわかる。
Figure JPOXMLDOC01-appb-M000009
　（１．４．非負値行列因子分解（ＮＭＦ）について）
　つづいて、分離処理部１３２が自家蛍光スペクトル及び／又は蛍光スペクトルの抽出に用いる非負値行列因子分解（ＮＭＦ）について説明する。ただし、非負値行列因子分解（ＮＭＦ）に限定されず、特異値分解（ＳＶＤ）や主成分分析（ＰＣＡ）等が用いられてもよい。
　図３は、ＮＭＦの概要を説明する図である。図３に示すように、ＮＭＦは、非負のＮ行Ｍ列（Ｎ×Ｍ）の行列Ａを、非負のＮ行ｋ列（Ｎ×ｋ）の行列Ｗ、及び非負のｋ行Ｍ列（ｋ×Ｍ）の行列Ｈに分解する。行列Ａと、行列Ｗ及び行列Ｈの積（Ｗ＊Ｈ）間の平均平方二乗残差Ｄが最小となるように行列Ｗ及び行列Ｈが決定される。本実施形態においては、行列Ａが、自家蛍光参照スペクトルが抽出される前のスペクトル（Ｎが画素数であり、Ｍが波長チャネル数である）に相当し、行列Ｈが、抽出された自家蛍光参照スペクトル（ｋが自家蛍光参照スペクトルの数（換言すると、自家蛍光物質の数）であり、Ｍが波長チャネル数である）に相当する。ここで、平均平方二乗残差Ｄは、以下の式（１０）で表される。なお、「ｎｏｒｍ（Ｄ，‘ｆｒｏ’）」とは、平均平方二乗残差Ｄのフロベニウスノルムを指す。
Figure JPOXMLDOC01-appb-M000010
　ＮＭＦにおける因子分解は、行列Ｗ及び行列Ｈに対する無作為な初期値で始まる反復法が用いられる。ＮＭＦにおいてｋの値（自家蛍光参照スペクトルの数）は必須であるが、行列Ｗ及び行列Ｈの初期値は必須ではなくオプションとして設定され得、行列Ｗ及び行列Ｈの初期値が設定されると解が一定となる。一方で、行列Ｗ及び行列Ｈの初期値が設定されない場合、これらの初期値は無作為に設定され、解が一定とならない。
　標本２０は、使用される組織の種類、対象となる疾病の種類、対象者の属性、または対象者の生活習慣等に応じてその性質が異なり、自家蛍光スペクトルも異なる。そのため、第２の実施形態に係る情報処理装置１００が、上記のように、標本２０毎に自家蛍光参照スペクトルを実測することで、より精度の高い色分離処理を実現することができる。
　なお、ＮＭＦの入力である行列Ａは、上述したように、染色標本画像の画素数Ｎ（＝Ｈｐｉｘ×Ｖｐｉｘ）と同数の行と、波長チャネル数Ｍと同数の列とからなる行列である。そのため、染色標本画像の画素数が大きい場合や波長チャネル数Ｍが大きい場合には、行列Ａが非常に大きな行列となり、ＮＭＦの計算コストが増大して処理時間が長くなる。
　そのような場合には、例えば、図４に示すように、染色画像の画素数Ｎ（＝Ｈｐｉｘ×Ｖｐｉｘ）を指定しておいたクラス数Ｎ（＜Ｈｐｉｘ×Ｖｐｉｘ）にクラスタリングすることで、行列Ａの巨大化による処理時間の冗長化を抑制することができる。
　クラスタリングでは、例えば、染色画像のうち、波長方向や強度方向において類似したスペクトル同士が同じクラスに分類される。これにより、染色画像よりも画素数の小さい画像が生成されるため、この画像を入力とした行列Ａ’の規模を縮小することが可能となる。
　（画像生成部１３３）
　画像生成部１３３は、分離処理部１３２による蛍光スペクトルの分離結果に基づいて画像情報を生成する構成である。例えば、画像生成部１３３は、１つ又は複数の蛍光物質に対応する蛍光スペクトルを用いて画像情報を生成したり、１つ又は複数の自家蛍光物質に対応する自家蛍光スペクトルを用いて画像情報を生成したりすることができる。なお、画像生成部１３３が画像情報の生成に用いる蛍光物質（分子）又は自家蛍光物質（分子）の数や組合せは特に限定されない。また、分離後の蛍光スペクトル又は自家蛍光スペクトルを用いた各種処理（例えば、セグメンテーション、またはＳ／Ｎ値の算出等）が行われた場合、画像生成部１３３は、それらの処理の結果を示す画像情報を生成してもよい。
　（表示部１４０）
　表示部１４０は、画像生成部１３３によって生成された画像情報をディスプレイに表示することで実施者へ提示する構成である。なお、表示部１４０として用いられるディスプレイの種類は特に限定されない。また、本実施形態では詳細に説明しないが、画像生成部１３３によって生成された画像情報がプロジェクターによって投影されたり、プリンタによってプリントされたりすることで実施者へ提示されてもよい（換言すると、画像情報の出力方法は特に限定されない）。
　（制御部１５０）
　制御部１５０は、情報処理装置１００が行う処理全般を統括的に制御する機能構成である。例えば、制御部１５０は、操作部１６０を介して行われる実施者による操作入力に基づいて、上記で説明したような各種処理（例えば、蛍光染色標本３０の載置位置の調整処理、蛍光染色標本３０に対する励起光の照射処理、スペクトルの取得処理、自家蛍光成分補正画像の生成処理、色分離処理、画像情報の生成処理、および画像情報の表示処理等）の開始や終了等を制御する。なお、制御部１５０の制御内容は特に限定されない。例えば、制御部１５０は、汎用コンピュータ、ＰＣ、タブレットＰＣ等において一般的に行われる処理（例えば、ＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）に関する処理）を制御してもよい。
　（１．５．第１実施形態の特徴的な構成）
　上記では、本実施形態に係る情報処理システムの構成例及び応用例について説明した。続いて、本実施形態の特徴的な構成について、以下に図面を参照して詳細に説明する。
　上述したように、本実施形態では、組織サンプルを撮影した際に問題とされる自家蛍光物質由来の蛍光信号を解析対象である蛍光物質由来の蛍光信号と区別するため、染色標本画像を色分離処理する際に得られる自家蛍光物質由来のスペクトル情報（自家蛍光成分（スペクトル））を用いて擬似的な自家蛍光成分画像（自家蛍光成分補正画像）を生成し、これを用いて染色標本画像の定量的な解析を可能にする。
　より具体的には、本実施形態では、染色標本画像から抽出された自家蛍光成分に基づき、それに対応する自家蛍光参照スペクトルを用いて自家蛍光成分補正画像を生成し、その自家蛍光成分補正画像を用いて染色標本画像を加工することで、より高い精度で色分離された蛍光成分画像を生成する。なお、生成された蛍光成分画像は、表示部１４０において表示されてもよいし、処理部１３０やその他の構成（例えば、ネットワークを介して接続された解析装置等）で所定の処理（解析処理等）が実行されてもよい。なお、所定の処理とは、例えば、特定の細胞の検出などの処理であってよい。
　（１．５．１．基本動作例）
　図６は、本実施形態に係る情報処理システムの基本動作例を示すフローチャートである。なお、以下の動作は、例えば、制御部１５０による制御下で各部が動作することで実行される。
　図６に示すように、本実施形態に係る基本動作では、まず、取得部１１０の情報取得部１１１が蛍光染色標本３０を撮像することで、染色標本画像を取得する（ステップＳ１０１）。これにより取得された染色標本画像は、例えば、保存部１２０における情報保存部１２１に格納される。
　また、情報取得部１１１は、ネットワークを介して接続されたデータベース２００から試薬情報及び標本情報を取得する（ステップＳ１０２）。上述したように、ここで、標本情報には、標本２０における１以上の自家蛍光物質の自家蛍光参照スペクトルに関する情報が含まれ、試薬情報には、蛍光染色標本３０における蛍光物質の蛍光参照スペクトルに関する情報が含まれている。取得した試薬情報及び標本情報は、例えば、保存部１２０における情報保存部１２１に格納される。
　次に、分離処理部１３２が、情報保存部１２１に格納されている染色標本画像と試薬情報及び標本情報とを取得し、取得した染色標本画像に対して例えば最小二乗法を用いた自家蛍光参照スペクトルのフィッティングを行うことで、染色標本画像の色分離処理を実行する（ステップＳ１０３）。この色分離処理により、蛍光成分画像及び自家蛍光成分画像が生成される。
　次に、分離処理部１３２は、ステップＳ１０３で生成した自家蛍光成分画像と、ステップＳ１０２で取得した標本情報に含まれる自家蛍光参照スペクトルとを用いて、自家蛍光成分補正画像を生成する（ステップＳ１０４）。なお、自家蛍光成分補正画像の生成については、後述においてより詳細に説明する。
　次に、分離処理部１３２は、自家蛍光成分補正画像を用いて染色標本画像を加工することで、蛍光成分画像を生成する（ステップＳ１０５）。このように、自家蛍光参照スペクトルを用いた生成した自家蛍光成分補正画像を用いて染色標本画像に含まれる自家蛍光成分を除去することで、より色分離精度が向上した、すなわち、より自家蛍光成分の残存量が低減した蛍光成分画像を生成することが可能である（補正部）。
　そして、分離処理部１３２は、生成された蛍光成分画像を画像生成部１３３や外部のサーバ等へ送信する（ステップＳ１０６）。その後、本動作は終了する。
　（１．５．２．自家蛍光成分補正画像生成フロー例）
　続いて、図６のステップＳ１０４で説明した自家蛍光成分画像を生成する際の動作例を説明する。図７は、本実施形態に係る疑似自家蛍光成分画像を生成する際の動作例を示すフローチャートである。また、図８は、図６のステップＳ１０３で生成される自家蛍光成分画像の一例を示す図であり、図９は、図６のステップＳ１０２で取得される標本情報に含まれる自家蛍光参照スペクトルの一例を示す図である。さらに、図１０は、図７のステップＳ１１２を説明するための図であり、図１１は、図７のステップＳ１１４を説明するための図である。
　図７に示すように、自家蛍光成分補正画像生成フローでは、分離処理部１３２は、まず、図６のステップＳ１０３で生成された自家蛍光成分画像（図８参照）のうち、未選択の１つ（これを自家蛍光チャネルＣＨｎ（ｎは自然数）の自家蛍光成分画像とする）を選択する（ステップＳ１１１）。なお、自家蛍光チャネルとは、自家蛍光ごとに付与された識別情報であってよい。
　次に、分離処理部１３２は、図１０に示すように、ステップＳ１１１で選択した自家蛍光チャネルＣＨｎの自家蛍光成分画像と、図６のステップＳ１０２で取得した標本情報に含まれる自家蛍光参照スペクトル（図９参照）のうちの自家蛍光チャネルＣＨｎの自家蛍光参照スペクトルとから自家蛍光チャネルＣＨｎに関するスペクトル画像を生成する（ステップＳ１１２）。このスペクトル画像の生成には、上述したＮＭＦを用いることができる。
　次に、分離処理部１３２は、ステップＳ１１１において全ての自家蛍光成分画像を選択済みであるか否かを判定し（ステップＳ１１３）、選択済みでない場合（ステップＳ１１３のＮＯ）、ステップＳ１１１へ戻り、未選択の自家蛍光成分画像を選択して以降の動作を実行する。
　一方、ステップＳ１１１で全ての自家蛍光成分画像を選択済みである場合（ステップＳ１１３のＹＥＳ）、分離処理部１３２は、図１１に示すように、繰り返されたステップＳ１１２で生成された自家蛍光チャネルＣＨそれぞれのスペクトル画像を加算する（ステップＳ１１４）。これにより、自家蛍光成分補正画像が生成される。その後、分離処理部１３２は、図７に示す動作を終了する。
　（１．６．解析対象領域の抽出及び解析）
　次に、本実施形態に係る蛍光成分画像からの解析対象領域の抽出処理及びその解析について、比較例を用いつつ説明する。図１２は、比較例に係る解析対象領域の抽出処理及びその解析を説明するためのフローチャートであり、図１３は、図１２に示す比較例に係る解析対象領域の抽出処理及びその解析を説明するための模式図である。また、図１４は、本実施形態に係る解析対象領域の抽出処理及びその解析を説明するためのフローチャートであり、図１５は、図１４に示す本実施形態に係る解析対象領域の抽出処理及びその解析を説明するための模式図である。
　（比較例）
　図１２及び図１３に示すように、比較例では、まず、染色切片を撮像すること染色標本画像を取得するとともに、染色切片と隣接又は近接する未染色の組織切片（以下、非染色組織切片又は非染色切片ともいう）を撮像することで未染色切片の撮像画像（以下、非染色標本画像という）を取得する（ステップＳ９０１）。続いて、取得した染色標本画像と非染色標本画像とを用いた色分離処理を実行することで、蛍光成分画像と自家蛍光成分画像とを生成する（ステップＳ９０２）。
　次に、自家蛍光成分画像に基づいて、解析対象とする領域（解析対象領域）の候補となる領域（抽出対象領域）を抽出するための抗体数の閾値を設定する（ステップＳ９０３）。なお、抗体数の閾値は、例えば、蛍光成分画像における各画素の画素値に対する閾値などであってよい。また、抽出対象領域は、図１３のステップＳ９０３においてドットでハッチングされた領域であってよい。
　次に、染色標本画像における各画素の画素値と閾値とを比較し、その比較結果に基づくことで、解析対象領域を抽出するためのマスク画像を生成する（ステップＳ９０４）。これにより、例えば、画素値が閾値以上であれば‘１’、閾値未満であれば‘０’とする二値マスクがマスク画像として生成される。なお、‘１’が付与された画素又は領域は、解析対象の候補となる画素又は領域であり、‘０’が付与された画素又は領域は、解析対象から除外された画素又は領域であってよい。
　次に、ステップＳ９０４で生成されたマスク画像の各画素と蛍光成分画像の各画素との論理積演算を実行することで、蛍光成分画像から解析対象領域を抽出する（ステップＳ９０５）。これにより、自家蛍光成分画像から抽出した値を閾値として、蛍光色素抗体によって標識された領域（解析対象の形態的情報）が抽出された抽出画像が得られる。
　その後、例えば、解析対象領域が外部サーバなどの解析装置へ送られて、定量的に評価される（ステップＳ９０６）。
　（本実施形態）
　一方、図１４及び図１５に示すように、本実施形態では、まず、染色切片を撮像することで染色標本画像を取得する（ステップＳ１）。すなわち、本実施形態では、非染色切片を撮像して未染色標本画像を取得する必要がない。
　次に、本実施形態では、染色標本画像に対する色分離処理を実行することで、蛍光成分画像を生成する（ステップＳ２）。また、本実施形態では、色分離処理により生成された自家蛍光成分画像と、取得した標本情報に含まれる自家蛍光参照スペクトルとを用いて、自家蛍光成分補正画像を生成する（ステップＳ３）。
　次に、自家蛍光成分補正画像に基づいて、解析対象領域の候補となる抽出対象領域を抽出するための抗体数の閾値を設定する（ステップＳ４）。なお、図１２及び図１３を用いた説明と同様に、抗体数の閾値は、例えば、蛍光成分画像における各画素の画素値に対する閾値などであってよく、また、抽出対象領域は、図１５のステップＳ４においてドットでハッチングされた領域であってよい。
　その後、図１２及び図１３のステップＳ９０４～Ｓ９０６と同様に、染色標本画像における各画素の画素値と閾値とを比較してマスク画像を生成し（ステップＳ５）、続いて、ステップＳ５で生成されたマスク画像と蛍光成分画像との論理積演算を実行することで、蛍光成分画像から解析対象領域を抽出する（ステップＳ６）。これにより、自家蛍光成分補正画像から抽出した値を閾値として、蛍光色素抗体によって標識された領域（解析対象の形態的情報）が抽出された抽出画像が得られる。そして、抽出された解析対象領域が例えば外部サーバなどの解析装置へ送られて、定量的に評価される（ステップＳ７）。
　（１．７．作用・効果）
　以上のように、本実施形態によれば、解析対象領域の抽出処理において、ユーザが自家蛍光成分補正画像から定義した値あるいは客観性を持つ数値を閾値として設定し、染色標本画像中の画素値と閾値との大小関係に基づいて生成されたマスク画像（二値マスク）を用いて解析対象領域が抽出される。
　このように、閾値の設定に自家蛍光成分補正画像を用いることで、別途非染色切片を撮像して非染色標本画像を取得する手間や、自家蛍光成分画像を生成する手間等を省略することができることのほかに、染色標本画像中の空間的な情報（自家蛍光成分やノイズ由来などの信号分布が同一である）を保持している、言い換えれば、染色標本画像や蛍光成分画像との相関を持った自家蛍光成分補正画像に基づいて閾値が設定できるため、染色標本画像や蛍光成分画像との相関を持った閾値を設定することができるという効果を奏することが可能となる。
　　＜２．第２実施形態＞
　次に、第２の実施形態について説明する。上述した第１の実施形態では、生成した自家蛍光成分補正画像から染色標本画像の全画素に対する閾値を一意的に設定していた。これに対し、第２の実施形態では、画素ごとに異なる閾値を設定することで、必ずしも同じでない閾値が空間的に分布する閾値分布画像を生成する。なお、本実施形態において、情報処理システムの構成及び基本動作は、第１の実施形態に係る情報処理システムの構成及び基本動作と同様であってよいため、ここでは詳細な説明を省略する。
　（２．１．解析対象領域の抽出及びその解析）
　図１６は、本実施形態に係る解析対象領域の抽出処理及びその解析を説明するためのフローチャートであり、図１７は、図１６に示す本実施形態に係る解析対象領域の抽出処理及びその解析を説明するための模式図である。
　図１６及び図１７に示すように、本実施形態では、まず、第１の実施形態において図１４及び図１５のステップＳ１～Ｓ３を用いて説明した動作と同様に、染色切片を撮像することで染色標本画像を取得し（ステップＳ２１）、染色標本画像に対する色分離処理を実行することで蛍光成分画像を生成し（ステップＳ２２）、色分離処理により生成された自家蛍光成分画像と、取得した標本情報に含まれる自家蛍光参照スペクトルとを用いて、自家蛍光成分補正画像を生成する（ステップＳ２３）。
　次に、本実施形態では、自家蛍光成分補正画像に基づいて、画素ごとに異なる抗体数の閾値が設定された閾値分布画像を生成する（ステップＳ２４）。画素ごとに閾値が異なる閾値分布画像の生成方法としては、例えば、自家蛍光成分補正画像の各画素の画素値に対して予め設定しておいた係数を乗算する方法などを採用することができる。ここで、係数は、例えば、妥当と考えられる数値範囲内で決定されてよい。具体例としては、自家蛍光成分補正画像における画素値の最大値や平均値に基づく値が係数として用いられてもよい。
　次に、本実施形態では、染色標本画像における各画素の画素値と、閾値分布画像における対応する画素の閾値とを比較し、その比較結果に基づくことで、解析対象領域を抽出するためのマスク画像を生成する（ステップＳ２５）。これにより、例えば、画素値が閾値以上であれば‘１’、閾値未満であれば‘０’とする二値マスクがマスク画像として生成される。なお、第１の実施形態と同様に、‘１’が付与された画素又は領域は、解析対象の候補となる画素又は領域であり、‘０’が付与された画素又は領域は、解析対象から除外された画素又は領域であってよい。また、図１７のステップＳ２５に示す画素ごとの比較結果において、ドットでハッチングされた画素は、例えば、画素値が対応する閾値以上であった画素であってよい。
　その後、図１４及び図１５のステップＳ６～Ｓ７と同様に、Ｓ２５で生成されたマスク画像と蛍光成分画像との論理積演算を実行することで、蛍光成分画像から解析対象領域を抽出する（ステップＳ２６）。これにより、自家蛍光成分補正画像から抽出した値を閾値として、蛍光色素抗体によって標識された領域（解析対象の形態的情報）が抽出された抽出画像が得られる。そして、抽出された解析対象領域が例えば外部サーバなどの解析装置へ送られて、定量的に評価される（ステップＳ２７）。
　（２．２．作用・効果）
　以上のように、本実施形態では、染色標本画像から目的の領域のみを抽出するための二値マスクを生成する上で、第１の実施形態のように、自家蛍光成分補正画像から閾値を一意的に設定するのではなく、異なる閾値を空間的に分布させることができる閾値分布画像を生成する。それにより、染色標本画像と対応する自家蛍光成分補正画像の画素値を用いて閾値を設定することが可能となるため、組織領域ごとの自家蛍光成分の分布やハードウェアの影響など、システム上生じ得るノイズの空間的な情報を保持する閾値分布画像を用いて解析対象領域を抽出することが可能となる。その結果、蛍光観察における解析精度をより向上させることが可能となる。
　なお、その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　　＜３．第３実施形態＞
　次に、第３の実施形態について説明する。上述した実施形態では、染色標本画像から自家蛍光成分補正画像を生成する場合を例示した。これに対し、本実施形態では、自家蛍光成分補正画像に加え、擬似的な蛍光成分画像（以下、蛍光成分補正画像という）も生成し、それらのスペクトル強度比を算出することで、自家蛍光に対する蛍光色素強度の割合を情報として取得する。なお、本実施形態において、情報処理システムの構成及び基本動作は、上述した実施形態に係る情報処理システムの構成及び基本動作と同様であってよいため、ここでは詳細な説明を省略する。
　（３．１．スペクトル強度比画像の生成及びその解析）
　本実施形態において、スペクトル強度比は、例えば、空間的に分布する情報、すなわち画像データ（スペクトル強度比画像）として生成される。図１８は、本実施形態に係るスペクトル強度比画像の生成処理及びその解析を説明するためのフローチャートである。
　図１８に示すように、本実施形態では、まず、第１の実施形態において図６のステップＳ１０１～Ｓ１０４と同様の動作を実行することで、自家蛍光成分補正画像を生成する（ステップＳ１０４）。
　次に、本実施形態では、例えば、自家蛍光成分補正画像を生成する際の同様の動作を適用することで、蛍光成分補正画像を生成する（ステップＳ３０１）。なお、蛍光成分補正画像生成フローは、第１の実施形態において図７を用いて説明した動作における自家蛍光成分画像を蛍光成分画像に置き換え、自家蛍光参照スペクトルを蛍光参照スペクトルに置き換えることで実施可能であるため、ここでは詳細な説明を省略する。
　次に、分離処理部１３２は、蛍光成分補正画像と自家蛍光成分補正画像とにおける対応する画素同士の比（スペクトル強度比）を算出することで、スペクトル強度比画像を生成する（ステップＳ３０２）。
　その後、例えば、スペクトル強度比画像が外部サーバなどの解析装置へ送られて、定量的に評価される（ステップＳ３０３）。
　（３．２．スペクトル強度画像の生成手法）
　本実施形態において、スペクトル強度比画像は、例えば、蛍光成分補正画像の各画素のスペクトル強度を示すスペクトル強度画像と、自家蛍光成分補正画像の各画素のスペクトル強度を示すスペクトル強度画像とをそれぞれ生成し、対応する画素同士のスペクトル強度の比を算出することで生成されてもよい。
　ここで、蛍光成分補正画像及び自家蛍光成分補正画像それぞれのスペクトル強度画像を生成する手法は、特に限定されるものではない。そこで以下に、２つの生成手法を例示する。
　（３．２．１　第１の生成手法）
　図１９は、第１の生成手法を説明するための図である。図１９に示すように、第１の生成手法では、データキューブ構造の蛍光成分補正画像／自家蛍光成分補正画像の波長チャネルごとの画素値を波長方向で合算することで（ステップＳ３１）、スペクトル強度画像を生成する。
　（３．２．２　第２の生成手法）
　図２０は、第２の生成手法を説明するための図である。図２０に示すように、第２の生成手法では、データキューブ構造の蛍光成分補正画像／自家蛍光成分補正画像の波長チャネルごとの画素値のうち、波長方向において最大値の画素値を抽出することで（ステップＳ３２）、スペクトル強度画像を生成する。
　（３．３．作用・効果）
　以上のように、本実施形態では、蛍光成分においても、蛍光成分画像の画素ごとに色分離処理によって抽出された蛍光参照スペクトルを掛け合わせることで蛍光成分補正画像を生成し、蛍光成分補正画像及び自家蛍光成分補正画像それぞれのスペクトル強度画像を得る。そして、蛍光成分補正画像の各画素と自家蛍光成分補正画像の各画素とのスペクトル強度比から、自家蛍光に対する蛍光色素強度の割合を空間的に示す情報であるスペクトル強度比画像が生成される。このようにして生成されたスペクトル強度比画像は、情報処理システムにおける測定系（取得部１１０に相当）の性能評価や処理部１３０における色分離精度評価、さらには蛍光試薬パネルの設計／評価等に活用することが可能である。
　また、本実施形態によれば、例えば、以上のように生成したスペクトル強度比画像を、染色標本画像を取得部１１０が取得した際の撮影条件や標本２０に対する蛍光試薬１０の標識条件（染色条件）等の画像取得条件と紐づけて保存部１２０等に記録しておき、同一の取得部１１０を用いて染色標本画像を取得する際の参考情報として活用するなども可能となる。また、スペクトル強度比画像及び画像取得条件をネットワーク上のサーバに保管しておき、他の情報処理システム又は情報処理装置１００と共有することで、他の情報処理システムにおける同機種の取得部１１０を用いて染色標本画像を取得する際の参考情報として活用するなども可能となる。具体的には、例えば、同機種の取得部１１０を用いる場合の機器間ベースライン補正や検量線補正などに、保存部１２０、サーバ等に蓄積されているスペクトル強度比画像及び画像取得条件が利用されてもよい。
　なお、その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　　＜４．第４実施形態＞
　次に、第４の実施形態について説明する。上述した実施形態では、自家蛍光スペクトル及び／又は蛍光スペクトルの抽出に例えばＮＭＦやＳＶＤやＰＣＡ等が用いられていた。これに対し、本実施形態では、これらに代えて、機械学習を用いて自家蛍光スペクトル及び／又は蛍光スペクトルを抽出する場合について説明する。なお、本実施形態において、情報処理システムの構成及び基本動作は、上述した実施形態に係る情報処理システムの構成及び基本動作と同様であってよいため、ここでは詳細な説明を省略する。
　（４．１．機械学習を用いた蛍光成分画像の生成）
　図２１は、本実施形態に係る機械学習を用いた蛍光成分画像の生成処理を説明するためのフローチャートであり、図２２は、図２１に示す本実施形態に係る機械学習を用いた蛍光成分画像の生成処理を説明するための模式図である。
　図２１及び図２２に示すように、本実施形態では、まず、第２の実施形態において図１４のステップＳ１～Ｓ３と同様の動作を実行することで、自家蛍光成分補正画像を生成する（ステップＳ４０１～Ｓ４０３）。
　次に、本実施形態では、ステップＳ４０１の色分離処理により生成された蛍光成分画像とステップＳ４０３で生成された疑似自家蛍光成分画像とを機械学習部４０１に入力し、機械学習部４０１において蛍光成分画像と疑似自家蛍光成分画像とを入力画像とした教師なし学習のディープラーニングを実行することで、染色標本画像から自家蛍光成分由来の信号強度や分布などの特徴量（例えば、自家蛍光スペクトル）を抽出する（ステップＳ４０４）。なお、ディープラーニングとしては、ＤＮＮ（Deep　Neural　Network）やＣＮＮ（Convolutional　Neural　Network）やＲＮＮ（Recurrent　Neural　Network）など、種々の機械学習を適用することができる。また、機械学習部４０１は、例えば、情報処理装置１００における処理部１３０等に実装されてもよいし、情報処理装置１００と所定のネットワークを介して接続されたクラウドサーバ等に実装されてもよい。
　そして、本実施形態では、ステップＳ４０４で抽出した特徴量を用いて、自家蛍光成分の残存量がより低減されたさらに精度の高い蛍光成分画像を生成し（ステップＳ４０５）、本動作を終了する。
　（４．２．作用・効果）
　以上のように、本実施形態では、染色標本画像に対する色分離処理により生成された蛍光成分画像と、それより生成した自家蛍光成分補正画像とを入力画像とし、教師なし学習の機械学習を適用することで、染色標本画像から自家蛍光成分由来の信号強度や分布などの特徴量を抽出し、これらの抽出した特徴量をもとにさらに精度の高い蛍光成分画像を生成する。このように、染色標本画像を由来とする、言い換えれば、染色標本画像から生成された自家蛍光成分補正画像を入力とする機械学習を実行することで、機械学習の入力画像と出力画像との紐づけが容易となるため、学習効果を高めやすいという効果を奏することが可能となる。
　なお、その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　　＜５．測定系の構成例＞
　次に、上述した実施形態（以下、単に実施形態という）に係る情報処理装置１００における測定系の構成例について説明する。図２３は、実施形態に係る情報処理システムの測定系の一例を示す図である。なお、図２３には、ＷＳＩ（Whole　Slide　Imaging）など、蛍光染色標本３０（又は無染色標本である標本２０）の広視野を撮影する際の測定系の一例が示されている。ただし、実施形態に係る測定系は、図２３に例示する測定系に限定されず、撮影領域全体又はこのうちの必要な領域（関心領域ともいう）を一度に撮影する測定系や、ラインスキャンにより撮影領域全体又は関心領域の画像を取得する測定系など、撮影領域全体又は関心領域の十分な解像度の画像データ（以下、広視野画像データという）を取得することが可能な測定系であれば、種々変形されてよい。
　図２３に示すように、実施形態に係る測定系は、例えば、情報処理装置１００と、ＸＹステージ５０１と、励起光源５１０と、ビームスプリッタ５１１と、対物レンズ５１２と、分光器５１３と、光検出器５１４とを備える。
　ＸＹステージ５０１は、解析対象の蛍光染色標本３０（又は標本２０）が載置されるステージであって、例えば、蛍光染色標本３０（又は標本２０）の載置面と平行な平面（ＸＹ平面）において移動可能なステージであってよい。
　励起光源５１０は、蛍光染色標本３０（又は標本２０）を励起させるための光源であり、例えば、波長が互いに異なる複数の励起光を所定の光軸に沿って出射する。
　ビームスプリッタ５１１は、例えば、ダイクロイックミラー等で構成され、励起光源５１０からの励起光を反射し、蛍光染色標本３０（又は標本２０）からの蛍光を透過する。
　対物レンズ５１２は、ビームスプリッタ５１１で反射した励起光をＸＹステージ５０１上の蛍光染色標本３０（又は標本２０）に照射する。
　分光器５１３は、１以上のプリズムやレンズ等を用いて構成され、蛍光染色標本３０（又は標本２０）から放射し、対物レンズ５１２及びビームスプリッタ５１１を透過した蛍光を所定方向に分光する。
　光検出器５１４は、分光器５１３で分光された蛍光の波長ごとの光強度を検出し、これにより得られた蛍光信号（蛍光スペクトル及び／又は自家蛍光スペクトル）を情報処理装置１００の蛍光信号取得部１１２に入力する。
　以上のような構成において、ＷＳＩのような、撮影領域全体が１回で撮影できる領域（以下、視野という）を超える場合、１回の撮影ごとにＸＹステージ５０１を動かして視野を移動させることで、各視野の撮影が順次行われる。そして、各視野の撮影により得られた画像データ（以下、視野画像データという）をタイリングすることで、撮影領域全体の広視野画像データが生成される。生成された広視野画像データは、例えば、蛍光信号保存部１２２に保存される。なお、視野画像データのタイリングは、情報処理装置１００の取得部１１０において実行されてもよいし、保存部１２０において実行されてもよいし、処理部１３０において実行されてもよい。
　そして、実施形態に係る処理部１３０は、得られた広視野画像データに対して上述した処理を実行することで、係数Ｃ、すなわち、蛍光分子ごとの蛍光分離画像（又は自家蛍光分子ごとの自家蛍光分離画像）を取得する。
　　＜６．蛍光分子数（又は抗体数）の算出方法＞
　次に、上述した実施形態における１画素中の蛍光分子数（または抗体数）を算出する方法について説明する。図２４は、実施形態における１画素中の蛍光分子数（または抗体数）を算出する方法を説明するための模式図である。図２４に示す例では、撮像素子とサンプルが対物レンズを介して配置された場合において、撮像素子1［pixel］に対応するサンプルの底面のサイズが、仮に、１３／２０（μｍ）×１３／２０（μｍ）であるとする。そして、サンプルの厚みが、仮に、１０（μｍ）であるとする。その場合、この直方体の体積（ｍ３）は、１３／２０（μｍ）×１３／２０（μｍ）×１０（μｍ）で表される。なお、体積（リットル）は、１３／２０（μｍ）×１３／２０（μｍ）×１０（μｍ）×１０３で表される。
　そして、サンプルに含まれる抗体数（蛍光分子数であってもよい）の濃度が均一であり、３００（ｎＭ）であるとすると、１画素あたりの抗体数は、以下の式（１１）によって表される。
Figure JPOXMLDOC01-appb-M000011
　このように、蛍光染色標本３０における蛍光分子数または抗体数が、蛍光分離処理の結果として算出されることで、実施者は、複数の蛍光物質間で蛍光分子数を比較したり、異なる条件で撮像されたデータを比較したりすることができる。また、輝度（または蛍光強度）が連続値である一方で、蛍光分子数または抗体数は離散値であるため、変形例に係る情報処理装置１００は、蛍光分子数または抗体数に基づいて画像情報を出力することでデータ量を削減することができる。
　　＜７．ハードウェア構成例＞
　上記では、本開示の実施形態及びその変形例について説明した。続いて、図２５を参照して、各実施形態及び変形例に係る情報処理装置１００のハードウェア構成例について説明する。図２５は、情報処理装置１００のハードウェア構成例を示すブロック図である。情報処理装置１００による各種処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
　図２５に示すように、情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置１００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、及びセンサ９１５を備える。情報処理装置１００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣなどの処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、情報処理装置１００の少なくとも処理部１３０及び制御部１５０を具現し得る。
　ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
　入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、実施者によって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置１００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いて実施者により入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。実施者は、この入力装置９０６を操作することにより、情報処理装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。入力装置９０６は、例えば、情報処理装置１００の少なくとも操作部１６０を具現し得る。
　出力装置９０７は、取得した情報を実施者に対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音響出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置１００の少なくとも表示部１４０を具現し得る。
　ストレージ装置９０８は、データ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、情報処理装置１００の少なくとも保存部１２０を具現し得る。
　ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置１００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
　接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
　通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。
　センサ９１５は、本実施形態においては、スペクトルを取得可能なセンサ（例えば、撮像素子等）を含むところ、他のセンサ（例えば、加速度センサ、ジャイロセンサ、地磁気センサ、感圧センサ、音センサ、または測距センサ等）を含んでもよい。センサ９１５は、例えば、情報処理装置１００の少なくとも蛍光信号取得部１１２を具現し得る。
　なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
　以上、情報処理装置１００の機能を実現可能なハードウェア構成例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本開示を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　なお、上記のような情報処理装置１００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等を含む。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　１以上の蛍光色素で標識された標本より観測された蛍光画像を１以上の蛍光成分を含む蛍光成分画像と１以上の自家蛍光成分を含む自家蛍光成分画像とに分離する分離部と、
　前記標本に含まれる１以上の自家蛍光物質それぞれの参照スペクトルと前記自家蛍光成分画像とを用いて自家蛍光成分補正画像を生成する生成部と、
　前記自家蛍光成分補正画像に基づいて前記蛍光成分画像を処理する処理部と、
　を備える情報処理装置。
（２）
　前記処理部は、前記自家蛍光成分補正画像を用いて前記蛍光成分画像を補正した蛍光成分補正画像を生成する前記（１）に記載の情報処理装置。
（３）
　前記生成部は、前記自家蛍光物質ごとに前記自家蛍光成分画像と前記参照スペクトルとを掛け合わせた結果を加算することで、前記自家蛍光成分補正画像を生成する前記（１）又は（２）に記載の情報処理装置。
（４）
　前記処理部は、前記自家蛍光成分補正画像から前記蛍光色素によって標識された領域を示す領域情報を生成し、生成された前記領域情報を用いて前記蛍光成分画像を処理する前記（１）～（３）の何れか一つに記載の情報処理装置。
（５）
　前記領域情報は、前記蛍光色素によって標識された領域を示す二値マスクである前記（４）に記載の情報処理装置。
（６）
　前記処理部は、前記自家蛍光成分補正画像に基づき設定された閾値と前記蛍光画像における各画素の画素値との大小関係に基づいて前記二値マスクを生成する前記（５）に記載の情報処理装置。
（７）
　前記処理部は、前記自家蛍光成分補正画像における各画素の画素値に基づいて前記画素ごとの閾値を設定し、前記画素ごとの閾値と前記蛍光画像における各画素の画素値との大小関係に基づいて前記二値マスクを生成する前記（５）に記載の情報処理装置。
（８）
　前記生成部は、前記１以上の蛍光色素それぞれの参照スペクトルと前記蛍光成分画像とを用いて蛍光成分補正画像をさらに生成する前記（１）～（７）の何れか一つに記載の情報処理装置。
（９）
　前記蛍光成分補正画像と前記自家蛍光成分補正画像とに基づいて、前記蛍光画像を取得する測定系の測定精度、前記分離部による蛍光成分画像と自家蛍光成分画像との分離性能、及び、前記１以上の蛍光色素で構成された蛍光試薬パネルの染色性能のうちの少なくとも１つを評価する評価部をさらに備える前記（８）に記載の情報処理装置。
（１０）
　前記蛍光成分補正画像における各画素のスペクトル強度と前記自家蛍光成分補正画像における各画素のスペクトル強度との比を表すスペクトル強度比画像を生成する画像生成部と、
　前記標本を撮像して前記蛍光画像を取得した際の撮像条件と、前記スペクトル強度比画像とを紐づけて記憶する保存部と、
　をさらに備える前記（８）又は（９）に記載の情報処理装置。
（１１）
　前記蛍光画像と前記蛍光成分画像と前記自家蛍光成分補正画像とに基づいて前記蛍光成分画像を補正する補正部をさらに備え、
　前記処理部は、補正後の前記蛍光成分画像を前記自家蛍光成分補正画像に基づいて処理する、
　前記（１）～（１０）の何れか一つに記載の情報処理装置。
（１２）
　前記補正部は、前記蛍光成分画像と前記自家蛍光成分補正画像とから前記蛍光画像における前記自家蛍光物質の特徴量を推定し、推定された前記特徴量に基づいて前記蛍光成分画像を補正する前記（１１）に記載の情報処理装置。
（１３）
　前記補正部は、前記蛍光成分画像と前記自家蛍光成分補正画像とを入力とする学習済みモデルを用いることで前記特徴量を推定する前記（１２）に記載の情報処理装置。
（１４）
　前記学習済みモデルは、教師なし学習によりトレーニングされたモデルである前記（１３）に記載の情報処理装置。
（１５）
　前記標本を撮像することで前記蛍光画像を取得する取得部をさらに備える前記（１）～（１４）の何れか一つに記載の情報処理装置。
（１６）
　前記処理部は、処理後の前記蛍光成分画像に基づいて前記蛍光画像に含まれる特定の細胞を検出する前記（１）～（１５）の何れか一つに記載の情報処理装置。
（１７）
　１以上の蛍光色素で標識された標本より観測された蛍光画像を１以上の蛍光成分を含む蛍光成分画像と１以上の自家蛍光成分を含む自家蛍光成分画像とに分離し、
　前記標本に含まれる１以上の自家蛍光物質それぞれの参照スペクトルと前記自家蛍光成分画像とを用いて自家蛍光成分補正画像を生成し、
　前記自家蛍光成分補正画像に基づいて前記蛍光成分画像を処理する、
　ことを含む情報処理方法。
（１８）
　１以上の蛍光色素で標識された標本より観測された蛍光画像を１以上の蛍光成分を含む蛍光成分画像と１以上の自家蛍光成分を含む自家蛍光成分画像とに分離する処理と、
　前記標本に含まれる１以上の自家蛍光物質それぞれの参照スペクトルと前記自家蛍光成分画像とを用いて自家蛍光成分補正画像を生成する処理と、
　前記自家蛍光成分補正画像に基づいて前記蛍光成分画像を処理する処理と、
　をコンピュータに実行させるためのプログラム。
（１９）
　１以上の蛍光色素で標識された標本に対して光を照射する光源と、前記光が照射された前記標本から放射した蛍光を観測する撮像装置と、前記撮像装置により取得された蛍光画像に対する処理を実行するためのプログラムとを備える顕微鏡システムであって、
　前記プログラムは、コンピュータにおいて実行されることで、
　　前記蛍光画像を１以上の蛍光成分を含む蛍光成分画像と１以上の自家蛍光成分を含む自家蛍光成分画像とに分離する処理と、
　　前記標本に含まれる１以上の自家蛍光物質それぞれの参照スペクトルと前記自家蛍光成分画像とを用いて自家蛍光成分補正画像を生成する処理と、
　　前記自家蛍光成分補正画像に基づいて前記蛍光成分画像を処理する処理と、
　を前記コンピュータに実行させる、
　顕微鏡システム。
（２０）
　前記（１）に記載の情報処理装置と、
　前記情報処理装置と所定のネットワークを介して接続され、前記情報処理装置により処理された前記蛍光成分画像を解析する解析装置と、
　を備える解析システム。
　１０　　蛍光試薬
　１１　　試薬識別情報
　２０　　標本
　２１　　標本識別情報
　３０　　蛍光染色標本
　１００　　情報処理装置
　１１０　　取得部
　１１１　　情報取得部
　１１２　　蛍光信号取得部
　１２０　　保存部
　１２１　　情報保存部
　１２２　　蛍光信号保存部
　１３０　　処理部
　１３２　　分離処理部
　１３３　　画像生成部
　１４０　　表示部
　１５０　　制御部
　１６０　　操作部
　２００　　データベース
　４０１　　機械学習部

Claims (20)

  1. 　１以上の蛍光色素で標識された標本より観測された蛍光画像を１以上の蛍光成分を含む蛍光成分画像と１以上の自家蛍光成分を含む自家蛍光成分画像とに分離する分離部と、
    　前記標本に含まれる１以上の自家蛍光物質それぞれの参照スペクトルと前記自家蛍光成分画像とを用いて自家蛍光成分補正画像を生成する生成部と、
    　前記自家蛍光成分補正画像に基づいて前記蛍光成分画像を処理する処理部と、
    　を備える情報処理装置。
  2. 　前記処理部は、前記自家蛍光成分補正画像を用いて前記蛍光成分画像を補正した蛍光成分補正画像を生成する請求項１に記載の情報処理装置。
  3. 　前記生成部は、前記自家蛍光物質ごとに前記自家蛍光成分画像と前記参照スペクトルとを掛け合わせた結果を加算することで、前記自家蛍光成分補正画像を生成する請求項１に記載の情報処理装置。
  4. 　前記処理部は、前記自家蛍光成分補正画像から前記蛍光色素によって標識された領域を示す領域情報を生成し、生成された前記領域情報を用いて前記蛍光成分画像を処理する請求項１に記載の情報処理装置。
  5. 　前記領域情報は、前記蛍光色素によって標識された領域を示す二値マスクである請求項４に記載の情報処理装置。
  6. 　前記処理部は、前記自家蛍光成分補正画像に基づき設定された閾値と前記蛍光画像における各画素の画素値との大小関係に基づいて前記二値マスクを生成する請求項５に記載の情報処理装置。
  7. 　前記処理部は、前記自家蛍光成分補正画像における各画素の画素値に基づいて前記画素ごとの閾値を設定し、前記画素ごとの閾値と前記蛍光画像における各画素の画素値との大小関係に基づいて前記二値マスクを生成する請求項５に記載の情報処理装置。
  8. 　前記生成部は、前記１以上の蛍光色素それぞれの参照スペクトルと前記蛍光成分画像とを用いて蛍光成分補正画像をさらに生成する請求項１に記載の情報処理装置。
  9. 　前記蛍光成分補正画像と前記自家蛍光成分補正画像とに基づいて、前記蛍光画像を取得する測定系の測定精度、前記分離部による蛍光成分画像と自家蛍光成分画像との分離性能、及び、前記１以上の蛍光色素で構成された蛍光試薬パネルの染色性能のうちの少なくとも１つを評価する評価部をさらに備える請求項８に記載の情報処理装置。
  10. 　前記蛍光成分補正画像における各画素のスペクトル強度と前記自家蛍光成分補正画像における各画素のスペクトル強度との比を表すスペクトル強度比画像を生成する画像生成部と、
    　前記標本を撮像して前記蛍光画像を取得した際の撮像条件と、前記スペクトル強度比画像とを紐づけて記憶する保存部と、
    　をさらに備える請求項８に記載の情報処理装置。
  11. 　前記蛍光画像と前記蛍光成分画像と前記自家蛍光成分補正画像とに基づいて前記蛍光成分画像を補正する補正部をさらに備え、
    　前記処理部は、補正後の前記蛍光成分画像を前記自家蛍光成分補正画像に基づいて処理する、
    　請求項１に記載の情報処理装置。
  12. 　前記補正部は、前記蛍光成分画像と前記自家蛍光成分補正画像とから前記蛍光画像における前記自家蛍光物質の特徴量を推定し、推定された前記特徴量に基づいて前記蛍光成分画像を補正する請求項１１に記載の情報処理装置。
  13. 　前記補正部は、前記蛍光成分画像と前記自家蛍光成分補正画像とを入力とする学習済みモデルを用いることで前記特徴量を推定する請求項１２に記載の情報処理装置。
  14. 　前記学習済みモデルは、教師なし学習によりトレーニングされたモデルである請求項１３に記載の情報処理装置。
  15. 　前記標本を撮像することで前記蛍光画像を取得する取得部をさらに備える請求項１に記載の情報処理装置。
  16. 　前記処理部は、処理後の前記蛍光成分画像に基づいて前記蛍光画像に含まれる特定の細胞を検出する請求項１に記載の情報処理装置。
  17. 　１以上の蛍光色素で標識された標本より観測された蛍光画像を１以上の蛍光成分を含む蛍光成分画像と１以上の自家蛍光成分を含む自家蛍光成分画像とに分離し、
    　前記標本に含まれる１以上の自家蛍光物質それぞれの参照スペクトルと前記自家蛍光成分画像とを用いて自家蛍光成分補正画像を生成し、
    　前記自家蛍光成分補正画像に基づいて前記蛍光成分画像を処理する、
    　ことを含む情報処理方法。
  18. 　１以上の蛍光色素で標識された標本より観測された蛍光画像を１以上の蛍光成分を含む蛍光成分画像と１以上の自家蛍光成分を含む自家蛍光成分画像とに分離する処理と、
    　前記標本に含まれる１以上の自家蛍光物質それぞれの参照スペクトルと前記自家蛍光成分画像とを用いて自家蛍光成分補正画像を生成する処理と、
    　前記自家蛍光成分補正画像に基づいて前記蛍光成分画像を処理する処理と、
    　をコンピュータに実行させるためのプログラム。
  19. 　１以上の蛍光色素で標識された標本に対して光を照射する光源と、前記光が照射された前記標本から放射した蛍光を観測する撮像装置と、前記撮像装置により取得された蛍光画像に対する処理を実行するためのプログラムとを備える顕微鏡システムであって、
    　前記プログラムは、コンピュータにおいて実行されることで、
    　　前記蛍光画像を１以上の蛍光成分を含む蛍光成分画像と１以上の自家蛍光成分を含む自家蛍光成分画像とに分離する処理と、
    　　前記標本に含まれる１以上の自家蛍光物質それぞれの参照スペクトルと前記自家蛍光成分画像とを用いて自家蛍光成分補正画像を生成する処理と、
    　　前記自家蛍光成分補正画像に基づいて前記蛍光成分画像を処理する処理と、
    　を前記コンピュータに実行させる、
    　顕微鏡システム。
  20. 　請求項１に記載の情報処理装置と、
    　前記情報処理装置と所定のネットワークを介して接続され、前記情報処理装置により処理された前記蛍光成分画像を解析する解析装置と、
    　を備える解析システム。
PCT/JP2021/023679 2020-06-30 2021-06-22 情報処理装置、情報処理方法、プログラム、顕微鏡システム及び解析システム WO2022004500A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022533896A JPWO2022004500A1 (ja) 2020-06-30 2021-06-22
US18/011,827 US20230243839A1 (en) 2020-06-30 2021-06-22 Information processing device, information processing method, program, microscope system, and analysis system
EP21831481.3A EP4174554A4 (en) 2020-06-30 2021-06-22 INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, PROGRAM, MICROSCOPE SYSTEM AND ANALYSIS SYSTEM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020113405 2020-06-30
JP2020-113405 2020-06-30

Publications (1)

Publication Number Publication Date
WO2022004500A1 true WO2022004500A1 (ja) 2022-01-06

Family

ID=79316151

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/023679 WO2022004500A1 (ja) 2020-06-30 2021-06-22 情報処理装置、情報処理方法、プログラム、顕微鏡システム及び解析システム

Country Status (4)

Country Link
US (1) US20230243839A1 (ja)
EP (1) EP4174554A4 (ja)
JP (1) JPWO2022004500A1 (ja)
WO (1) WO2022004500A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359881A (zh) * 2022-10-19 2022-11-18 成都理工大学 一种基于深度学习的鼻咽癌肿瘤自动勾画方法
WO2023157755A1 (ja) * 2022-02-16 2023-08-24 ソニーグループ株式会社 情報処理装置、生体試料解析システム及び生体試料解析方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007097171A1 (ja) * 2006-02-23 2007-08-30 Nikon Corporation スペクトル画像処理方法、スペクトル画像処理プログラム、及びスペクトルイメージングシステム
US8200013B2 (en) 2004-06-11 2012-06-12 Universitat Bremen Method and device for segmenting a digital cell image
JP2013114233A (ja) * 2011-11-30 2013-06-10 Olympus Corp 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
JP2018515753A (ja) * 2015-04-06 2018-06-14 マサチューセッツ インスティテュート オブ テクノロジー ハイパースペクトル・イメージングのためのシステムおよび方法
JP2019530847A (ja) * 2016-06-10 2019-10-24 エフ・ホフマン−ラ・ロシュ・アクチェンゲゼルシャフト 明視野像シミュレーションのためのシステム
WO2019230878A1 (ja) * 2018-05-30 2019-12-05 ソニー株式会社 蛍光観察装置及び蛍光観察方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3788345A1 (en) * 2018-05-03 2021-03-10 Akoya Biosciences, Inc. Multispectral sample imaging

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8200013B2 (en) 2004-06-11 2012-06-12 Universitat Bremen Method and device for segmenting a digital cell image
WO2007097171A1 (ja) * 2006-02-23 2007-08-30 Nikon Corporation スペクトル画像処理方法、スペクトル画像処理プログラム、及びスペクトルイメージングシステム
JP2013114233A (ja) * 2011-11-30 2013-06-10 Olympus Corp 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
JP2018515753A (ja) * 2015-04-06 2018-06-14 マサチューセッツ インスティテュート オブ テクノロジー ハイパースペクトル・イメージングのためのシステムおよび方法
JP2019530847A (ja) * 2016-06-10 2019-10-24 エフ・ホフマン−ラ・ロシュ・アクチェンゲゼルシャフト 明視野像シミュレーションのためのシステム
WO2019230878A1 (ja) * 2018-05-30 2019-12-05 ソニー株式会社 蛍光観察装置及び蛍光観察方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ERIC M. CHRISTIANSEN ET AL.: "In Silico Labeling: Predicting Fluorescent Labels in Unlabeled Images", CELL, vol. 173, 19 April 2018 (2018-04-19), pages 792 - 803
See also references of EP4174554A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023157755A1 (ja) * 2022-02-16 2023-08-24 ソニーグループ株式会社 情報処理装置、生体試料解析システム及び生体試料解析方法
CN115359881A (zh) * 2022-10-19 2022-11-18 成都理工大学 一种基于深度学习的鼻咽癌肿瘤自动勾画方法

Also Published As

Publication number Publication date
JPWO2022004500A1 (ja) 2022-01-06
US20230243839A1 (en) 2023-08-03
EP4174554A4 (en) 2024-01-03
EP4174554A1 (en) 2023-05-03

Similar Documents

Publication Publication Date Title
CA2806621C (en) Enhancing visual assessment of samples
WO2022004500A1 (ja) 情報処理装置、情報処理方法、プログラム、顕微鏡システム及び解析システム
EP3827248B1 (en) Information processing apparatus and microscope for separating the fluorescence of a fluorescent reageant from the autofluorescence of a specimen
US20170213067A1 (en) Automated cell segmentation quality control
WO2015124772A1 (en) Group sparsity model for image unmixing
US20240027348A1 (en) Information processing apparatus and microscope system
JP2020144109A (ja) 情報処理装置、及び顕微鏡システム
US20210174147A1 (en) Operating method of image processing apparatus, image processing apparatus, and computer-readable recording medium
US20230071901A1 (en) Information processing apparatus and information processing system
WO2022075040A1 (ja) 画像生成システム、顕微鏡システム、および画像生成方法
WO2020022394A1 (en) Information processing apparatus and microscope for separating the fluorescence of a fluorescent reageant from the autofluorescence of a specimen
WO2023149296A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
WO2022249583A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
WO2023157755A1 (ja) 情報処理装置、生体試料解析システム及び生体試料解析方法
WO2023276219A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
KR20230040873A (ko) 조인트 히스토그램 기반 형광 신호 분리 방법 및 장치
WO2023026742A1 (ja) 色素画像取得方法、色素画像取得装置、及び色素画像取得プログラム
Kreiß Advanced Optical Technologies for Label-free Tissue Diagnostics-A complete workflow from the optical bench, over experimental studies to data analysis
CN116773496A (zh) 基于三维荧光分析的茶叶检测系统、方法、设备及存储介质
Parker System of Systems Integration for Hyperspectral Imaging Microscopy
US20190073516A1 (en) Image processing device, observation device, and program
JP2024061696A (ja) 医療用画像解析装置、医療用画像解析方法及び医療用画像解析システム
WO2018122908A1 (ja) 解析装置、解析プログラム及び解析方法
WO2018193635A1 (ja) 画像処理システム、画像処理方法、及び画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21831481

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022533896

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021831481

Country of ref document: EP

Effective date: 20230130