WO2022075040A1 - 画像生成システム、顕微鏡システム、および画像生成方法 - Google Patents

画像生成システム、顕微鏡システム、および画像生成方法 Download PDF

Info

Publication number
WO2022075040A1
WO2022075040A1 PCT/JP2021/034199 JP2021034199W WO2022075040A1 WO 2022075040 A1 WO2022075040 A1 WO 2022075040A1 JP 2021034199 W JP2021034199 W JP 2021034199W WO 2022075040 A1 WO2022075040 A1 WO 2022075040A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
channel
fluorescence
partial images
channels
Prior art date
Application number
PCT/JP2021/034199
Other languages
English (en)
French (fr)
Inventor
憲治 池田
寛和 辰田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to DE112021005335.3T priority Critical patent/DE112021005335T5/de
Priority to JP2022555340A priority patent/JPWO2022075040A1/ja
Priority to US18/246,015 priority patent/US20230358680A1/en
Publication of WO2022075040A1 publication Critical patent/WO2022075040A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876—Recombination of partial images to recreate the original image
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N2021/6417—Spectrofluorimetric devices
    • G01N2021/6419—Excitation at two or more wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N2021/6417—Spectrofluorimetric devices
    • G01N2021/6421—Measuring at two or more wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • G01N2021/6441—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks with two or more labels
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes

Definitions

  • the present disclosure relates to an image generation system, a microscope system, and an image generation method.
  • connection information offset information of partial images
  • connection information for connecting overlapping portions of a plurality of partial images is generated by using a technique such as template matching. Using the connection information generated in this way, a plurality of partial images are connected to obtain an entire image.
  • Patent Document 1 proposes an information processing device, an information processing method, and a program thereof capable of connecting a plurality of images so that a subject is appropriately expressed in an area where a plurality of images overlap. There is.
  • connection information is generated for each channel and stitching processing is performed.
  • the size of the entire image may be slightly different for each channel due to the effect of stitching processing, for example, a shift of several pixels may occur. obtain.
  • an image generation system capable of connecting a plurality of images so that the subject is appropriately expressed in an area where a plurality of images overlap.
  • an imaging unit that acquires a plurality of partial images by imaging a plurality of overlapping regions, and a plurality of images constituting each of the plurality of partial images. Connection for connecting a plurality of partial images of other channels among the plurality of channels constituting each of the plurality of partial images based on the connection information obtained based on at least one of the channels of the above.
  • a unit and an image generation system comprising.
  • FIG. 1 It is a schematic diagram which shows the connection image and the base image which are stitched by the information processing apparatus shown in FIG. 1. It is a schematic diagram which shows the connection image and the base image stitched by the information processing apparatus shown in FIG. 1. It is a schematic diagram for demonstrating the calculation of a fluorescence separation process. It is a figure for demonstrating the matching process of the comparison block image and the base image by the information processing apparatus shown in FIG. 1.
  • FIG. 3 is a schematic diagram showing a comparison block image and a base image matched by the information processing apparatus shown in FIG. 1. It is a flowchart which shows the outline of the boundary detection processing by the information processing apparatus shown in FIG. It is a figure for demonstrating the boundary detection process by the information processing apparatus shown in FIG. FIG.
  • FIG. 3 is a schematic diagram showing a comparison block image and a base image matched by the information processing apparatus shown in FIG. 1. It is a figure for demonstrating the connection process of the base image and the connection image by the information processing apparatus shown in FIG. It is a flowchart which shows the outline of the processing of the PC which concerns on 1st Embodiment of this disclosure. It is a flowchart which shows the outline of the processing of the PC which concerns on the 2nd Embodiment of this disclosure. It is a flowchart which shows the outline of the processing of the PC which concerns on the modification of the 2nd Embodiment of this disclosure. It is a flowchart which shows the outline of the processing of the PC which concerns on 3rd Embodiment of this disclosure.
  • the information processing system includes an information processing apparatus 100 and a database 200, and as inputs to the information processing system, a fluorescent reagent 10, a sample 20, and a fluorescent stained sample 30 are provided. And exists.
  • the fluorescent reagent 10 is a chemical used for staining the specimen 20.
  • the fluorescent reagent 10 is, for example, a fluorescent antibody (including a primary antibody used for direct labeling or a secondary antibody used for indirect labeling), a fluorescent probe, a nuclear staining reagent, or the like. The types are not limited to these.
  • the fluorescent reagent 10 is managed with identification information (hereinafter referred to as "reagent identification information 11") that can identify the fluorescent reagent 10 (or the production lot of the fluorescent reagent 10).
  • the reagent identification information 11 is, for example, bar code information or the like (one-dimensional bar code information, two-dimensional bar code information, or the like), but is not limited thereto.
  • the fluorescent reagent 10 Even if the fluorescent reagent 10 is the same product, its properties differ depending on the production lot, depending on the production method, the state of the cells from which the antibody has been obtained, and the like.
  • the wavelength spectrum (fluorescence spectrum), quantum yield, fluorescence labeling rate, etc. of fluorescence are different for each production lot. Therefore, in the information processing system according to the present embodiment, the fluorescent reagent 10 is managed for each production lot by attaching the reagent identification information 11. As a result, the information processing apparatus 100 can perform fluorescence separation in consideration of slight differences in properties that appear for each production lot.
  • the specimen 20 is prepared from a specimen or a tissue sample collected from a human body for the purpose of pathological diagnosis or the like.
  • the specimen 20 may be a tissue section, cells or fine particles, and for the specimen 20, the type of tissue (eg, organ, etc.) used, the type of target disease, the attributes of the subject (eg, age, gender, blood type, etc.) Or race, etc.), or the lifestyle habits of the subject (eg, eating habits, exercise habits, smoking habits, etc.) are not particularly limited.
  • the tissue section was sampled from, for example, an unstained section of the tissue section to be stained (hereinafter, also simply referred to as a section), a section adjacent to the stained section, and the same block (same place as the stained section).
  • specimen 20 may include sections that are different from the stained section in (s), sections in different blocks (sampled from different locations than the stained sections) in the same tissue, sections taken from different patients, and the like.
  • specimen identification information 21 is, for example, bar code information (one-dimensional bar code information, two-dimensional bar code information, etc.), but is not limited thereto.
  • the properties of the specimen 20 differ depending on the type of tissue used, the type of target disease, the attributes of the subject, the lifestyle of the subject, and the like.
  • the measurement channel or the wavelength spectrum of autofluorescence (autofluorescence spectrum) or the like differs depending on the type of tissue used or the like. Therefore, in the information processing system according to the present embodiment, the specimen 20 is individually managed by being attached with the specimen identification information 21. As a result, the information processing apparatus 100 can perform fluorescence separation in consideration of the slight difference in properties that appears for each sample 20.
  • the fluorescence-stained specimen 30 is prepared by staining the specimen 20 with the fluorescent reagent 10.
  • the fluorescent-stained specimen 30 assumes that the specimen 20 is stained with one or more fluorescent reagents 10, and the number of fluorescent reagents 10 used for staining is not particularly limited.
  • the staining method is determined by the combination of the specimen 20 and the fluorescent reagent 10, and is not particularly limited.
  • the information processing apparatus 100 includes an acquisition unit 110, a storage unit 120, a processing unit 130, a display unit 140, a control unit 150, and an operation unit 160.
  • the information processing device 100 may include, for example, a fluorescence microscope and the like, but is not necessarily limited to this, and may include various devices.
  • the information processing apparatus 100 may be a PC (Personal Computer) or the like.
  • the acquisition unit 110 is configured to acquire information used for various processes of the information processing apparatus 100. As shown in FIG. 1, the acquisition unit 110 includes an information acquisition unit 111 and a fluorescence signal acquisition unit 112.
  • the information acquisition unit 111 is configured to acquire information regarding the fluorescent reagent 10 (hereinafter referred to as “reagent information”) and information regarding the sample 20 (hereinafter referred to as “sample information”). More specifically, the information acquisition unit 111 acquires the reagent identification information 11 attached to the fluorescent reagent 10 used to generate the fluorescently stained specimen 30, and the specimen identification information 21 attached to the specimen 20. For example, the information acquisition unit 111 acquires the reagent identification information 11 and the sample identification information 21 using a barcode reader or the like. Then, the information acquisition unit 111 acquires the reagent information from the database 200 based on the reagent identification information 11 and the sample information based on the sample identification information 21. The information acquisition unit 111 stores these acquired information in the information storage unit 121, which will be described later.
  • the sample information includes information on the autofluorescence spectrum (hereinafter, also referred to as an autofluorescence reference spectrum) of one or more autofluorescent substances in the sample 20, and the reagent information includes a fluorescence-stained sample. It is assumed that information regarding the fluorescence spectrum of the fluorescent substance in No. 30 (hereinafter, also referred to as a fluorescence reference spectrum) is included.
  • the autofluorescence reference spectrum and the fluorescence reference spectrum are also collectively referred to as "reference spectrum”.
  • the fluorescence signal acquisition unit 112 receives a plurality of excitation lights having different wavelengths when the fluorescent dyed sample 30 (created by dyeing the sample 20 with the fluorescent reagent 10) is irradiated with a plurality of excitation lights having different wavelengths. It is a configuration that acquires a plurality of fluorescence signals corresponding to each of the excitation lights. More specifically, the fluorescence signal acquisition unit 112 receives light and outputs a detection signal according to the amount of the received light, so that the data is composed of the fluorescence spectrum of the fluorescence-stained sample 30 based on the detection signal. Acquire a cube (hereinafter referred to as a stained sample image).
  • the content of the excitation light (including the excitation wavelength, the intensity, etc.) is determined based on the reagent information and the like (in other words, the information regarding the fluorescent reagent 10 and the like).
  • the fluorescence signal referred to here is not particularly limited as long as it is a signal derived from fluorescence, and the fluorescence spectrum is merely an example thereof. In this description, the case where the fluorescence signal is a fluorescence spectrum is illustrated.
  • FIGS. 2A to 2D are diagrams showing specific examples of the fluorescence spectrum acquired by the fluorescence signal acquisition unit 112.
  • the fluorescently stained specimen 30 contains four types of fluorescent substances, DAPI, CK / AF488, PgR / AF594, and ER / AF647, and each has an excitation wavelength of 392 [nm] (FIG. 2).
  • a concrete example of is shown.
  • the fluorescence signal acquisition unit 112 stores a stained sample image composed of the acquired fluorescence spectrum in the fluorescence signal storage unit 122, which will be described later.
  • the storage unit 120 is configured to store information used for various processes of the information processing apparatus 100 or information output by various processes. As shown in FIG. 1, the storage unit 120 includes an information storage unit 121 and a fluorescence signal storage unit 122.
  • the information storage unit 121 has a configuration for storing reagent information and sample information acquired by the information acquisition unit 111.
  • the fluorescence signal storage unit 122 is configured to store the fluorescence signal of the fluorescence-stained specimen 30 acquired by the fluorescence signal acquisition unit 112.
  • the processing unit 130 is configured to perform various processing including color separation processing. As shown in FIG. 1, the processing unit 130 includes a separation processing unit 132 and an image generation unit 133.
  • the separation processing unit 132 has a configuration for separating the stained sample image into the fluorescence spectrum for each fluorescent substance. As described later, the autofluorescent spectrum is extracted from the input stained sample image, and the extracted autofluorescent spectrum is used. Generates an autofluorescent component corrected image (generation unit). Then, the separation processing unit 132 executes the color separation processing of the stained sample image using the generated autofluorescent component corrected image (separation unit).
  • the separation processing unit 132 can function as a generation unit, a separation unit, a correction unit, and an image generation unit in the claims.
  • LSM least squares method
  • WLSM weighted least squares method
  • NMF non-negative matrix factorization
  • SMD singular value decomposition
  • PCA principal component analysis
  • the operation unit 160 is configured to receive an operation input from the implementer. More specifically, the operation unit 160 includes various input means such as a keyboard, a mouse, a button, a touch panel, or a microphone, and the practitioner operates the input means to the information processing apparatus 100. Various inputs can be made. Information regarding the operation input performed via the operation unit 160 is provided to the control unit 150.
  • the database 200 is a device for managing reagent information, sample information, and the like. More specifically, the database 200 manages the reagent identification information 11 and the reagent information, and the sample identification information 21 and the sample information in association with each other. As a result, the information acquisition unit 111 can acquire reagent information from the database 200 based on the reagent identification information 11 of the fluorescent reagent 10 and sample information based on the sample identification information 21 of the sample 20.
  • the reagent information managed by the database 200 is information including the measurement channel and the fluorescence reference spectrum peculiar to the fluorescent substance possessed by the fluorescent reagent 10 (not necessarily limited to these).
  • the "measurement channel” is a concept indicating a fluorescent substance contained in the fluorescent reagent 10. Since the number of fluorescent substances varies depending on the fluorescent reagent 10, the measurement channel is managed by being associated with each fluorescent reagent 10 as reagent information. Further, the fluorescence reference spectrum included in the reagent information is the fluorescence spectrum of each of the fluorescent substances included in the measurement channel as described above.
  • the sample information managed by the database 200 is information including the measurement channel peculiar to the autofluorescent substance and the autofluorescent reference spectrum possessed by the sample 20 (not necessarily limited to these).
  • the "measurement channel” is a concept indicating an autofluorescent substance contained in a specimen 20, and is a concept referring to, for example, Hemoglobin, ArchidonicAcid, Catalase, Collagen, FAD, NADPH, and ProLongDiamond. Since the number of autofluorescent substances varies depending on the sample 20, the measurement channel is managed by being associated with each sample 20 as sample information.
  • the autofluorescence reference spectrum included in the sample information is the autofluorescence spectrum of each autofluorescent substance included in the measurement channel as described above.
  • the information managed in the database 200 is not necessarily limited to the above.
  • the configuration example of the information processing system according to this embodiment has been described above.
  • the above configuration described with reference to FIG. 1 is merely an example, and the configuration of the information processing system according to the present embodiment is not limited to such an example.
  • the information processing apparatus 100 may not necessarily include all of the configurations shown in FIG. 1, or may include configurations not shown in FIG.
  • the information processing system may include an image pickup device (including, for example, a scanner) that acquires a fluorescence spectrum, and an information processing device that performs processing using the fluorescence spectrum.
  • the fluorescence signal acquisition unit 112 shown in FIG. 1 may be realized by an image pickup apparatus, and other configurations may be realized by an information processing apparatus.
  • the information processing system according to the present embodiment may include an image pickup device for acquiring a fluorescence spectrum and software used for processing using the fluorescence spectrum.
  • the information processing system may not have a physical configuration (for example, a memory, a processor, etc.) for storing or executing the software.
  • the information processing device 1 may be realized by an image pickup device, and other configurations may be realized by an information processing device in which the software is executed. Then, the software is provided to the information processing device via a network (for example, from a website or a cloud server), or is provided to the information processing device via an arbitrary storage medium (for example, a disk or the like). ..
  • the information processing device on which the software is executed may be various servers (for example, a cloud server or the like), a general-purpose computer, a PC, a tablet PC, or the like.
  • the method in which the software is provided to the information processing device and the type of the information processing device are not limited to the above. Further, it should be noted that the configuration of the information processing system according to the present embodiment is not necessarily limited to the above, and a configuration that can be conceived by a person skilled in the art can be applied based on the technical level at the time of use.
  • the information processing system described above may be realized as, for example, a microscope system. Therefore, subsequently, with reference to FIG. 5, a configuration example of the microscope system in the case where the information processing system according to the present embodiment is realized as a microscope system will be described.
  • the microscope system includes a microscope 101 and a data processing unit 107.
  • the microscope 101 includes a stage 102, an optical system 103, a light source 104, a stage drive unit 105, a light source drive unit 106, and a fluorescence signal acquisition unit 112.
  • the stage 102 has a mounting surface on which the fluorescently stained specimen 30 can be mounted, and is driven by the stage driving unit 105 in a parallel direction (xy plane direction) and a vertical direction (z-axis direction) with respect to the mounting surface. ) It is said that it can be moved.
  • the fluorescence-stained specimen 30 has a thickness of, for example, several ⁇ m to several tens of ⁇ m in the Z direction, is sandwiched between a slide glass SG and a cover glass (not shown), and is fixed by a predetermined fixing method.
  • the optical system 103 is arranged above the stage 102.
  • the optical system 103 includes an objective lens 103A, an imaging lens 103B, a dichroic mirror 103C, an emission filter 103D, and an excitation filter 103E.
  • the light source 104 is, for example, a light bulb such as a mercury lamp, an LED (Light Emitting Diode), or the like, and is driven by the light source driving unit 106 to irradiate the fluorescent label attached to the fluorescent dyed sample 30 with excitation light.
  • the excitation filter 103E When the fluorescence image of the fluorescence-stained sample 30 is obtained, the excitation filter 103E generates excitation light by transmitting only the light having an excitation wavelength that excites the fluorescent dye among the light emitted from the light source 104.
  • the dichroic mirror 103C reflects the excitation light transmitted and incident by the excitation filter and guides it to the objective lens 103A.
  • the objective lens 103A collects the excitation light on the fluorescence-stained specimen 30. Then, the objective lens 103A and the imaging lens 103B magnify the image of the fluorescence-stained specimen 30 to a predetermined magnification, and form the magnified image on the imaging surface of the fluorescence signal acquisition unit 112.
  • the staining agent bound to each tissue of the fluorescence-stained specimen 30 emits fluorescence.
  • This fluorescence passes through the dichroic mirror 103C via the objective lens 103A and reaches the imaging lens 103B via the emission filter 103D.
  • the emission filter 103D absorbs the light transmitted through the excitation filter 103E magnified by the objective lens 103A and transmits only a part of the colored light.
  • the image of the color-developed light from which the external light is lost is magnified by the imaging lens 103B and imaged on the fluorescence signal acquisition unit 112.
  • the data processing unit 107 drives the light source 104, acquires a fluorescence image of the fluorescence-stained specimen 30 using the fluorescence signal acquisition unit 112, and performs various processing using the fluorescence image acquisition unit 112. More specifically, the data processing unit 107 is described with reference to FIG. 1, the information acquisition unit 111, the storage unit 120, the processing unit 130, the display unit 140, the control unit 150, and the operation unit 160 of the information processing apparatus 100. , Or as a configuration of part or all of the database 200.
  • the data processing unit 107 functions as the control unit 150 of the information processing apparatus 100 to control the driving of the stage driving unit 105 and the light source driving unit 106, and to control the acquisition of the spectrum by the fluorescence signal acquisition unit 112. Or something.
  • the data processing unit 107 functions as the processing unit 130 of the information processing apparatus 100 to generate a fluorescence spectrum, separate the fluorescence spectrum for each fluorescent substance, and generate image information based on the separation result. Or something.
  • the configuration example of the microscope system in the case where the information processing system according to the present embodiment is realized as a microscope system has been described above.
  • the above configuration described with reference to FIG. 5 is merely an example, and the configuration of the microscope system according to the present embodiment is not limited to such an example.
  • the microscope system may not necessarily include all of the configurations shown in FIG. 5, or may include configurations not shown in FIG.
  • the minimum square method is to calculate the color mixing ratio by fitting a reference spectrum to a fluorescence spectrum which is a pixel value of each pixel in an input stained sample image.
  • the color mixing ratio is an index showing the degree to which each substance is mixed.
  • the following equation (1) is a reference spectrum (St) from the fluorescence spectrum (Signal). It is an equation expressing the residual obtained by subtracting the color-mixed spectrum of the fluorescence reference spectrum and the autofluorescence reference spectrum at the color mixing ratio a.
  • the "Signal (1 x number of channels)" in the formula (1) indicates that the fluorescence spectrum (Signal) exists as many as the number of channels having a wavelength.
  • Signal is a matrix representing one or more fluorescence spectra.
  • St number of substances x number of channels
  • a (1 x number of substances) indicates that a color mixing ratio a is provided for each substance (fluorescent substance and autofluorescent substance).
  • a is a matrix representing the color mixing ratio of each reference spectrum in the fluorescence spectrum.
  • the separation processing unit 132 calculates the color mixing ratio a of each substance that minimizes the sum of squares of the residual formula (1).
  • the sum of squares of the residuals is minimized when the result of the partial differential with respect to the color mixing ratio a is 0 for the equation (1) expressing the residuals. Therefore, the separation processing unit 132 uses the following equation ( By solving 2), the color mixing ratio a of each substance that minimizes the sum of squares of the residuals is calculated.
  • “St'" in the equation (2) indicates the transposed matrix of the reference spectrum St. Further, "inv (St * St')" indicates an inverse matrix of St * St'.
  • the separation processing unit 132 may extract the spectrum of each fluorescent substance from the fluorescence spectrum by performing a calculation related to the weighted least squares method (Weighted Last Squares Method) instead of the least squares method. ..
  • the weighted least squares method the measured value, the noise of the fluorescence spectrum (Signal), is weighted so as to emphasize the error of the low signal level by utilizing the fact that the noise has a Poisson distribution.
  • the upper limit value at which weighting is not performed by the weighted least squares method is used as the Offset value.
  • the Offset value is determined by the characteristics of the sensor used for the measurement, and needs to be optimized separately when the image sensor is used as the sensor.
  • each element (each component) of St represented by a matrix is divided (in other words, each component) by each corresponding element (each component) in the "Signal + Offset value" also represented by a matrix. , Element division) means to calculate St_.
  • NMF non-negative matrix factorization
  • SMD singular value decomposition
  • PCA principal component analysis
  • FIG. 3 is a diagram illustrating an outline of NMF.
  • the NMF uses a non-negative N-row M-column (N ⁇ M) matrix A, a non-negative N-row k-column (N ⁇ k) matrix W, and a non-negative k-row M column (k). It is decomposed into the matrix H of ⁇ M).
  • the matrix W and the matrix H are determined so that the average squared residual D between the matrix A and the product (W * H) of the matrix W and the matrix H is minimized.
  • the matrix A corresponds to the spectrum before the autofluorescence reference spectrum is extracted (N is the number of pixels and M is the number of wavelength channels), and the matrix H is the extracted autofluorescence.
  • the average squared residual D is expressed by the following equation (10).
  • the "norm (D,'fro')" refers to the Frobenius norm with an average squared residual D.
  • NMF For factorization in NMF, an iterative method starting with a random initial value for the matrix W and the matrix H is used.
  • the value of k (the number of self-fluorescent reference spectra) is mandatory, but the initial values of the matrix W and the matrix H are not mandatory and can be set as options, and when the initial values of the matrix W and the matrix H are set.
  • the solution is constant.
  • the initial values of the matrix W and the matrix H are not set, these initial values are set at random and the solution is not constant.
  • the specimen 20 has different properties depending on the type of tissue used, the type of target disease, the attributes of the subject, the lifestyle of the subject, etc., and the autofluorescence spectrum also differs. Therefore, the information processing apparatus 100 according to the second embodiment can realize more accurate color separation processing by actually measuring the autofluorescence reference spectrum for each sample 20 as described above.
  • clustering for example, among stained images, spectra similar in the wavelength direction and the intensity direction are classified into the same class. As a result, an image having a smaller number of pixels than the stained image is generated, so that the scale of the matrix A'using this image as an input can be reduced.
  • the image generation unit 133 is configured to generate image information based on the separation result of the fluorescence spectrum by the separation processing unit 132. For example, the image generation unit 133 generates image information using a fluorescence spectrum corresponding to one or more fluorescent substances, or generates image information using an autofluorescence spectrum corresponding to one or more autofluorescent substances. Can be generated.
  • the number and combination of fluorescent substances (molecules) or autofluorescent substances (molecules) used by the image generation unit 133 to generate image information are not particularly limited. Further, when various processes (for example, segmentation or calculation of S / N value) are performed using the fluorescence spectrum after separation or the autofluorescence spectrum, the image generation unit 133 is an image showing the results of those processes. Information may be generated.
  • the display unit 140 is configured to present the image information generated by the image generation unit 133 to the practitioner by displaying it on the display.
  • the type of display used as the display unit 140 is not particularly limited. Further, although not described in detail in the present embodiment, the image information generated by the image generation unit 133 may be projected by the projector or printed by the printer and presented to the practitioner (in other words, an image).
  • the information output method is not particularly limited).
  • the control unit 150 has a functional configuration that comprehensively controls all the processing performed by the information processing apparatus 100.
  • the control unit 150 may perform various processes as described above (for example, an adjustment process of the placement position of the fluorescent stained sample 30, a fluorescent stained sample, etc., based on an operation input by the practitioner performed via the operation unit 160. 30 is controlled to start or end the excitation light irradiation processing, spectrum acquisition processing, autofluorescence component correction image generation processing, color separation processing, image information generation processing, image information display processing, etc.).
  • the control content of the control unit 150 is not particularly limited.
  • the control unit 150 may control a process generally performed in a general-purpose computer, a PC, a tablet PC, or the like (for example, a process related to an OS (Operating System)).
  • FIG. 6 is a schematic diagram for explaining a part of the processing executed by the information processing apparatus according to the present embodiment.
  • FIG. 7 is a flowchart showing a schematic operation example executed by the information processing apparatus according to the present embodiment.
  • the following processing of the information processing device 100 is loaded (including download) via software, a drive 909, a connection port 911, and a communication device 913 stored in the storage device 908, ROM 902, etc., which will be described later (see FIG. 23). It is realized by the cooperation between the software and the hardware resources constituting the information processing apparatus 100. For example, the following processing is realized by the CPU 901 loading the program constituting the software stored in the storage device 908 or the like into the RAM 903 and executing the program.
  • the information processing apparatus 100 is composed of an information acquisition unit 111, a separation processing unit 132, a connection unit (stitch processing unit) 1331, and a conversion unit (superimposition / RGB conversion unit) 1332. Then, each process shown in the flowcharts illustrated in FIGS. 7 and 17 to 19 described later is executed.
  • the information acquisition unit 111 captures a connection image as a first image to be connected by stitching processing and a base image as a second image.
  • 8 and 9 are schematic views showing the connection image and the base image.
  • a connection in the X-axis direction of the X-axis direction (horizontal axis) and the Y-axis direction (vertical axis), which are orthogonal two-axis directions, will be described as an example. ..
  • the base image and the connection image are examples of partial images in the claims.
  • the base image G7 and the connected image G8 according to the present embodiment are imaged by an image pickup device capable of photographing an elephant of a subject obtained by, for example, an optical microscope (not shown). As the subject, fluorescently stained living cells are used. Therefore, as shown in FIGS. 8 and 9, the base image G7 and the connected image G8 include the fluorescence image G10 of the cell and the fluorescence image G11 of the nucleus inside the cell as the image portion G9 of the subject.
  • the base image G7 is imaged, the stage of the optical microscope moves, and the connected image G8 is imaged. At this time, by controlling the movement of the stage, as shown in FIG. 8, both images G7 and G8 are imaged so as to have margin regions G12 and G13 which are mutually overlapping regions for stitching processing, respectively. ..
  • the base image G7 and the connected image G8 are narrow-field images, and these images or images obtained by converting these images are stitched to obtain a wide-field image (Whole Slide Image (hereinafter, WSI)).
  • WSI Whole Slide Image
  • the base image G7 and the connected image G8 are spectroscopic spectrum images (multi-channel image, image having a plurality of wavelength channels) having a lot of information in the wavelength direction. By decomposing (color separation) into channels for each fluorescent dye using a spectrum prepared separately from this multi-channel image, it is possible to calculate an image in which the emission of each fluorescent dye can be confirmed.
  • FIG. 10 is a schematic diagram showing how the spectroscopic spectrum image is color-separated by the separation processing unit 132.
  • ⁇ Wavelength channel is decomposed.
  • LSM Least Square Method
  • NMF Non-Negative Matrix Factorization
  • FIG. 10 further shows an example of the result of the color-separated image W decomposed from the A matrix.
  • color-separated images such as W1a, W1b, W1c, ... Are output for the number of decompositions k.
  • color-separated images such as W2a, W2b, W2c, ... Are output for the number of decomposed k pieces.
  • the color-separated images of the base image G7 and the connected image G8 according to the present embodiment have a plurality of fluorescence channels (for example, channels a, b, c, ). Color separation is performed for the base images G7A, 7B, 7C, ..., Which are spectral spectrum images having a plurality of wavelength channels (for example, channels A, B, C, ...), And the connected images G8A, 8B, 8C, ... When this is done, base images G7a, 7b, 7c, ..., which are images after fluorescence separation having a plurality of fluorescence channels, and connection images G8a, 8b, 8c, ... Are obtained.
  • fluorescence channels for example, channels a, b, c, .
  • the image after color separation may be further corrected for distortion.
  • the captured narrow-field image contains distortion that depends on the optical system used for imaging.
  • the image including this distortion is corrected based on a predetermined process.
  • the reference fluorescent channel is a combination of the same fluorescent channel images (for example, a base image G7a and a connected image G8a, a base image G7b and a connected image G8b, a base image G7c and a connected image G8c), and a fluorescent channel specified by the user. It may be selected, a fluorescent channel having a high spatial frequency of the brightness signal of the image may be selected, or a fluorescent channel having a high dispersion value of the brightness signal may be selected. Alternatively, a fluorescence channel preset in the control unit 150, the processing unit 130, or the like may be selected as the reference fluorescence channel.
  • the reference fluorescence channel for example, b, that is, when the combination of the base image G7b and the connection image G8b is the reference fluorescence image, it is based on the image of this reference channel as described below. Connection information is generated.
  • the “base image G7” is the “base image G7 of the selected fluorescent channel (base image G7b in the above example)”
  • the “connection image G8” is “ The connection image G8 of the selected fluorescent channel (connection image G8b in the above example) ”is shown respectively.
  • a region G14 in which the base image G7 and the connected image G8 overlap each other is defined by using the margin regions 12 and 13, and as shown in FIG. 9, the base image G7 and the connected image G8 are combined with respect to the overlapping region G14. Be connected. Then, a photographed image G15 including an image portion G9 of the subject (a fluorescent image G10 of cells and a fluorescent image G11 of a nucleus) is configured.
  • Each size of the base image G7 and the connected image G8 is determined by, for example, the magnification of the optical system of the optical microscope, the size of the image sensor of the image pickup device, and the like. That is, the value of the size X- Shot in the X-axis direction of the base image G7 and the connection image G8 shown in FIG. 8 is mainly determined by a hardware factor. At that time, the sizes of the base image G7 and the connected image G8 may be the same.
  • the base image G7 and the connection image G8 of the present embodiment have a plurality of pixels (not shown) arranged in the X-axis direction and the Y-axis direction, which are biaxial directions orthogonal to each other.
  • the sizes of the base image G7 and the connected image G8 are, for example, multiples of 2440 pixels in the X direction and 610 pixels in the Y direction. However, the sizes of the base image G7 and the connected image G8 are not limited to the above.
  • the values of the sizes XL of the margin areas 12 and 13 of the base image G7 and the connection image G8 in the X-axis direction are determined within a range in which stitching processing is possible based on the characteristics of both images 7 and 8.
  • the value of each size XL in the X-axis direction of the margin areas 12 and 13 can be set to, for example, about 5% to 20% of the value of the size X- Shot in the X-axis direction of the base image G7 and the connection image G8.
  • connection unit switch processing unit
  • connection unit (stitch processing unit) 1331 cuts out the image of the margin area 13 of the connection image G8 as the comparison block image G16 (see FIG. 11) (step S101 in FIG. 7).
  • the comparison block image G16 an image in a region larger or smaller than the margin region 13 may be cut out.
  • connection unit (stitch processing unit) 1331 performs matching processing between the comparison block image G16 and the base image G7, and calculates coordinates for obtaining optimum matching.
  • 11 and 12 are diagrams for explaining the matching process.
  • Initial setting of the comparison position between the comparison block image G16 and the base image G7 is performed (step S102 in FIG. 7).
  • the initial setting position in the present embodiment is a position where the x coordinate is (X Shot - XL -X ⁇ ).
  • the coordinates are set with reference to the upper left end point O of the base image G7.
  • Matching processing between the comparison block image G16 and the base image G7 is performed at the initial setting position shown in FIG. 11A (step S103).
  • the matching process is performed by, for example, calculating a luminance value for each pixel in a region where the comparison block image G16 and the base image G7 overlap, and calculating an autocorrelation coefficient based on the luminance value.
  • the matching process may be performed by calculating the square of the difference in the luminance values for each pixel in the overlapping region.
  • various algorithms used for image pattern matching can be used.
  • step S104 It is determined whether or not the offset of the comparison position has reached the position where the x coordinate is (X Shot ⁇ XL + X ⁇ ) (step S104).
  • the comparison position is offset to the right in units of one pixel or in units of a plurality of pixels for speeding up the processing (step S105). That is, as shown in FIGS. 11 (A) to 11 ( C ), the comparison block image G16 and the base image are in the range of (X Shot -XL-X ⁇ to X Shot - XL + X ⁇ ). Matching processing with G7 is performed. As a result, as shown in FIG.
  • the offset coordinates Xj having the highest autocorrelation coefficient on the base image G7 are calculated as positions suitable for the base image G7 and the connected image G8 to be naturally connected.
  • the overlapping region G14 between the base image G7 and the connected image G8 shown in FIG. 9 corresponds to a region where both images 7 and 8 overlap each other when the connected image G8 is arranged at the position of the offset coordinates Xj . Therefore, when the offset coordinates X j are equal to the coordinates (X Shot ⁇ XL ), the margin areas 12 and 13 correspond to the overlapping areas G14.
  • the information of the offset coordinates Xj is output to the connection unit (stitch processing unit) 1331 as the connection position information.
  • connection unit (stitch processing unit) 1331 detects a connection pixel corresponding to a position where both images 7 and 8 are connected in a region G14 where the base image G7 and the connection image G8 overlap each other (step S106). That is, the connection pixel is a pixel located at the boundary between the base image G7 and the connection image G8.
  • FIG. 13 is a flowchart showing an outline of the boundary detection process by the information processing apparatus 100.
  • FIG. 14 is a diagram for explaining the boundary detection process.
  • the detection target position X B in the comparison block image G16 is set (step S111).
  • the luminance value of the comparison block image G16 acquired for the matching process by the connection unit (stitch processing unit) 1331 may be used.
  • the connection unit (stitch processing unit) 1331 functions as a selection means.
  • the position information of the selected connection pixel 19 (pixel sequence G18) is input to the connection unit (stitch processing unit) 1331 again as boundary information together with the connection position information output from the connection unit (stitch processing unit) 1331.
  • the variance value of the luminance signal sequence is a value indicating how much the luminance value of each pixel in the pixel array G18 is scattered from the average value of the luminance signal sequence. Therefore, when the image portion G9 of the subject is located on the pixel array G18, the dispersion value becomes large, and when the image portion G9 of the subject is not located, the dispersion value becomes small. Therefore, it can be determined that the image portion G9 of the subject is not located on the pixel sequence G18 having the smallest dispersion value. That is, the pixel row G18 having the smallest dispersion value can be determined to be a row of pixels other than the image portion G9 of the subject.
  • a predetermined threshold value may be set in advance, and the pixel sequence G18 whose dispersion value is smaller than the threshold value may be determined as a sequence of pixels other than the image portion G9 of the subject. Then, one of the pixel rows G18 may be selected as the connection pixel 19 from the pixel rows G18 determined as the rows of pixels other than the image portion G9 of the subject.
  • the offset coordinates X j in which the base image G7 detected by the connection unit (stitch processing unit) 1331 and the comparison block image G16 are appropriately matched are obtained from (X Shot - XL ). May also be large.
  • the right end portion of the comparison block image G16 is not included in the region G14 where the base image G7 and the connected image G8 overlap each other. Therefore, the connection pixel 19 is selected from the region G14 in which both images 7 and 8 overlap each other, except for the right end portion of the comparison block image G16.
  • the search target range may be set in the overlapping region G14 other than the right end portion of the comparison block image G16, and the luminance signal sequence for each pixel row G18 may be acquired in the overlapping region G14.
  • the overlapping region G14 may be set as a selectable range.
  • connection unit (stitch processing unit) 1331 synthesizes the base image G7 and the connection image G8 based on the connection position information and the boundary information (hereinafter, also simply referred to as connection information).
  • FIG. 16 is a diagram for explaining a connection process between the base image G7 and the connection image G8.
  • the right end portion of the base image G7 is cut with the connection pixel 19 as a boundary (step S107 in FIG. 7).
  • the portion to be cut is the portion on the right side including the pixel sequence corresponding to the position of the coordinates (X j + X B ).
  • the left end portion of the connected image G8 is cut with the connection pixel 19 as a boundary (step S108).
  • the portion to be cut is the portion on the left side of the pixel sequence corresponding to the position of the coordinates XB with respect to the left end of the connected image G8.
  • the portion on the right side of the pixel array corresponding to the position of the coordinates (X j + X B ) of the base image G7 may be cut, and the portion on the left side including the pixel array corresponding to the position of the coordinates X B of the connected image G8 may be cut. That is, as the information of the connection pixel 19, the information of the base image G7 may be used, or the information of the connection image G8 may be used.
  • the cut base image G7 and the connected image G8 are combined so as to be connected to each other, and one captured image G15 including the image portion G9 of the subject is generated (step S109).
  • the image portion G9 of the subject is not located on the connection pixel 19 which is the boundary between the base image G7 and the connection image G8. This makes it possible to prevent the image portion G9 of the subject from being properly connected at the boundary between the base image G7 and the connected image G8, and the shape of the image portion G9 from being distorted.
  • both images 7 and 8 can be connected so that the subject is properly expressed in the region G14 where the base image G7 and the connected image G8 overlap each other.
  • the shape of the fluorescent image G10 is distorted and the nuclear fluorescent image G11 contained in the cell is distorted. May disappear, or two nuclei with only one may be represented as two fluorescent images G11.
  • This can lead to problems in observation, for example, in cell culture experiments, and can lead to misdiagnosis when diagnosing cells in the field of pathology.
  • the size of the base image G7 and the connection image G8 described above is large and the sizes of the margin areas 12 and 13 of both images 7 and 8 are large, the above problem is likely to occur.
  • the boundary between the base image G7 and the connected image G8 is located where the fluorescent image G10 of the cell is not located.
  • the connection pixel 19 is set.
  • the fluorescent image G10 of the cell and the fluorescent image G11 of the nucleus of the cell are properly expressed, and the above-mentioned problem can be prevented.
  • the boundary to which the base image G7 and the connected image G8 are connected can be made inconspicuous, it is possible to generate a captured image G15 having a high accuracy of WSI.
  • the WSI (for example, WSIb) of the reference fluorescent channel (for example, b) can be obtained.
  • connection unit (stitch processing unit) 1331 based on the connection position information and the boundary information.
  • the base image G7 (for example, the base image G7a, 7c, ...) Which is an image and the connection image G8 (for example, the connection image G8a, 8c, ...) Are connected to each other to generate a WSI (for example, WSIa, WSIc, ). Will be done. That is, based on the connection position information and the boundary information of the image after fluorescence separation of the reference fluorescence channel, the image after fluorescence separation of the fluorescence channel other than the reference fluorescence channel is connected.
  • the conversion unit (superposition / RGB conversion unit) 1332 converts the data of the captured image G15, which is a composite image generated by the connection unit (stitch processing unit) 1331, into a format that is easy for the user to handle, and is an information processing device. It may be presented to the user via the display unit 140 of 100.
  • FIG. 6 is a schematic diagram of the software in the first embodiment, and shows an example of an intermediate product and a final product by processing. Take a narrow field image in the first step.
  • a narrow-field image W1 and a narrow-field image W2 which are two spectral spectral images having four types of wavelength channels of 405 nm, 488 nm, 532 nm, and 638 nm, are taken.
  • a color separation step as a step following shooting.
  • a narrow-field image having a plurality of fluorescence channels (for example, a, b, ..., G) is based on a plurality of wavelength channel images of the captured spectroscopic spectrum image.
  • W1 for example, W1a, W1b, ..., W1g
  • W2 narrow field image
  • connection information of the narrow field image of the reference fluorescent channel is diverted to the connection of the narrow field image of the other fluorescent channel, the WSI (for example, WSIa, WSIb, ..., WSIg) after the connection are connected to each other. There is no deviation.
  • RGB conversion is performed and converted into one image WSIrgb, which is displayed on a display or the like.
  • FIG. 17 is a flowchart showing an example of a processing procedure executed by the information processing system according to the embodiment.
  • the processing procedure shown in FIG. 17 is realized by controlling each unit by the control unit 150 of the information processing apparatus 100.
  • control unit 150 uses the information acquisition unit 111 to take an image of an image pickup target and acquire a spectroscopic spectrum image of a narrow field image (step S220).
  • step S220 the control unit 150 proceeds to step S221.
  • the control unit 150 performs color separation processing for each narrow field image captured in step S220 (step S221). When the process of step S221 is completed, the control unit 150 proceeds to step S222.
  • the control unit 150 determines whether or not the imaging of the narrow field image has been completed for the entire predetermined area (step S222), and if it is determined to be correct, proceeds to step S223 and determines whether or not. If so, the process from step S220 is performed again.
  • the control unit 150 performs distortion correction on the color-separated image for each narrow field image (step S223). When the process of step S223 is completed, the control unit 150 proceeds to step S224.
  • the control unit 150 selects a reference image that defines the amount of deviation from the color-separated images for each distortion-corrected narrow-field image (step S224). When the process of step S224 is completed, the control unit 150 proceeds to step S225.
  • the control unit 150 calculates the connection information based on the reference image selected in step S224, and performs the stitching process of the reference image (step S225). When the process of step S225 is completed, the control unit 150 proceeds to step S226.
  • the control unit 150 performs stitching processing for narrow-field images other than the reference image based on the connection information calculated in step S225 (step S226). When the process of step S226 is completed, the control unit 150 proceeds to step S227.
  • the control unit 150 causes the user to select a plurality of fluorescence channel images to be superimposed from the plurality of fluorescence channel images after the stitching process (step S227). When the process of step S227 is completed, the control unit 150 proceeds to step S228.
  • the control unit 150 superimposes a plurality of fluorescence channel images selected in step S227 and performs RGB conversion (step S228). When the process of step S228 is completed, the control unit 150 ends the program.
  • the reference channel for deriving the connection information is extracted from the fluorescence channel, but the reference channel may be selected from a plurality of wavelength channels of the spectroscopic spectrum image.
  • a fluorescence channel designated by the user may be selected, or a wavelength channel having a high spatial frequency of the luminance signal of the image may be selected. A high luminance signal may be selected.
  • connection information derived from the images of the wavelength channels selected in this way (for example, the base image G7B and the connection image G8B) is combined with the respective fluorescence channel images after color separation (for example, the base images G7a, 7b, etc.). 7c, ..., And the connection image G8a, 8b, 8c, ...) may be applied to execute the stitching process.
  • FIG. 18 is a flowchart showing an example of a processing procedure executed by the information processing system according to the second embodiment.
  • the processing procedure shown in FIG. 18 is realized by controlling each unit by the control unit 150 of the information processing apparatus 100.
  • control unit 150 uses the information acquisition unit 111 to take an image of an image pickup target and acquire a spectroscopic spectrum image of a narrow field image (step S230). When the process of step S230 is completed, the control unit 150 proceeds to step S231.
  • the control unit 150 determines whether or not the imaging of the narrow-field image has been completed for the entire predetermined area (step S231), and if it is determined to be correct, proceeds to step S232 and determines whether or not. If so, the process of step S230 is performed again.
  • the control unit 150 corrects the distortion of each of the captured narrow-field images (step S232).
  • the control unit 150 advances the process to step S233 and step S234.
  • which of the processes of steps S233 to S234 and the processes of steps S235 to S36 may be executed first (that is, the order may be changed) or may be executed in parallel.
  • the control unit 150 performs color separation processing for each narrow field image captured in step S230 (step S233). When the process of step S233 is completed, the control unit 150 proceeds to step S234.
  • the control unit 150 determines whether or not the color separation processing of the narrow-field image has been completed for all the predetermined areas (step S234), and if it is determined to be correct, proceeds with the processing in step S235. If it is determined, the process from step S233 is performed again.
  • the control unit 150 selects a reference image that defines the amount of deviation from the distortion-corrected narrow-field image (step S235). When the process of step S235 is completed, the control unit 150 proceeds to step S236.
  • the control unit 150 calculates the connection information based on the reference image selected in step S235, and performs the stitching process of the reference image (step S236). When the process of step S236 is completed, the control unit 150 proceeds to step S237.
  • the control unit 150 performs stitching processing for narrow-field images other than the reference image based on the connection information calculated in step S236 (step S237). When the process of step S237 is completed, the control unit 150 proceeds to step S238.
  • the control unit 150 causes the user to select a plurality of WSIs of the fluorescent channels to be superimposed from the plurality of WSIs after the stitching process (step S238). When the process of step S238 is completed, the control unit 150 proceeds to step S239.
  • the control unit 150 superimposes a plurality of fluorescence channel images selected in step S238 and performs RGB conversion (step S239). When the process of step S239 is completed, the control unit 150 terminates the program.
  • connection information derived from the image of the selected wavelength channel may be applied to the images of other wavelength channels other than the selected wavelength channel to perform the stitching process.
  • the WSI of the pre-connected color-separated image can be obtained.
  • FIG. 19 is a flowchart showing an example of a processing procedure executed by the information processing system according to the modified example of the second embodiment.
  • the processing procedure shown in FIG. 19 is realized by controlling each unit by the control unit 150 of the information processing apparatus 100.
  • steps S240 to S242 are the same processes as steps S230 to S232 in FIG. 18, description thereof will be omitted here.
  • the control unit 150 selects a reference image that defines the amount of deviation from the distortion-corrected narrow-field image (step S243). When the process of step S243 is completed, the control unit 150 proceeds to step S244.
  • the control unit 150 calculates the connection information based on the reference image selected in step S243, and performs the stitching process of the reference image (step S244). When the process of step S244 is completed, the control unit 150 proceeds to step S245.
  • the control unit 150 performs stitching processing for narrow-field images other than the reference image based on the connection information calculated in step S244 (step S245). When the process of step S245 is completed, the control unit 150 proceeds to step S246.
  • the control unit 150 performs color separation processing for each WSI connected in step S245 (step S246). When the process of step S246 is completed, the control unit 150 proceeds to step S247.
  • the control unit 150 causes the user to select a plurality of WSIs of the fluorescent channels to be superimposed from the plurality of connected WSIs (step S247). When the process of step S247 is completed, the control unit 150 proceeds to step S248.
  • the control unit 150 superimposes the WSIs of the plurality of fluorescent channels selected in step S247 and converts them into RGB (step S248). When the process of step S248 is completed, the control unit 150 terminates the program.
  • a step of connecting narrow-field images to obtain a wide-field image may be arranged immediately before finally obtaining a user-visible image. That is, the color separation post-processing is performed with the narrow-field image as it is, and a plurality of narrow-field images (for example, the base image G7b and the connected image G8b) corresponding to the fluorescent channel (for example, the fluorescent channel b) designated by the user are obtained. After extracting and converting into a narrow-field image (for example, base image G7rgb and connection image G8rgb) in a format that can be visually recognized by the user by RGB conversion or the like, these plurality of narrow-field images are connected to WSI (WSI). For example, WSIrgb) may be obtained.
  • WSI WSI
  • FIG. 20 is a flowchart showing an example of a processing procedure executed by the information processing system according to the modified example of the third embodiment.
  • the processing procedure shown in FIG. 20 is realized by the control unit 150 of the information processing apparatus 100 executing a program.
  • steps S250 to S253 are the same processes as steps S220 to S223 in FIG. 17, description thereof will be omitted here.
  • the control unit 150 causes the user to select a plurality of fluorescence channel images to be superimposed from the plurality of fluorescence channel images (step S254). When the process of step S254 is completed, the control unit 150 proceeds to step S255.
  • the control unit 150 superimposes a plurality of fluorescence channel images selected in step S254 and performs RGB conversion (step S255). When the process of step S255 is completed, the control unit 150 proceeds to step S256.
  • the control unit 150 calculates the connection information based on the RGB-converted image in step S255, and performs the stitching process of the RGB-converted image (step S256). When the process of step S256 is completed, the control unit 150 ends the program.
  • the stitching process by the information treatment apparatus is an image of living cells, tissues, organs, etc. obtained by an optical microscope in the fields of medicine or pathology. It can be applied to a system or the like in which a doctor, a pathologist, or the like inspects the tissue or diagnoses a patient based on the digital image. It can be applied not only to other fields such as medical treatment but also to other fields. Further, the stitching process of each of the above embodiments can be applied not only to the image obtained by the optical microscope but also to other digital images.
  • a PC has been described as an example of the information processing apparatus 100.
  • a scanner device or the like having a function of an optical microscope may be used, and the stitching process according to each of the above-described embodiments may be performed by the scanner device or the like.
  • the spectroscopic spectrum image in each of the above embodiments is assumed to be a spectroscopic spectrum image having a plurality of wavelength channels, the spectroscopic spectrum image may be expressed by other methods.
  • the stitching process of the narrow field image in each of the above embodiments has been described using the base image G7 and the connected image G8, but the target of the stitching process is not limited to these two images, and three or more images. It may be applied to the mutual connection of the images of.
  • a method of detecting using an antibody with a fluorescent dye there is a method of acquiring a fluorescent image by causing a fluorescent dye to emit light and incorporating it as a camera signal.
  • a cell-level size severe tens of ⁇ m
  • a sample size 15 mm ⁇ 15 mm, etc.
  • stitching It is necessary to acquire a plurality of narrow-field images and stitch these images to obtain a WSI representing the entire sample.
  • the present disclosure may be applied to such technical fields.
  • FIG. 21 is a diagram showing an example of a measurement system of the information processing system according to the embodiment.
  • FIG. 21 shows an example of a measurement system for photographing a wide field of view of a fluorescently stained specimen 30 (or an unstained specimen 20) such as WSI (Whole Slide Imaging).
  • the measurement system according to the embodiment is not limited to the measurement system illustrated in FIG. 21, and may be a measurement system that captures the entire imaging region or a necessary region (also referred to as an region of interest) at once, or a line scan.
  • Any measurement system that can acquire image data with sufficient resolution (hereinafter referred to as wide-field image data) of the entire shooting area or the region of interest such as a measurement system that acquires an image of the entire shooting region or the region of interest. It may be variously modified.
  • the measurement system includes, for example, an information processing apparatus 100, an XY stage 501, an excitation light source 510, a beam splitter 511, an objective lens 512, a spectroscope 513, and photodetection.
  • a device 514 is provided.
  • the XY stage 501 is a stage on which the fluorescent-stained specimen 30 (or the specimen 20) to be analyzed is placed, and is, for example, a plane (XY plane) parallel to the mounting surface of the fluorescent-stained specimen 30 (or the specimen 20). It may be a movable stage in.
  • the excitation light source 510 is a light source for exciting the fluorescence-stained specimen 30 (or the specimen 20), and for example, emits a plurality of excitation lights having different wavelengths along a predetermined optical axis.
  • the beam splitter 511 is composed of, for example, a dichroic mirror or the like, reflects the excitation light from the excitation light source 510, and transmits the fluorescence from the fluorescence-stained sample 30 (or sample 20).
  • the objective lens 512 irradiates the fluorescence-stained specimen 30 (or specimen 20) on the XY stage 501 with the excitation light reflected by the beam splitter 511.
  • the spectroscope 513 is configured by using one or more prisms, lenses, or the like, emits light from the fluorescence-stained sample 30 (or sample 20), and disperses the fluorescence transmitted through the objective lens 512 and the beam splitter 511 in a predetermined direction.
  • the light detector 514 detects the light intensity of each wavelength of fluorescence separated by the spectroscope 513, and acquires the fluorescence signal (fluorescence spectrum and / or self-fluorescence spectrum) obtained by the detection of the fluorescence signal of the information processing apparatus 100. Input to unit 112.
  • the field of view such as WSI
  • the field of view the area that can be shot at one time
  • the field of view the area that can be shot at one time
  • the field of view the field of view
  • Each field of view is photographed in sequence.
  • field-of-view image data the image data obtained by shooting each field of view
  • the generated wide-field image data is stored in, for example, the fluorescence signal storage unit 122.
  • the tiling of the visual field image data may be executed by the acquisition unit 110 of the information processing apparatus 100, the storage unit 120, or the processing unit 130.
  • the processing unit 130 performs the above-mentioned processing on the obtained wide-field image data, so that the coefficient C, that is, the fluorescence separated image for each fluorescent molecule (or the autofluorescence for each autofluorescent molecule) Fluorescent separation image) is acquired.
  • FIG. 22 is a schematic diagram for explaining a method of calculating the number of fluorescent molecules (or the number of antibodies) in one pixel in the embodiment.
  • the size of the bottom surface of the sample corresponding to the image sensor 1 [pixel] is assumed to be 13/20 ( ⁇ m) ⁇ 13 /. It is assumed to be 20 ( ⁇ m). Then, it is assumed that the thickness of the sample is 10 ( ⁇ m).
  • the volume (m 3 ) of this rectangular parallelepiped is represented by 13/20 ( ⁇ m) ⁇ 13/20 ( ⁇ m) ⁇ 10 ( ⁇ m).
  • the volume (liter) is represented by 13/20 ( ⁇ m) ⁇ 13/20 ( ⁇ m) ⁇ 10 ( ⁇ m) ⁇ 10 3 .
  • the concentration of the number of antibodies (which may be the number of fluorescent molecules) contained in the sample is uniform and is 300 (nM)
  • the number of antibodies per pixel is represented by the following formula (11). Will be done.
  • the number of fluorescent molecules or the number of antibodies in the fluorescent stained sample 30 is calculated as a result of the fluorescent separation treatment, so that the practitioner can compare the number of fluorescent molecules among a plurality of fluorescent substances or under different conditions. It is possible to compare the captured data. Further, since the brightness (or fluorescence intensity) is a continuous value, while the number of fluorescent molecules or the number of antibodies is a discrete value, the information processing apparatus 100 according to the modified example has image information based on the number of fluorescent molecules or the number of antibodies. The amount of data can be reduced by outputting.
  • FIG. 23 is a block diagram showing a hardware configuration example of the information processing apparatus 100.
  • Various processes by the information processing apparatus 100 are realized by the cooperation between the software and the hardware described below.
  • the information processing apparatus 100 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, and a host bus 904a.
  • the information processing device 100 includes a bridge 904, an external bus 904b, an interface 905, an input device 906, an output device 907, a storage device 908, a drive 909, a connection port 911, a communication device 913, and a sensor 915.
  • the information processing apparatus 100 may have a processing circuit such as a DSP or an ASIC in place of or in combination with the CPU 901.
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls the overall operation in the information processing device 100 according to various programs. Further, the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs, calculation parameters, and the like used by the CPU 901.
  • the RAM 903 temporarily stores a program used in the execution of the CPU 901, parameters that appropriately change in the execution, and the like.
  • the CPU 901 may embody, for example, at least the processing unit 130 and the control unit 150 of the information processing apparatus 100.
  • the CPU 901, ROM 902 and RAM 903 are connected to each other by a host bus 904a including a CPU bus and the like.
  • the host bus 904a is connected to an external bus 904b such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 904. It is not always necessary to separately configure the host bus 904a, the bridge 904, and the external bus 904b, and these functions may be implemented in one bus.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 906 is realized by a device such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, and a lever, in which information is input by the practitioner. Further, the input device 906 may be, for example, a remote control device using infrared rays or other radio waves, or an externally connected device such as a mobile phone or a PDA that supports the operation of the information processing device 100. .. Further, the input device 906 may include, for example, an input control circuit that generates an input signal based on the information input by the practitioner using the above input means and outputs the input signal to the CPU 901. By operating the input device 906, the practitioner can input various data to the information processing device 100 and instruct the processing operation. The input device 906 may embody at least the operation unit 160 of the information processing device 100, for example.
  • the output device 907 is formed of a device capable of visually or audibly notifying the practitioner of the acquired information. Such devices include display devices such as CRT display devices, liquid crystal display devices, plasma display devices, EL display devices and lamps, acoustic output devices such as speakers and headphones, and printer devices.
  • the output device 907 may embody at least the display unit 140 of the information processing device 100, for example.
  • the storage device 908 is a device for storing data.
  • the storage device 908 is realized by, for example, a magnetic storage device such as an HDD, a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like.
  • the storage device 908 may include a storage medium, a recording device for recording data on the storage medium, a reading device for reading data from the storage medium, a deleting device for deleting data recorded on the storage medium, and the like.
  • the storage device 908 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the storage device 908 may embody at least the storage unit 120 of the information processing device 100, for example.
  • the drive 909 is a reader / writer for a storage medium, and is built in or externally attached to the information processing apparatus 100.
  • the drive 909 reads information recorded in a removable storage medium such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 903.
  • the drive 909 can also write information to the removable storage medium.
  • connection port 911 is an interface connected to an external device, and is a connection port with an external device capable of transmitting data by, for example, USB (Universal Serial Bus).
  • USB Universal Serial Bus
  • the communication device 913 is, for example, a communication interface formed by a communication device or the like for connecting to the network 920.
  • the communication device 913 is, for example, a communication card for a wired or wireless LAN (Local Area Network), LTE (Long Term Evolution), Bluetooth (registered trademark), WUSB (Wireless USB), or the like.
  • the communication device 913 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communications, or the like.
  • the communication device 913 can transmit and receive signals and the like to and from the Internet and other communication devices in accordance with a predetermined protocol such as TCP / IP.
  • the senor 915 includes a sensor capable of acquiring a spectrum (for example, an image pickup element or the like), and another sensor (for example, an acceleration sensor, a gyro sensor, a geomagnetic sensor, a pressure sensor, a sound sensor, or a sound sensor). (Distance measuring sensor, etc.) may be included.
  • the sensor 915 can embody, for example, at least the fluorescence signal acquisition unit 112 of the information processing apparatus 100.
  • the network 920 is a wired or wireless transmission path for information transmitted from a device connected to the network 920.
  • the network 920 may include a public line network such as the Internet, a telephone line network, a satellite communication network, various LANs (Local Area Network) including Ethernet (registered trademark), and a WAN (Wide Area Network).
  • the network 920 may include a dedicated line network such as IP-VPN (Internet Protocol-Virtual Private Network).
  • the hardware configuration example that can realize the function of the information processing device 100 is shown above.
  • Each of the above components may be realized by using a general-purpose member, or may be realized by hardware specialized for the function of each component. Therefore, it is possible to appropriately change the hardware configuration to be used according to the technical level at the time of implementing the present disclosure.
  • the recording medium includes, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, and the like. Further, the above computer program may be distributed, for example, via a network without using a recording medium.
  • An imaging unit that acquires multiple partial images by imaging multiple areas that overlap each other, Based on the connection information obtained based on at least one channel of the plurality of channels constituting each of the plurality of partial images, the other channels of the plurality of channels constituting the plurality of partial images can be used.
  • the image generation system according to any one of (1) to (3) above, wherein the plurality of partial images have the same size.
  • the at least one channel is a specific fluorescent channel among the plurality of fluorescent channels after the fluorescence separation treatment, and the other channel is a fluorescent channel other than the specific fluorescent channel (3) or (4).
  • the image generation system described in. (6) The image according to (3) or (4) above, wherein the at least one channel is a specific wavelength channel among the plurality of wavelength channels, and the other channel is a plurality of fluorescent channels after the fluorescence separation treatment.
  • Generation system (7) The image generation according to (3) or (4) above, wherein the at least one channel is a specific wavelength channel among the plurality of wavelength channels, and the other channel is a wavelength channel other than the specific wavelength channel. system.
  • the separation processing unit performs the fluorescence separation processing based on a plurality of partial images of the plurality of wavelength channels for each of the regions obtained by the imaging unit capturing each of the plurality of regions and the reference vector.
  • the image generation system according to any one of (5) to (7) above, wherein the image is generated after the plurality of fluorescence separations for each region.
  • the separation processing unit performs the fluorescence separation processing based on the connection image in which the plurality of partial images of the plurality of wavelength channels are interconnected based on the overlap between the regions and the reference vector, and performs the fluorescence separation processing of the connection image.
  • the image generation system according to (6) or (7) above, which generates a plurality of images after fluorescence separation.
  • the image generation system according to any one of (1) to (9), wherein the at least one channel is a channel designated by a user from the plurality of channels.
  • the at least one channel is determined based on the spatial frequency or the dispersion value of the brightness signals of the images of the plurality of channels.
  • the at least one channel is a preset channel.
  • a designation unit that allows the user to specify at least one channel from the plurality of channels before connection by the connection unit.
  • a generation unit that generates an image in which a plurality of partial images of the channel designated by the user are interconnected based on the connection information obtained based on the channel designated by the user, and the generated image to the user.
  • a conversion unit that performs conversion to present it visually, The image generation system according to any one of (1) to (9) above. (14) The image according to any one of (1) to (13), wherein the connection portion generates the connection information based on the dispersion value of the luminance signal for each pixel row of the two partially overlapping partial images. Generation system.
  • An imaging unit that captures multiple partial images for each of multiple wavelengths by capturing multiple regions that overlap each other.
  • a separation processing unit that performs fluorescence separation processing based on the plurality of partial images for each of the plurality of wavelengths and a reference vector to generate a plurality of partial images after fluorescence separation.
  • the plurality of partially superimposed images are interconnected based on the connection information obtained based on the plurality of partially superimposed images obtained by superimposing at least a part of the plurality of partially superimposed images after fluorescence separation, and the image including the image portion of the subject is imaged.
  • the connection part to get the image and Image generation system including.
  • An imaging unit that acquires multiple partial images by imaging areas that overlap each other, Based on the connection information obtained based on at least one channel of the plurality of channels constituting each of the plurality of partial images, the other channels of the plurality of channels constituting the plurality of partial images can be used.
  • a connection that connects multiple partial images to each other Microscope system including.
  • An imaging process that acquires multiple partial images by imaging overlapping regions, and Based on the connection information obtained based on at least one channel of the plurality of channels constituting each of the plurality of partial images, the other channels of the plurality of channels constituting the plurality of partial images can be used.
  • a connection process that connects multiple partial images to each other Image generation method including.
  • Fluorescent reagent 11 Fluorescent signal identification information 20 Specimen 21 Specimen identification information 30 Fluorescent stained sample 100 Information processing device 110 Acquisition unit 111 Information acquisition unit 112 Fluorescent signal acquisition unit 120 Storage unit 121 Information storage unit 122 Fluorescent signal storage unit 130 Processing unit 132 Separation Processing unit 133 Image generation unit 140 Display unit 150 Control unit 160 Operation unit 200 Database 1331 Connection unit (stitch processing unit) 1332 conversion unit (superposition / RGB conversion unit) G7 base image G8 connection image G9 subject image part G10 cell fluorescence image G11 nucleus fluorescence image G14 overlapping area G15 captured image G16 comparison block image G18 pixel sequence G19 connection pixel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

複数の画像が重なり合う領域で被写体が適正に表現されるように、複数の画像を接続する。画像生成システムは、相互に重なる複数の領域を撮像することで複数の部分画像を取得する撮像部（１１１）と、前記複数の部分画像それぞれを構成する複数のチャンネルのうちの少なくとも一つのチャンネルを基準に求められた接続情報に基づいて、前記複数の部分画像それぞれを構成する複数のチャンネルのうちの他のチャンネルの複数の部分画像を相互に接続する接続部（１３３１）と、を備える。

Description

画像生成システム、顕微鏡システム、および画像生成方法
　本開示は、画像生成システム、顕微鏡システム、および画像生成方法に関する。
　従来から、相互に重なる領域を有する複数の部分画像を接続するスティッチング技術が知られており、パノラマ撮影、顕微鏡画像の撮影等に用いられている。このスティッチング技術においては、複数の部分画像のうちの相互に重なる部分を接続するための接続情報（部分画像のオフセット情報）を、テンプレートマッチング等の手法を用いて生成する。このようにして生成された接続情報を用いて、複数の部分画像を接続して全体画像を得る。
　例えば、特許文献１には、複数の画像が重なり合う領域で被写体が適正に表現されるように、複数の画像を接続することが可能な情報処理装置、情報処理方法、及びそのプログラムが提案されている。
特開２０１２－１０２７５号公報
　しかし、特許文献１の手法を、複数のチャンネルを持つ部分画像に適用した場合、それぞれのチャンネルごとに接続情報を生成してスティッチング処理を行うことになる。この場合、複数のチャンネルの全体画像同士を重ね合わせた場合に、スティッチング処理の影響で、それぞれのチャンネルごとに全体画像のサイズが微妙に異なってしまい、例えば数ピクセルずれてしまうということがあり得る。
　本開示では、以上のような事情に鑑み、複数の画像が重なり合う領域で被写体が適正に表現されるように、複数の画像を接続することが可能な画像生成システム、顕微鏡システム、及び画像生成方法を提供することにある。
　上述した課題を解決し、目的を達成するために、本開示において、相互に重なる複数の領域を撮像することで複数の部分画像を取得する撮像部と、前記複数の部分画像それぞれを構成する複数のチャンネルのうちの少なくとも一つのチャンネルを基準に求められた接続情報に基づいて、前記複数の部分画像それぞれを構成する複数のチャンネルのうちの他のチャンネルの複数の部分画像を相互に接続する接続部と、を備える画像生成システム、を提供する。
第１の実施形態に係る情報処理システムの構成例を示すブロック図である。 蛍光信号取得部によって取得された蛍光スペクトルの具体例を示す図である。 非負値行列因子分解の概要を説明する図である。 クラスタリングの概要を説明する図である。 第１の実施形態に係る情報処理システムが顕微鏡システムとして実現される場合における顕微鏡システムの構成例を示すブロック図である。 第１の実施形態に係る情報処理装置の処理のためのソフトウエア概略図である。 図１に示す情報処理装置の処理の概要を示すフローチャートである。 図１に示す情報処理装置によりスティッチング処理される接続画像とベース画像とを示す模式的な図である。 図１に示す情報処理装置によりスティッチング処理された接続画像とベース画像とを示す模式的な図である。 蛍光分離処理の計算を説明するための概略図である。 図１に示す情報処理装置による比較用ブロック画像とベース画像とのマッチング処理を説明するための図である。 図１に示す情報処理装置によりマッチング処理された比較用ブロック画像とベース画像とを示す模式的な図である。 図１に示す情報処理装置による境界検出処理の概要を示すフローチャートである。 図１に示す情報処理装置による境界検出処理を説明するための図である。 図１に示す情報処理装置によりマッチング処理された比較用ブロック画像とベース画像とを示す模式的な図である。 図１に示す情報処理装置によるベース画像と接続画像との接続処理を説明するための図である。 本開示の第１の実施形態に係るＰＣの処理の概要を示すフローチャートである。 本開示の第２の実施形態に係るＰＣの処理の概要を示すフローチャートである。 本開示の第２の実施形態の変形例に係るＰＣの処理の概要を示すフローチャートである。 本開示の第３の実施形態に係るＰＣの処理の概要を示すフローチャートである。 実施形態に係る情報処理システムの測定系の一例を示す図である。 実施形態に係る１画素における蛍光分子数（又は抗体数）を算出する方法を説明するための図である。 各実施形態及び変形例に係る情報処理装置のハードウエア構成例を示すブロック図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　また、以下に示す項目順序に従って本開示を説明する。
　　１．第１の実施形態
　　　１．１．構成例
　　　１．２．顕微鏡システムへの応用例
　　　１．３．最小二乗法について
　　　１．４．非負値行列因子分解（ＮＭＦ）について
　　　１．５．情報処理システムの動作
　　　１．６．動作の説明（フローチャート）
　　２．第２の実施形態
　　　２．１．動作の説明（フローチャート）
　　３．第２の実施形態の変形例
　　　３．１．動作の説明（フローチャート）
　　４．第３の実施形態
　　　４．１．動作の説明（フローチャート）
　　５．その他の実施形態
　　６．測定系の構成例
　　７．蛍光分子数（又は抗体数）の算出方法
　　８．ハードウエア構成例
　＜１．第１の実施形態＞
　まず、本開示に係る第１の実施形態について説明する。
　（１．１．構成例）
　図１を参照して、本実施形態に係る情報処理システム（以下、画像生成システムともいう）の構成例について説明する。図１に示すように、本実施形態に係る情報処理システムは、情報処理装置１００と、データベース２００と、を備え、情報処理システムへの入力として、蛍光試薬１０、標本２０と、蛍光染色標本３０と、が存在する。
　（蛍光試薬１０）
　蛍光試薬１０は、標本２０の染色に使用される薬品である。蛍光試薬１０は、例えば、蛍光抗体（直接標識に使用される一次抗体、または間接標識に使用される二次抗体が含まれる）、蛍光プローブ、または核染色試薬等であるが、蛍光試薬１０の種類はこれらに限定されない。また、蛍光試薬１０は、蛍光試薬１０（または蛍光試薬１０の製造ロット）を識別可能な識別情報（以降「試薬識別情報１１」と呼称する）を付されて管理される。試薬識別情報１１は、例えばバーコード情報等（一次元バーコード情報や二次元バーコード情報等）であるが、これに限定されない。蛍光試薬１０は、同一の製品であっても、製造方法や抗体が取得された細胞の状態等に応じて製造ロット毎にその性質が異なる。例えば、蛍光試薬１０において、製造ロット毎に蛍光の波長スペクトル（蛍光スペクトル）、量子収率、または蛍光標識率等が異なる。そこで、本実施形態に係る情報処理システムにおいて、蛍光試薬１０は、試薬識別情報１１を付されることによって製造ロット毎に管理される。これによって、情報処理装置１００は、製造ロット毎に現れる僅かな性質の違いも考慮した上で蛍光分離を行うことができる。
　（標本２０）
　標本２０は、人体から採取された検体または組織サンプルから病理診断などを目的に作製されたものである。標本２０は、組織切片や細胞や微粒子でもよく、標本２０について、使用される組織（例えば臓器等）の種類、対象となる疾病の種類、対象者の属性（例えば、年齢、性別、血液型、または人種等）、または対象者の生活習慣（例えば、食生活、運動習慣、または喫煙習慣等）は特に限定されない。なお、組織切片には、例えば、染色される組織切片（以下、単に切片ともいう）の染色前の切片、染色された切片に隣接する切片、同一ブロック（染色切片と同一の場所からサンプリングされたもの）における染色切片と異なる切片、又は同一組織における異なるブロック（染色切片と異なる場所からサンプリングされたもの）における切片、異なる患者から採取した切片などが含まれ得る。また、標本２０は、各標本２０を識別可能な識別情報（以降、「標本識別情報２１」と呼称する）を付されて管理される。標本識別情報２１は、試薬識別情報１１と同様に、例えばバーコード情報等（一次元バーコード情報や二次元バーコード情報等）であるが、これに限定されない。標本２０は、使用される組織の種類、対象となる疾病の種類、対象者の属性、または対象者の生活習慣等に応じてその性質が異なる。例えば、標本２０において、使用される組織の種類等に応じて計測チャンネルまたは自家蛍光の波長スペクトル（自家蛍光スペクトル）等が異なる。そこで、本実施形態に係る情報処理システムにおいて、標本２０は、標本識別情報２１を付されることによって個々に管理される。これによって、情報処理装置１００は、標本２０毎に現れる僅かな性質の違いも考慮した上で蛍光分離を行うことができる。
　（蛍光染色標本３０）
　蛍光染色標本３０は、標本２０が蛍光試薬１０により染色されることで作成されたものである。本実施形態において、蛍光染色標本３０は、標本２０が１以上の蛍光試薬１０によって染色されることを想定しているところ、染色に用いられる蛍光試薬１０の数は特に限定されない。また、染色方法は、標本２０および蛍光試薬１０それぞれの組み合わせ等によって決まり、特に限定されるものではない。
　（情報処理装置１００）
　情報処理装置１００は、図１に示すように、取得部１１０と、保存部１２０と、処理部１３０と、表示部１４０と、制御部１５０と、操作部１６０と、を備える。情報処理装置１００は、例えば蛍光顕微鏡等であり得るところ、必ずしもこれに限定されず種々の装置を含んでもよい。例えば、情報処理装置１００は、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）等であってもよい。
　（取得部１１０）
　取得部１１０は、情報処理装置１００の各種処理に使用される情報を取得する構成である。図１に示すように、取得部１１０は、情報取得部１１１と、蛍光信号取得部１１２と、を備える。
　（情報取得部１１１）
　情報取得部１１１は、蛍光試薬１０に関する情報（以降、「試薬情報」と呼称する）や、標本２０に関する情報（以降、「標本情報」と呼称する）を取得する構成である。より具体的には、情報取得部１１１は、蛍光染色標本３０の生成に使用された蛍光試薬１０に付された試薬識別情報１１、および標本２０に付された標本識別情報２１を取得する。例えば、情報取得部１１１は、バーコードリーダー等を用いて試薬識別情報１１および標本識別情報２１を取得する。そして、情報取得部１１１は、試薬識別情報１１に基づいて試薬情報を、標本識別情報２１に基づいて標本情報をそれぞれデータベース２００から取得する。情報取得部１１１は、取得したこれらの情報を後述する情報保存部１２１に保存する。
　ここで、本実施形態において、標本情報には、標本２０における１以上の自家蛍光物質の自家蛍光スペクトル（以下、自家蛍光参照スペクトルともいう）に関する情報が含まれ、試薬情報には、蛍光染色標本３０における蛍光物質の蛍光スペクトル（以下、蛍光参照スペクトルともいう）に関する情報が含まれるとする。なお、自家蛍光参照スペクトルと蛍光参照スペクトルとをそれぞれ若しくはまとめて「参照スペクトル」とも呼称する。
　（蛍光信号取得部１１２）
　蛍光信号取得部１１２は、蛍光染色標本３０（標本２０が蛍光試薬１０により染色されることで作成されたもの）に対して、波長が互いに異なる複数の励起光が照射されたときの、複数の励起光それぞれに対応する複数の蛍光信号を取得する構成である。より具体的には、蛍光信号取得部１１２は、光を受光し、その受光量に応じた検出信号を出力することで、当該検出信号に基づいて蛍光染色標本３０の蛍光スペクトルで構成されたデータキューブ（以下、染色標本画像という）を取得する。ここで、励起光の内容（励起波長や強度等を含む）は試薬情報等（換言すると、蛍光試薬１０に関する情報等）に基づいて決定される。なお、ここでいう蛍光信号は蛍光に由来する信号であれば特に限定されず、蛍光スペクトルはその単なる一例である。本説明では、蛍光信号が蛍光スペクトルである場合を例示する。
　図２のＡ～Ｄは、蛍光信号取得部１１２によって取得される蛍光スペクトルの具体例を示す図である。図２のＡ～Ｄでは蛍光染色標本３０に、ＤＡＰＩ、ＣＫ／ＡＦ４８８、ＰｇＲ／ＡＦ５９４、およびＥＲ／ＡＦ６４７という４種の蛍光物質が含まれ、それぞれの励起波長として３９２［ｎｍ］（図２のＡ）、４７０［ｎｍ］（図２のＢ）、５４９［ｎｍ］（図２のＣ）、６２８［ｎｍ］（図２のＤ）を有する励起光が照射された場合に取得された蛍光スペクトルの具体例が示されている。なお、蛍光発光のためにエネルギーが放出されることにより、蛍光波長は励起波長よりも長波長側にシフトしている点に留意されたい（ストークスシフト）。また、蛍光染色標本３０に含まれる蛍光物質、及び照射される励起光の励起波長は上記に限定されない。蛍光信号取得部１１２は、取得した蛍光スペクトルよりなる染色標本画像を後述する蛍光信号保存部１２２に保存する。
　（保存部１２０）
　保存部１２０は、情報処理装置１００の各種処理に使用される情報、または各種処理によって出力された情報を保存する構成である。図１に示すように、保存部１２０は、情報保存部１２１と、蛍光信号保存部１２２と、を備える。
　（情報保存部１２１）
　情報保存部１２１は、情報取得部１１１によって取得された試薬情報および標本情報を保存する構成である。
　（蛍光信号保存部１２２）
　蛍光信号保存部１２２は、蛍光信号取得部１１２によって取得された蛍光染色標本３０の蛍光信号を保存する構成である。
　（処理部１３０）
　処理部１３０は、色分離処理を含む各種処理を行う構成である。図１に示すように、処理部１３０は、分離処理部１３２と、画像生成部１３３と、を備える。
　（分離処理部１３２）
　分離処理部１３２は、染色標本画像を蛍光物質毎の蛍光スペクトルに分離する構成であり、後述するように、入力された染色標本画像から自家蛍光スペクトルを抽出し、抽出した自家蛍光スペクトルを用いて自家蛍光成分補正画像を生成する（生成部）。そして、分離処理部１３２は、生成した自家蛍光成分補正画像を用いて染色標本画像の色分離処理を実行する（分離部）。この分離処理部１３２は、請求の範囲における生成部、分離部、補正部、画像生成部としての機能を果たし得る。
　色分離処理には、例えば、最小二乗法（ＬＳＭ）や重み付き最小二乗法（ＷＬＳＭ）等が用いられてもよい。また、自家蛍光スペクトル及び／又は蛍光スペクトルの抽出には、例えば、非負値行列因子分解（ＮＭＦ）や特異値分解（ＳＶＤ）や主成分分析（ＰＣＡ）等が用いられてもよい。
　（操作部１６０）
　操作部１６０は、実施者からの操作入力を受ける構成である。より具体的には、操作部１６０は、キーボード、マウス、ボタン、タッチパネル、またはマイクロフォン等の各種入力手段を備えており、実施者はこれらの入力手段を操作することで情報処理装置１００に対して様々な入力を行うことができる。操作部１６０を介して行われた操作入力に関する情報は制御部１５０へ提供される。
　（データベース２００）
　データベース２００は、試薬情報および標本情報等を管理する装置である。より具体的に説明すると、データベース２００は、試薬識別情報１１と試薬情報、標本識別情報２１と標本情報をそれぞれ紐づけて管理する。これによって、情報取得部１１１は、蛍光試薬１０の試薬識別情報１１に基づいて試薬情報を、標本２０の標本識別情報２１に基づいて標本情報をデータベース２００から取得することができる。
　データベース２００が管理する試薬情報は、蛍光試薬１０が有する蛍光物質固有の計測チャンネルおよび蛍光参照スペクトルを含む情報であることを想定している（必ずしもこれらに限定されない）。「計測チャンネル」とは、蛍光試薬１０に含まれる蛍光物質を示す概念である。蛍光物質の数は蛍光試薬１０によって様々であるため、計測チャンネルは、試薬情報として各蛍光試薬１０に紐づけられて管理されている。また、試薬情報に含まれる蛍光参照スペクトルとは、上記のとおり、計測チャンネルに含まれる蛍光物質それぞれの蛍光スペクトルある。
　また、データベース２００が管理する標本情報は、標本２０が有する自家蛍光物質固有の計測チャンネルおよび自家蛍光参照スペクトルを含む情報であることを想定している（必ずしもこれらに限定されない）。「計測チャンネル」とは、標本２０に含まれる自家蛍光物質を示す概念であり、例えば、Ｈｅｍｏｇｌｏｂｉｎ、ＡｒｃｈｉｄｏｎｉｃＡｃｉｄ、Ｃａｔａｌａｓｅ、Ｃｏｌｌａｇｅｎ、ＦＡＤ、ＮＡＤＰＨ、およびＰｒｏＬｏｎｇＤｉａｍｏｎｄを指す概念である。自家蛍光物質の数は標本２０によって様々であるため、計測チャンネルは、標本情報として各標本２０に紐づけられて管理されている。また、標本情報に含まれる自家蛍光参照スペクトルとは、上記のとおり、計測チャンネルに含まれる自家蛍光物質それぞれの自家蛍光スペクトルである。なお、データベース２００で管理される情報は必ずしも上記に限定されない。
　以上、本実施形態に係る情報処理システムの構成例について説明した。なお、図１を参照して説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理システムの構成は係る例に限定されない。例えば、情報処理装置１００は、図１に示す構成の全てを必ずしも備えなくてもよいし、図１に示されていない構成を備えてもよい。
　ここで、本実施形態に係る情報処理システムは、蛍光スペクトルを取得する撮像装置（例えば、スキャナ等を含む）と、蛍光スペクトルを用いて処理を行う情報処理装置と、を備えていてもよい。この場合、図１に示した蛍光信号取得部１１２は撮像装置によって実現され得、その他の構成は情報処理装置によって実現され得る。また、本実施形態に係る情報処理システムは、蛍光スペクトルを取得する撮像装置と、蛍光スペクトルを用いる処理に使われるソフトウエアと、を備えていてもよい。換言すると、当該ソフトウエアを記憶したり実行したりする物理構成（例えば、メモリやプロセッサ等）が情報処理システムに備えられていなくてもよい。この場合、図１に示した蛍光信号取得部１１２は撮像装置によって実現され得、その他の構成は当該ソフトウエアが実行される情報処理装置によって実現され得る。そして、ソフトウエアは、ネットワークを介して（例えば、ウェブサイトやクラウドサーバ等から）情報処理装置に提供されたり、任意の記憶媒体（例えば、ディスク等）を介して情報処理装置に提供されたりする。また、当該ソフトウエアが実行される情報処理装置は、各種サーバ（例えば、クラウドサーバ等）、汎用コンピュータ、ＰＣ、またはタブレットＰＣ等であり得る。なお、ソフトウエアが情報処理装置に提供される方法、および情報処理装置の種類は上記に限定されない。また、本実施形態に係る情報処理システムの構成は必ずしも上記に限定されず、使用時の技術水準に基づいて、いわゆる当業者が想到可能な構成が適用され得る点に留意されたい。
　（１．２．顕微鏡システムへの応用例）
　上記で説明してきた情報処理システムは、例えば顕微鏡システムとして実現されてもよい。そこで、続いて図５を参照して、本実施形態に係る情報処理システムが顕微鏡システムとして実現される場合における顕微鏡システムの構成例について説明する。
　図５に示すように、本実施形態に係る顕微鏡システムは、顕微鏡１０１と、データ処理部１０７と、を備える。
　顕微鏡１０１は、ステージ１０２と、光学系１０３と、光源１０４と、ステージ駆動部１０５と、光源駆動部１０６と、蛍光信号取得部１１２と、を備える。
　ステージ１０２は、蛍光染色標本３０を載置可能な載置面を有し、ステージ駆動部１０５の駆動により当該載置面に対して平行方向（ｘ－ｙ平面方向）及び垂直方向（ｚ軸方向）へ移動可能とされている。蛍光染色標本３０は、Ｚ方向に例えば数μｍから数十μｍの厚さを有し、スライドガラスＳＧ及びカバーガラス（図示無し）に挟まれて所定の固定手法により固定されている。
　ステージ１０２の上方には光学系１０３が配置される。光学系１０３は、対物レンズ１０３Ａと、結像レンズ１０３Ｂと、ダイクロイックミラー１０３Ｃと、エミッションフィルタ１０３Ｄと、励起フィルタ１０３Ｅと、を備える。光源１０４は、例えば水銀ランプ等の電球やＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等であり、光源駆動部１０６の駆動により蛍光染色標本３０に付された蛍光標識に対する励起光を照射するものである。
　励起フィルタ１０３Ｅは、蛍光染色標本３０の蛍光像を得る場合に、光源１０４から出射された光のうち蛍光色素を励起する励起波長の光のみを透過させることで励起光を生成する。ダイクロイックミラー１０３Ｃは、当該励起フィルタで透過されて入射する励起光を反射させて対物レンズ１０３Ａへ導く。対物レンズ１０３Ａは、当該励起光を蛍光染色標本３０へ集光する。そして対物レンズ１０３Ａ及び結像レンズ１０３Ｂは、蛍光染色標本３０の像を所定の倍率に拡大し、当該拡大像を蛍光信号取得部１１２の撮像面に結像させる。
　蛍光染色標本３０に励起光が照射されると、蛍光染色標本３０の各組織に結合している染色剤が蛍光を発する。この蛍光は、対物レンズ１０３Ａを介してダイクロイックミラー１０３Ｃを透過し、エミッションフィルタ１０３Ｄを介して結像レンズ１０３Ｂへ到達する。エミッションフィルタ１０３Ｄは、上記対物レンズ１０３Ａによって拡大された、励起フィルタ１０３Ｅを透過した光を吸収し発色光の一部のみを透過する。当該外光が喪失された発色光の像は、上述のとおり、結像レンズ１０３Ｂにより拡大され、蛍光信号取得部１１２上に結像される。
　データ処理部１０７は、光源１０４を駆動させ、蛍光信号取得部１１２を用いて蛍光染色標本３０の蛍光像を取得し、これを用いて各種処理を行う構成である。より具体的には、データ処理部１０７は、図１を参照して説明した、情報処理装置１００の情報取得部１１１、保存部１２０、処理部１３０、表示部１４０、制御部１５０、操作部１６０、又はデータベース２００の一部又は全部の構成として機能し得る。例えば、データ処理部１０７は、情報処理装置１００の制御部１５０として機能することで、ステージ駆動部１０５及び光源駆動部１０６の駆動を制御したり、蛍光信号取得部１１２によるスペクトルの取得を制御したりする。また、データ処理部１０７は、情報処理装置１００の処理部１３０として機能することで、蛍光スペクトルを生成したり、蛍光スペクトルを蛍光物質毎に分離したり、分離結果に基づいて画像情報を生成したりする。
　以上、本実施形態に係る情報処理システムが顕微鏡システムとして実現される場合における顕微鏡システムの構成例について説明した。なお、図５を参照して説明した上記の構成はあくまで一例であり、本実施形態に係る顕微鏡システムの構成は係る例に限定されない。例えば、顕微鏡システムは、図５に示す構成の全てを必ずしも備えなくてもよいし、図５に示されていない構成を備えてもよい。
　（１．３．最小二乗法について）
　ここで、分離処理部１３２による色分離処理において用いられる最小二乗法について説明する。最小二乗法は、入力された染色標本画像における各画素の画素値である蛍光スペクトルに参照スペクトルをフィッティングすることで、混色率を算出するものである。なお、混色率は、各物質が混ざり合う度合を示す指標である。以下の式（１）は、蛍光スペクトル（Ｓｉｇｎａｌ）から、参照スペクトル（Ｓｔ）。蛍光参照スペクトル及び自家蛍光参照スペクトルが混色率ａで混色されたものを減算して得られる残差を表す式である。なお、式（１）における「Ｓｉｇｎａｌ（１×チャンネル数）」とは、蛍光スペクトル（Ｓｉｇｎａｌ）が波長のチャンネル数だけ存在することを示している。例えば、Ｓｉｇｎａｌは、１以上の蛍光スペクトルを表す行列である。また、「Ｓｔ（物質数×チャンネル数）」とは、参照スペクトルが、それぞれの物質（蛍光物質及び自家蛍光物質）について波長のチャンネル数だけ存在することを示している。例えば、Ｓｔは、１以上の参照スペクトルを表す行列である。また、「ａ（１×物質数）」とは、混色率ａが各物質（蛍光物質及び自家蛍光物質）について設けられることを示している。例えば、ａは、蛍光スペクトルにおける参照スペクトルそれぞれの混色率を表す行列である。
Figure JPOXMLDOC01-appb-M000001
　そして、分離処理部１３２は、残差式（１）の２乗和が最小となる各物質の混色率ａを算出する。残差の２乗和が最小となるのは、残差を表す式（１）について、混色率ａに関する偏微分の結果が０である場合であるため、分離処理部１３２は、以下の式（２）を解くことで残差の２乗和が最小となる各物質の混色率ａを算出する。なお、式（２）における「Ｓｔ´」は、参照スペクトルＳｔの転置行列を示している。また、「ｉｎｖ（Ｓｔ＊Ｓｔ´）」は、Ｓｔ＊Ｓｔ´の逆行列を示している。
Figure JPOXMLDOC01-appb-M000002
　ここで、上記式（１）の各値の具体例を以下の式（３）～式（５）に示す。式（３）～式（５）の例では、蛍光スペクトル（Ｓｉｇｎａｌ）において、３種の物質（物質数が３）の参照スペクトル（Ｓｔ）がそれぞれ異なる混色率ａで混色される場合が示されている。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　そして、式（３）および式（５）の各値による上記式（２）の計算結果の具体例を以下の式（６）に示す。式（６）のとおり、計算結果として正しく「ａ＝（３　２　１）」（すなわち上記式（４）と同一の値）が算出されることがわかる。
Figure JPOXMLDOC01-appb-M000006
　なお、分離処理部１３２は、上述したように、最小二乗法ではなく重み付き最小二乗法（Ｗｅｉｇｈｔｅｄ　Ｌｅａｓｔ　Ｓｑｕａｒｅ　Ｍｅｔｈｏｄ）に関する計算を行うことにより、蛍光スペクトルから蛍光物質ごとのスペクトルを抽出してもよい。重み付き最小二乗法においては、測定値である蛍光スペクトル（Ｓｉｇｎａｌ）のノイズがポアソン分布になることを利用して、低いシグナルレベルの誤差を重視するように重みが付けられる。ただし、重み付き最小二乗法で加重が行われない上限値をＯｆｆｓｅｔ値とする。Ｏｆｆｓｅｔ値は測定に使用されるセンサの特性によって決まり、センサとして撮像素子が使用される場合には別途最適化が必要である。重み付き最小二乗法が行われる場合には、上記の式（１）及び式（２）における参照スペクトルＳｔが以下の式（７）で表されるＳｔ＿に置換される。なお、以下の式（７）は、行列で表されるＳｔの各要素（各成分）を、同じく行列で表される「Ｓｉｇｎａｌ＋Ｏｆｆｓｅｔ値」においてそれぞれ対応する各要素（各成分）で除算（換言すると、要素除算）することでＳｔ＿を算出することを意味する。
Figure JPOXMLDOC01-appb-M000007
　ここで、Ｏｆｆｓｅｔ値が１であり、参照スペクトルＳｔおよび蛍光スペクトルＳｉｇｎａｌの値がそれぞれ上記の式（３）および式（５）で表される場合の、上記式（７）で表されるＳｔ＿の具体例を以下の式（８）に示す。
Figure JPOXMLDOC01-appb-M000008
　そして、この場合の混色率ａの計算結果の具体例を以下の式（９）に示す。式（９）のとおり、計算結果として正しく「ａ＝（３　２　１）」が算出されることがわかる。
Figure JPOXMLDOC01-appb-M000009
　（１．４．非負値行列因子分解（ＮＭＦ）について）
　つづいて、分離処理部１３２が自家蛍光スペクトル及び／又は蛍光スペクトルの抽出に用いる非負値行列因子分解（ＮＭＦ）について説明する。ただし、非負値行列因子分解（ＮＭＦ）に限定されず、特異値分解（ＳＶＤ）や主成分分析（ＰＣＡ）等が用いられてもよい。
　図３は、ＮＭＦの概要を説明する図である。図３に示すように、ＮＭＦは、非負のＮ行Ｍ列（Ｎ×Ｍ）の行列Ａを、非負のＮ行ｋ列（Ｎ×ｋ）の行列Ｗ、及び非負のｋ行Ｍ列（ｋ×Ｍ）の行列Ｈに分解する。行列Ａと、行列Ｗ及び行列Ｈの積（Ｗ＊Ｈ）間の平均平方二乗残差Ｄが最小となるように行列Ｗ及び行列Ｈが決定される。本実施形態においては、行列Ａが、自家蛍光参照スペクトルが抽出される前のスペクトル（Ｎが画素数であり、Ｍが波長チャンネル数である）に相当し、行列Ｈが、抽出された自家蛍光参照スペクトル（ｋが自家蛍光参照スペクトルの数（換言すると、自家蛍光物質の数）であり、Ｍが波長チャンネル数である）に相当する。ここで、平均平方二乗残差Ｄは、以下の式（１０）で表される。なお、「ｎｏｒｍ（Ｄ，‘ｆｒｏ’）」とは、平均平方二乗残差Ｄのフロベニウスノルムを指す。
Figure JPOXMLDOC01-appb-M000010
　ＮＭＦにおける因子分解は、行列Ｗ及び行列Ｈに対する無作為な初期値で始まる反復法が用いられる。ＮＭＦにおいてｋの値（自家蛍光参照スペクトルの数）は必須であるが、行列Ｗ及び行列Ｈの初期値は必須ではなくオプションとして設定され得、行列Ｗ及び行列Ｈの初期値が設定されると解が一定となる。一方で、行列Ｗ及び行列Ｈの初期値が設定されない場合、これらの初期値は無作為に設定され、解が一定とならない。
　標本２０は、使用される組織の種類、対象となる疾病の種類、対象者の属性、または対象者の生活習慣等に応じてその性質が異なり、自家蛍光スペクトルも異なる。そのため、第２の実施形態に係る情報処理装置１００が、上記のように、標本２０毎に自家蛍光参照スペクトルを実測することで、より精度の高い色分離処理を実現することができる。
　なお、ＮＭＦの入力である行列Ａは、上述したように、染色標本画像の画素数Ｎ（＝Ｈｐｉｘ×Ｖｐｉｘ）と同数の行と、波長チャンネル数Ｍと同数の列とからなる行列である。そのため、染色標本画像の画素数が大きい場合や波長チャンネル数Ｍが大きい場合には、行列Ａが非常に大きな行列となり、ＮＭＦの計算コストが増大して処理時間が長くなる。
　そのような場合には、例えば、図４に示すように、染色画像の画素数Ｎ（＝Ｈｐｉｘ×Ｖｐｉｘ）を指定しておいたクラス数Ｎ（＜Ｈｐｉｘ×Ｖｐｉｘ）にクラスタリングすることで、行列Ａの巨大化による処理時間の冗長化を抑制することができる。
　クラスタリングでは、例えば、染色画像のうち、波長方向や強度方向において類似したスペクトル同士が同じクラスに分類される。これにより、染色画像よりも画素数の小さい画像が生成されるため、この画像を入力とした行列Ａ’の規模を縮小することが可能となる。
　（画像生成部１３３）
　画像生成部１３３は、分離処理部１３２による蛍光スペクトルの分離結果に基づいて画像情報を生成する構成である。例えば、画像生成部１３３は、１つ又は複数の蛍光物質に対応する蛍光スペクトルを用いて画像情報を生成したり、１つ又は複数の自家蛍光物質に対応する自家蛍光スペクトルを用いて画像情報を生成したりすることができる。なお、画像生成部１３３が画像情報の生成に用いる蛍光物質（分子）又は自家蛍光物質（分子）の数や組合せは特に限定されない。また、分離後の蛍光スペクトル又は自家蛍光スペクトルを用いた各種処理（例えば、セグメンテーション、またはＳ／Ｎ値の算出等）が行われた場合、画像生成部１３３は、それらの処理の結果を示す画像情報を生成してもよい。
　（表示部１４０）
　表示部１４０は、画像生成部１３３によって生成された画像情報をディスプレイに表示することで実施者へ提示する構成である。なお、表示部１４０として用いられるディスプレイの種類は特に限定されない。また、本実施形態では詳細に説明しないが、画像生成部１３３によって生成された画像情報がプロジェクターによって投影されたり、プリンタによってプリントされたりすることで実施者へ提示されてもよい（換言すると、画像情報の出力方法は特に限定されない）。
　（制御部１５０）
　制御部１５０は、情報処理装置１００が行う処理全般を統括的に制御する機能構成である。例えば、制御部１５０は、操作部１６０を介して行われる実施者による操作入力に基づいて、上記で説明したような各種処理（例えば、蛍光染色標本３０の載置位置の調整処理、蛍光染色標本３０に対する励起光の照射処理、スペクトルの取得処理、自家蛍光成分補正画像の生成処理、色分離処理、画像情報の生成処理、および画像情報の表示処理等）の開始や終了等を制御する。なお、制御部１５０の制御内容は特に限定されない。例えば、制御部１５０は、汎用コンピュータ、ＰＣ、タブレットＰＣ等において一般的に行われる処理（例えば、ＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）に関する処理）を制御してもよい。
　（１．５．情報処理システムの動作）
　次に、上述した情報処理システム（画像生成システム）の動作を説明する。図６は、本実施形態に係る情報処理装置が実行する処理の一部を説明するための概略図である。図７は、本実施形態に係る情報処理装置が実行する概略動作例を示すフローチャートである。
　以下の情報処理装置１００の処理は、後述（図２３参照）するストレージ装置９０８やＲＯＭ９０２等に記憶されたソフトウエアやドライブ９０９や接続ポート９１１や通信装置９１３を介してロード（ダウンロードを含む）されたソフトウエアと、情報処理装置１００を構成するハードウエア資源との協働により実現される。例えば、ＣＰＵ９０１がストレージ装置９０８等に記憶されたソフトウエアを構成するプログラムをＲＡＭ９０３にロードして実行することにより、以下の処理が実現される。
　図６に示すように、本実施形態に係る情報処理装置１００は、情報取得部１１１、分離処理部１３２、接続部（スティッチ処理部）１３３１及び変換部（重ね合わせ・ＲＧＢ変換部）１３３２より構成され、後述する図７及び図１７乃至図１９に例示するフローチャートに示す各処理を実行する。
　情報取得部１１１は、スティッチング処理により接続されるべき第１の画像としての接続画像と、第２の画像としてのベース画像とを撮像する。図８及び図９は、その接続画像とベース画像とを示す模式的な図である。なお、本実施形態では、説明を分かりやすくするために、直交する２軸方向であるＸ軸方向（横軸）とＹ軸方向（縦軸）のうち、Ｘ軸方向の接続を例として説明する。ベース画像及び接続画像は、請求の範囲における部分画像の一例である。
　本実施形態に係るベース画像Ｇ７と接続画像Ｇ８とは、例えば図示しない光学顕微鏡により得られた被写体の象を撮影することが可能な撮像装置により撮像される。被写体としては、蛍光染色された生体の細胞が用いられる。従って図８及び図９に示すように、ベース画像Ｇ７及び接続画像Ｇ８には、被写体の画像部分Ｇ９として、細胞の蛍光画像Ｇ１０や細胞内の核の蛍光画像Ｇ１１が含まれる。
　ベース画像Ｇ７が撮像され、光学顕微鏡が有するステージが移動し、接続画像Ｇ８が撮像される。このときステージの移動を制御することで、図８に示すように、スティッチング処理のための、相互に重なる領域であるのりしろ領域Ｇ１２及びＧ１３をそれぞれ有するように両画像Ｇ７及びＧ８が撮像される。
　ベース画像Ｇ７及び接続画像Ｇ８は狭視野画像であり、これらの画像又はこれらの画像を変換等した画像をスティッチング処理して広視野画像（Ｗｈｏｌｅ　Ｓｌｉｄｅ　Ｉｍａｇｅ（以下、ＷＳＩ））を得る。
　ベース画像Ｇ７及び接続画像Ｇ８は、波長方向に多くの情報を持つ分光スペクトル画像（マルチチャンネル画像、複数の波長チャンネルを持つ画像）である。このマルチチャンネル画像を別途用意したスペクトルを用いて、蛍光色素ごとのチャンネルに分解（色分離）することで、各蛍光色素の発光が確認できる画像を算出することができる。
　図１０は分離処理部１３２によって分光スペクトル画像が色分離される様子を示す模式図である。分解されるＡ行列（画素ピクセル×波長チャンネル、分光スペクトル画像）を残差Δが可能な限り小さくなるように、色分離画像Ｗ行列（画素ピクセル×分解個数ｋ）とスペクトルＨ行列（分解個数k×波長チャンネル）に分解する。色分離手法には、ｋとＨを固定した状態で計算するLeast　Square　Method（以下、LSM）や初期kを指定のうえ、非負値条件下で計算するNon-Negative　Matrix　Factorization（以下、NMF）等がある。なお、この色分離後の異なる蛍光色素で発光した画同士を重ね合わせて細胞同士のインターアクションを評価してもよい。
　図１０は更に、Ａ行列から分解された色分離画像Ｗの結果の一例を示している。この例では、狭視野画像Ｗ１及びＷ２それぞれについて、分解個数ｋ（＝蛍光チャンネル数）の数だけのバリエーションを持つ画像が出力される。例えば、狭視野画像Ｗ１については、Ｗ１ａ，Ｗ１ｂ、Ｗ１ｃ，…といった色分離画像が分解個数ｋ個分出力される。同様に、狭視野画像Ｗ２については、Ｗ２ａ，Ｗ２ｂ，Ｗ２ｃ，…といった色分離画像が分解個数ｋ個分出力される。
　本実施形態に係るベース画像Ｇ７及び接続画像Ｇ８の色分離後画像は複数の蛍光チャンネル（例えば、チャンネルａ，ｂ，ｃ，…）を持つ。複数の波長チャンネル（例えば、チャンネルＡ，Ｂ，Ｃ，…）を持つ分光スペクトル画像であるベース画像Ｇ７Ａ，７Ｂ，７Ｃ，…、及び、接続画像Ｇ８Ａ，８Ｂ，８Ｃ，…に対して色分離を行うと、複数の蛍光チャンネルを持つ蛍光分離後画像であるベース画像Ｇ７ａ，７ｂ，７ｃ，…、及び接続画像Ｇ８ａ，８ｂ，８ｃ，…が得られる。
　色分離後画像は更に、ディストーション補正をしてもよい。撮影された狭視野画像には撮像に使用される光学系に依存するディストーションが含まれている。このディストーションを含む画像を所定の処理に基づいて補正する。
　次に、ベース画像Ｇ７及び接続画像Ｇ８を接続するための基準となる蛍光チャンネルを定める。基準となる蛍光チャンネルは、同一蛍光チャンネル画像の組み合わせ（例えば、ベース画像Ｇ７ａと接続画像Ｇ８ａ、ベース画像Ｇ７ｂと接続画像Ｇ８ｂ、ベース画像Ｇ７ｃと接続画像Ｇ８ｃ）のうち、ユーザが指定した蛍光チャンネルを選択してもよいし、画像の輝度信号の空間周波数が高い蛍光チャンネルを選択してもよいし、輝度信号の分散値の高いものを選択してもよい。もしくは、制御部１５０や処理部１３０等に予め設定された蛍光チャンネルが基準となる蛍光チャンネルとして選択されてもよい。
　基準となる蛍光チャンネルが、例えばｂと選択された場合、すなわち、ベース画像Ｇ７ｂと接続画像Ｇ８ｂの組み合わせが基準となる蛍光画像である場合、以下に説明するようにこの基準チャンネルの画像に基づいて接続情報が生成される。なお、以下の説明においては、特段の記載がない場合は、「ベース画像Ｇ７」は「選択された蛍光チャンネルのベース画像Ｇ７（上記例ではベース画像Ｇ７ｂ）」を、「接続画像Ｇ８」は「選択された蛍光チャンネルの接続画像Ｇ８（上記例では接続画像Ｇ８ｂ）」を、それぞれ示すものとする。
　のりしろ領域１２及び１３を利用してベース画像Ｇ７と接続画像Ｇ８とが相互に重なる領域Ｇ１４が定められ、図９に示すように、重なる領域Ｇ１４を基準にしてベース画像Ｇ７と接続画像Ｇ８とが接続される。そして被写体の画像部分Ｇ９（細胞の蛍光画像Ｇ１０及び核の蛍光画像Ｇ１１）を含む撮影画像Ｇ１５が構成される。
　ベース画像Ｇ７と接続画像Ｇ８の各サイズは、例えば光学顕微鏡が有する光学系の倍率や、撮像装置が有するイメージセンサのサイズ等により定められる。すなわち図８に示すベース画像Ｇ７及び接続画像Ｇ８の、Ｘ軸方向のサイズＸＳｈｏｔの値は、主にハードウエア要因により定められる。その際、ベース画像Ｇ７と接続画像Ｇ８の各サイズは、同じであってよい。本実施形態のベース画像Ｇ７及び接続画像Ｇ８は、互いに直交する２軸方向であるＸ軸方向及びＹ軸方向に並ぶ図示しない複数の画素を有する。そして、ベース画像Ｇ７及び接続画像Ｇ８の各サイズとしては、例えば、Ｘ方向が２４４０ピクセル、Ｙ方向が６１０ピクセルの倍数である。ただし、ベース画像Ｇ７及び接続画像Ｇ８の各サイズは、上記に限定されるものではない。
　ベース画像Ｇ７及び接続画像Ｇ８の各のりしろ領域１２及び１３の、Ｘ軸方向でのサイズＸＬの値は、両画像７及び８の特徴に基づいてスティッチング処理が可能となる範囲で定められる。のりしろ領域１２及び１３のＸ軸方向での各サイズＸＬの値は、例えばベース画像Ｇ７及び接続画像Ｇ８のＸ軸方向のサイズＸＳｈｏｔの値の５％～２０％程度に設定され得る。
　ベース画像Ｇ７及び接続画像Ｇ８が撮像されるときには、上記ステージの移動誤差等の機械的な要因により、ベース画像Ｇ７と接続画像Ｇ８との相対的な位置関係において誤差が生じる可能性がある。従ってＸ軸方向でベース画像Ｇ７及び接続画像Ｇ８を位置合わせする場合には、上記誤差に基づいたばらつきＸαを考慮する必要がある。本実施形態では、のりしろ領域１２及び１３のサイズＸＬの５％程度の値が、ばらつきＸαとして想定される。
　情報取得部１１１が撮像したベース画像Ｇ７及び接続画像Ｇ８の各情報は、接続部（スティッチ処理部）１３３１に出力される。
　接続部（スティッチ処理部）１３３１により、接続画像Ｇ８ののりしろ領域１３の画像が、比較用ブロック画像Ｇ１６（図１１参照）として切り出される（図７のステップＳ１０１）。比較用ブロック画像Ｇ１６として、のりしろ領域１３よりも大きい範囲、あるいは小さい範囲の領域の画像が切り出されてもよい。
　接続部（スティッチ処理部）１３３１により、比較用ブロック画像Ｇ１６とベース画像Ｇ７とのマッチング処理が行われ、最適なマッチングが得られる座標が算出される。図１１及び図１２は、そのマッチング処理を説明するための図である。
　比較用ブロック画像Ｇ１６とベース画像Ｇ７との比較位置の初期設定を行う（図７のステップＳ１０２）。本実施形態での初期設定の位置は、図１１（Ａ）に示すように、ｘ座標が（ＸＳｈｏｔ－ＸＬ－Ｘα）となる位置である。なお本実施形態では、ベース画像Ｇ７の左上の端点Ｏを基準として座標が設定されている。
　図１１（Ａ）に示す初期設定の位置で、比較用ブロック画像Ｇ１６とベース画像Ｇ７とのマッチング処理が行われる（ステップＳ１０３）。マッチング処理は、例えば比較用ブロック画像Ｇ１６とベース画像Ｇ７とが重なる領域の画素ごとに輝度値が算出され、その輝度値に基づいて自己相関係数が算出されることで行われる。あるいは、重なる領域の画素ごとに輝度値の差の自乗が算出されることでマッチング処理されてもよい。その他、画像のパターンマッチングに利用される各種アルゴリズムが利用可能である。
　比較位置のオフセットが、ｘ座標が（ＸＳｈｏｔ－ＸＬ＋Ｘα）となる位置まで到達したか否かが判定される（ステップＳ１０４）。比較位置のオフセット処理が完了していない場合は、１画素単位、あるいは処理の高速化のために複数画素単位で比較位置を右側にオフセットする（ステップＳ１０５）。すなわち図１１（Ａ）～図１１（Ｃ）に示すように、ｘ座標が（ＸＳｈｏｔ－ＸＬ－Ｘα～ＸＳｈｏｔ－ＸＬ＋Ｘα）の範囲で、比較用ブロック画像Ｇ１６とベース画像Ｇ７とがマッチング処理される。これにより図１２に示すように、ベース画像Ｇ７上で最も自己相関係数が高くなるオフセット座標Ｘｊが、ベース画像Ｇ７と接続画像Ｇ８とが自然に接続されるのに適した位置として算出される。図９に示すベース画像Ｇ７と接続画像Ｇ８との重なり領域Ｇ１４は、オフセット座標Ｘｊの位置に接続画像Ｇ８が配置された場合の両画像７及び８が相互に重なる領域に相当する。従ってオフセット座標Ｘｊが座標（ＸＳｈｏｔ－ＸＬ）と等しい場合には、のりしろ領域１２及び１３が重なり領域Ｇ１４に相当する。オフセット座標Ｘｊの情報は、接続位置情報として、接続部（スティッチ処理部）１３３１に出力される。
　接続部（スティッチ処理部）１３３１により、ベース画像Ｇ７及び接続画像Ｇ８の相互に重なる領域Ｇ１４内で両画像７及び８が接続される位置にあたる接続画素が検出される（ステップＳ１０６）。すなわち接続画素は、ベース画像Ｇ７及び接続画像Ｇ８の境界に位置する画素となる。
　図１３は、情報処理装置１００による境界検出処理の概要を示すフローチャートである。図１４は、その境界検出処理を説明するための図である。
　比較用ブロック画像Ｇ１６内の検出対象位置ＸＢが設定される（ステップＳ１１１）。本実施形態では、検出対象の初期設定の位置として、図１４に示す比較用ブロック画像Ｇ１６の左端の位置１７が採用され、その位置はＸＢ＝０として表される。
　検出対象位置の初期設定の位置ＸＢ＝０おける、Ｙ軸方向に延在する画素列Ｇ１８の輝度信号列が取得される（ステップＳ１１２）。なお画素列Ｇ１８の輝度信号列は、接続部（スティッチ処理部）１３３１によるマッチング処理のために取得された比較用ブロック画像Ｇ１６の輝度値が用いられてもよい。
　検出対象位置ＸＢ＝０の画素列Ｇ１８の輝度信号列の分散値が算出される（ステップＳ１１３）。検出対象範囲となるＸＢ＝０～ＸＬの範囲で、輝度信号列の算出が終了したか否かが判定される（ステップＳ１１４）。検出対象範囲での輝度信号列の算出が終了していないと判定された場合（ステップＳ１１４のＮｏ）、検出対象位置ＸＢが１画素分右側にオフセットされる（ステップＳ１１５）。
　すなわち、図１４（Ａ）に示すように、比較用ブロック画像Ｇ１６内において、Ｙ軸方向に延在する画素列Ｇ１８ごとに輝度信号列が取得され、画素列Ｇ１８ごとに輝度信号列の分散値が算出される。検索対象範囲での輝度信号列の算出が終了したと判定された場合（ステップＳ１１４のＹｅｓ）、図１４（Ｂ）に示すように、分散値が最も小さい画素列Ｇ１８が上記した接続画素１９として選択され、境界検出処理が終了する。従って接続部（スティッチ処理部）１３３１は選択手段として機能する。選択された接続画素１９（画素列Ｇ１８）の位置情報は、接続部（スティッチ処理部）１３３１から出力された接続位置情報とともに、境界情報として再び接続部（スティッチ処理部）１３３１に入力される。
　輝度信号列の分散値は、輝度信号列の平均値から、画素列Ｇ１８内の各画素の輝度値がどれだけ散らばっているかを示す値である。従って画素列Ｇ１８上に被写体の画像部分Ｇ９が位置する場合分散値は大きくなり、被写体の画像部分Ｇ９が位置しない場合分散値は小さくなる。従って分散値が最も小さい画素列Ｇ１８上には、被写体の画像部分Ｇ９が位置しないと判定することができる。すなわち分散値が最も小さい画素列Ｇ１８は、被写体の画像部分Ｇ９以外の画素の列と判定することができる。
　あるいは予め所定の閾値を定めておき、分散値が閾値よりも小さい画素列Ｇ１８が被写体の画像部分Ｇ９以外の画素の列として判定されてもよい。そして被写体の画像部分Ｇ９以外の画素の列として判定された画素列Ｇ１８の中から、いずれかの画素列Ｇ１８が接続画素１９として選択されてもよい。
　例えば図１５に示すように、接続部（スティッチ処理部）１３３１により検出されたベース画像Ｇ７と比較用ブロック画像Ｇ１６とが適切にマッチングされるオフセット座標Ｘｊが、（ＸＳｈｏｔ－ＸＬ）よりも大きくなる場合がある。この場合比較用ブロック画像Ｇ１６の右端部分が、ベース画像Ｇ７と接続画像Ｇ８とが互いに重なる領域Ｇ１４に含まれなくなる。従って接続画素１９は、比較用ブロック画像Ｇ１６の右端部分以外の、両画像７及び８が相互に重なる領域Ｇ１４から選択される。図１３に示すステップＳ１１４において、検索対象範囲が比較用ブロック画像Ｇ１６の右端部分以外の重なり領域Ｇ１４に設定され、その重なり領域Ｇ１４内で画素列Ｇ１８ごとの輝度信号列が取得されてもよい。あるいは比較用ブロック画像Ｇ１６全体にわたって輝度信号列が取得され、接続画素１９が選択される際に選択可能範囲として重なり領域Ｇ１４が設定されてもよい。
　接続部（スティッチ処理部）１３３１により、接続位置情報及び境界情報（以下、単に接続情報ともいう）に基づいて、ベース画像Ｇ７と接続画像Ｇ８とが合成される。図１６は、ベース画像Ｇ７と接続画像Ｇ８との接続処理を説明するための図である。
　図１６（Ａ）に示すように、接続画素１９を境界として、ベース画像Ｇ７の右端部分がカットされる（図７のステップＳ１０７）。カットされる部分は、座標（Ｘｊ＋ＸＢ）の位置にあたる画素列を含む右側の部分である。また接続画素１９を境界として、接続画像Ｇ８の左端部分がカットされる（ステップＳ１０８）。カットされる部分は、接続画像Ｇ８の左端を基準とした座標ＸＢの位置にあたる画素列よりも左側の部分である。あるいはベース画像Ｇ７の座標（Ｘｊ＋ＸＢ）の位置にあたる画素列よりも右側の部分がカットされ、接続画像Ｇ８の座標ＸＢの位置にあたる画素列を含む左側の部分がカットされてもよい。すなわち接続画素１９の情報として、ベース画像Ｇ７の情報が用いられてもよいし、接続画像Ｇ８の情報が用いられてもよい。
　図１６（Ｂ）に示すように、カットされたベース画像Ｇ７と接続画像Ｇ８とが連結するように合成され、被写体の画像部分Ｇ９を含む１つの撮影画像Ｇ１５が生成される（ステップＳ１０９）。図１６（Ｂ）に示すように、ベース画像Ｇ７と接続画像Ｇ８との境界となる接続画素１９には、被写体の画像部分Ｇ９は位置しない。これによりベース画像Ｇ７と接続画像Ｇ８との境界で被写体の画像部分Ｇ９が適正に接続されず、その画像部分Ｇ９の形状が歪んでしまうといったことを防止することができる。この結果、ベース画像Ｇ７と接続画像Ｇ８とが相互に重なり合う領域Ｇ１４において被写体が適正に表現されるように、両画像７及び８を接続することが可能となる。
　例えばベース画像Ｇ７と接続画像Ｇ８との境界となる接続画素１９に、被写体としての細胞の蛍光画像Ｇ１０が位置する場合、その蛍光画像Ｇ１０の形状が歪んでしまい細胞に含まれる核の蛍光画像Ｇ１１が消失する、あるいは１つしかない核が２つ蛍光画像Ｇ１１として表現されてしまう場合がある。そうすると例えば細胞の培養実験における観察に問題が生じ、また病理の分野において細胞を診断する際に誤診が発生してしまう可能性がある。上記したベース画像Ｇ７及び接続画像Ｇ８のサイズが大きく、両画像７及び８ののりしろ領域１２及び１３のサイズが大きい場合、上記の問題は発生しやすい。
　しかしながら本実施形態に係るベース画像Ｇ７と接続画像Ｇ８とのスティッチング処理では、図１６（Ｂ）に示すように、細胞の蛍光画像Ｇ１０が位置しないところにベース画像Ｇ７と接続画像Ｇ８との境界となる接続画素１９が設定される。この結果、細胞の蛍光画像Ｇ１０及び細胞の核の蛍光画像Ｇ１１は適正に表現され、上記の問題を防止することができる。またベース画像Ｇ７及び接続画像Ｇ８が接続される境界を目立たなくすることができるので、高い精度のＷＳＩである撮影画像Ｇ１５を生成することができる。
　このようにして、基準となった蛍光チャンネル（例えば、ｂ）のＷＳＩ（例えば、ＷＳＩｂ）を得ることができる。
　更に、接続部（スティッチ処理部）１３３１により、接続位置情報及び境界情報に基づいて、基準となった蛍光チャンネル（例えば、ｂ）以外の蛍光チャンネル（例えば、ａ，ｃ，…）の蛍光分離後画像であるベース画像Ｇ７（例えば、ベース画像Ｇ７ａ，７ｃ，…）と接続画像Ｇ８（例えば、接続画像Ｇ８ａ，８ｃ，…）とが夫々接続され、ＷＳＩ（例えば、ＷＳＩａ、ＷＳＩｃ，…）が生成される。すなわち、基準となった蛍光チャンネルの蛍光分離後画像の接続位置情報及び境界情報に基づいて、基準となった蛍光チャンネル以外の蛍光チャンネルの蛍光分離後画像の接続が行われる。
　変換部（重ね合わせ・ＲＧＢ変換部）１３３２により、接続部（スティッチ処理部）１３３１で生成された合成画像である撮影画像Ｇ１５のデータが、ユーザが扱いやすい形のフォーマットに変換され、情報処理装置１００の表示部１４０を介してユーザに提示され得る。
　図６は第１の実施形態におけるソフトウエア概略図であり、処理による中間成果物及び最終成果物の一例が示されている。最初のステップで狭視野画像を撮影する。図６では４０５ｎｍ、４８８ｎｍ、５３２ｎｍ，６３８ｎｍの四種類の波長チャンネルを持つ二つの分光スペクトル画像である狭視野画像Ｗ１及び狭視野画像Ｗ２が撮影されている。
　撮影に続くステップとして色分離ステップがある。色分離については図１０を用いて説明したように、撮影された分光スペクトル画像の複数の波長チャンネル画像に基づいて、複数の蛍光チャンネル（例えば、ａ，ｂ，…，ｇ）を持つ狭視野画像Ｗ１（例えば、Ｗ１ａ，Ｗ１ｂ，…，Ｗ１ｇ）及び狭視野画像Ｗ２（Ｗ２ａ，Ｗ２ｂ，…，Ｗ２ｇ）が生成される。
　色分離に続いて、スティッチングステップがある。上述のように、基準となる蛍光チャンネルの狭視野画像の接続情報を、他の蛍光チャンネルの狭視野画像の接続に流用するので、接続後のＷＳＩ（例えば、ＷＳＩａ，ＷＳＩｂ，…，ＷＳＩｇ）同士のズレが生じない。
　スティッチングステップに続いて、重ね合わせ・ＲＧＢ変換ステップがある。ユーザが選択などした二以上のＷＳＩを相互に重ね合わせ、ユーザに視認可能に提示するために、ＲＧＢ変換して一枚の画像ＷＳＩｒｇｂに変換し、ディスプレイ等に表示する。
　（１．６．動作の説明（フローチャート））
　次に、本実施形態に係る情報処理システム全体の処理手順の一例について説明する。図１７は、実施形態に係る情報処理システムが実行する処理手順の一例を示すフローチャートである。なお、図１７に示す処理手順は、情報処理装置１００の制御部１５０が各部を制御することによって実現される。
　図１７に示すように、制御部１５０は、情報取得部１１１を用いて撮像対象を撮像し、狭視野画像の分光スペクトル画像を取得する（ステップＳ２２０）。制御部１５０は、ステップＳ２２０の処理が終了すると、ステップＳ２２１に処理を進める。
　制御部１５０は、ステップＳ２２０で撮像した狭視野画像ごとに、色分離処理を行う（ステップＳ２２１）。制御部１５０は、ステップＳ２２１の処理が終了すると、ステップＳ２２２に処理を進める。
　制御部１５０は、狭視野画像の撮像があらかじめ定められた全領域に対して終了したか否かを判定し（ステップＳ２２２）、是と判定された場合はステップＳ２２３に処理を進め、否と判定された場合はステップＳ２２０からの処理を再び行う。
　制御部１５０は、狭視野画像ごとに色分離された画像に対してディストーション補正をする（ステップＳ２２３）。制御部１５０は、ステップＳ２２３の処理が終了すると、ステップＳ２２４に処理を進める。
　制御部１５０は、ずれ量を規定する基準画像を、ディストーション補正をした狭視野画像ごとに色分離された画像の中から選定する（ステップＳ２２４）。制御部１５０は、ステップＳ２２４の処理が終了すると、ステップＳ２２５に処理を進める。
　制御部１５０は、ステップＳ２２４で選定した基準画像に基づいて接続情報を算出し、基準画像のスティッチング処理を行う（ステップＳ２２５）。制御部１５０は、ステップＳ２２５の処理が終了すると、ステップＳ２２６に処理を進める。
　制御部１５０は、ステップＳ２２５で算出した接続情報に基づいて、基準画像以外の狭視野画像のスティッチング処理を行う（ステップＳ２２６）。制御部１５０は、ステップＳ２２６の処理が終了すると、ステップＳ２２７に処理を進める。
　制御部１５０は、スティッチング処理後の複数の蛍光チャンネル画像のうち、重ね合わせる蛍光チャンネル画像をユーザに複数選定させる（ステップＳ２２７）。制御部１５０は、ステップＳ２２７の処理が終了すると、ステップＳ２２８に処理を進める。
　制御部１５０は、ステップＳ２２７で選定された複数の蛍光チャンネル画像を重ね合わせ、ＲＧＢ変換する（ステップＳ２２８）。制御部１５０は、ステップＳ２２８の処理が終了すると、プログラムを終了させる。
　＜２．第２の実施形態＞
　第１の実施形態においては、接続情報を導出するための基準となるチャンネルを蛍光チャンネルから抽出したが、基準となるチャンネルを分光スペクトル画像の複数の波長チャンネルの中から選択してもよい。なお、選択する方法としては、第１の実施形態と同様に、ユーザが指定した蛍光チャンネルを選択してもよいし、画像の輝度信号の空間周波数が高い波長チャンネルを選択してもよいし、輝度信号の分散値の高いものを選択してもよい。
　このようにして選択された波長チャンネル（例えば、ベース画像Ｇ７Ｂ、及び、接続画像Ｇ８Ｂ）の画像から導出された接続情報を、色分離後の夫々の蛍光チャンネル画像（例えば、ベース画像Ｇ７ａ，７ｂ，７ｃ，…、及び、接続画像Ｇ８ａ，８ｂ，８ｃ，…）に対して適用してスティッチング処理を実行してもよい。
　（２．１．動作の説明（フローチャート））
　次に、第２の実施形態に係る情報処理システム全体の処理手順の一例について説明する。図１８は、第２の実施形態に係る情報処理システムが実行する処理手順の一例を示すフローチャートである。なお、図１８に示す処理手順は、情報処理装置１００の制御部１５０が各部を制御することによって実現される。
　図１８に示すように、制御部１５０は、情報取得部１１１を用いて撮像対象を撮像し、狭視野画像の分光スペクトル画像を取得する（ステップＳ２３０）。制御部１５０は、ステップＳ２３０の処理が終了すると、ステップＳ２３１に処理を進める。
　制御部１５０は、狭視野画像の撮像があらかじめ定められた全領域に対して終了したか否かを判定し（ステップＳ２３１）、是と判定された場合はステップＳ２３２に処理を進め、否と判定された場合はステップＳ２３０の処理を再び行う。
　制御部１５０は、撮像された狭視野画像夫々に対してディストーション補正をする（ステップＳ２３２）。制御部１５０は、ステップＳ２３２の処理が終了すると、ステップＳ２３３及びステップＳ２３４に処理を進める。ただし、ステップＳ２３３～Ｓ２３４の処理とステップＳ２３５～Ｓ３６の処理とは、どちらが先に実行されてもよい（すなわち、順番が入れ替えられてもよい）し、並行して実行されてもよい。
　制御部１５０は、ステップＳ２３０で撮像した狭視野画像ごとに、色分離処理を行う（ステップＳ２３３）。制御部１５０は、ステップＳ２３３の処理が終了すると、ステップＳ２３４に処理を進める。
　制御部１５０は、狭視野画像の色分離処理があらかじめ定められた全領域に対して終了したか否かを判定し（ステップＳ２３４）、是と判定された場合はステップＳ２３５に処理を進め、否と判定された場合はステップＳ２３３からの処理を再び行う。
　制御部１５０は、ずれ量を規定する基準画像を、ディストーション補正をした狭視野画像の中から選定する（ステップＳ２３５）。制御部１５０は、ステップＳ２３５の処理が終了すると、ステップＳ２３６に処理を進める。
　制御部１５０は、ステップＳ２３５で選定した基準画像に基づいて接続情報を算出し、基準画像のスティッチング処理を行う（ステップＳ２３６）。制御部１５０は、ステップＳ２３６の処理が終了すると、ステップＳ２３７に処理を進める。
　制御部１５０は、ステップＳ２３６で算出した接続情報に基づいて、基準画像以外の狭視野画像のスティッチング処理を行う（ステップＳ２３７）。制御部１５０は、ステップＳ２３７の処理が終了すると、ステップＳ２３８に処理を進める。
　制御部１５０は、スティッチング処理後の複数のＷＳＩのうち、重ね合わせる蛍光チャンネルのＷＳＩをユーザに複数選定させる（ステップＳ２３８）。制御部１５０は、ステップＳ２３８の処理が終了すると、ステップＳ２３９に処理を進める。
　制御部１５０は、ステップＳ２３８で選定された複数の蛍光チャンネル画像を重ね合わせ、ＲＧＢ変換する（ステップＳ２３９）。制御部１５０は、ステップＳ２３９の処理が終了すると、プログラムを終了させる。
　＜３．第２の実施形態の変形例＞
　第２の実施形態において、選択された波長チャンネルの画像から導出された接続情報を、選択された波長チャンネル以外の他の波長チャンネルの画像に適用してスティッチング処理を実行してもよい。この場合、接続された各波長チャンネルの画像に基づいて色分離処理が行われるので、あらかじめ接続された色分離後画像のＷＳＩを得ることができる。
　（３．１．動作の説明（フローチャート））
　次に、第２の実施形態の変形例に係る情報処理システム全体の処理手順の一例について説明する。図１９は、第２の実施形態の変形例に係る情報処理システムが実行する処理手順の一例を示すフローチャートである。なお、図１９に示す処理手順は、情報処理装置１００の制御部１５０が各部を制御することによって実現される。
　ステップＳ２４０からＳ２４２までは、図１８のステップＳ２３０からＳ２３２と同様の処理のためここでは説明を省略する。
　制御部１５０は、ずれ量を規定する基準画像を、ディストーション補正をした狭視野画像の中から選定する（ステップＳ２４３）。制御部１５０は、ステップＳ２４３の処理が終了すると、ステップＳ２４４に処理を進める。
　制御部１５０は、ステップＳ２４３で選定した基準画像に基づいて接続情報を算出し、基準画像のスティッチング処理を行う（ステップＳ２４４）。制御部１５０は、ステップＳ２４４の処理が終了すると、ステップＳ２４５に処理を進める。
　制御部１５０は、ステップＳ２４４で算出した接続情報に基づいて、基準画像以外の狭視野画像のスティッチング処理を行う（ステップＳ２４５）。制御部１５０は、ステップＳ２４５の処理が終了すると、ステップＳ２４６に処理を進める。
　制御部１５０は、ステップＳ２４５で接続したＷＳＩごとに、色分離処理を行う（ステップＳ２４６）。制御部１５０は、ステップＳ２４６の処理が終了すると、ステップＳ２４７に処理を進める。
　制御部１５０は、接続された複数のＷＳＩのうち、重ね合わせる蛍光チャンネルのＷＳＩをユーザに複数選定させる（ステップＳ２４７）。制御部１５０は、ステップＳ２４７の処理が終了すると、ステップＳ２４８に処理を進める。
　制御部１５０は、ステップＳ２４７で選定された複数の蛍光チャンネルのＷＳＩを重ね合わせ、ＲＧＢ変換する（ステップＳ２４８）。制御部１５０は、ステップＳ２４８の処理が終了すると、プログラムを終了させる。
　＜４．第３の実施形態＞
　狭視野画像を接続して広視野画像を得るステップを、最終的にユーザが視認可能な画像を得る直前に配置してもよい。すなわち、狭視野画像のまま色分離後処理を行い、ユーザが指定等した蛍光チャンネル（例えば、蛍光チャンネルｂ）に該当する複数の狭視野画像（例えば、ベース画像Ｇ７ｂ、及び、接続画像Ｇ８ｂ）を抽出し、ＲＧＢ変換等してユーザが視認可能な形式の狭視野画像（例えば、ベース画像Ｇ７ｒｇｂ、及び、接続画像Ｇ８ｒｇｂ）に変換したうえで、これらの複数の狭視野画像を接続してＷＳＩ（例えば、ＷＳＩｒｇｂ）を得てもよい。
　（４．１．動作の説明（フローチャート））
　次に、第３の実施形態に係る情報処理システム全体の処理手順の一例について説明する。図２０は、第３の実施形態の変形例に係る情報処理システムが実行する処理手順の一例を示すフローチャートである。なお、図２０に示す処理手順は、情報処理装置１００の制御部１５０がプログラムを実行することによって実現される。
　ステップＳ２５０からＳ２５３までは、図１７のステップＳ２２０からＳ２２３と同様の処理のためここでは説明を省略する。
　制御部１５０は、複数の蛍光チャンネル画像のうち、重ね合わせる蛍光チャンネル画像をユーザに複数選定させる（ステップＳ２５４）。制御部１５０は、ステップＳ２５４の処理が終了すると、ステップＳ２５５に処理を進める。
　制御部１５０は、ステップＳ２５４で選定された複数の蛍光チャンネル画像を重ね合わせ、ＲＧＢ変換する（ステップＳ２５５）。制御部１５０は、ステップＳ２５５の処理が終了すると、ステップＳ２５６に処理を進める。
　制御部１５０は、ステップＳ２５５でＲＧＢ変換された画像に基づいて接続情報を算出し、ＲＧＢ変換された画像のスティッチング処理を行う（ステップＳ２５６）。制御部１５０は、ステップＳ２５６の処理が終了すると、プログラムを終了させる。
　上記した各実施形態に係る情報処置装置によるスティッチング処理は、細胞の観察又は診断等以外にも、医療または病理等の分野において、光学顕微鏡により得られた生体の細胞、組織、臓器等の画像をデジタル化し、そのデジタル画像に基づき、医師や病理学者等がその組織等を検査したり、患者を診断したりするシステム等に適用可能である。その他医療等の分野に限られず他の分野においても適用可能である。また、光学顕微鏡により得られる画像に限られず、その他のデジタル画像においても、上記各実施形態のスティッチング処理は適用可能である。
　＜５．その他の実施形態＞
　本開示に係る実施形態は、以上説明した実施形態に限定されず、他の種々の実施形態がある。
　上記した各実施形態では、情報処理装置１００としてＰＣを一例に挙げて説明した。しかしながら、本実施形態に係る情報処理装置１００として光学顕微鏡の機能を有するスキャナ装置等が用いられ、このスキャナ装置等により上記した各実施形態に係るスティッチング処理が行われてもよい。
　上記の各実施形態で説明したアルゴリズムは一実施例であり、図６に示す各処理部における目的の同一性が保たれる限り、任意のアルゴリズムを採用することが可能である。
　なお、上記の各実施形態における分光スペクトル画像は、複数の波長チャンネルを持つ分光スペクトル画像を想定しているが、それ以外の手法で分光スペクトル画像を表現してもよい。
　また、上記の各実施形態における狭視野画像のスティッチング処理は、ベース画像Ｇ７と接続画像Ｇ８を用いて説明したが、スティッチング処理の対象はこれらの２枚の画像に限られず、３枚以上の画像の相互の接続に適用してもよい。
　近年のがん免疫療法に対する注目から、多くの免疫細胞および癌細胞に特異的に発現するマーカを一度に検出したいというニーズが高まっている。マーカ検出のひとつの手法として、蛍光色素付き抗体を用いて検出する手法がある。この手法の一例として、蛍光色素を発光させてカメラの信号として取り入れることで蛍光画像を取得するという手法が挙げられる。一般に採取されている検体サイズ（１５ｍｍ×１５ｍｍなど）で、細胞レベルの大きさ（数十μｍ）の蛍光を認識するためには、カメラのセンササイズには収まりきらないため、スティッチング対象となる複数枚の狭視野画像の取得と、これらの画像をスティッチング処理して検体全体を表すＷＳＩを得る必要がある。本開示をこのような技術分野へ適用してもよい。
　＜６．測定系の構成例＞
　次に、上述した実施形態（以下、単に実施形態という）に係る情報処理装置１００における測定系の構成例について説明する。図２１は、実施形態に係る情報処理システムの測定系の一例を示す図である。なお、図２１には、ＷＳＩ（Whole　Slide　Imaging）など、蛍光染色標本３０（又は無染色標本である標本２０）の広視野を撮影する際の測定系の一例が示されている。ただし、実施形態に係る測定系は、図２１に例示する測定系に限定されず、撮影領域全体又はこのうちの必要な領域（関心領域ともいう）を一度に撮影する測定系や、ラインスキャンにより撮影領域全体又は関心領域の画像を取得する測定系など、撮影領域全体又は関心領域の十分な解像度の画像データ（以下、広視野画像データという）を取得することが可能な測定系であれば、種々変形されてよい。
　図２１に示すように、実施形態に係る測定系は、例えば、情報処理装置１００と、ＸＹステージ５０１と、励起光源５１０と、ビームスプリッタ５１１と、対物レンズ５１２と、分光器５１３と、光検出器５１４とを備える。
　ＸＹステージ５０１は、解析対象の蛍光染色標本３０（又は標本２０）が載置されるステージであって、例えば、蛍光染色標本３０（又は標本２０）の載置面と平行な平面（ＸＹ平面）において移動可能なステージであってよい。
　励起光源５１０は、蛍光染色標本３０（又は標本２０）を励起させるための光源であり、例えば、波長が互いに異なる複数の励起光を所定の光軸に沿って出射する。
　ビームスプリッタ５１１は、例えば、ダイクロイックミラー等で構成され、励起光源５１０からの励起光を反射し、蛍光染色標本３０（又は標本２０）からの蛍光を透過する。
　対物レンズ５１２は、ビームスプリッタ５１１で反射した励起光をＸＹステージ５０１上の蛍光染色標本３０（又は標本２０）に照射する。
　分光器５１３は、１以上のプリズムやレンズ等を用いて構成され、蛍光染色標本３０（又は標本２０）から放射し、対物レンズ５１２及びビームスプリッタ５１１を透過した蛍光を所定方向に分光する。
　光検出器５１４は、分光器５１３で分光された蛍光の波長ごとの光強度を検出し、これにより得られた蛍光信号（蛍光スペクトル及び／又は自家蛍光スペクトル）を情報処理装置１００の蛍光信号取得部１１２に入力する。
　以上のような構成において、ＷＳＩのような、撮影領域全体が１回で撮影できる領域（以下、視野という）を超える場合、１回の撮影ごとにＸＹステージ５０１を動かして視野を移動させることで、各視野の撮影が順次行われる。そして、各視野の撮影により得られた画像データ（以下、視野画像データという）をタイリングすることで、撮影領域全体の広視野画像データが生成される。生成された広視野画像データは、例えば、蛍光信号保存部１２２に保存される。なお、視野画像データのタイリングは、情報処理装置１００の取得部１１０において実行されてもよいし、保存部１２０において実行されてもよいし、処理部１３０において実行されてもよい。
　そして、実施形態に係る処理部１３０は、得られた広視野画像データに対して上述した処理を実行することで、係数Ｃ、すなわち、蛍光分子ごとの蛍光分離画像（又は自家蛍光分子ごとの自家蛍光分離画像）を取得する。
　＜７．蛍光分子数（又は抗体数）の算出方法＞
　次に、上述した実施形態における１画素中の蛍光分子数（または抗体数）を算出する方法について説明する。図２２は、実施形態における１画素中の蛍光分子数（または抗体数）を算出する方法を説明するための模式図である。図２２に示す例では、撮像素子とサンプルが対物レンズを介して配置された場合において、撮像素子1［pixel］に対応するサンプルの底面のサイズが、仮に、１３／２０（μｍ）×１３／２０（μｍ）であるとする。そして、サンプルの厚みが、仮に、１０（μｍ）であるとする。その場合、この直方体の体積（ｍ３）は、１３／２０（μｍ）×１３／２０（μｍ）×１０（μｍ）で表される。なお、体積（リットル）は、１３／２０（μｍ）×１３／２０（μｍ）×１０（μｍ）×１０３で表される。
　そして、サンプルに含まれる抗体数（蛍光分子数であってもよい）の濃度が均一であり、３００（ｎＭ）であるとすると、１画素あたりの抗体数は、以下の式（１１）によって表される。
Figure JPOXMLDOC01-appb-M000011
　このように、蛍光染色標本３０における蛍光分子数または抗体数が、蛍光分離処理の結果として算出されることで、実施者は、複数の蛍光物質間で蛍光分子数を比較したり、異なる条件で撮像されたデータを比較したりすることができる。また、輝度（または蛍光強度）が連続値である一方で、蛍光分子数または抗体数は離散値であるため、変形例に係る情報処理装置１００は、蛍光分子数または抗体数に基づいて画像情報を出力することでデータ量を削減することができる。
　＜８．ハードウエア構成例＞
　上記では、本開示の実施形態及びその変形例について説明した。続いて、図２３を参照して、各実施形態及び変形例に係る情報処理装置１００のハードウエア構成例について説明する。図２３は、情報処理装置１００のハードウエア構成例を示すブロック図である。情報処理装置１００による各種処理は、ソフトウエアと、以下に説明するハードウエアとの協働により実現される。
　図２３に示すように、情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置１００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、及びセンサ９１５を備える。情報処理装置１００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣなどの処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、情報処理装置１００の少なくとも処理部１３０及び制御部１５０を具現し得る。
　ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
　入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、実施者によって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置１００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いて実施者により入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。実施者は、この入力装置９０６を操作することにより、情報処理装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。入力装置９０６は、例えば、情報処理装置１００の少なくとも操作部１６０を具現し得る。
　出力装置９０７は、取得した情報を実施者に対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音響出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置１００の少なくとも表示部１４０を具現し得る。
　ストレージ装置９０８は、データ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、情報処理装置１００の少なくとも保存部１２０を具現し得る。
　ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置１００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
　接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
　通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。
　センサ９１５は、本実施形態においては、スペクトルを取得可能なセンサ（例えば、撮像素子等）を含むところ、他のセンサ（例えば、加速度センサ、ジャイロセンサ、地磁気センサ、感圧センサ、音センサ、または測距センサ等）を含んでもよい。センサ９１５は、例えば、情報処理装置１００の少なくとも蛍光信号取得部１１２を具現し得る。
　なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
　以上、情報処理装置１００の機能を実現可能なハードウエア構成例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウエアにより実現されていてもよい。従って、本開示を実施する時々の技術レベルに応じて、適宜、利用するハードウエア構成を変更することが可能である。
　なお、上記のような情報処理装置１００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等を含む。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　相互に重なる複数の領域を撮像することで複数の部分画像を取得する撮像部と、
　前記複数の部分画像それぞれを構成する複数のチャンネルのうちの少なくとも一つのチャンネルを基準に求められた接続情報に基づいて、前記複数の部分画像それぞれを構成する複数のチャンネルのうちの他のチャンネルの複数の部分画像を相互に接続する接続部と、
　を含む画像生成システム。
（２）
　前記撮像部は、複数の波長ごとに前記複数の部分画像を取得する
　前記（１）に記載の画像生成システム。
（３）
　前記複数の部分画像と参照ベクトルとに基づいて蛍光分離処理を行い、複数の蛍光分離後画像を生成する分離処理部
　を含む前記（２）に記載の画像生成システム。
（４）
　前記複数の部分画像は同じサイズである
　前記（１）～（３）の何れか１つに記載の画像生成システム。
（５）
　前記少なくとも一つのチャンネルは前記蛍光分離処理後の複数の蛍光チャンネルのうちの特定の蛍光チャンネルであり、前記他のチャンネルは前記特定の蛍光チャンネル以外の蛍光チャンネルである
　前記（３）又は（４）に記載の画像生成システム。
（６）
　前記少なくとも一つのチャンネルは前記複数の波長チャンネルのうちの特定の波長チャンネルであり、前記他のチャンネルは前記蛍光分離処理後の複数の蛍光チャンネルである
　前記（３）又は（４）に記載の画像生成システム。
（７）
　前記少なくとも一つのチャンネルは前記複数の波長チャンネルのうちの特定の波長チャンネルであり、前記他のチャンネルは前記特定の波長チャンネル以外の波長チャンネルである
　前記（３）又は（４）に記載の画像生成システム。
（８）
　前記分離処理部は、前記撮像部が前記複数の領域それぞれを撮像することで得られた前記領域ごとの前記複数の波長チャンネルの複数の部分画像と前記参照ベクトルとに基づいて前記蛍光分離処理を行い、前記領域ごとの前記複数の蛍光分離後画像を生成する
　前記（５）～（７）の何れか１つに記載の画像生成システム。
（９）
　前記分離処理部は、前記複数の波長チャンネルの複数の部分画像を前記領域間の重なりに基づき相互に接続した接続画像と前記参照ベクトルとに基づいて前記蛍光分離処理を行い、前記接続画像の前記複数の蛍光分離後画像を生成する
　前記（６）又は（７）に記載の画像生成システム。
（１０）
　前記少なくとも一つのチャンネルは、前記複数のチャンネルからユーザが指定したチャンネルである
　前記（１）～（９）の何れか１つに記載の画像生成システム。
（１１）
　前記少なくとも一つのチャンネルは、前記複数のチャンネルの画像の輝度信号の空間周波数又は分散値に基づいて決定される
　前記（１）～（９）の何れか１つに記載の画像生成システム。
（１２）
　前記少なくとも一つのチャンネルは、予め設定されたチャンネルである
　前記（１）～（９）の何れか１つに記載の画像生成システム。
（１３）
　前記接続部による接続前に前記少なくとも一つのチャンネルを前記複数のチャンネルからユーザに指定させる指定部と、
　前記ユーザに指定されたチャンネルを基準に求められた接続情報に基づいて前記ユーザに指定されたチャンネルの複数の部分画像を相互に接続した画像を生成する生成部と、前記生成した画像をユーザに視認可能に提示するための変換をする変換部と、
　を含む前記（１）～（９）の何れか１つに記載の画像生成システム。
（１４）
　前記接続部は、相互に重複する二つの部分画像それぞれの画素列ごとの輝度信号の分散値に基づき、前記接続情報を生成する
　前記（１）～（１３）の何れか１つに記載の画像生成システム。
（１５）
　相互に重なる複数の領域を撮像することで複数の部分画像を、複数の波長ごとに撮像する撮像部と、
　前記複数の波長ごとの前記複数の部分画像と参照ベクトルとに基づいて蛍光分離処理を行い、複数の蛍光分離後の部分画像を生成する分離処理部と、
　前記複数の蛍光分離後の部分画像の少なくとも一部を重畳した複数の部分重畳画像を基準に求められた接続情報に基づいて前記複数の部分重畳画像を相互に接続し被写体の画像部分を含む撮像画像を取得する接続部と、
　を含む画像生成システム。
（１６）
　相互に重なる領域を撮像することで複数の部分画像を取得する撮像部と、
　前記複数の部分画像それぞれを構成する複数のチャンネルのうちの少なくとも一つのチャンネルを基準に求められた接続情報に基づいて、前記複数の部分画像それぞれを構成する複数のチャンネルのうちの他のチャンネルの複数の部分画像を相互に接続する接続部と、
　を含む顕微鏡システム。
（１７）
　相互に重なる領域を撮像することで複数の部分画像を取得する撮像工程と、
　前記複数の部分画像それぞれを構成する複数のチャンネルのうちの少なくとも一つのチャンネルを基準に求められた接続情報に基づいて、前記複数の部分画像それぞれを構成する複数のチャンネルのうちの他のチャンネルの複数の部分画像を相互に接続する接続工程と、
　を含む画像生成方法。
　１０　　蛍光試薬
　１１　　試薬識別情報
　２０　　標本
　２１　　標本識別情報
　３０　　蛍光染色標本
　１００　　情報処理装置
　１１０　　取得部
　１１１　　情報取得部
　１１２　　蛍光信号取得部
　１２０　　保存部
　１２１　　情報保存部
　１２２　　蛍光信号保存部
　１３０　　処理部
　１３２　　分離処理部
　１３３　　画像生成部
　１４０　　表示部
　１５０　　制御部
　１６０　　操作部
　２００　　データベース
　１３３１　　接続部（スティッチ処理部）
　１３３２　　変換部（重ね合わせ・ＲＧＢ変換部）
　Ｇ７　　ベース画像
　Ｇ８　　接続画像
　Ｇ９　　被写体の画像部分
　Ｇ１０　　細胞の蛍光画像
　Ｇ１１　　核の蛍光画像
　Ｇ１４　　重なり領域
　Ｇ１５　　撮影画像
　Ｇ１６　　比較用ブロック画像
　Ｇ１８　　画素列
　Ｇ１９　　接続画素

Claims (17)

  1. 　相互に重なる複数の領域を撮像することで複数の部分画像を取得する撮像部と、
    　前記複数の部分画像それぞれを構成する複数のチャンネルのうちの少なくとも一つのチャンネルを基準に求められた接続情報に基づいて、前記複数の部分画像それぞれを構成する複数のチャンネルのうちの他のチャンネルの複数の部分画像を相互に接続する接続部と、
    　を含む画像生成システム。
  2. 　前記撮像部は、複数の波長ごとに前記複数の部分画像を取得する
    　請求項１に記載の画像生成システム。
  3. 　前記複数の部分画像と参照ベクトルとに基づいて蛍光分離処理を行い、複数の蛍光分離後画像を生成する分離処理部
    　を含む請求項２に記載の画像生成システム。
  4. 　前記複数の部分画像は同じサイズである
    　請求項１に記載の画像生成システム。
  5. 　前記少なくとも一つのチャンネルは前記蛍光分離処理後の複数の蛍光チャンネルのうちの特定の蛍光チャンネルであり、前記他のチャンネルは前記特定の蛍光チャンネル以外の蛍光チャンネルである
    　請求項３に記載の画像生成システム。
  6. 　前記少なくとも一つのチャンネルは前記複数の波長チャンネルのうちの特定の波長チャンネルであり、前記他のチャンネルは前記蛍光分離処理後の複数の蛍光チャンネルである
    　請求項３に記載の画像生成システム。
  7. 　前記少なくとも一つのチャンネルは前記複数の波長チャンネルのうちの特定の波長チャンネルであり、前記他のチャンネルは前記特定の波長チャンネル以外の波長チャンネルである
    　請求項３に記載の画像生成システム。
  8. 　前記分離処理部は、前記撮像部が前記複数の領域それぞれを撮像することで得られた前記領域ごとの前記複数の波長チャンネルの複数の部分画像と前記参照ベクトルとに基づいて前記蛍光分離処理を行い、前記領域ごとの前記複数の蛍光分離後画像を生成する
    　請求項５に記載の画像生成システム。
  9. 　前記分離処理部は、前記複数の波長チャンネルの複数の部分画像を前記領域間の重なりに基づき相互に接続した接続画像と前記参照ベクトルとに基づいて前記蛍光分離処理を行い、前記接続画像の前記複数の蛍光分離後画像を生成する
    　請求項６に記載の画像生成システム。
  10. 　前記少なくとも一つのチャンネルは、前記複数のチャンネルからユーザが指定したチャンネルである
    　請求項１に記載の画像生成システム。
  11. 　前記少なくとも一つのチャンネルは、前記複数のチャンネルの画像の輝度信号の空間周波数又は分散値に基づいて決定される
    　請求項１に記載の画像生成システム。
  12. 　前記少なくとも一つのチャンネルは、予め設定されたチャンネルである
    　請求項１に記載の画像生成システム。
  13. 　前記接続部による接続前に前記少なくとも一つのチャンネルを前記複数のチャンネルからユーザに指定させる指定部と、
    　前記ユーザに指定されたチャンネルを基準に求められた接続情報に基づいて前記ユーザに指定されたチャンネルの複数の部分画像を相互に接続した画像を生成する生成部と、前記生成した画像をユーザに視認可能に提示するための変換をする変換部と、
    　を含む請求項１に記載の画像生成システム。
  14. 　前記接続部は、相互に重複する二つの部分画像それぞれの画素列ごとの輝度信号の分散値に基づき、前記接続情報を生成する
    　請求項１に記載の画像生成システム。
  15. 　相互に重なる複数の領域を撮像することで複数の部分画像を、複数の波長ごとに撮像する撮像部と、
    　前記複数の波長ごとの前記複数の部分画像と参照ベクトルとに基づいて蛍光分離処理を行い、複数の蛍光分離後の部分画像を生成する分離処理部と、
    　前記複数の蛍光分離後の部分画像の少なくとも一部を重畳した複数の部分重畳画像を基準に求められた接続情報に基づいて前記複数の部分重畳画像を相互に接続し被写体の画像部分を含む撮像画像を取得する接続部と、
    　を含む画像生成システム。
  16. 　相互に重なる領域を撮像することで複数の部分画像を取得する撮像部と、
    　前記複数の部分画像それぞれを構成する複数のチャンネルのうちの少なくとも一つのチャンネルを基準に求められた接続情報に基づいて、前記複数の部分画像それぞれを構成する複数のチャンネルのうちの他のチャンネルの複数の部分画像を相互に接続する接続部と、
    　を含む顕微鏡システム。
  17. 　相互に重なる領域を撮像することで複数の部分画像を取得する撮像工程と、
    　前記複数の部分画像それぞれを構成する複数のチャンネルのうちの少なくとも一つのチャンネルを基準に求められた接続情報に基づいて、前記複数の部分画像それぞれを構成する複数のチャンネルのうちの他のチャンネルの複数の部分画像を相互に接続する接続工程と、
    　を含む画像生成方法。
PCT/JP2021/034199 2020-10-09 2021-09-16 画像生成システム、顕微鏡システム、および画像生成方法 WO2022075040A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112021005335.3T DE112021005335T5 (de) 2020-10-09 2021-09-16 Bilderzeugungssystem, Mikroskopsystem und Bildererzeugungsverfahren
JP2022555340A JPWO2022075040A1 (ja) 2020-10-09 2021-09-16
US18/246,015 US20230358680A1 (en) 2020-10-09 2021-09-16 Image generation system, microscope system, and image generation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020171356 2020-10-09
JP2020-171356 2020-10-09

Publications (1)

Publication Number Publication Date
WO2022075040A1 true WO2022075040A1 (ja) 2022-04-14

Family

ID=81126815

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/034199 WO2022075040A1 (ja) 2020-10-09 2021-09-16 画像生成システム、顕微鏡システム、および画像生成方法

Country Status (4)

Country Link
US (1) US20230358680A1 (ja)
JP (1) JPWO2022075040A1 (ja)
DE (1) DE112021005335T5 (ja)
WO (1) WO2022075040A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024171844A1 (ja) * 2023-02-15 2024-08-22 ソニーグループ株式会社 情報処理装置、生体試料観察システム及び情報処理方法
WO2024209965A1 (ja) * 2023-04-05 2024-10-10 ソニーグループ株式会社 陽性判定方法、画像解析システムおよび情報処理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010512696A (ja) * 2006-12-13 2010-04-22 ドルビー ラボラトリーズ ライセンシング コーポレイション デジタル画像同士を繋ぎ合わせる画像繋合方法と画像繋合装置
JP2012010275A (ja) * 2010-06-28 2012-01-12 Sony Corp 情報処理装置、情報処理方法、及びそのプログラム
JP2020144109A (ja) * 2019-03-04 2020-09-10 ソニー株式会社 情報処理装置、及び顕微鏡システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010512696A (ja) * 2006-12-13 2010-04-22 ドルビー ラボラトリーズ ライセンシング コーポレイション デジタル画像同士を繋ぎ合わせる画像繋合方法と画像繋合装置
JP2012010275A (ja) * 2010-06-28 2012-01-12 Sony Corp 情報処理装置、情報処理方法、及びそのプログラム
JP2020144109A (ja) * 2019-03-04 2020-09-10 ソニー株式会社 情報処理装置、及び顕微鏡システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024171844A1 (ja) * 2023-02-15 2024-08-22 ソニーグループ株式会社 情報処理装置、生体試料観察システム及び情報処理方法
WO2024209965A1 (ja) * 2023-04-05 2024-10-10 ソニーグループ株式会社 陽性判定方法、画像解析システムおよび情報処理装置

Also Published As

Publication number Publication date
DE112021005335T5 (de) 2023-07-27
US20230358680A1 (en) 2023-11-09
JPWO2022075040A1 (ja) 2022-04-14

Similar Documents

Publication Publication Date Title
CN111474701B (zh) 一种病理显微图像实时采集分析系统、方法、装置及介质
WO2022075040A1 (ja) 画像生成システム、顕微鏡システム、および画像生成方法
JP5630674B2 (ja) 情報処理装置、情報処理システム、情報処理方法、プログラム及び記録媒体
JP6787076B2 (ja) 呈色反応検出システム、呈色反応検出方法及びプログラム
WO2022004500A1 (ja) 情報処理装置、情報処理方法、プログラム、顕微鏡システム及び解析システム
US20100201800A1 (en) Microscopy system
WO2020179586A1 (ja) 情報処理装置、及び顕微鏡システム
US10921252B2 (en) Image processing apparatus and method of operating image processing apparatus
WO2020066043A1 (ja) 顕微鏡システム、投影ユニット、及び、画像投影方法
WO2023276219A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
US20240169534A1 (en) Medical image analysis device, medical image analysis method, and medical image analysis system
JP7404906B2 (ja) 情報処理装置、及び顕微鏡システム
WO2023157756A1 (ja) 情報処理装置、生体試料解析システム及び生体試料解析方法
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
WO2022249583A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
WO2022202233A1 (ja) 情報処理装置、情報処理方法、情報処理システム、及び、変換モデル
US20230071901A1 (en) Information processing apparatus and information processing system
WO2022201992A1 (ja) 医療用画像解析装置、医療用画像解析方法及び医療用画像解析システム
JP2012198139A (ja) 画像処理プログラム、画像処理装置、計測解析装置及び画像処理方法
US20210174147A1 (en) Operating method of image processing apparatus, image processing apparatus, and computer-readable recording medium
CN115249282A (zh) 用于生成染色图像的系统和方法
US20240371042A1 (en) Information processing device, biological sample observation system, and image generation method
WO2023149296A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
WO2023189393A1 (ja) 生体試料観察システム、情報処理装置及び画像生成方法
WO2024171844A1 (ja) 情報処理装置、生体試料観察システム及び情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21877341

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022555340

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 21877341

Country of ref document: EP

Kind code of ref document: A1