WO2019166361A1 - Verfahren zum aufteilen eines oder mehrerer bilder einer probe in nach farbstoffen aufgeteilte bilddaten, computerprogrammprodukt, computerlesbares medium, auf dem das computerprogrammprodukt gespeichert ist, und system zum aufteilen eines oder mehrerer bilder einer probe in nach farbstoffen aufgeteilte bilddaten - Google Patents

Verfahren zum aufteilen eines oder mehrerer bilder einer probe in nach farbstoffen aufgeteilte bilddaten, computerprogrammprodukt, computerlesbares medium, auf dem das computerprogrammprodukt gespeichert ist, und system zum aufteilen eines oder mehrerer bilder einer probe in nach farbstoffen aufgeteilte bilddaten Download PDF

Info

Publication number
WO2019166361A1
WO2019166361A1 PCT/EP2019/054558 EP2019054558W WO2019166361A1 WO 2019166361 A1 WO2019166361 A1 WO 2019166361A1 EP 2019054558 W EP2019054558 W EP 2019054558W WO 2019166361 A1 WO2019166361 A1 WO 2019166361A1
Authority
WO
WIPO (PCT)
Prior art keywords
images
image data
machine learning
dyes
learning system
Prior art date
Application number
PCT/EP2019/054558
Other languages
English (en)
French (fr)
Inventor
Manuel AMTHOR
Daniel Haase
lngo KLEPPE
Original Assignee
Carl Zeiss Microscopy Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy Gmbh filed Critical Carl Zeiss Microscopy Gmbh
Priority to US15/733,532 priority Critical patent/US11430232B2/en
Publication of WO2019166361A1 publication Critical patent/WO2019166361A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • a method of dividing one or more images of a sample into image data divided into dyes A computer program product, computer readable medium storing the computer program product, and system for splitting one or more images of a sample into image data partitioned into dyes
  • the invention relates to a method for splitting one or more images of a sample into image data divided into dyes, a computer program product
  • samples e.g., biological samples
  • fluorescent dyes e.g., fluorescent dyes
  • the images taken for example by a microscope are then separated into fluorescent dyes.
  • excitation spectra and / or emission spectra of the fluorescent dyes usually optical artifacts or the respective fluorescent dye occur incorrectly or
  • FIGS. 4a and 4b show channels or images or image data 30 ', 3T divided into fluorescent dyes according to the prior art by means of linear unmixing.
  • Fig. 4b are the linear Structures optical artifacts, ie this channel or image or this fluorescent dye incorrectly assigned elements / pixels from the channel or image or the fluorescent dye, or in Fig. 4a is shown.
  • optical artifacts i.e., pixels associated with the false fluorescent dye
  • optical artifacts are usually present even after linear unmixing is performed in the channels or images divided into fluorescent dye, i.a. due to random influences (e.g., noise) affecting the values in the image, and / or due to the fact that the spectra of the fluorescent dyes used are not known exactly.
  • the present invention is based on the object, a method or a
  • Image data according to claim 18 solved.
  • the object is achieved by a method for splitting one or more images of a sample into image data divided into dyes, the sample having at least two different dyes, in particular fluorescent dyes, the method comprising the following steps: providing the one or more images the sample; Enter the one or more images in a machine
  • the machine learning system and generating the color-separated image data from the image (s) by means of the machine learning system, the machine learning system at least one substructure of the sample present in the dye-separated image data of more than one dye is removed from the image data of one or more dyes.
  • One advantage of this is that without explicit specification of the mapping of the input data (images of the sample) onto the output data (image data separated by dyes) after a training (eg with training data) the machine learning system images data or images with few to none false-color assigned elements or optical artifacts (ie, pixels or structures in image data of a
  • Dye that bleed in image data of another dye or cross-talk there) generated can be produced. It is also advantageous that the machine learning system can produce image data superior to linear unmixing as known in the art, as image data seeded with dyes has fewer elements or optical artefacts or misalignments assigned to the wrong dye are output to the respective image data. In addition, by means of the learning system, images of a large number of different types of samples can be quickly and technically simply decomposed or divided into color-separated image data with few or no elements or optical artifacts assigned to the wrong dye without significant changes to the machine learning system. It is also advantageous that the method does not perform pixel-wise an assignment to the respective dye, but works structure-based.
  • Structures or partial structures of the sample can be recognized, for example, by edge detection or the like.
  • the erroneous dye-assigned elements or optical artifacts in the generated image data can be suppressed or suppressed by the method in the input images.
  • the machine learning system outputs color-separated image data in which few or no false-dye-assigned elements or optical artifacts are present.
  • it is usually a prevention of the occurrence of optical artifacts in the
  • Dyes split image data achieved. Splitting the one or more images of the sample may mean, in particular, that image data separated by raw data or untreated images is generated into dyes as output, in which there are few or no elements associated with the wrong dye or optical artifacts of images pre-separated according to dyes associated with the wrong dye
  • an element when splitting according to dyes is then assigned correctly or assigned to the appropriate dye, if the respective element comprises the respective dye or is marked with this.
  • the partial structures removed from the image data of one or more dyes can be assigned image data of another or several other dyes, so that a type of shifting of the partial structure or the image data of the partial structure from image data of a first dye into image data of a second dye is carried out.
  • the partial structure or the image data of the partial structure it is also possible for the partial structure or the image data of the partial structure to be removed only from image data of one or more image data, but the partial structure or the image data of the partial structure does not remove image data from others
  • Dyes is assigned, i. E. that no moving of image data takes place.
  • the object is also achieved by a computer program product having instructions readable by a processor of a computer which, when executed by the processor, cause the processor to perform the above described
  • the object is also achieved by a system for splitting one or more images of a sample into image data divided into dyes, wherein the sample comprises at least two different dyes, in particular fluorescent dyes, the system comprising a machine learning system that is trained to to produce the image-separated image data from one or more images of the sample input to the machine learning system by the machine learning system, the machine learning system having at least a partial structure of the sample present in the dye-separated image data of more than one dye , removed from the image data of one or more dyes.
  • a system for splitting one or more images of a sample into image data divided into dyes, wherein the sample comprises at least two different dyes, in particular fluorescent dyes
  • the system comprising a machine learning system that is trained to to produce the image-separated image data from one or more images of the sample input to the machine learning system by the machine learning system, the machine learning system having at least a partial structure of the sample present in the dye-separated image data of more than one dye , removed from the
  • image data superior to linear unmixing as known in the art because image data seeded by dyes has fewer elements or optical artifacts assigned to the wrong dye. Misallocations are output to the respective image data.
  • images of a large number of different types of samples can be rapidly and technically simply decomposed or divided into color-separated image data with few or no false-dye-assigned elements or optical artifacts without significant changes to the system. It is also advantageous that the system is not one pixel
  • the system can prevent or suppress existing false-dye-assigned elements or optical artifacts in the generated image data in the input images. there are fewer false-dye-assigned elements or optical artifacts in the generated image data than in the input pre-separated dye images. If the input images are not already pre-separated for dyes, i. the image or images each have data from a plurality of dyes, so the system outputs color-separated image data ranging from few to none assigned to the wrong dye
  • the method further comprises the steps of: inputting reference images into the machine learning system; and comparing the image data separated by dyes by the machine learning system
  • Reference images of reference images appropriately divided into dyes, for training the machine learning system to more efficiently split the one or more images of the sample into image data separated by dyes.
  • the advantage of this is that the machine learning system can be technically easily trained without explicit specification or specification of the mapping of the input data to the output data and quickly.
  • the comparison can be automated or computerized, e.g. through the machine
  • the applicable to dyes Split image data essentially does not contain false-dye assigned elements or optical artifacts.
  • elements assigned to the false dye or optical artifacts may be removed manually or by a human.
  • the machine learning system comprises or is a neural network, in particular a deep learning system and / or a
  • the image (s) are displayed before
  • the removal of partial structures of the sample is carried out on the basis of the structure of the sample, wherein in particular optical artifacts in the image data are determined on the basis of identical and / or similar partial structures in the image data of different dyes.
  • Dyes divided image data even further reduced, since not a pixel-wise splitting takes place after dyes, but a division of dyes based on the structure of the sample is performed. It is thus considered by the machine learning system that the pixels of the input image (s) are not (completely) independent of each other.
  • spectra of the dyes used in addition to the one or more images, spectra of the dyes used, a spectral database for estimating and / or matching the existing spectra of the dyes in the one or more images, capture settings and / or filter settings of the one or more images, detector settings the one or more images and / or predictions for cross-talk between the various color-separated image data are additionally input to the machine learning system.
  • the image data comprises output images, wherein in particular each output image in each case shows a dye of the input image (s).
  • the machine learning system generates a coefficient array for a linear unmixing, wherein the linear unmixing based on the coefficient array divides the one or more images into dyes.
  • the machine learning system generates one or more difference images from the color-separated image data, with images already pre-separated according to dyes minus the corresponding generated one
  • Difference image to produce separate output images after dyes.
  • An advantage of this is that for the dyes in each case a difference image is generated, by which the respective image associated with the dye must be corrected in order to obtain images or image data with as few false-dye-assigned elements or optical artifacts. Difference pictures can be used during the training of the machine learning system People are interpreted more intuitively. In addition, differential images are more likely to be accepted by researchers, since the correction of the images already pre-divided into dyes (eg images pre-divided by linear unmixing) by the machine learning system for the
  • the multiple images comprise or are images of the same sample which are offset in time from one another and / or
  • the machine learning system additionally determines or estimates the number of dyes used to label the sample and / or identifies the dyes used to label the sample.
  • the advantage of this is that the number and / or identity of the dyes used need not be entered into the machine learning system.
  • further information about the sample can be determined by the machine learning system.
  • the machine learning system further determines, for each pixel of the output image data, a confidence value indicating the probability that that pixel has been assigned to the true image data corresponding to the dye and / or the absolute concentration of the respective dye in the respective image data and / or the number of objects in the sample.
  • the determination of the confidence value has the advantage that the quality of the split image data can be better evaluated since it is in each case indicated how certain the respective assignment of the pixel to the respective image data is (so-called confidence). It is also conceivable that for the after Dye-split image data is generated in each case a confidence map, ie a two-dimensional map, the for each pixel or each substructure of the sample the
  • Confidence value indicates. By determining the absolute concentration of the dyes (after calibration), further information about the sample is thus obtained. By determining the number of objects, further information about the sample is obtained, e.g. automated further processed or used to categorize the images of the sample.
  • the machine learning system is trained by means of first training recordings, wherein the first training recordings comprise recordings of samples marked only with a dye, and / or is trained by means of second training recordings, wherein the second training recordings apply composite recordings of each already according to dye split image data.
  • first training recordings comprise recordings of samples marked only with a dye
  • second training recordings apply composite recordings of each already according to dye split image data.
  • the image data appropriately divided according to dyes comprises or are simulated image data; in particular, the image data appropriately divided according to dyes comprises or is simulated image data generated by means of a physical model, preferably the physical model
  • the physical model of a recording optics comprises, and / or the reference images are generated by means of a physical model of the correctly classified by color image data.
  • the physical model may include a model that simulates the excitation of the sample with different lasers and / or the noise in creating a true image of a sample.
  • the image data appropriately divided according to dyes can be mixed together by means of a physical model, and in this way the
  • the machine learning system determines spectra of the dyes.
  • the spectra can be more accurately determined or refined.
  • the dyes may include or be fluorescent dyes and / or bright field dyes.
  • the dyes comprise or are fluorescent dyes
  • one of the at least two fluorescent dyes having the sample or with which the sample is labeled is a natural (not added) fluorescent dye of the sample having autofluorescence, i. that the sample added one of the sample
  • the division into image data divided according to dyes can mean, in particular, that respective image data are respectively assigned to exactly one dye or have only information or radiation or fluorescence of exactly one dye. However, it is also conceivable that respective image data have information of more than one dye. For example, an image of a sample may be divided into two sets of image data, with a first set having information or radiation or fluorescence from two dyes, while a second set having information or fluorescence from just one dye.
  • a biological sample usually has a structure, which in turn has partial structures.
  • a biological sample may e.g. a cell nucleus and cell walls as structure or
  • the nucleus may be a partial structure in this example.
  • the cell wall or the cell walls can be a further partial structure in this example.
  • Substructures of the sample may be separated from one another by, for example, edges in the image or non-fluorescent regions in the image.
  • the cell nucleus of a cell e.g.
  • the method typically does not remove individual pixels from image data of a dye, but rather removes substructures of the sample, ie, areas that are contiguous to a substructure of the sample are detected are removed from the image data of a dye.
  • a structure-based removal can be performed.
  • pixels or regions or partial structures of the sample which are or have been assigned incorrectly to image data of a dye or to a dye can be elements or optical artifacts associated with the false dye.
  • pixels or sub-structures which are marked, for example, with only a first dye are also present in split image data of a second dye, which is different from the first dye, generated by the machine learning system.
  • the false dye associated elements or optical artifacts are also referred to as bleeding or cross-talk.
  • optical axis of the microscope runs in particular along the direction in which the recording is made by means of the microscope.
  • Fig. 1 is a schematic representation of an embodiment of the
  • FIG. 2 shows a fluorescence image of a sample before splitting one or more images of a sample into image data divided into dyes in accordance with FIG. 2
  • Fig. 3a, 3b divided by fluorescent dyes images of the fluorescence image of FIG. 2 after splitting one or more images of a sample in after
  • 1 shows a schematic representation of an embodiment of the method according to the invention for splitting one or more images of a sample into image data 30-32 divided into dyes.
  • 2 shows a fluorescence image of a sample before splitting one or more images of a sample into image data 30-32 divided into dyes according to an embodiment of the method according to the invention.
  • 3, 3b show fluorescence dye images of the fluorescence image from FIG. 2 after splitting one or more images of a sample into image data divided into dyes according to an embodiment of the method according to the invention.
  • a sample will usually be coated with more than one fluorescent dye, e.g. two or three fluorescent dyes, marked. Subsequently, a fluorescence image or image 20 or several fluorescence images of the labeled sample are recorded by means of a microscope.
  • more than one fluorescent dye e.g. two or three fluorescent dyes
  • the sample may be a biological sample, e.g. living or dead cells or living or dead animals, or a physical sample, i. an inanimate sample, his.
  • the aim is that the fluorescence image (s) should be divided as accurately as possible into fluorescent images or image data 30-32, so that in each image or each set of image data 30-32 only fluorescence of a
  • Fluorescent dye is present (so-called segregation). However, it is also possible that in a set of image data 30-32 or in an image only fluorescence of a Fluorescent dye is present and in the other set of image data 30-32 or in another image, the fluorescence eg of the other two fluorescent dyes is present.
  • an element associated with the false colorant or an optical artifact is a pixel or a structure or substructure of the sample associated with a set of image data 30-32 or an image, which is not that of the image Fluorescent dye corresponding sentence or picture is. That after splitting the image 20 or images 20 into image data 30-32
  • Fluorescent dyes occur in the image for a first fluorescent dye pixels of (partial) structures of the sample, which are labeled with only a second fluorescent dye. This is also referred to as so-called bleeding between the various images / image data 30-32 or as so-called cross-talk between the images / image data 30-32.
  • the elements or optical artifacts ordered into the wrong dye can be e.g. by random influences (such as the noise of the input data or the fluorescence images) and / or by the inaccurate knowledge about the spectra of the used
  • Fluorescent dyes may be formed or substantiated.
  • Fluorescent dye is a machine learning system 10 and a system for
  • the system is configured to divide one or more images of a sample into color-separated image data 30-32 and includes a machine learning system 10.
  • the machine learning system 10 may include a sparse dictionary learning system and / or an auto-encoder.
  • the machine learning system 10 may include or may be a neural network.
  • the machine learning system 10 may include a deep learning system or his. It is also possible that the machine learning system 10 comprises or is a convolutional neural network or a deep convolutional neural network.
  • the machine learning system 10 may include or be a multi-layer perceptron, in which there are at least one further layer of hidden neurons in addition to the output layer (so-called hidden layer). All neurons of a layer are completely linked to the neurons of the next layer (so-called hidden layer).
  • the machine learning system 10 comprises or consists of one or more so-called Generative Adversarial Networks (generating opposing networks).
  • the machine learning system 10 is trained to split the images into image data 30-32 of fluorescent dyes, in particular
  • Fluorescence images to make and remove the wrong dye associated elements or optical artifacts or to prevent or suppress the presence of the wrong dye associated elements or optical artifacts For this purpose, the structure or structures of the respectively depicted sample is or will be considered. People can usually recognize the false color associated elements or optical artifacts based on contextual information, e.g. if the identical or very similar structures or substructures differ in strength (e.g., brightness) in more than one channel, e.g. occur in relation to the wavelength adjacent channels.
  • strength e.g., brightness
  • the machine learning system 10 is trained on the basis of these structures, the splitting of one or more fluorescence images 20 in fluorescence dyes divided or separate image data 30-32 perform image data 30-32 or images with as little or none of the wrong Dye associated elements or artifacts (ie, misregulated pixels or structures) to produce.
  • the machine learning system 10 recognizes at least a partial structure of the sample, which is present in the color image-separated image data 30-32 of more than one dye, as the wrong colorant associated element or optical artifact and removes the respective sub-structure or the wrong dye assigned elements or the optical artifact from the image data 30-32 of one or more dyes or prevents the occurrence or presence of the wrong colorant associated element or optical artifact in the output image data 30-32.
  • the presence or absence of false artifact-associated elements or optical artifacts in the image data 30-32 is prevented or diminished, and consequently, the number of false color associated elements or optical artifacts in the generated image data 30-32 decreases.
  • the input data input to the machine learning system 10 may include a stack of fluorescence images that includes any number of channels.
  • the fluorescence images can be raw data, i. be unprocessed fluorescence images, or as already stored / computed fluorescence images, i. as already processed fluorescence images are present.
  • the fluorescence images input to the machine learning system 10 may be single-track, multi-track, or lambda stack images. In multi-track recordings, multiple recordings or images 20 of the same sample are created with different settings of the laser and / or the detector.
  • a lambda stack comprises a stack or set of images each comprising a particular wavelength range. The wavelength ranges of a lambda stack are usually disjoint to one another and adjoin one another directly.
  • the number of channels in the case of unprocessed fluorescence images depends on the recording mode of the images 20. For already processed or billed data, the number of channels depends on the processing or billing of the images 20 or recordings. For example, it is possible that the fluorescence images or the input data of the machine learning system 10 are already the result of a linear unmixing, as is known from the prior art.
  • the machine learning system 10 or the method according to the invention reduces the number of elements or optical artifacts assigned to the wrong dye, which are still present in the image data 30-32 or images after the linear unmixing. If the input data are channels already separated by dyes using linear unmixing, the number of channels of input data and / or output data of the method may be equal to the number of fluorescent dyes used to label the sample.
  • the number of fluorescence images used as input to the machine learning system 10 may vary depending on the type of fluorescence images.
  • the fluorescence images can be unprocessed fluorescence images, the
  • Fluorescence images are created by using a detector array (here, the number of fluorescence images is equal to the number of detector windows or equal to the number of channels of the detector).
  • the fluorescence images may be lambda stack images (in this case the number of fluorescence images is equal to the number of defined bands of the lambda stack).
  • the fluorescence images can be images with freely defined bandwidths in multi- or single-track mode (in this case the number of fluorescence images is typically the same as the number of dyes used). It is also conceivable that as input of the machine learning system 10 a single
  • Fluorescence image is used.
  • the input data of the machine learning system 10 may include the following additional information provided by the machine learning system 10
  • Fluorescent dyes and / or a spectral database of the fluorescent dyes used, which can serve for the estimation and comparison of the existing spectra, and / or
  • Adjustments to the acquisition of fluorescence images e.g. Laser settings, detector settings, filter settings, smart setup settings, and / or predictions for cross-talk or the wrong colorant associated elements or optical artifacts.
  • the output data of the method or of the machine learning system 10 usually contain image data 30-32 or images divided according to fluorescent dyes.
  • the image data 30-32 may themselves be images.
  • the method or the machine learning system 10 outputs only data or image data 30-32, by means of which divided by fluorescence dyes images can be calculated or created.
  • the data or image data may comprise or be a coefficient array which is responsible for a subsequent linear unmixing for splitting the one or more
  • Fluorescence images are used after dyes. This means that the machine learning system 10 calculates the coefficients for the linear unmixing in such a way that the number of elements associated with the wrong colorant or optical elements is calculated
  • the method or the machine learning system 10 outputs so-called difference images and / or is trained thereon. If the difference images are each subtracted from the corresponding images or channels divided according to fluorescence dyes known hitherto, the result is images or image data 30-32 in which there are fewer or even no elements or optical artifacts associated with the wrong dye are. That is, for each input channel or fluorescence image input to the machine learning system 10, the machine learning system 10 generates a corresponding difference image, subtracting the difference image from the corresponding one
  • Fluorescence image fluorescence images are generated that contain less to no wrong dye associated elements or optical artifacts or
  • the number of channels output by the method or machine learning system 10 may be arbitrary.
  • the images or image data 30-32 are or are not only divided according to fluorescent dyes, but are additionally divided according to different areas or objects of the fluorescence images or will be.
  • the number of fluorescent dyes used to label the sample is also possible that the number of channels corresponds to the number of fluorescence images used as input.
  • the absolute concentration of the respective fluorescent dye can be determined and displayed when a calibration has been performed, i. when it has been determined which brightness value corresponds to which concentration.
  • additional information may be output from the method or machine learning system 10 in addition to the image data 30-32 or channels, respectively. This can be, for example, information that can be helpful for further processing of the channels or image data 30-32 or for display purposes for the viewer of the output channels or image data 30-32.
  • the additional information the selected spectra of the fluorescent dyes used (if one
  • the estimated spectra of the fluorescent dyes used (if the spectra of the fluorescent dyes were not part of the input) and / or the more refined or more precisely determined spectra of the
  • Fluorescent dyes include or be.
  • a spectral database indicates which spectra or wavelengths the different fluorescent dyes each have.
  • the confidence for each pixel or substructure may be output from the method or the machine learning system 10.
  • the confidence indicates with which probability the respective pixel was correctly assigned to the respective fluorescent dye. It is also possible for the machine learning system 10 or the method to determine and output the type, size, number etc. of the objects marked with the fluorescent dyes in the sample. For example, the number of marked cells may be determined and output by the machine learning system 10.
  • the splitting of the fluorescence images 20 into sets of image data 30-32 or channels by means of the machine learning system 10 can take place on the basis of the unprocessed fluorescence images and / or on the basis of already processed or already separated fluorescence dyes channels or images.
  • fluorescence images (such as frames and / or detector-stack images) can be that have already been denoised using a denoising algorithm '.
  • the image data output from the machine learning system has been at least partially denuded by the machine learning system.
  • Fluorescent dyes are determined more accurately, ie that the spectra or the channels of the spectra approximate the actual values of the spectra or boundaries of the different fluorescent dyes and / or adapted to the present sample. If the spectra of the fluorescent dyes used are not available, it is possible to directly determine the spectra of the fluorescent dyes on the basis of the fluorescence images which are entered as input into the method or the machine learning system 10. For this purpose, the machine learning system 10 is trained in such a way that it learns a mapping of the input data or fluorescence images onto the spectra.
  • elements associated with the wrong dye or optical artifacts can be determined by means of the method or the machine Learning system 10 are corrected or eliminated on the basis of existing in the fluorescence images or structures.
  • the advantage of this structure-based analysis or processing is, inter alia, that bleeding on the basis of identical structures can be easily established at the spatially identical location in usually directly adjacent channels of the output or image data 30-32. Decisive here is not the type or the type of the structure itself, but the position and expression in the various channels or image data 30-32. This relationship can be determined by machine learning using a
  • the input data or fluorescence images are analyzed or determined by means of a so-called patch-based method, wherein in this type of analysis an image is analyzed on the basis of image sections of the image or image section is processed for image section.
  • the input data or images resulting from the linear or non-linear unmixing are divided by the machine learning system 10 into patches.
  • the context available for the machine learning system 10, ie the visible structures, is limited by the size of the patch.
  • Each input patch of the machine learning system 10 is mapped to an output patch, whereby bleeding between the channels or image data 30-32 of the various dyes is suppressed by the machine learning system 10.
  • the output patches are assembled into a whole picture or a channel. This means that successive areas or patches of the overall fluorescence image are input to the machine learning system 10 and the areas or patches are again assembled into a total fluorescence image after the division into dyes.
  • a second possibility comprises a so-called picture-to-picture transformation, wherein the machine learning system 10 displays an image of the total fluorescence image
  • the procedure is largely identical to the patch-based method described above, but the use of the overall picture means that a much larger context can be taken into account by the machine learning system 10.
  • the machine Learning system 10 outputs channels or images or image data 30-32 of the overall image distributed by dyes.
  • the difference image respectively indicates the difference between the output of the linear unmixing and the image artifacts 30-32 and images corrected by the machine learning system 10 for the false color associated elements or optical artifacts, respectively.
  • the advantage of this is that such difference images can be more intuitively interpreted by humans when training the machine learning system 10, and thus elements or optical artifacts associated with the false colorant can be more easily recognized.
  • the correction by the machine is for humans
  • Difference images or for generating difference images is technically very simple and gives very good results, i. E. this greatly reduces the number of elements or optical artifacts associated with the wrong colorant, possibly even more than that of training the machine learning system 10 to directly output image data 30-32 with few false color associated elements or optical artifacts.
  • the division into fluorescent image-ordered image data 30-32 is completely learned from the input data.
  • the machine learning system 10 trained so that is mapped directly from the input stack or from the fluorescence images on the output stack or the image data 30-32 or images.
  • the prerequisite for this is a sufficiently large database for training the machine learning system 10, the database covering essentially all expected variations or possibilities. This is achieved by a simulation in which a plurality of images in which the sample has been labeled with only one dye or color are mixed or added to an input stack or to a single fluorescence image, each as an input for the machine Learning system 10 is used.
  • the images in which the sample has been dyed with only one dye each are used as reference images to be output from the machine learning system 10 as image data 30-32. It is also possible to simulate different output data or channels, such as single- and multi-track data or even lambda-stacks as input data of the machine learning system 10.
  • the input data or the input stack can be artificially noisy in order to more closely approximate the input data to real fluorescence images or real recording conditions. Especially in the case of single track recordings or lambda bursts, there is often a lower signal-to-noise ratio, i. a strong noise, before.
  • ground truth data i. as the desired output of the machine learning system 10 to be trained on are those frames which have been mixed together to produce the input data and the input stack, respectively.
  • an image from image stacks to image stacks is performed.
  • Parameters which are estimated or predetermined in classical linear unmixing can be predicted or determined with the aid of the machine learning system 10.
  • the coefficients (A) for solving the linear unmixing system of equations, the number of spectra, the spectra itself, or a combination thereof may be output by the machine learning system 10.
  • a mapping of one input stack or of several fluorescence images onto one Intermediate representation is performed, ie image data 30-32 or data for splitting the fluorescence images into channels is generated by the machine learning system 10.
  • the fluorescence images input into the machine learning system 10 can be divided into color-separated images or image data 30-32 in such a way that they have little or no associated false elements or optical artifacts .
  • additional information can be entered into the machine learning system 10, such as information about the spectra of the dyes used.
  • fluorescence images in the form of a Z-stack may be input to the machine learning system 10, i. Fluorescence images, which were taken by the same sample offset along the optical axis of the microscope offset from each other, and these images are separated by the method or the machine learning system 10 into image data 30-32 and images separated by dyes.
  • the structure of the sample and / or similar or identical structures in the channels or images of the output can be detected by the machine learning system 10 and thereby the wrong dye associated elements or optical artifacts are removed or the occurrence of the wrong dye assigned Elements or optical artifacts are prevented.
  • images staggered in time can be used as fluorescence images or input of the method or of the machine learning system 10.
  • the structure of the sample and / or similar or identical structures in the channels of the output can be recognized by the machine learning system 10 and thereby artifacts are removed or the occurrence of elements assigned to the false color or
  • the machine learning system 10 can each be adapted to the sample or sample type (eg biological sample or physical sample, etc.) or specifically trained thereon. However, it is also conceivable that the machine learning system 10 is not actively changed independently of the sample.
  • the sets of image data 30-32 output from the machine learning system 10 may be equal to the number of fluorescence images of the input (s).
  • the number of output channels of the machine learning system 10 may also correspond to the number of objects comprising the sample.
  • the distinction as to whether or not a particular element or structure or pixel in the fluorescence image is a false-dye-associated element or optical artifact is based on structural information or patterns of the sample in the fluorescence image, i. that the entire fluorescence image as a context in the division into image data 30-32 or images according to fluorescent dye is received.
  • the machine learning system 10 can be present or implemented on a commercially available computer or computer. It is also conceivable that the machine learning system 10 is implemented on a computer or computer specially designed for the machine learning system 10. In particular, the processors of a graphics card or multiple graphics cards for the necessary calculations of the machine
  • the method of training the machine learning system 10 may be performed as follows.
  • the machine learning system 10 is input a fluorescence image.
  • the machine learning system 10 splits the fluorescence image into
  • a person in the respective channels identifies or has structures or regions which represent elements or optical artifacts assigned to the false colorant (so-called bleeding through), ie the structures or areas which have been misassigned to the respective image or channel , marked or removed.
  • These elements or optical artifacts associated with the false color image data 30-32 and images, respectively, are input to the machine learning system 10 as a target output. From this learns the machine learning system 10, such the wrong dye to ordered Avoid elements or optical artifacts in the future. In this way, the machine learning system 10 is supervised.
  • Another way to train the machine learning system 10 is to use images in which the same sample or identical or similar samples are respectively labeled with only one fluorescent dye as training data. These images are mixed together and the result is used as a fluorescence image or fluorescence images as input to the machine learning system 10. Since the original fluorescence dye separated images are present, the machine learning system 10 can see for itself, without supervision and human intervention, which structures or pixels of the output image data 30-32 of the machine learning system 10 is an element associated with the false colorant or.
  • the machine learning system 10 can be trained very quickly.
  • the fluorescence images may also be images taken by two-photon fluorescence microscopy.
  • the so-called second and third harmony generation i.e., frequency doubling and / or
  • the machine learning system 10 may comprise a neural network, in particular a so-called deep neural network.
  • the neural network comprises, for example, more than three layers, so that more than one so-called hidden layer is present.
  • the machine learning system 10 may include or be a convolutional neural network (CNN).
  • CNN convolutional neural network
  • the machine learning system 10 comprises a convolutional layer, which consists of a two-dimensional or three-dimensional matrix consisting of pixels.
  • a discrete convolution calculates the activity of each neuron at that level.
  • pooling layer in which superfluous information is discarded.
  • a convolutional layer followed by a pooling layer etc. can follow.
  • the last pooling layer is followed by a fully connected layer.
  • the neurons of the fully-connected layer usually corresponds to the number of channels into which the fluorescence image is to be divided.
  • the signal in each pixel is measured while the lambda stack is being acquired, and the reference spectrum of the known fluorescent dye is usually measured independently in samples each labeled with only one dye under identical instrument settings.
  • the contributions of the different dyes can be determined by calculating their contribution to each point in the measured spectrum. For example, this can be determined by minimizing the square between the measured and calculated spectra by applying the following differential equations:
  • j represents the number of detection channels and i represents the number of dyes.
  • CNN Convolutional Neural Network

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

Es wird ein Verfahren zum Aufteilen eines oder mehrerer Bilder (20) einer Probe in nach Farbstoffen aufgeteilte Bilddaten (30-32), wobei die Probe mindestens zwei unterschiedliche Farbstoffe, insbesondere Fluoreszenzfarbstoffe, aufweist, aufgezeigt, wobei das Verfahren folgende Schritte umfasst: Bereitstellen des einen oder der mehreren Bilder (20) der Probe; und Eingeben des einen oder der mehreren Bilder (20) in ein maschinelles Lernsystem (10); Erzeugen der nach Farbstoffen aufgeteilten Bilddaten (30-32) aus dem oder den Bildern (20) mittels des maschinellen Lernsystems (10), wobei das maschinelle Lernsystem (10) mindestens eine Teilstruktur der Probe, die in den nach Farbstoffen aufgeteilten Bilddaten (30-32) von mehr als einem Farbstoff vorhanden ist, aus den Bilddaten (30-32) eines oder mehrerer Farbstoffe entfernt.

Description

Verfahren zum Aufteilen eines oder mehrerer Bilder einer Probe in nach Farbstoffen aufqeteilte Bilddaten. Computerproqrammprodukt, computerlesbares Medium, auf dem das Computerproqrammprodukt gespeichert ist, und System zum Aufteilen eines oder mehrerer Bilder einer Probe in nach Farbstoffen aufqeteilte Bilddaten
Beschreibung
Die Erfindung betrifft ein Verfahren zum Aufteilen eines oder mehrerer Bilder einer Probe in nach Farbstoffen aufgeteilte Bilddaten, ein Computerprogrammprodukt, ein
computerlesbares Medium, auf dem das Computerprogrammprodukt gespeichert ist, und ein System zum Aufteilen eines oder mehrerer Bilder einer Probe in nach Farbstoffen aufgeteilten Bilddaten.
Stand der Technik
In der Fluoreszenzmikroskopie werden Proben (z.B. biologische Proben) mit mehreren Fluoreszenzfarbstoffen markiert. Die beispielsweise von einem Mikroskop aufgenommenen Bilder werden anschließend nach Fluoreszenzfarbstoffen getrennt. Durch überlappende Anregungs-Spektren und/oder Emissions-Spektren der Fluoreszenzfarbstoffe treten üblicherweise optische Artefakte bzw. dem jeweiligen Fluoreszenzfarbstoff falsch bzw.
unzutreffend zugeordnete Elemente in den nach Fluoreszenzfarbstoffen aufgeteilten Bildern auf (sogenanntes„Durchbluten“ bzw. sogenannter„Cross-talk“). Konkret bedeutet dies, dass in den resultierenden nach Fluoreszenzfarbstoffen getrennten Bildern Pixel bzw. Strukturen aus einem Farbkanal bzw. einem Kanal eines Fluoreszenzfarbstoffs auch (abgeschwächt) in (mindestens einem) anderen Farbkanal bzw. Kanal eines anderen Fluoreszenzfarbstoffs sichtbar sind, d.h. Elemente bzw. Strukturen werden teilweise dem falschen Kanal bzw. dem falschen Fluoreszenzfarbstoff zugeordnet (sogenannte Artefakte).
Zum Aufteilen des Bilds oder der Bilder nach Fluoreszenzfarbstoffen wird beispielsweise lineares Unmixing verwendet. Bei dem linearen Unmixing werden das Bild bzw. die Bilder pixelweise entmischt, d.h. nach Fluoreszenzfarbstoffen aufgeilt. Fig. 4a und Fig. 4b zeigen mittels linearen Unmixing gemäß dem Stand der Technik nach Fluoreszenzfarbstoffen aufgeteilte Kanäle bzw. Bilder bzw. Bilddaten 30‘, 3T. In Fig. 4b sind die linienförmigen Strukturen optische Artefakte, d.h. diesem Kanal bzw. Bild bzw. diesem Fluoreszenzfarbstoff falsch zugeordnete Elemente/Pixel aus dem Kanal bzw. Bild bzw. des Fluoreszenzfarbstoffs, das bzw. der in Fig. 4a gezeigt ist.
Nachteilig hieran ist jedoch, dass üblicherweise auch nach einem durchgeführten linearen Unmixing in den nach Fluoreszenzfarbstoff aufgeteilten Kanälen bzw. Bildern optische Artefakte (d.h. dem falschen Fluoreszenzfarbstoff zugeordnete Pixel) vorhanden sind, u.a. aufgrund von zufälligen Einflüssen (z.B. Rauschen), das die Werte im Bild beeinflusst, und/oder aufgrund dessen, dass die Spektren der verwendeten Fluoreszenzfarbstoffe nicht exakt bekannt sind.
Offenbarung der Erfindung
Der vorliegenden Erfindung liegt die Aufgabe zu Grunde, ein Verfahren bzw. eine
Vorrichtung bzw. ein System aufzuzeigen, mittels dem ein Bild bzw. Bilder von Proben nach Farbstoffen derart in Bilddaten aufgeteilt werden bzw. werden können, dass die nach Farbstoffen aufgeteilten Bilddaten wenige bis keine optischen Artefakte bzw. dem jeweils falschen Farbstoff zugewiesene bzw. zugeordnete Elemente aufweisen.
Diese Aufgabe wird jeweils durch ein Verfahren zum Aufteilen eines oder mehrerer Bilder einer Probe in nach Farbstoffen aufgeteilte Bilddaten gemäß Anspruch 1 bzw. ein
Computerprogrammprodukt gemäß Anspruch 16 bzw. ein computerlesbares Medium, auf dem das Computerprogrammprodukt gespeichert ist, gemäß Anspruch 17 bzw. ein System zum Aufteilen eines oder mehrerer Bilder einer Probe in nach Farbstoffen aufgeteilte
Bilddaten gemäß Anspruch 18 gelöst.
Insbesondere wird die Aufgabe durch ein Verfahren zum Aufteilen eines oder mehrerer Bilder einer Probe in nach Farbstoffen aufgeteilte Bilddaten, wobei die Probe mindestens zwei unterschiedliche Farbstoffe, insbesondere Fluoreszenzfarbstoffe, aufweist, gelöst, wobei das Verfahren folgende Schritte umfasst: Bereitstellen des einen oder der mehreren Bilder der Probe; Eingeben des einen oder der mehreren Bilder in ein maschinelles
Lernsystem; und Erzeugen der nach Farbstoffen aufgeteilten Bilddaten aus dem oder den Bildern mittels des maschinellen Lernsystems, wobei das maschinelle Lernsystem mindestens eine Teilstruktur der Probe, die in den nach Farbstoffen aufgeteilten Bilddaten von mehr als einem Farbstoff vorhanden ist, aus den Bilddaten eines oder mehrerer Farbstoffe entfernt.
Ein Vorteil hiervon ist, dass ohne explizite Angabe bzw. Vorgabe des Abbildens der Eingabedaten (Bilder der Probe) auf die Ausgabedaten (nach Farbstoffen getrennte Bilddaten) nach einem Training (z.B. mit Trainingsdaten) das maschinelle Lernsystem Bilddaten bzw. Bilder mit wenigen bis keinen dem falschen Farbstoff zugewiesenen Elementen bzw. optischen Artefakten (d.h. Pixel bzw. Strukturen in Bilddaten eines
Farbstoffs, die in Bilddaten eines anderen Farbstoffs durchbluten bzw. dort Cross-Talk darstellen) erzeugt. Vorteilhaft ist auch, dass das maschinelle Lernsystem Bilddaten, die einem linearen Unmixing, wie es aus dem Stand der Technik bekannt ist, überlegen sind, erzeugen kann, da nach Farbstoffen aufgeilte Bilddaten mit weniger dem falschen Farbstoff zugewiesenen Elementen bzw. optischen Artefakten bzw. Fehlzuordnungen zu den jeweiligen Bilddaten ausgegeben werden. Zudem können mittels des Lernsystems Bilder einer Vielzahl unterschiedlich gearteter Proben ohne wesentliche Änderungen des maschinellen Lernsystems schnell und technisch einfach in nach Farbstoffen aufgeteilte Bilddaten mit wenigen bis keinen dem falschen Farbstoff zugewiesenen Elementen bzw. optischen Artefakten zerlegt bzw. aufgeteilt werden. Vorteilhaft ist zudem, dass das Verfahren nicht pixelweise eine Zuordnung zu dem jeweiligen Farbstoff durchführt, sondern strukturbasiert arbeitet. Strukturen bzw. Teilstrukturen der Probe können beispielsweise durch Kantenerkennung oder ähnlichem erkannt werden. Wenn bereits nach Farbstoff vorgetrennte Bilder als Eingabedaten in das maschinelle Lernsystem eingegeben werden, können durch das Verfahren in den eingegebenen Bildern vorhandene dem falschen Farbstoff zugewiesene Elemente bzw. optische Artefakte in den erzeugten Bilddaten verhindert bzw. unterdrückt werden, d.h. in den erzeugten Bilddaten sind weniger dem falschen Farbstoff zugewiesene Elemente bzw. optische Artefakte vorhanden als in den eingegebenen bereits nach Farbstoff vorgetrennten Bildern. Wenn die eingegebenen Bilder nicht bereits nach Farbstoffen vorgetrennt sind, d.h. das Bild oder die Bilder weisen jeweils Daten von mehreren Farbstoffen auf, so werden vom maschinellen Lernsystem nach Farbstoffen aufgeteilte Bilddaten ausgegeben, in den wenige bis keine dem falschen Farbstoff zugewiesene Elemente bzw. optische Artefakte vorhanden sind. Es wird somit üblicherweise ein Verhindern des Auftretens von optischen Artefakten in den nach
Farbstoffen aufgeteilten Bilddaten erreicht. Aufteilen des einen oder der mehreren Bilder der Probe kann insbesondere bedeuten, dass ausgehend von Rohdaten bzw. unbehandelten Bildern nach Farbstoffen aufgeteilte Bilddaten als Ausgabe erzeugt werden, in denen wenige oder keine dem falschen Farbstoff zugeordnete Elemente bzw. optischen Artefakte vorhanden sind, oder dass ausgehend von bereits nach Farbstoffen vorgetrennten Bildern dem falschen Farbstoff zugeordnete
Elemente bzw. optische Artefakte aus diesen entfernt werden, so dass nach Farbstoffen aufgeteilte Bilddaten mit wenigen oder keinen dem falschen Farbstoff zugeordneten
Elementen bzw. optischen Artefakten ausgegeben werden.
Insbesondere ist ein Element beim Aufteilen nach Farbstoffen dann zutreffend zugeordnet bzw. dem zutreffenden Farbstoff zugeordnet, wenn das jeweilige Element den jeweiligen Farbstoff umfasst oder mit diesem markiert ist. Die aus den Bilddaten eines oder mehrerer Farbstoffe entfernten Teilstrukturen können Bilddaten eines anderen oder mehrerer anderer Farbstoffe zugewiesen werden, so dass eine Art Verschieben der T eilstruktur bzw. der Bilddaten der Teilstruktur aus Bilddaten eines ersten Farbstoffs in Bilddaten eines zweiten Farbstoffs durchgeführt wird. Es ist jedoch auch möglich, dass die Teilstruktur bzw. die Bilddaten der Teilstruktur nur aus Bilddaten eines oder mehrerer Bilddaten entfernt wird, jedoch die Teilstruktur bzw. die Bilddaten der Teilstruktur keinen Bilddaten anderer
Farbstoffe zugeordnet wird, d.h. dass kein Verschieben von Bilddaten stattfindet.
Insbesondere wird die Aufgabe auch durch ein Computerprogrammprodukt gelöst, das von einem Prozessor eines Computers lesbare Instruktionen aufweist, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen, das oben beschriebene
Verfahren auszuführen.
Insbesondere wird die Aufgabe auch durch ein System zum Aufteilen eines oder mehrerer Bilder einer Probe in nach Farbstoffen aufgeteilte Bilddaten, wobei die Probe mindestens zwei unterschiedliche Farbstoffe, insbesondere Fluoreszenzfarbstoffe, aufweist, gelöst, wobei das System ein maschinelles Lernsystem umfasst, das darauf trainiert ist, folgendes auszuführen: Erzeugen der nach Farbstoff aufgeteilten Bilddaten aus einem oder mehreren in das maschinelle Lernsystem eingegebenen Bildern der Probe mittels des maschinellen Lernsystems, wobei das maschinelle Lernsystem mindestens eine Teilstruktur der Probe, die in den nach Farbstoffen aufgeteilten Bilddaten von mehr als einem Farbstoff vorhanden ist, aus den Bilddaten eines oder mehrerer Farbstoffe entfernt. Ein Vorteil hiervon ist, dass das System ohne explizite Angabe bzw. Vorgabe des Abbildens der Eingabedaten (Bilder der Probe) auf die Ausgabedaten (nach Farbstoffen getrennte Bilddaten) Bilddaten bzw. Bilder mit wenigen bis keinen dem falschen Farbstoff
zugewiesenen Elementen bzw. Artefakten (d.h. Pixel bzw. Strukturen in Bilddaten eines Farbstoffs, die in Bilddaten eines anderen Farbstoffs durchbluten bzw. dort Cross-Talk darstellen) erzeugt. Vorteilhaft an dem System ist auch, dass das System Bilddaten, die einem linearen Unmixing, wie es aus dem Stand der Technik bekannt ist, überlegen sind, erzeugt, da nach Farbstoffen aufgeilte Bilddaten mit weniger dem falschen Farbstoff zugewiesenen Elementen bzw. optischen Artefakten bzw. Fehlzuordnungen zu den jeweiligen Bilddaten ausgegeben werden. Zudem können mittels des Systems Bilder einer Vielzahl unterschiedlich gearteter Proben ohne wesentliche Änderungen des Systems schnell und technisch einfach in nach Farbstoffen aufgeteilte Bilddaten mit wenigen bis keinen dem falschen Farbstoff zugewiesenen Elementen bzw. optischen Artefakten zerlegt bzw. aufgeteilt werden. Vorteilhaft ist zudem, dass das System nicht pixelweise eine
Zuordnung zu dem jeweiligen Farbstoff durchführt, sondern strukturbasiert arbeitet. Wenn bereits nach Farbstoff vorgetrennte Bilder als Eingabedaten in das System eingegeben werden, kann durch das System in den eingegebenen Bildern vorhandene dem falschen Farbstoff zugewiesene Elemente bzw. optische Artefakte in den erzeugten Bilddaten verhindert bzw. unterdrückt werden, d.h. in den erzeugten Bilddaten sind weniger dem falschen Farbstoff zugewiesene Elemente bzw. optische Artefakte vorhanden als in den eingegebenen bereits nach Farbstoff vorgetrennten Bildern. Wenn die eingegebenen Bilder nicht bereits nach Farbstoffen vorgetrennt sind, d.h. das Bild oder die Bilder weisen jeweils Daten von mehreren Farbstoffen auf, so werden vom System nach Farbstoffen aufgeteilte Bilddaten ausgegeben, in den wenige bis keine dem falschen Farbstoff zugewiesene
Elemente bzw. optischen Artefakte vorhanden sind.
Gemäß einer Ausführungsform des Verfahrens umfasst das Verfahren ferner folgende Schritte: Eingeben von Referenzbildern in das maschinelle Lernsystem; und Vergleichen der mittels des maschinellen Lernsystems nach Farbstoffen aufgeteilten Bilddaten der
Referenzbilder mit nach Farbstoffen zutreffend aufgeteilten Bilddaten der Referenzbilder zum Trainieren des maschinellen Lernsystems zum verbesserten Aufteilen des einen oder der mehreren Bilder der Probe in nach Farbstoffen aufgeteilte Bilddaten. Vorteilhaft hieran ist, dass das maschinelle Lernsystem technisch einfach ohne explizite Angabe bzw. Vorgabe des Abbildens der Eingangsdaten auf die Ausgangsdaten und schnell trainiert werden kann. Das Vergleichen kann automatisiert bzw. computerisiert, z.B. durch das maschinelle
Lernsystem, stattfinden, so dass insbesondere beim Vergleichen kein manueller Eingriff bzw. kein Eingriff durch einen Menschen notwendig ist. Die nach Farbstoffen zutreffend aufgeteilten Bilddaten enthalten im Wesentlichen keine dem falschen Farbstoff zugewiesene Elemente bzw. optischen Artefakte. Bei den nach Farbstoffen zutreffend aufgeteilten Bilddaten können dem falschen Farbstoff zugewiesene Elemente bzw. optische Artefakte beispielsweise manuell bzw. durch einen Menschen entfernt worden sein.
Gemäß einer Ausführungsform des Verfahrens umfasst oder ist das maschinelle Lernsystem ein neuronales Netzwerk, insbesondere ein deep learning System und/oder ein
Convolutional Neural Network. Vorteilhaft hieran ist, dass dem falschen Farbstoff zugewiesene Elemente bzw. optische Artefakte in den Kanälen noch besser unterdrückt werden können bzw. werden. Zudem ist das maschinelle Lernsystem technisch einfach aufgebaut.
Gemäß einer Ausführungsform des Verfahrens werden das oder die Bilder vor dem
Eingeben in das maschinelle Lernsystem einem linearen oder nicht-linearen Unmixing und/oder einem Entrauschen unterzogen. Hierdurch kann technisch einfach das lineare Unmixing mit dem Aufteilen nach Farbstoffen mittels des maschinellen Lernsystems kombiniert werden, so dass noch weniger dem falschen Farbstoff zugewiesene Elemente bzw. Artefakte in den nach Farbstoff aufgeteilten Bilddaten vorhanden sind. Durch das Entrauschen vor dem Eingeben kann die Anzahl an dem falschen Farbstoff zugewiesenen Elementen bzw. optischen Artefakten in den aufgeteilten Bilddaten noch weiter reduziert werden.
Gemäß einer Ausführungsform des Verfahrens wird das Entfernen von Teilstrukturen der Probe auf Grundlage der Struktur der Probe durchgeführt, wobei insbesondere optische Artefakte in den Bilddaten anhand von identischen und/oder ähnlichen Teilstrukturen in den Bilddaten verschiedener Farbstoffe bestimmt werden. Hierdurch kann die Anzahl an dem falschen Farbstoff zugewiesenen Elementen bzw. optischen Artefakten in den nach
Farbstoffen aufgeteilten Bilddaten noch weiter reduziert werden, da nicht pixelweise ein Aufteilen nach Farbstoffen stattfindet, sondern ein Aufteilen nach Farbstoffen auf Grundlage der Struktur der Probe durchgeführt wird. Es wird somit von dem maschinellen Lernsystem berücksichtigt, dass die Pixel des oder der eingegebenen Bilder nicht (vollständig) unabhängig voneinander sind. Gemäß einer Ausführungsform des Verfahrens werden neben dem einen oder mehreren Bildern Spektren der verwendeten Farbstoffe, eine Spektrendatenbank zum Schätzen und/oder Abgleichen der vorhandenen Spektren der Farbstoffe in dem einen oder mehreren Bildern, Aufnahmeeinstellungen und/oder Filtereinstellungen des einen oder der mehreren Bilder, Detektoreinstellungen des einen oder der mehreren Bilder und/oder Vorhersagen zum Cross-Talk zwischen den verschiedenen nach Farbstoffen aufgeteilten Bilddaten zusätzlich in das maschinelle Lernsystem eingegeben. Vorteilhaft hieran ist, dass das Aufteilen nach Farbstoffen noch zuverlässiger bzw. zutreffender durchgeführt werden kann.
Gemäß einer Ausführungsform des Verfahrens umfassen die Bilddaten Ausgangsbilder, wobei insbesondere jedes Ausgangsbild jeweils einen Farbstoff des oder der eingegebenen Bilder zeigt. Ein Vorteil hiervon ist, dass die Bilddaten besonders einfach betrachtet bzw. untersucht werden können. Darüber hinaus können, wenn jedes Ausgangsbild jeweils einen Farbstoff des oder der eingegebenen Bilder zeigt, die Farbstoffe in beliebigen Kombinationen miteinander untersucht bzw. betrachtet werden.
Gemäß einer Ausführungsform des Verfahrens erzeugt das maschinelle Lernsystem ein Koeffizientenarray für ein lineares Unmixing, wobei mittels des linearen Unmixing auf Basis des Koeffizientenarray das eine oder die mehreren Bilder nach Farbstoffen aufgeteilt wird. Ein Vorteil hiervon ist, dass nicht unmittelbar nach Farbstoffen getrennte Bilder erzeugt werden, sondern mittels des erzeugten Koeffizientenarrays ein nachfolgendes lineares Unmixing durchgeführt wird bzw. werden kann, dessen Ergebnis Bilder bzw. Bilddaten mit besonders wenigen dem falschen Farbstoff zugewiesenen Elementen bzw. optischen Artefakten sind. Hierdurch kann das Aufteilen der Bilder nach Farbstoffen und das Entfernen von Teilstrukturen erheblich beschleunigt werden, da das lineare Unmixing besonders wenig Rechenzeit benötigt.
Gemäß einer Ausführungsform des Verfahrens erzeugt das maschinelle Lernsystem aus den nach Farbstoffen aufgeteilten Bilddaten ein oder mehrere Differenzbilder, wobei bereits nach Farbstoffen vorgetrennte Bilder minus des jeweiligen erzeugten dazugehörigen
Differenzbildes nach Farbstoffen getrennte Ausgangsbilder erzeugen. Vorteilhaft hieran ist, dass für die Farbstoffe jeweils ein Differenzbild erzeugt wird, um welches das jeweils zu dem Farbstoff zugehörige Bild korrigiert werden muss, um zu Bildern bzw. Bilddaten mit möglichst wenigen dem falschen Farbstoff zugewiesenen Elementen bzw. optischen Artefakten zu gelangen. Differenzbilder können beim Training des maschinellen Lernsystems vom Menschen intuitiver interpretiert werden. Zudem werden Differenzbilder eher von Forschern akzeptiert, da die Korrektur der bereits nach Farbstoffen voraufgeteilten Bilder (z.B. durch lineares Unmixing voraufgeteilte Bilder) durch das maschinelle Lernsystem für den
Menschen nachvollziehbar ist. Außerdem hat sich gezeigt, dass das Training eines maschinellen Lernsystems, das auf Differenzbilder bzw. Korrekturbilder abbildet bzw. solche ausgibt (sogenanntes Residual Learning), wesentlich schneller bzw. effektiver ist und bessere Ergebnisse liefert, d.h. Bilddaten mit weniger dem falschen Farbstoff zugewiesenen Elementen bzw. optischen Artefakten erzeugt.
Gemäß einer Ausführungsform des Verfahrens umfassen oder sind die mehreren Bilder zeitlich zueinander versetzte Aufnahmen derselben Probe und/oder
entlang einer optischen Achse eines Mikroskops, mit dem die Bilder aufgenommen wurden, zueinander versetzte Aufnahmen derselben Probe. Hierdurch können insbesondere zeitliche Entwicklungen bzw. Veränderungen, z.B. von lebenden Proben (beispielsweise Tiere, Zellen etc.), besonders zuverlässig in nach Farbstoffen getrennte Bilddaten aufgeteilt werden. Hierdurch kann ein sogenannter Z-Stack (d.h. ein Stapel von Bildern entlang der optischen Achse des Mikroskops) mittels des maschinellen Lernsystems in nach Farbstoffen aufgeteilte Bilddaten zerlegt werden, wobei die Bilddaten wenige bis keine dem falschen Farbstoff zugewiesene Elemente bzw. optischen Artefakte aufweisen.
Gemäß einer Ausführungsform des Verfahrens bestimmt oder schätzt das maschinelle Lernsystem zusätzlich die Anzahl der zur Markierung der Probe verwendeten Farbstoffe und/oder identifiziert die zur Markierung der Probe verwendeten Farbstoffe. Vorteilhaft hieran ist, dass die Anzahl und/oder Identität der verwendeten Farbstoffe nicht in das maschinelle Lernsystem eingegeben werden müssen. Zudem können weitere Informationen über die Probe durch das maschinelle Lernsystem bestimmt werden.
Gemäß einer Ausführungsform des Verfahrens bestimmt das maschinelle Lernsystem ferner für jedes Pixel der ausgegebenen Bilddaten einen Konfidenzwert, der die Wahrscheinlichkeit angibt, dass dieses Pixel den dem Farbstoff entsprechenden zutreffenden Bilddaten zugeordnet wurde und/oder die absolute Konzentration des jeweiligen Farbstoffs in den jeweiligen Bilddaten und/oder die Anzahl der Objekte in der Probe. Die Bestimmung des Konfidenzwerts hat den Vorteil, dass die Qualität der aufgeteilten Bilddaten besser bewertet werden kann, da jeweils angegeben wird, wie sicher die jeweilige Zuordnung des Pixels zu den jeweiligen Bilddaten ist (sogenannte Konfidenz). Auch ist vorstellbar, dass für die nach Farbstoffen aufgeteilten Bilddaten jeweils eine Konfidenzkarte erzeugt wird, d.h. eine zweidimensionale Karte, die für jedes Pixel oder jede Teilstruktur der Probe den
Konfidenzwert angibt. Durch die Bestimmung der absoluten Konzentration der Farbstoffe (nach einer Kalibrierung) werden somit weitere Informationen über die Probe erlangt. Durch die Bestimmung der Anzahl der Objekte werden weitere Informationen über die Probe erlangt, die z.B. automatisiert weiterverarbeitet oder zur Kategorisierung der Bilder der Probe verwendet werden können.
Gemäß einer Ausführungsform des Verfahrens wird das maschinelle Lernsystem mittels erster Trainingsaufnahmen trainiert, wobei die ersten Trainingsaufnahmen Aufnahmen von jeweils nur mit einem Farbstoff markierten Proben umfassen, und/oder wird mittels zweiter Trainingsaufnahmen trainiert, wobei die zweiten Trainingsaufnahmen zusammengesetzte Aufnahmen von bereits jeweils nach Farbstoff zutreffend aufgeteilten Bilddaten umfassen. Durch die ersten Trainingsaufnahmen wird ein besonders effizientes und zuverlässiges Training des maschinellen Lernsystems erreicht. Durch die zweiten Trainingsaufnahmen kann das maschinelle Lernsystem mit besonders wenig Aufwand bzw. innerhalb sehr kurzer Zeit trainiert werden.
Gemäß einer Ausführungsform des Verfahrens umfassen oder sind die nach Farbstoffen zutreffend aufgeteilten Bilddaten simulierte Bilddaten, insbesondere umfassen oder sind die nach Farbstoffen zutreffend aufgeteilten Bilddaten mittels eines physikalischen Modells erzeugte simulierte Bilddaten, wobei vorzugsweise das physikalische Modell ein
physikalisches Modell einer Aufnahmeoptik umfasst, und/oder die Referenzbilder werden mittels eines physikalischen Modells aus den nach Farbstoffen zutreffend aufgeteilten Bilddaten erzeugt. Hierdurch können Trainingsdaten für das maschinelle Lernsystem in großer Zahl erzeugt werden. Das physikalische Modell kann insbesondere ein Modell enthalten, das die Anregung der Probe mit verschiedenen Lasern und/oder das Rauschen beim Entstehen bzw. Erzeugen einer echten Aufnahme bzw. eines echten Bilds einer Probe simuliert. Die nach Farbstoffen zutreffend aufgeteilten Bilddaten können mittels eines physikalischen Modells miteinander vermischt und auf diese Weise können die
Referenzbilder technisch einfach erzeugt werden.
Gemäß einer Ausführungsform des Verfahrens bestimmt das maschinelle Lernsystem Spektren der Farbstoffe. Somit können die Spektren, wenn z.B. eine Spektrendatenbank verwendet wurde, genauer bestimmt bzw. verfeinert werden. Die Farbstoffe können Fluoreszenzfarbstoffe und/oder Hellfeldfarbstoffe umfassen oder sein.
Vorstellbar ist, dass, wenn die Farbstoffe Fluoreszenzfarbstoffe umfassen oder sind, einer der mindestens zwei Fluoreszenzfarbstoffe, die die Probe aufweist bzw. mit denen die Probe markiert ist, ein natürlicher (nicht hinzugefügter) Fluoreszenzfarbstoff der Probe ist, der Autofluoreszenz aufweist, d.h. dass die Probe einen der Probe hinzugefügten
Fluoreszenzenzfarbstoff und einen natürlichen (bereits ursprünglich in der Probe
vorhandenen) Autofluoreszenzfarbstoff aufweist bzw. mit diesen markiert ist.
Das Aufteilen in nach Farbstoffen aufgeteilte Bilddaten kann insbesondere bedeuten, dass jeweilige Bilddaten jeweils genau einem Farbstoff zugeordnet sind bzw. nur Informationen bzw. Strahlung bzw. Fluoreszenz von genau einem Farbstoff aufweisen. Vorstellbar ist jedoch auch, dass jeweilige Bilddaten Informationen von mehr als einem Farbstoff aufweisen. So kann beispielsweise ein Bild einer Probe in zwei Sätze von Bilddaten aufgeteilt werden, wobei ein erster Satz Informationen bzw. Strahlung bzw. Fluoreszenz von zwei Farbstoffen aufweist, während ein zweiter Satz Informationen bzw. Strahlung bzw. Fluoreszenz von genau einem Farbstoff aufweist.
Die Probe weist üblicherweise eine Struktur auf, die wiederum Teilstrukturen aufweist. So kann eine biologische Probe z.B. einen Zellkern und Zellwände als Struktur bzw.
Teilstrukturen aufweisen. Der Zellkern kann in diesem Beispiel eine Teilstruktur sein. Die Zellwand bzw. die Zellwände können in diesem Beispiel eine weitere Teilstruktur sein.
Teilstrukturen der Probe können zum Beispiel durch Kanten in dem Bild oder nicht- fluoreszendierende Bereiche in dem Bild voneinander abgetrennt sein.
Beim Entfernen einer Teilstruktur der Probe, wobei die Teilstruktur in den nach Farbstoffen aufgeteilten Bilddaten von mehr als einem Farbstoff vorhanden ist, aus den Bilddaten eines oder mehrerer Farbstoffe, kann somit beispielsweise der Zellkern einer Zelle, der (z.B.
fälschlicherweise in Bilddaten von zwei Farbstoffen vorhanden ist) aus den Bilddaten eines ersten Farbstoffs entfernt werden. Folglich werden bei dem Verfahren typischerweise nicht einzelne Pixel aus Bilddaten eines Farbstoffs entfernt, sondern Teilstrukturen der Probe, d.h Bereiche, die als zusammenhängend bzw. als zu einer Teilstruktur der Probe gehörend erkannt werden, werden aus den Bilddaten eines Farbstoffs entfernt. Somit kann insbesondere ein strukturbasiertes Entfernen durchgeführt werden.
Dem falschen Farbstoff zugeordnete Elemente bzw. optische Artefakte können insbesondere Pixel bzw. Bereiche bzw. Teilstrukturen der Probe sein, die Bilddaten eines Farbstoffs bzw. einem Farbstoff falsch zugeordnet werden bzw. wurden. Dies bedeutet insbesondere, dass Pixel bzw. Bereiche bzw. Teilstrukturen, die beispielsweise mit nur einem ersten Farbstoff markiert sind, auch in von dem maschinellen Lernsystem erzeugten aufgeteilten Bilddaten eines zweiten Farbstoffs, der sich von dem ersten Farbstoff unterscheidet, vorhanden sind. Dem falschen Farbstoff zugeordnete Elemente bzw. optische Artefakte werden auch als Durchbluten oder Cross-Talk bezeichnet.
Die optische Achse des Mikroskops verläuft insbesondere entlang der Richtung, in die die Aufnahme mittels des Mikroskops getätigt wird.
Bevorzugte Ausführungsformen ergeben sich aus den Unteransprüchen. Nachfolgend wird die Erfindung anhand von Zeichnungen von Ausführungsbeispielen näher erläutert. Hierbei zeigen
Fig. 1 eine schematische Darstellung einer Ausführungsform des
erfindungsgemäßen Verfahrens zum Aufteilen eines oder mehrerer Bilder einer Probe in nach Farbstoffen aufgeteilte Bilddaten;
Fig. 2 ein Fluoreszenzbild einer Probe vor dem Aufteilen eines oder mehrerer Bilder einer Probe in nach Farbstoffen aufgeteilte Bilddaten gemäß einer
Ausführungsform des erfindungsgemäßen Verfahrens;
Fig. 3a, 3b nach Fluoreszenzfarbstoffen aufgeteilte Bilder des Fluoreszenzbilds aus Fig. 2 nach dem Aufteilen eines oder mehrerer Bilder einer Probe in nach
Farbstoffen aufgeteilte Bilddaten gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens; und Fig. 4a, 4b mittels linearen Unmixing gemäß dem Stand der Technik nach Fluoreszenzfarbstoffen aufgeteilte Kanäle bzw. Bilder.
Bei der nachfolgenden Beschreibung werden für gleiche und gleich wirkende Teile dieselben Bezugsziffern verwendet.
Fig. 1 zeigt eine schematische Darstellung einer Ausführungsform des erfindungsgemäßen Verfahrens zum Aufteilen eines oder mehrerer Bilder einer Probe in nach Farbstoffen aufgeteilte Bilddaten 30-32. Fig. 2 zeigt ein Fluoreszenzbild einer Probe vor dem Aufteilen eines oder mehrerer Bilder einer Probe in nach Farbstoffen aufgeteilte Bilddaten 30-32 gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens. Fig. 3a, 3b zeigen nach Fluoreszenzfarbstoffen aufgeteilte Bilder des Fluoreszenzbilds aus Fig. 2 nach dem Aufteilen eines oder mehrerer Bilder einer Probe in nach Farbstoffen aufgeteilte Bilddaten gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens.
Im Folgenden wird eine Ausführungsform mit Fluoreszenzbildern und Fluoreszenzfarbstoffen erläutert. Die Angaben und Erläuterungen gelten jedoch gleichfalls für Bilder im Allgemeinen und Farbstoffe im Allgemeinen.
Eine Probe wird üblicherweise mit mehr als einem Fluoreszenzfarbstoff, z.B. zwei oder drei Fluoreszenzfarbstoffen, markiert. Anschließend wird ein Fluoreszenzbild bzw. Bild 20 oder werden mehrere Fluoreszenzbilder der markierten Probe mittels eines Mikroskops aufgenommen.
Die Probe kann eine biologische Probe sein, z.B. lebendige oder tote Zellen oder lebendige oder tote Lebewesen, oder eine physikalische Probe, d.h. eine unbelebte Probe, sein.
Angestrebt ist, dass das oder die Fluoreszenzbilder möglichst genau bzw. zutreffend nach Fluoreszenzfarbstoffen in Bilder bzw. Bilddaten 30-32 aufgeteilt wird bzw. werden, so dass in jedem Bild bzw. jedem Satz von Bilddaten 30-32 nur Fluoreszenz eines
Fluoreszenzfarbstoffs vorhanden ist (sogenanntes Entmischen). Möglich ist jedoch auch, dass in einem Satz von Bilddaten 30-32 bzw. in einem Bild nur Fluoreszenz eines Fluoreszenzfarbstoffs vorhanden ist und in dem anderen Satz von Bilddaten 30-32 bzw. in einem anderen Bild die Fluoreszenz z.B. von den beiden übrigen Fluoreszenzfarbstoffen vorhanden ist.
Jedoch können bei bisher bekannten Methoden zum Aufteilen eines Bilds 20 bzw. von Bildern in nach Farbstoff aufgeteilte Bilddaten 30-32 sogenannte dem falschen Farbstoff zugeordnete Elemente bzw. optische Artefakte in den nach Fluoreszenzfarbstoffen aufgeteilten Bilddaten 30-32 auftreten. Ein dem falschen Farbstoff zugeordnetes Element bzw. ein optisches Artefakt ist bzw. sind Pixel bzw. eine Struktur oder Teilstruktur der Probe, die einem Satz von Bilddaten 30-32 bzw. einem Bild zugeordnet wird bzw. werden, der bzw. das nicht der dem Fluoreszenzfarbstoff entsprechende Satz bzw. Bild ist. D.h. nach dem erfolgten Aufteilen des Bilds 20 oder der Bilder 20 in Bilddaten 30-32 nach
Fluoreszenzfarbstoffen treten in dem Bild für einen ersten Fluoreszenzfarbstoff Pixel von (Teil-)Strukturen der Probe auf, die nur mit einem zweiten Fluoreszenzfarbstoff markiert sind. Dies wird auch als sogenanntes Durchbluten zwischen den verschiedenen Bildern/Bilddaten 30-32 bzw. als sogenannter Cross-Talk zwischen den Bildern/Bilddaten 30-32 bezeichnet.
Die dem falschen Farbstoff zu geordnete Elemente bzw. optischen Artefakte können z.B. durch zufällige Einflüsse (wie das Rauschen der Eingangsdaten bzw. der Fluoreszenzbilder) und/oder durch das nicht exakte Wissen über die Spektren der verwendeten
Fluoreszenzfarbstoffe entstehen oder begründet sein.
Für dieses Aufteilen in Bilddaten 30-32 bzw. Sätze von Bilddaten 30-32 nach
Fluoreszenzfarbstoff wird ein maschinelles Lernsystem 10 bzw. ein System zum
maschinellen Lernen verwendet. Das System ist zum Aufteilen eines oder mehrerer Bilder einer Probe in nach Farbstoffen aufgeteilte Bilddaten 30-32 ausgebildet und umfasst ein maschinelles Lernsystem 10.
Das maschinelle Lernsystem 10 kann ein sparse dictionary Lernsystem und/oder einen Autoencoder umfassen.
Das maschinelle Lernsystem 10 kann z.B. ein neuronales Netzwerk umfassen oder sein. Insbesondere kann das maschinelle Lernsystem 10 ein deep learning System umfassen oder sein. Auch ist es möglich, dass das maschinelle Lernsystem 10 ein convolutional neural network oder ein deep convolutional neural network umfasst oder ist.
Auch kann das maschinelle Lernsystem 10 ein mehrlagiges Perzeptron umfassen oder sein, bei dem es neben der Ausgabeschicht auch noch mindestens eine weitere Schicht verdeckter Neuronen gibt (sogenannter hidden layer). Alle Neuronen einer Schicht sind vollständig mit den Neuronen der nächsten Schicht vorwärts verknüpft (sogenanntes
Feedforward-Netz).
Darüber hinaus ist auch vorstellbar, dass das maschinelle Lernsystem 10 ein oder mehrere sogenannte Generative Adversarial Networks (erzeugende gegnerische Netzwerke) umfasst oder aus diesen besteht.
Das maschinelle Lernsystem 10 wird dahingehend bzw. darauf trainiert, das Aufteilen in nach Fluoreszenzfarbstoffen aufgeilte Bilddaten 30-32 von Bildern, insbesondere
Fluoreszenzbildern, vorzunehmen und dem falschen Farbstoff zugeordnete Elemente bzw. optische Artefakte zu entfernen bzw. das Vorhandensein von dem falschen Farbstoff zugeordneten Elementen bzw. optischen Artefakten zu verhindern bzw. zu unterdrücken. Hierzu wird bzw. werden die Struktur bzw. Strukturen der jeweils abgebildeten Probe berücksichtigt. Menschen können die dem falschen Farbstoff zugeordneten Elemente bzw. optischen Artefakte üblicherweise aufgrund der Kontextinformationen erkennen, z.B. wenn die identischen oder sehr ähnlichen Strukturen oder Teilstrukturen in unterschiedlicher Stärke bzw. Konzentration (z.B. Helligkeit) in mehr als einem Kanal, z.B. in in Bezug auf die Wellenlänge zueinander benachbarten Kanälen, auftreten.
Durch entsprechendes Training wird das maschinelle Lernsystem 10 darauf trainiert, auf Grundlage dieser Strukturen das Aufteilen eines oder mehrere Fluoreszenzbilder 20 in nach Fluoreszenzfarbstoffen aufgeteilte bzw. getrennte Bilddaten 30-32 durchzuführen, um Bilddaten 30-32 bzw. Bilder mit möglichst wenigen oder keinen dem falschen Farbstoff zugeordneten Elemente bzw. Artefakten (d.h. fehlzugeordneten Pixeln oder Strukturen) zu erzeugen. Das maschinelle Lernsystem 10 erkennt mindestens eine Teilstruktur der Probe, die in den nach Farbstoffen aufgeteilten Bilddaten 30-32 von mehr als einem Farbstoff vorhanden ist, als dem falschen Farbstoff zugeordnetes Elementes bzw. optisches Artefakt und entfernt die jeweilige Teilstruktur bzw. das oder die dem falschen Farbstoff zugeordneten Elemente bzw. das optische Artefakt aus den Bilddaten 30-32 eines oder mehrerer Farbstoffe bzw. verhindert das Auftreten bzw. Vorhandensein des dem falschen Farbstoff zugeordneten Elements bzw. optischen Artefakts in den ausgegebenen Bilddaten 30-32. Somit wird das Auftreten bzw. Vorhandensein von dem falschen Farbstoff zugeordneten Elementen bzw. optischen Artefakten in den Bilddaten 30-32 verhindert bzw. vermindert und folglich sinkt die Zahl der dem falschen Farbstoff zugeordneten Elemente bzw. optischen Artefakte in den erzeugten Bilddaten 30-32.
Die Eingabedaten, die in das maschinelle Lernsystem 10 eingegeben werden, können einen Stapel bzw. ein Bündel von Fluoreszenzbildern umfassen, welcher bzw. welches beliebig viele Kanäle beinhaltet.
Die Fluoreszenzbilder können Rohdaten, d.h. unbearbeitete Fluoreszenzbilder sein, oder aber als bereits gespeicherte/verrechnete Fluoreszenzbilder sein, d.h. als bereits bearbeitete Fluoreszenzbilder vorliegen. Die Fluoreszenzbilder, die in das maschinelle Lernsystem 10 als Eingabe eingegeben werden, können Single-Track-, Multi-Track- oder Lambda-Stack- Aufnahmen sein. Bei Multi-Track-Aufnahmen werden mehrere Aufnahmen bzw. Bilder 20 derselben Probe mit unterschiedlichen Einstellungen des Lasers und/oder des Detektors erstellt. Ein Lambda-Stack umfasst einen Stapel oder Satz von Bildern, die jeweils einen bestimmten Wellenlängenbereich umfassen. Die Wellenlängenbereiche eines Lambda- Stacks sind üblicherweise zueinander disjunkt und grenzen unmittelbar aneinander an.
Die Anzahl der Kanäle ist bei unbearbeiteten Fluoreszenzbildern vom Aufnahmemodus der Bilder 20 abhängig. Bei bereits bearbeiteten bzw. verrechneten Daten ist die Anzahl der Kanäle von der Bearbeitung bzw. Verrechnung der Bilder 20 bzw. Aufnahmen abhängig. Beispielsweise ist es möglich, dass die Fluoreszenzbilder bzw. die Eingabedaten des maschinellen Lernsystems 10 bereits Ergebnis eines linearen Unmixing, wie es aus dem Stand der Technik bekannt ist, sind. Durch das maschinelle Lernsystem 10 bzw. das erfindungsgemäße Verfahren wird die Zahl der dem falschen Farbstoff zugeordneten Elemente bzw. optischen Artefakte, die nach dem linearen Unmixing in den Bilddaten 30-32 bzw. Bildern noch vorhanden sind, verringert. Wenn die Eingabedaten bereits mittels linearem Unmixing nach Farbstoffen getrennte Kanäle sind, so kann die Anzahl an Kanälen der Eingabedaten und/oder Ausgabedaten des Verfahrens gleich der Anzahl an für die Markierung der Probe verwendeten Fluoreszenzfarbstoffe sein. Die Anzahl an Fluoreszenzbildern, die als Eingabe des maschinellen Lernsystems 10 verwendet werden, kann abhängig von der Art der Fluoreszenzbilder unterschiedlich sein.
Die Fluoreszenzbilder können unbearbeitete Fluoreszenzbilder sein, wobei die
Fluoreszenzbilder mittels Nutzung eines Detektorarrays erstellt werden (hierbei ist die Anzahl an Fluoreszenzbildern gleich der Anzahl an Detektorfenstern bzw. gleich der Anzahl an Kanälen des Detektors). Alternativ können die Fluoreszenzbilder Lambda-Stack-Aufnahmen sein (hierbei ist die Anzahl an Fluoreszenzbildern gleich der Anzahl an definierten Bändern des Lambda-Stacks). Weiter alternativ können die Fluoreszenzbilder Aufnahmen mit frei definierten Bandbreiten im Multi- oder Single-Track-Modus sein (hierbei ist die Anzahl an Fluoreszenzbildern typischerweise gleich der Anzahl an verwendeten Farbstoffen). Auch ist es vorstellbar, dass als Eingabe des maschinellen Lernsystems 10 ein einziges
Fluoreszenzbild verwendet wird.
Neben den Fluoreszenzbildern können die Eingabedaten des maschinellen Lernsystems 10 folgende weitere Informationen enthalten, die vom maschinellen Lernsystem 10
berücksichtigt werden: die im Fluoreszenzbild 20 vorhandenen Spektren der verwendeten
Fluoreszenzfarbstoffe, und/oder eine Spektrendatenbank der verwendeten Fluoreszenzfarbstoffe, welche für das Schätzen und Abgleichen der vorhandenen Spektren dienen kann, und/oder
Einstellungen bezüglich der Aufnahme der Fluoreszenzbilder, wie z.B. Laser- Einstellungen, Detektor-Einstellungen, Filtereinstellungen, Smart-Setup-Einstellungen und/oder Vorhersagen zum Cross-Talk bzw. zu den dem falschen Farbstoff zugeordneten Elementen bzw. optischen Artefakten.
Die Ausgabedaten des Verfahrens bzw. des maschinellen Lernsystems 10 enthalten üblicherweise nach Fluoreszenzfarbstoffen aufgeteilte Bilddaten 30-32 bzw. Bilder. Die Bilddaten 30-32 können selbst Bilder sein. Vorstellbar ist jedoch auch, dass das Verfahren bzw. das maschinelle Lernsystem 10 lediglich Daten bzw. Bilddaten 30-32 ausgibt, mittels denen nach Fluoreszenzfarbstoffen aufgeteilte Bilder berechnet bzw. erstellt werden können. Beispielsweise können die Daten bzw. Bilddaten ein Koeffizientenarray umfassen oder sein, welches für ein nachfolgendes lineares Unmixing zum Aufteilen des oder der
Fluoreszenzbilder nach Farbstoffen verwendet wird. Dies bedeutet, dass das maschinelle Lernsystem 10 die Koeffizienten für das lineare Unmixing derart errechnet bzw. bestimmt, dass die Anzahl an dem falschen Farbstoff zugeordneten Elementen bzw. optischen
Artefakten in den nach Fluoreszenzfarbstoffen aufgeteilten Bildern nach einem linearen Unmixing mit diesen Koeffizienten gering ist.
Auch ist es möglich, dass das Verfahren bzw. das maschinelle Lernsystem 10 sogenannte Differenzbilder ausgibt und/oder hierauf trainiert wird. Wenn die Differenzbilder jeweils von den entsprechenden mittels bisher bekannter Verfahren nach Fluoreszenzfarbstoffen aufgeteilten Bildern bzw. Kanälen abgezogen werden, so ergeben sich Bilder bzw. Bilddaten 30-32, in denen weniger oder sogar gar keine dem falschen Farbstoff zugeordnete Elemente bzw. optischen Artefakte mehr vorhanden sind. Dies bedeutet, dass für jeden Eingabekanal bzw. jedes Fluoreszenzbild, das in das maschinelle Lernsystem 10 eingegeben wird, von dem maschinellen Lernsystem 10 ein korrespondierendes Differenzbild erzeugt wird, wobei durch den Abzug bzw. Subtraktion des Differenzbilds von dem korrespondierenden
Fluoreszenzbild Fluoreszenzbilder (Ausgangsbilder) erzeugt werden, die weniger bis keine dem falschen Farbstoff zugeordnete Elemente bzw. optischen Artefakte enthalten bzw.
aufweisen.
Die Anzahl der Kanäle, die von dem Verfahren bzw. dem maschinellen Lernsystem 10 ausgegeben werden, kann beliebig sein. So ist es vorstellbar, dass die Bilder bzw. Bilddaten 30-32 nicht nur nach Fluoreszenzfarbstoffen aufgeteilt sind bzw. werden, sondern zusätzlich noch nach verschiedenen Bereichen oder Objekten der Fluoreszenzbilder aufgeteilt sind bzw. werden. Somit gibt es beispielsweise bei drei Fluoreszenzfarbstoffen und drei Objekten neun Kanäle bzw. neun Sätze von Bilddaten 30-32 als Ausgabe des Verfahrens bzw. des maschinellen Lernsystems 10. Auch ist es möglich, dass das Fluoreszenzbild in zwei Sätze von Bilddaten 30-32 hinsichtlich der drei verwendeten Fluoreszenzfarbstoffe aufgeteilt wird (nämlich einmal ein Fluoreszenzfarbstoff in einem Satz von Bilddaten bzw. in einem Bild und zwei Fluoreszenzfarbstoffe im anderen Satz von Bilddaten bzw. in einem anderen Bild), so dass sich bei drei Objekten sechs Ausgabekanäle bzw. Bilder (= 2 * 3) ergeben. Vorzugsweise entspricht die Anzahl der Kanäle, die von dem Verfahren bzw. dem
maschinellen Lernsystem 10 ausgegeben werden, der Anzahl der zur Markierung der Probe verwendeten Fluoreszenzfarbstoffe. Auch ist es möglich, dass die Anzahl der Kanäle der Anzahl der Fluoreszenzbilder, die als Eingabe verwendet werden, entspricht.
In den nach Farbstoffen aufgeteilten Bilddaten 30-32 kann jeweils die absolute Konzentration des jeweiligen Fluoreszenzfarbstoff bestimmt und angezeigt bzw. ausgegeben werden, wenn eine Kalibrierung durchgeführt wurde, d.h. wenn bestimmt wurde, welcher Helligkeitswert welcher Konzentration jeweils entspricht.
Darüber hinaus können Zusatzinformationen von dem Verfahren bzw. dem maschinellen Lernsystem 10 zusätzlich zu den Bilddaten 30-32 bzw. Kanälen ausgegeben werden. Dies können beispielsweise Informationen sein, die für eine Weiterverarbeitung der Kanäle bzw. Bilddaten 30-32 oder für Darstellungszwecke für den Betrachter der ausgegebene Kanäle bzw. Bilddaten 30-32 hilfreich sein können. Insbesondere können die Zusatzinformationen die selektierten Spektren der verwendeten Fluoreszenzfarbstoffe (falls eine
Spektrendatenbank Teil der Eingabe war), die geschätzten Spektren der verwendeten Fluoreszenzfarbstoffe (falls die Spektren der Fluoreszenzfarbstoffe nicht Teil der Eingabe waren) und/oder die verfeinerten bzw. präziser bestimmten Spektren der
Fluoreszenzfarbstoffe (falls die Spektren und/oder eine Spektrendatenbank Teil der Eingabe war) umfassen oder sein.
Falls eine Spektrendatenbank vorhanden ist bzw. Teil der Eingabe war, können außerdem die Kennzeichnungen bzw. Namen der verwendeten Fluoreszenzfarbstoffe ausgegeben werden. Eine Spektrendatenbank gibt an, welche Spektren bzw. Wellenlängen die verschiedenen Fluoreszenzfarbstoffe jeweils aufweisen.
Wenn die Konzentrationen der Fluoreszenzfarbstoffe von dem Verfahren bzw. dem maschinellen Lernsystem 10 geschätzt werden, kann die Konfidenz für jedes Pixel bzw. jede Teilstruktur von dem Verfahren bzw. dem maschinellen Lernsystem 10 ausgegeben bzw. angegeben werden. Die Konfidenz gibt an, mit welcher Wahrscheinlichkeit das jeweilige Pixel dem jeweiligen Fluoreszenzfarbstoff zutreffend zugeordnet wurde. Auch ist es möglich, dass das maschinelle Lernsystem 10 bzw. das Verfahren Art, Größe, Anzahl etc. der mit den Fluoreszenzfarbstoffen markierten Objekte in der Probe bestimmt und ausgibt. Beispielsweise kann die Anzahl der markierten Zellen von dem Verfahren bzw. maschinellen Lernsystem 10 bestimmt und ausgegeben werden.
Das Aufteilen der Fluoreszenzbilder 20 in Sätze von Bilddaten 30-32 bzw. Kanäle mittels des maschinellen Lernsystems 10 kann auf Grundlage der unbearbeiteten Fluoreszenzbilder und/oder auf Grundlage von bereits bearbeiteten bzw. bereits nach Fluoreszenzfarbstoffen getrennten Kanäle bzw. Bilder stattfinden.
Zunächst wird im Folgenden ein Verbessern von bereits mit Verfahren nach dem Stand der Technik bearbeiten Fluoreszenzbildern erläutert.
Die Fluoreszenzbilder 20, die als Eingabe für das Verfahren bzw. das maschinelle
Lernsystem 10 dienen, können Fluoreszenzbilder (z.B. Einzelbilder und/oder Detektor-Stack- Bilder) sein, die bereits mittels eines Denoising-Algorithmus' entrauscht wurden.
Es ist möglich, dass die Bilddaten, die von dem maschinellen Lernsystem ausgegeben werden, mittels des maschinellen Lernsystems zumindest teilweise entrauscht wurden.
Auch ist es möglich, dass, wenn die Spektren der Fluoreszenzfarbstoffe bereits vorliegen (aus einer Datenbank oder aufgrund einer Schätzung), die Spektren der
Fluoreszenzfarbstoffe genauer bestimmt werden, d.h. dass die Spektren bzw. die Kanäle der Spektren den tatsächlichen Werten der Spektren bzw. Grenzen der unterschiedlichen Fluoreszenzfarbstoffe angenähert und/oder der vorliegenden Probe angepasst werden. Liegen die Spektren der verwendeten Fluoreszenzfarbstoffe nicht vor, so ist möglich anhand der Fluoreszenzbilder, die als Eingabe in das Verfahren bzw. das maschinelle Lernsystem 10 eingehen, die Spektren der Fluoreszenzfarbstoffe direkt zu bestimmen. Hierzu wird das maschinelle Lernsystem 10 derart trainiert, dass dieses eine Abbildung der Eingabedaten bzw. Fluoreszenzbilder auf die Spektren lernt. Nach einem durchgeführten linearen oder nicht-linearen Unmixing können dem falschen Farbstoff zugeordnete Elemente bzw. optische Artefakte (sogenanntes Durchbluten von einem Kanal bzw. von Bilddaten 30-32 eines Fluoreszenzfarbstoffs in Bilddaten 30-32 eines anderen Fluoreszenzfarbstoffs) mittels des Verfahrens bzw. des maschinellen Lernsystems 10 auf Basis der in der oder den Fluoreszenzbildern vorhandenen Strukturen berichtigt bzw. beseitigt werden. Der Vorteil dieser strukturbasierten Analyse bzw. Verarbeitung ist u.a., dass sich ein Durchbluten anhand von identischen Strukturen an der räumlich gleichen Stelle in meist zueinander unmittelbar benachbarten Kanälen der Ausgabe bzw. Bilddaten 30-32 leicht feststellen lässt. Ausschlaggebend ist hierbei nicht die Art oder der Typ der Struktur an sich, sondern die Position und Ausprägung in den verschiedenen Kanälen bzw. Bilddaten 30-32. Dieser Zusammenhang kann mittels maschinellem Lernen anhand einer
repräsentativen Trainingsstichprobe gelernt werden, wobei es verschiedene Möglichkeiten der Abbildung von Eingabe- auf Ausgabedaten gibt.
Bei einer ersten Möglichkeit werden die Eingabedaten bzw. Fluoreszenzbilder mittels eines sogenannten Patch-based Verfahrens analysiert bzw. bestimmt, wobei bei dieser Art der Analyse ein Bild anhand von Bildausschnitten des Bilds analysiert wird bzw. Bildausschnitt für Bildausschnitt verarbeitet wird. Hierbei werden die aus dem linearen oder nicht-linearen Unmixing resultierenden Eingabedaten bzw. Bilder durch das maschinelle Lernsystem 10 in Kacheln (Patches) aufgeteilt. Der für das maschinelle Lernsystem 10 zur Verfügung stehende Kontext, also die sichtbaren Strukturen, ist dabei durch die Größe des Patches beschränkt. Jeder Eingabe-Patch des maschinellen Lernsystems 10 wird auf einen Ausgabe- Patch abgebildet, wobei ein Durchbluten zwischen den Kanälen bzw. Bilddaten 30-32 der verschiedenen Farbstoffe durch das maschinelle Lernsystem 10 unterdrückt bzw. verhindert wird. Abschließend werden die Ausgabe-Patches zu einem Gesamtbild bzw. einem Kanal zusammengesetzt. Dies bedeutet, dass dem maschinellen Lernsystem 10 nacheinander Bereiche bzw. Patches des Gesamtfluoreszenzbilds eingegeben werden und die Bereiche bzw. Patches nach dem Aufteilen nach Farbstoffen wieder zu einem Gesamtfluoreszenzbild zusammengesetzt werden.
Eine zweite Möglichkeit umfasst eine sogenannte Bild-zu-Bild-Transformation, wobei das maschinelle Lernsystem 10 eine Abbildung von dem Gesamtfluoreszenzbild auf
Gesamtbilder bzw. Bilddaten 30-32 des Gesamtbilds lernt bzw. hierauf trainiert wird. Das Vorgehen ist größtenteils identisch zu dem zuvor beschriebenen Patch-based Verfahren, wobei jedoch durch die Verwendung des Gesamtbildes ein wesentlich größerer Kontext durch das maschinelle Lernsystem 10 berücksichtigt werden kann. Das maschinelle Lernsystem 10 gibt nach Farbstoffen aufgeteilte Kanäle bzw. Bilder bzw. Bilddaten 30-32 des Gesamtbilds aus.
Darüber hinaus kann es vorteilhaft sein, das maschinelle Lernsystem 10 nicht auf das Ausgeben der nach Farbstoffen zutreffend aufgeteilten Bilder oder Bilddaten 30-32 selbst zu trainieren, sondern auf eine Korrektur bzw. auf eine Differenz zwischen den bereits vorhandenen Bilddaten 30-32 und den um dem falschen Farbstoff zugeordnete Elemente bzw. optische Artefakte bereinigten Bilddaten 30-32 zu trainieren und solche Bilddaten 30-32 auszugeben. Dies bedeutet zum Beispiel, dass für jeden Kanal der Ausgabe bzw. jeden Satz von Bilddaten bzw. Bildern eines linearen Unmixings gemäß des Stands der Technik mittels des maschinellen Lernsystems 10 ein Differenzbild geschätzt bzw. erzeugt wird, um welches der jeweilige Kanal der Ausgabe des linearen Unmixing korrigiert werden muss, um zu Bilddaten 30-32 zu gelangen, bei denen dem falschen Farbstoff zugeordnete Elemente bzw. optische Artefakte entfernt wurden bzw. nicht mehr vorhanden sind bzw. nicht mehr auftreten. Das Differenzbild gibt jeweils die Differenz bzw. den Unterschied zwischen der Ausgabe des linearen Unmixings und der durch das maschinelle Lernsystem 10 um dem falschen Farbstoff zugeordnete Elemente bzw. optische Artefakte bereinigte Bilddaten 30-32 bzw. Bilder an. Der Vorteil hiervon ist, dass solche Differenzbilder vom Menschen beim Training des maschinellen Lernsystems 10 intuitiver interpretiert werden können und somit dem falschen Farbstoff zugeordnete Elemente bzw. optische Artefakte leichter erkannt werden können. Zudem ist für den Menschen die Korrektur durch das maschinelle
Lernsystem 10 leichter nachvollziehbar, so dass dies eine höhere Akzeptanz aufweist.
Zudem hat sich gezeigt, dass das Training eines maschinellen Lernsystems 10 auf
Differenzbilder bzw. zum Erzeugen von Differenzbildern (sogenanntes Residual Learning) technisch sehr einfach ist und sehr gute Ergebnisse liefert, d.h. hierdurch die Zahl an dem falschen Farbstoff zugeordneten Elementen bzw. optischen Artefakten stark verringert wird, evtl sogar stärker verringert wird als bei einem Training des maschinellen Lernsystem 10 zum direkten Ausgeben von Bilddaten 30-32 mit wenigen dem falschen Farbstoff zugeordneten Elementen bzw. optischen Artefakten.
Nun wird nachfolgend ein Verbessern von unbearbeiteten Fluoreszenzbildern mittels des Verfahrens bzw. des maschinellen Lernens beschrieben.
Hierbei wird das Aufteilen in nach Fluoreszenzfarbstoff geordnete Bilddaten 30-32 vollständig aus den Eingabedaten gelernt. Hierbei wird das maschinelle Lernsystem 10 derart trainiert, dass direkt vom Eingabestack bzw. von den Fluoreszenzbildern auf den Ausgabestack bzw. die Bilddaten 30-32 bzw. Bilder abgebildet wird. Voraussetzung hierbei ist eine hinreichend große Datenbasis zum Trainieren des maschinellen Lernsystems 10, wobei die Datenbasis im Wesentlichen alle zu erwartenden Variationen bzw. Möglichkeiten abdeckt. Dies wird durch eine Simulation erreicht, bei welcher eine Vielzahl von Aufnahmen, bei denen die Probe jeweils nur mit einem Farbstoff markiert bzw. gefärbt wurde, zu einem Eingabestack oder zu einem einzelnen Fluoreszenzbild vermischt bzw. addiert werden und dies jeweils als Eingabe für das maschinelle Lernsystem 10 verwendet wird. Die Aufnahmen, bei denen die Probe jeweils nur mit einem Farbstoff markiert bzw. gefärbt wurde, werden als Referenzbilder verwendet, die von dem maschinellen Lernsystem 10 als Bilddaten 30-32 ausgegeben werden sollen. Es ist auch möglich verschiedene Ausgangsdaten bzw. Kanäle, wie beispielsweise Single- und Multitrackdaten oder auch Lambdastacks als Eingabedaten des maschinellen Lernsystems 10 zu simulieren.
Zudem können die Eingabedaten bzw. der Eingabestack künstlich verrauscht werden, um die Eingabedaten echten Fluoreszenzbildern bzw. echten Aufnahmebedingungen noch stärker anzunähern. Gerade im Falle von Singletrackaufnahmen oder Lambdastacks liegt oft ein niedrigeres Signal-zu-Rausch-Verhältnis, d.h. ein starkes Rauschen, vor. Als ground- truth Daten, d.h. als anzustrebende Ausgabe des maschinellen Lernsystems 10, auf das trainiert wird, dienen jene Einzelbilder, welche zur Erzeugen der Eingabedaten bzw. des Eingabestacks miteinander vermischt bzw. addiert wurden. Hierbei wird eine Abbildung von Bildstapel auf Bildstapel durchgeführt.
Ein weitere Möglichkeit neben dem Verbessern von bereits mit Verfahren nach dem Stand der Technik bearbeiten Fluoreszenzbildern sowie dem Verbessern von unbearbeiteten Fluoreszenzbildern mittels des Verfahrens bzw. des maschinellen Lernens ist, dass das Unmixing, d.h. das Entmischen bzw. Aufteilen des oder der in das maschinelle Lernsystem 10 eingegebenen Bilder nach Farbstoffen, implizit gelernt wird, d.h. alle notwendigen
Parameter, welche beim klassischen linearen Unmixing geschätzt oder vorgegeben werden, können mit Hilfe des maschinellen Lernsystems 10 prädiziert bzw. bestimmt werden.
So können zum Beispiel die Koeffizienten (A) zum Lösen des Gleichungssystems des linearen Unmixings, die Anzahl an Spektren, die Spektren selbst oder eine Kombination dieser durch das maschinelle Lernsystem 10 ausgegeben werden. Generell wird dabei eine Abbildung von einem Eingabestack bzw. von mehreren Fluoreszenzbildern auf eine Zwischenrepräsentation durchgeführt, d.h. es werden Bilddaten 30-32 bzw. Daten zum Aufteilen der Fluoreszenzbilder in Kanäle durch das maschinelle Lernsystem 10 erzeugt. Mittels der Daten und z.B. dem linearen Unmixing können die in das maschinelle Lernsystem 10 eingegebenen Fluoreszenzbilder derart in nach Farbstoffen aufgeteilte bzw. getrennte Bilder bzw. Bilddaten 30-32 aufgeteilt werden, dass diese wenig bis keine dem falschen Farbstoff zugeordnete Elemente bzw. optischen Artefakte aufweisen. Darüber hinaus können auch hier Zusatzinformationen in das maschinelle Lernsystem 10 eingegeben werden, wie beispielsweise Informationen über die Spektren der verwendeten Farbstoffe.
Es ist auch möglich, dass Zusatzinformation (Bezeichnung der verwendeten Farbstoffe, Anzahl der verwendeten Farbstoffe) über die Spektren und/oder anhand der auftretenden Strukturen im Fluoreszenzbild, das in das maschinelle Lernsystem 10 eingegeben wird, durch das maschinelle Lernsystem 10 geschätzt bzw. bestimmt werden. So weisen beispielsweise Zellkern-Strukturen bei einer biologischen Probe auf den häufig verwendeten Fluoreszenzfarbstoff DAPI (4',6-Diamidin-2-phenylindol) hin, so dass beim Erkennen von Zellkern-Strukturen das maschinelle Lernsystem 10 davon ausgehen kann, dass dieser Fluoreszenzfarbstoff verwendet wurde.
Auch können Fluoreszenzbilder in Form eines Z-Stacks in das maschinelle Lernsystem 10 eingegeben werden, d.h. Fluoreszenzbilder, die von derselben Probe entlang der optischen Achse des Mikroskops zueinander versetzt aufgenommen wurden, und diese Bilder mittels des Verfahrens bzw. des maschinellen Lernsystems 10 in Bilddaten 30-32 bzw. Bilder nach Farbstoffen getrennt aufgeteilt werden. Hierbei kann die Struktur der Probe und/oder ähnliche bzw. identische Strukturen in den Kanälen bzw. Bildern der Ausgabe durch das maschinelle Lernsystem 10 erkannt und dadurch dem falschen Farbstoff zugeordnete Elemente bzw. optische Artefakte entfernt werden bzw. das Auftreten von dem falschen Farbstoff zugeordneten Elementen bzw. optischen Artefakten verhindert werden.
Darüber hinaus können zeitlich zueinander versetzte Aufnahmen als Fluoreszenzbilder bzw. Eingabe des Verfahrens bzw. des maschinellen Lernsystems 10 verwendet werden. Hierbei kann die Struktur der Probe und/oder ähnliche bzw. identische Strukturen in den Kanälen der Ausgabe durch das maschinelle Lernsystem 10 erkannt und dadurch Artefakte entfernt werden bzw. das Auftreten von dem falschen Farbstoff zugeordneten Elementen bzw.
optischen Artefakten verhindert bzw. vermindert werden. Das maschinelle Lernsystem 10 kann jeweils an die Probe bzw. Probenart (z.B. biologische Probe oder physikalische Probe etc.) angepasst werden oder hierauf spezifisch trainiert werden. Vorstellbar ist jedoch auch, dass das maschinelle Lernsystem 10 unabhängig von der Probe nicht aktiv verändert wird.
Die Kanäle bzw. Sätze von Bilddaten 30-32, die von dem maschinellen Lernsystem 10 ausgegeben werden, kann gleich der Anzahl der Fluoreszenzbilder der Eingabe bzw. der Eingabekanäle sein. Die Anzahl der Ausgabekanäle des maschinellen Lernsystems 10 kann auch der Anzahl der Objekte, die die Probe aufweist, entsprechen.
Die Unterscheidung, ob ein bestimmtes Element bzw. eine Struktur bzw. ein Pixel in dem Fluoreszenzbild ein dem falschen Farbstoff zugeordnetes Element bzw. optisches Artefakt ist oder nicht, basiert auf Strukturinformationen bzw. erkannten Strukturen oder Teilstrukturen der Probe im Fluoreszenzbild, d.h. dass das gesamte Fluoreszenzbild als Kontext in das Aufteilen in Bilddaten 30-32 bzw. Bilder nach Fluoreszenzfarbstoff eingeht.
Das maschinelle Lernsystem 10 kann auf einem handelsüblichen Computer bzw. Rechner vorhanden sein bzw. implementiert werden. Auch ist es vorstellbar, dass das maschinelle Lernsystem 10 auf einem speziell für das maschinelle Lernsystem 10 konzipiertem Computer bzw. Rechner implementiert wird. Insbesondere können die Prozessoren einer Grafikkarte oder mehrerer Grafikkarten für die notwendigen Berechnungen des maschinellen
Lernsystems 10 bzw. des Verfahrens verwendet werden.
Das Verfahren zum Trainieren des maschinellen Lernsystems 10 kann beispielsweise folgendermaßen durchgeführt. Dem maschinellen Lernsystem 10 wird ein Fluoreszenzbild eingegeben. Das maschinelle Lernsystem 10 teilt das Fluoreszenzbild in nach
Fluoreszenzfarbstoffen geordnete Bilddaten 30-32 bzw. Bilder auf. Zudem kennzeichnet bzw. hat ein Mensch in den jeweiligen Kanälen, die Strukturen bzw. Bereiche, die dem falschen Farbstoff zugeordnete Elemente bzw. optische Artefakte darstellen (sogenanntes Durchbluten), d.h. die Strukturen bzw. Bereiche, die dem jeweiligen Bild bzw. Kanal fehlzugeordnet wurden, gekennzeichnet bzw. entfernt. Diese von dem falschen Farbstoff zugeordneten Elementen bzw. optischen Artefakten befreiten Bilddaten 30-32 bzw. Bilder werden dem maschinellen Lernsystem 10 als Zielausgabe oder Sollausgabe eingegeben. Hieraus lernt das maschinelle Lernsystem 10, solche dem falschen Farbstoff zu geordnete Elemente bzw. optischen Artefakte in Zukunft zu vermeiden. Auf diese Weise lernt das maschinelle Lernsystem 10 beaufsichtigt.
Eine weitere Möglichkeit das maschinelle Lernsystem 10 zu trainieren ist, Bilder, in denen jeweils dieselbe Probe oder zueinander identische oder ähnliche Proben jeweils nur mit einem Fluoreszenzfarbstoff markiert ist bzw. sind, als Trainingsdaten zu verwenden. Diese Bilder werden miteinander gemischt bzw. addiert und das Ergebnis wird als Fluoreszenzbild oder Fluoreszenzbilder als Eingabe des maschinellen Lernsystems 10 verwendet. Da die ursprünglichen nach Fluoreszenzfarbstoff getrennten Bilder vorliegen, kann das maschinelle Lernsystem 10 ohne Aufsicht und menschliches Zutun selbst erkennen, welche Strukturen bzw. Bereiche bzw. Pixel des Ergebnisses bzw. der ausgegebenen Bilddaten 30-32 des maschinellen Lernsystems 10 ein dem falschen Farbstoff zugeordnetes Element bzw.
optisches Artefakt darstellen und welche nicht. Hierdurch kann das maschinelle Lernsystem 10 sehr schnell trainiert werden.
Die Fluoreszenzbilder können auch Bilder sein, die mittels Zwei-Photonen- Fluoreszenzmikroskopie aufgenommen wurden. Hierbei wird auch das sogenannte Second and Third Harmonie Generation (d.h. Frequenzverdopplung und/oder
Frequenzverdreifachung) berücksichtigt.
Das maschinelle Lernsystem 10 kann ein neuronales Netzwerk, insbesondere ein sogenanntes deep neurales Netzwerk, umfassen. Das neuronale Netzwerk umfasst beispielsweise mehr als drei Schichten, so dass mehr als ein sogenannter hidden layer (versteckte Schicht) vorhanden ist.
Das maschinelle Lernsystem 10 kann ein convolutional neural Network (CNN) umfassen oder sein. Hierbei umfasst das maschinelle Lernsystem 10 einen convolutional layer, der aus einer zweidimensionalen oder dreidimensionalen Matrix bestehend aus Pixel besteht. Über eine diskrete Faltung wird die Aktivität jeden Neurons dieser Ebene berechnet. Auf den convolutional layer folgend ist eine sogenannte pooling layer vorhanden, in der überflüssige Informationen verworfen werden. Nachfolgend können wieder ein convolutional layer und darauf ein pooling layer etc. folgen. Schließlich folgt auf den letzten pooling layer ein fully- connected layer. Die Neuronen des fully-connected layers entspricht üblicherweise der Anzahl an Kanälen, in die das Fluoreszenzbild aufgeteilt werden soll. Lineares Unmixing wird beispielsweise in dem Artikel“Clearing up the Signal: spectral imaging and linear unmixing in fluorescence microscopy” beschrieben, der in der Zeitschrift “Methods in Molecular Biology“ im Jahr 2014, 1075:129-48 (doi: 10.1007/978-1-60761-847- 8_5) veröffentlicht wurde.
Bei linearem Unmixing wird z.B. davon ausgegangen, dass ein Pixel als linear gemischt kategorisiert wird, wenn das gemessene Spektrum (S(A)) dem Gewicht (A) jedes individuellen Fluoreszenzfarbstoffreferenzspektrums (R(A) entspricht):
S(A) = A1 *R1 (A) + A2*R2(A) + A3*R3(A) . Ai*Ri(A)
Wobei dies allgemeiner ausgedrückt werden kann als:
S(A) = S Ai*Ri(A) or S = A*R
In diesen Gleichungen wird das Signal in jedem Pixel (S) während der Aufnahme des Lambda-Stacks gemessen und das Referenzspektrum der bekannten Fluoreszenzfarbstoff wird üblicherweise unabhängig voneinander in Proben, die jeweils nur mit einem Farbstoff markiert sind unter identischen Instrumenteneinstellungen, gemessen. Durch Algebra können die Beiträge der verschiedenen Farbstoffe (Ai) durch Berechnung ihres Beitrags zu jedem Punkt in dem gemessenen Spektrum bestimmt werden. Beispielsweise kann dies durch Minimieren des Quadrats zwischen den gemessenen und den berechneten Spektren durch Anwenden der folgenden Differentialgleichungen bestimmt werden:
[3Zj {S (Aj ) - Sί Ai-Ri(Aj)}2] / 5Ai = 0
In dieser Gleichung, stellt j die Anzahl an Detektionskanälen dar und i entspricht der Anzahl an Farbstoffen.
Es ist auch möglich, dass das Convolutional Neural Network (CNN) ein nicht-verjüngendes Netz umfasst oder ist. Bezugszeichenliste
10 maschinelles Lernsystem
20 Bild der Probe
30, 31 , 32, 30‘, 31‘ nach Farbstoffen aufgeteilte Bilddaten

Claims

Ansprüche
1. Verfahren zum Aufteilen eines oder mehrerer Bilder (20) einer Probe in nach
Farbstoffen aufgeteilte Bilddaten (30-32), wobei die Probe mindestens zwei unterschiedliche Farbstoffe, insbesondere Fluoreszenzfarbstoffe, aufweist, wobei das Verfahren folgende Schritte umfasst:
Bereitstellen des einen oder der mehreren Bilder (20) der Probe;
Eingeben des einen oder der mehreren Bilder (20) in ein maschinelles Lernsystem (10); und
Erzeugen der nach Farbstoffen aufgeteilten Bilddaten (30-32) aus dem oder den Bildern (20) mittels des maschinellen Lernsystems (10),
wobei das maschinelle Lernsystem (10) mindestens eine Teilstruktur der Probe, die in den nach Farbstoffen aufgeteilten Bilddaten (30-32) von mehr als einem Farbstoff vorhanden ist, aus den Bilddaten (30-32) eines oder mehrerer Farbstoffe entfernt.
2. Verfahren nach Anspruch 1 , ferner folgende Schritte umfassend:
Eingeben von Referenzbildern in das maschinelle Lernsystem (10); und
Vergleichen der mittels des maschinellen Lernsystems (10) nach Farbstoffen aufgeteilten Bilddaten (30-32) der Referenzbilder mit nach Farbstoffen zutreffend aufgeteilten Bilddaten (30-32) der Referenzbilder zum Trainieren des maschinellen Lernsystems (10) zum verbesserten Aufteilen des einen oder der mehreren Bilder (20) der Probe in nach Farbstoffen aufgeteilte Bilddaten (30-32).
3. Verfahren nach Anspruch 1 oder 2, wobei
das maschinelle Lernsystem (10) ein neuronales Netzwerk, insbesondere ein deep learning System und/oder ein Convolutional Neural Network, umfasst oder ist.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei
das oder die Bilder (20) vor dem Eingeben in das maschinelle Lernsystem (10) einem linearen oder nicht-linearen Unmixing und/oder einem Entrauschen unterzogen werden.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei
das Entfernen von Teilstrukturen der Probe auf Grundlage der Struktur der Probe durchgeführt wird, wobei insbesondere optische Artefakte in den Bilddaten (30-32) anhand von identischen und/oder ähnlichen Teilstrukturen in den Bilddaten (30-32) verschiedener Farbstoffe bestimmt werden.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei
neben dem einen oder mehreren Bildern (20) Spektren der verwendeten Farbstoffe, eine Spektrendatenbank zum Schätzen und/oder Abgleichen der vorhandenen Spektren der Farbstoffe in dem einen oder mehreren Bildern (20),
Aufnahmeeinstellungen und/oder Filtereinstellungen des einen oder der mehreren Bilder (20), Detektoreinstellungen des einen oder der mehreren Bilder (20) und/oder Vorhersagen zum Cross-Talk zwischen den verschiedenen nach Farbstoffen aufgeteilten Bilddaten (30-32) zusätzlich in das maschinelle Lernsystem (10) eingegeben werden.
7. Verfahren nach einem der vorhergehenden Ansprüche, wobei
die Bilddaten (30-32) Ausgangsbilder umfassen, wobei insbesondere jedes
Ausgangsbild jeweils einen Farbstoff des oder der eingegebenen Bilder (20) zeigt.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei
das maschinelle Lernsystem (10) ein Koeffizientenarray für ein lineares Unmixing erzeugt, wobei mittels des linearen Unmixing auf Basis des Koeffizientenarray das eine oder die mehreren Bilder (20) nach Farbstoffen aufgeteilt wird.
9. Verfahren nach einem der vorhergehenden Ansprüche, wobei
das maschinelle Lernsystem (10) aus den nach Farbstoffen aufgeteilten Bilddaten (30-32) ein oder mehrere Differenzbilder erzeugt, wobei bereits nach Farbstoffen vorgetrennte Bilder minus des jeweiligen erzeugten dazugehörigen Differenzbildes nach Farbstoffen getrennte Ausgangsbilder erzeugen.
10. Verfahren nach einem der vorhergehenden Ansprüche, wobei
die mehreren Bilder (20)
zeitlich zueinander versetzte Aufnahmen derselben Probe
und/oder
entlang einer optischen Achse eines Mikroskops, mit dem die Bilder (20) aufgenommen wurden, zueinander versetzte Aufnahmen derselben Probe umfassen oder sind.
11. Verfahren nach einem der vorhergehenden Ansprüche, wobei
das maschinelle Lernsystem (10) zusätzlich die Anzahl der zur Markierung der Probe verwendeten Farbstoffe bestimmt oder schätzt und/oder die zur Markierung der Probe verwendeten Farbstoffe identifiziert.
12. Verfahren nach einem der vorhergehenden Ansprüche, wobei
das maschinelle Lernsystem (10) ferner
für jedes Pixel der ausgegebenen Bilddaten (30-32) einen Konfidenzwert bestimmt, der die Wahrscheinlichkeit angibt, dass dieses Pixel den dem Farbstoff
entsprechenden zutreffenden Bilddaten (30-32) zugeordnet wurde
und/oder
die absolute Konzentration des jeweiligen Farbstoffs in den jeweiligen Bilddaten (30-
32) bestimmt
und/oder
die Anzahl der Objekte in der Probe bestimmt.
13. Verfahren nach einem der vorhergehenden Ansprüche, wobei
das maschinelle Lernsystem (10) mittels erster Trainingsaufnahmen trainiert wird, wobei die ersten Trainingsaufnahmen Aufnahmen von jeweils nur mit einem Farbstoff markierten Proben umfassen,
und/oder
mittels zweiter Trainingsaufnahmen trainiert wird, wobei die zweiten
Trainingsaufnahmen zusammengesetzte Aufnahmen von bereits jeweils nach Farbstoff zutreffend aufgeteilten Bilddaten (30-32) umfassen.
14. Verfahren nach einem der Ansprüche 2-13, wobei
die nach Farbstoffen zutreffend aufgeteilten Bilddaten (30-32) simulierte Bilddaten umfassen oder sind, insbesondere mittels eines physikalischen Modells erzeugte simulierte Bilddaten umfassen oder sind, wobei vorzugsweise das physikalische Modell ein physikalisches Modell einer Aufnahmeoptik umfasst, und/oder die
Referenzbilder mittels eines physikalischen Modells aus den nach Farbstoffen zutreffend aufgeteilten Bilddaten (30-32) erzeugt werden.
15. Verfahren nach einem der vorhergehenden Ansprüche, wobei
das maschinelle Lernsystem (10) Spektren der Farbstoffe bestimmt.
16. Computerprogrammprodukt, das von einem Prozessor eines Computers lesbare Instruktionen aufweist, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen, das Verfahren nach einem der vorhergehenden Ansprüche auszuführen.
17. Computerlesbares Medium, auf dem das Computerprogrammprodukt nach Anspruch 16 gespeichert ist.
18. System zum Aufteilen eines oder mehrerer Bilder (20) einer Probe in nach
Farbstoffen aufgeteilte Bilddaten (30-32), wobei die Probe mindestens zwei unterschiedliche Farbstoffe, insbesondere Fluoreszenzfarbstoffe, aufweist, wobei das System ein maschinelles Lernsystem (10) umfasst, das darauf trainiert ist, folgendes auszuführen:
Erzeugen der nach Farbstoffen aufgeteilten Bilddaten (30-32) aus einem oder mehreren in das maschinelle Lernsystem (10) eingegebenen Bildern (20) der Probe mittels des maschinellen Lernsystems (10),
wobei das maschinelle Lernsystem (10) mindestens eine Teilstruktur der Probe, die in den nach Farbstoffen aufgeteilten Bilddaten (30-32) von mehr als einem Farbstoff vorhanden ist, aus den Bilddaten (30-32) eines oder mehrerer Farbstoffe entfernt.
PCT/EP2019/054558 2018-02-28 2019-02-25 Verfahren zum aufteilen eines oder mehrerer bilder einer probe in nach farbstoffen aufgeteilte bilddaten, computerprogrammprodukt, computerlesbares medium, auf dem das computerprogrammprodukt gespeichert ist, und system zum aufteilen eines oder mehrerer bilder einer probe in nach farbstoffen aufgeteilte bilddaten WO2019166361A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/733,532 US11430232B2 (en) 2018-02-28 2019-02-25 Method for splitting one or more images of a sample into image data split according to dyes, computer program, computer-readable medium storing the program and system for performing the method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018104616.2 2018-02-28
DE102018104616.2A DE102018104616A1 (de) 2018-02-28 2018-02-28 Verfahren zum Aufteilen eines oder mehrerer Bilder einer Probe in nach Farbstoffen aufgeteilte Bilddaten, Computerprogrammprodukt, computerlesbares Medium, auf dem das Computerprogrammprodukt gespeichert ist, und System zum Aufteilen eines oder mehrerer Bilder einer Probe in nach Farbstoffen aufgeteilte Bilddaten

Publications (1)

Publication Number Publication Date
WO2019166361A1 true WO2019166361A1 (de) 2019-09-06

Family

ID=65576355

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/054558 WO2019166361A1 (de) 2018-02-28 2019-02-25 Verfahren zum aufteilen eines oder mehrerer bilder einer probe in nach farbstoffen aufgeteilte bilddaten, computerprogrammprodukt, computerlesbares medium, auf dem das computerprogrammprodukt gespeichert ist, und system zum aufteilen eines oder mehrerer bilder einer probe in nach farbstoffen aufgeteilte bilddaten

Country Status (3)

Country Link
US (1) US11430232B2 (de)
DE (1) DE102018104616A1 (de)
WO (1) WO2019166361A1 (de)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3961194B1 (de) * 2020-08-25 2023-11-08 Korea Advanced Institute of Science and Technology Verfahren und vorrichtung zur multiplexierten bildgebung von biomolekülen durch iteratives entmischen von fluorophorsignalen
DE102020127385B3 (de) 2020-10-16 2022-03-10 Abberior Instruments Gmbh Verfahren und Vorrichtung zur lichtmikroskopischen Multiskalen-Aufnahme biologischer Proben
DE102021122720A1 (de) 2021-09-02 2023-03-02 Carl Zeiss Microscopy Gmbh Synthetische fluoreszenzbilder mit proben-schonender erfassung von referenzbildern
CN114358144B (zh) * 2021-12-16 2023-09-26 西南交通大学 一种图像分割质量评估方法
DE102022130251A1 (de) 2022-11-16 2024-05-16 Carl Zeiss Microscopy Gmbh Mikroskopanordnung und Verfahren zur Untersuchung einer mit mehreren Farbstoffen gefärbten Probe
CN116643497B (zh) * 2023-05-29 2024-05-10 汕头市鼎泰丰实业有限公司 筒子纱的染色控制系统及其方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015177268A1 (en) * 2014-05-23 2015-11-26 Ventana Medical Systems, Inc. Systems and methods for detection of biological structures and/or patterns in images

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE29624210U1 (de) * 1996-12-10 2001-05-23 Spectral Diagnostic Ltd Vorrichtung zum gleichzeitigen Nachweis von multiplen Fluorophoren bei in situ Hybridisierung und Chromosomenanfärbung
US6996549B2 (en) * 1998-05-01 2006-02-07 Health Discovery Corporation Computer-aided image analysis
DE10319946A1 (de) * 2003-05-02 2004-11-18 Leica Microsystems Heidelberg Gmbh Verfahren zur Klassifikation von Objektbildbereichen eines mit einem vorzugsweise konfokalen Rastermikroskop zu detekierenden Objekts
US7151270B2 (en) 2003-05-02 2006-12-19 Leica Microsystems Cms Gmbh Method for classifying object image regions of an object to be detected using a scanning microscope
US8139831B2 (en) * 2007-12-06 2012-03-20 Siemens Aktiengesellschaft System and method for unsupervised detection and gleason grading of prostate cancer whole mounts using NIR fluorscence
US8965076B2 (en) * 2010-01-13 2015-02-24 Illumina, Inc. Data processing system and methods
US8462981B2 (en) * 2010-04-07 2013-06-11 Cambridge Research & Instrumentation, Inc. Spectral unmixing for visualization of samples
US9378407B2 (en) * 2012-09-11 2016-06-28 Neogenomics Laboratories, Inc. Automated fish reader using learning machines
US10080484B2 (en) * 2014-01-31 2018-09-25 University Of Washington Multispectral wide-field endoscopic imaging of fluorescence
US9927362B2 (en) * 2014-02-14 2018-03-27 The General Hospital Corporation System and method for tomographic lifetime multiplexing
AU2016269085B2 (en) * 2015-05-26 2019-12-19 Ventana Medical Systems, Inc. Method and system for assessing stain quality for in-situ hybridization and immunohistochemistry
US10726543B2 (en) * 2018-11-27 2020-07-28 General Electric Company Fluorescent penetrant inspection system and method
WO2020186026A1 (en) * 2019-03-12 2020-09-17 The Trustees Of Columbia University In The City Of New York Stimulated raman coupled fluorescence spectroscopy and microscopy system and method
DE102020119042A1 (de) * 2020-07-17 2022-01-20 Carl Zeiss Microscopy Gmbh Mikroskopiesystem, verfahren und computerprogramm zum bearbeiten von mikroskopbildern

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015177268A1 (en) * 2014-05-23 2015-11-26 Ventana Medical Systems, Inc. Systems and methods for detection of biological structures and/or patterns in images

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"ADVANCES IN BIOCHEMICAL ENGINEERING, BIOTECHNOLOGY.", vol. 95, 1 January 2005, SPRINGER, BERLIN, DE, ISSN: 0724-6145, article TIMO ZIMMERMANN: "Spectral Imaging and Linear Unmixing in Light Microscopy", pages: 245 - 265, XP055589696, DOI: 10.1007/b102216 *
"Clearing up the signal: spectral imaging and linear unmixing in fluorescence microscopy", METHODS IN MOLECULAR BIOLOGY, vol. 1075, 2014, pages 129 - 48
MURAD MEGJHANI ET AL: "Morphologically constrained spectral unmixing by dictionary learning for multiplex fluorescence microscopy", BIOINFORMATICS., vol. 33, no. 14, 15 July 2017 (2017-07-15), GB, pages 2182 - 2190, XP055589656, ISSN: 1367-4803, DOI: 10.1093/bioinformatics/btx108 *

Also Published As

Publication number Publication date
DE102018104616A1 (de) 2019-08-29
US20210089749A1 (en) 2021-03-25
US11430232B2 (en) 2022-08-30

Similar Documents

Publication Publication Date Title
WO2019166361A1 (de) Verfahren zum aufteilen eines oder mehrerer bilder einer probe in nach farbstoffen aufgeteilte bilddaten, computerprogrammprodukt, computerlesbares medium, auf dem das computerprogrammprodukt gespeichert ist, und system zum aufteilen eines oder mehrerer bilder einer probe in nach farbstoffen aufgeteilte bilddaten
DE112010002232B4 (de) Semantische Szenensegmentierung mittels Random multinominalem Logit (RML)
DE102019127282A1 (de) System und Verfahren zum Analysieren einer dreidimensionalen Umgebung durch tiefes Lernen
DE102013212495A1 (de) Verfahren und Vorrichtung zur Inspektion einer konturierten Fläche,insbesondere des Unterbodens eines Kraftfahrzeugs
DE102019204139A1 (de) Training für künstliche neuronale Netzwerke mit besserer Ausnutzung der Lern-Datensätze
DE60026732T2 (de) Zellenreihen-extraktionsverfahren
DE10250100A1 (de) Mikroskopsystem und Verfahren zur Analyse und Auswertung von Mehrfachfärbungen eines mikroskopischen Objekts
DE102010028382A1 (de) Verfahren und Computersystem zur Bearbeitung tomographischer Bilddaten aus einer Röntgen-CT-Untersuchung eines Untersuchungsobjektes
EP4016082B1 (de) Verfahren und vorrichtung zum detektieren einer präsenz eines fluoreszenzmustertyps auf einem organschnitt mittels immunfluoreszenzmikroskopie
EP3155588B1 (de) Ganzkörperbildaufnahme- und bildverarbeitungssystem sowie verfahren zu dessen betrieb
DE102021114287A1 (de) Mikroskopiesystem und Verfahren zum Erzeugen stilisierter Kontrastbilder
EP4046595A1 (de) Verfahren zur festlegung einer zahnfarbe
DE102020113313A1 (de) Verfahren, computerprogramm und mikroskopsystem zum verarbeiten von mikroskopbildern
EP2399241B1 (de) Verfahren zur entropie-basierten bestimmung von objektrandkurven
EP4099272A1 (de) Mikroskopiesystem und verfahren zum erzeugen stilisierter kontrastbilder
DE102019214308B4 (de) Schnelles quantisiertes Training trainierbarer Module
DE102022121545A1 (de) Mikroskopiesystem und Verfahren zum Erzeugen eines maschinell gelernten Modells zum Verarbeiten von Mikroskopdaten
DE102021114290A1 (de) Mikroskopiesystem und Verfahren zum Erzeugen eines virtuell eingefärbten Bildes
DE102021114291A1 (de) Mikroskopiesystem und Verfahren zum Erzeugen eines virtuell eingefärbten Bildes
DE102021204343A1 (de) Steuergerät zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens
DE202021102338U1 (de) Steuergerät zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens
DE102021114307A1 (de) Digitale kontrastnachbearbeitung von mikroskopiebildern
DE102022209113A1 (de) Training von instanzsegmentierungsalgorithmen mit partiell annotierten bildern
DE102022121543A1 (de) Mikroskopiesystem und Verfahren zur Qualitätsüberprüfung eines maschinell gelernten Bildverarbeitungsmodells
DE102022200557A1 (de) Verfahren zur komprimierten Erfassung und Verarbeitung von Bilddaten

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19707768

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19707768

Country of ref document: EP

Kind code of ref document: A1