WO2009092697A2 - Verfahren und vorrichtung zur untersuchung von eigenschaften eines objekts in einem medium - Google Patents

Verfahren und vorrichtung zur untersuchung von eigenschaften eines objekts in einem medium Download PDF

Info

Publication number
WO2009092697A2
WO2009092697A2 PCT/EP2009/050566 EP2009050566W WO2009092697A2 WO 2009092697 A2 WO2009092697 A2 WO 2009092697A2 EP 2009050566 W EP2009050566 W EP 2009050566W WO 2009092697 A2 WO2009092697 A2 WO 2009092697A2
Authority
WO
WIPO (PCT)
Prior art keywords
cell
cells
medium
sample
properties
Prior art date
Application number
PCT/EP2009/050566
Other languages
English (en)
French (fr)
Other versions
WO2009092697A3 (de
Inventor
Ning Wei
Erwin Flaschel
Tim Nattkemper
Original Assignee
Universität Bielefeld
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universität Bielefeld filed Critical Universität Bielefeld
Publication of WO2009092697A2 publication Critical patent/WO2009092697A2/de
Publication of WO2009092697A3 publication Critical patent/WO2009092697A3/de

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/53Immunoassay; Biospecific binding assay; Materials therefor
    • G01N33/543Immunoassay; Biospecific binding assay; Materials therefor with an insoluble carrier for immobilising immunochemicals
    • G01N33/54366Apparatus specially adapted for solid-phase testing
    • G01N33/54373Apparatus specially adapted for solid-phase testing involving physiochemical end-point determination, e.g. wave-guides, FETS, gratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts

Definitions

  • the invention relates to a method for investigating properties of an object in a medium and the use of the method and an apparatus for performing the method.
  • the medium may be the end product of an industrial process, such as. As a produced in the food industry juice, or the tap water from the waterworks.
  • the final products it may be necessary for the final products to be produced in a medium, for example, cells are cultured in a particular medium to produce a drug containing biological macromolecules. In both cases, the properties of the objects in the medium must be investigated in order to guarantee the quality of the final products.
  • the medium In industrial processes or in laboratories, the medium is often used in a container or bioreactor. Thereafter, it is necessary to carry out the examination of the medium in the container with an in-line method.
  • in-situ investigation One type of in-line investigation is called in-situ investigation.
  • the sample of the medium is taken at the original location and investigated, as described in the patent DE 40 32 003 Al.
  • the sample is examined in a measuring zone or measuring chamber.
  • One of the benefits of in-situ scanning is that the true properties of the media can be verified in their original location.
  • in-situ investigations have many disadvantages. This is the case, for example, when the measuring chamber is in the medium during an in-situ examination.
  • the optical elements must be separated from the medium with transparent materials. These materials are usually fixed by an adhesive.
  • the stability of the adhesive which is in the medium (usually it is liquid, which mainly contains water), must be very good, otherwise the medium will enter the system, causing soiling and damage.
  • Another disadvantage is the difficulty of controlling the speed of the medium passing through the measuring chamber. If the exposure time has to be extended due to insufficient illumination, the acquired images are blurred. Therefore, it is then necessary to use a drive system to control the speed of the medium.
  • the most important cell properties generally include vitality, viability, aging, etc. It is known that cell characteristics in cell culture are related to the growth environment. Cell growth is affected by the supply of oxygen, pH, temperature, concentration of food and minerals, etc. Different cells have different favorable conditions for growth. These most favorable conditions are usually determined in advance by experiments, and controlled in cell culture so that the cells can always grow under the optimal conditions. But even under optimal conditions, it is necessary to monitor cell characteristics to see the current state of cell growth. By examining cell vitality, the level of metabolic activity can be assessed. In addition, the state of life of a cell can be classified as "living", “necrotic” and "apoptotic" Environment or the conditions are actually classified as favorable or optimal for cell growth.
  • the diagnosis of cell aging is relevant. An example can be seen in medicine, because many diseases are caused by cell aging.
  • the beer flavor is related to cell aging of the yeasts used. If the cell strain used does not resist aging or the environment deteriorates during the bioreactor production process, the cells age, affecting the beer flavor and ultimately the quality of the product.
  • the determination of cell aging is generally considered to be another indicator of the physiological state of the cells.
  • the examination of the properties of the cells can be roughly classified into two groups: manual methods and automated methods.
  • Manual methods are one type of method that is performed by a person using a microscope. Normally, cells are treated with certain dyes or label materials prior to examination. These materials have different interactions with the cells because of different cell characteristics, because cells with different properties usually have different physical characteristics (such as permeability of cell membranes) or metabolic activities (such as the ability to convert energy, and the ability the synthesis of the macromolecule), etc.
  • PI propidium iodide
  • HOHECHST a dye of the nucleic acid. It is normally excited by a green laser and emits red fluorescence. PI can not penetrate the undamaged cell membrane, yet for cells undergoing mid-phase or late-phase apoptosis, PI can pass through the cell membrane to the nucleus and stain the nucleus red.
  • HOECHST is a dye that binds specifically to DNA. It can penetrate the normal cell membrane, yet it has no toxic effect on the cell. The fluorescence intensity of HOECHST in a cell undergoing apoptosis is higher than that in the normal cell.
  • a combined dye consisting of PI and HOECHST can be used for investigation of the Life State of the cells are used.
  • PI phospholipase
  • HOECHST HOECHST
  • a dye consisting of annexin-V and PI can also be used to study these three different cell-life characteristics.
  • Phosphatidylserine (PS) is usually located on the inside of the cell. Nevertheless, it can reach the surface of the cell through apoptotic processes from the inside of the cell. Since annexin-V can bind specifically to PS, an apoptotic or necrotic cell Annexin-V can be positive. Nevertheless, PI is positive only in necrotic cells.
  • living cells basically do not emit fluorescence; the membrane of a necrotic cell has bright green fluorescence, and the nucleus emits bright red fluorescence; Apoptotic cells have bright green fluorescence only at the membrane. Thus, these three different cell properties can be determined by human observation.
  • C12-Resazurin When investigating cell vitality, it is also necessary to add certain dyes in advance to the medium to label the cells. Thus one can use a dye consisting of C12-Resazurin and SYTOX (Invitrogen GmbH).
  • This investigation technique is based on two facts: In metabolically active cells, C12 resazurin is reduced in C12 resorufm, which emits red fluorescence.
  • the green fluorescent dye, SYTOX can not penetrate through normal cell membranes. Nevertheless, it can penetrate into the interior of the cells undergoing mid-phase or late-phase apoptosis, as these have a damaged membrane. Therefore, the dead cells basically emit green fluorescence upon examination, yet the healthy, metabolically active cells basically emit red fluorescence, and the damaged cells emit weakened green and red fluorescence, respectively.
  • Another common method for the investigation of cell vitality is the radioactive labeling of the cells.
  • an isotope such as. For example, 3 [H] -thymidine is added to the sample. Since living cells ingest the required food from the environment, they will inevitably receive radioactive isotopes contained in the nutrient solution. Dead cells do not have this ability and so is the speed of collection of the isotope in cells is a sign of the level of cell metabolism, and this can be used for the diagnosis of cell vitality.
  • the two types of methods can usually only fulfill the investigation of the cell properties by adding dyes or label materials. There are the following problems with the use of these methods: Since the dyes or characteristic materials are consumed, they must be tracked which increases the effort. In addition, the process of staining or labeling usually takes a long time (over five minutes) to allow complete interaction between the cells and the dye or label material.
  • a method for investigating properties of an object in a medium which comprises the following steps: Illumination of the object in the medium; Detecting an optical signal from the object;
  • the inventive method comprises the preparation of the stored signal characteristics from one or more calibrating samples. Further, selecting a subset of a plurality of electronic values of the calibrating samples is provided. Preferably, one of the following mathematical methods is applied to the plurality of area signals: Fourier transform, wavelet transform, principal component analysis, Garbor filters. In one embodiment, the inventive method comprises a mathematical method on the plurality of electronic values for generating a spatial spectrum, and the mathematical method is one of the following: Fourier transformation, wavelet transformation. Furthermore, the comparison of the signal characteristics of the object in the medium with the stored signal features is provided by means of a classifier. Preference is given to using classifiers based on one of the following methods: Support Vector Machine, Gaussian Mix Model (Gaussian Mix Model), Nearest Neighbor.
  • a erfmdungswashe development of the method according to the invention comprises distinguishing the object in the medium from the background.
  • inventive method is applicable to cell or a microorganism as objects, wherein it may be a cell to an animal cell, a plant cell, a cell tumorigenic origin or a cell of a microorganism.
  • properties of the object can be determined, wherein the object can be apoptotic, necrotic, aged, dead, alive, or with different levels of metabolic activities.
  • the detection by bright field, darkfield, fluorescence, phase contrast or difference interference microscopy.
  • the invention further relates to a device for examining at least one object with: a light source for illuminating the object; a detector for acquiring the optical signal from the object and generating a plurality of area signals; a signal analysis unit for applying a mathematical method to the plurality of area signals, thereby producing a plurality of electronic values representing signal characteristics, and a comparator for comparing the signal characteristics of an object with the stored signal characteristics of one or more calibrating ones Samples for generating at least one value which corresponds to the properties investigated.
  • the device additionally has a measuring chamber, which preferably contains a liquid medium or wherein the objects to be examined are located in a liquid medium.
  • the liquid medium may be a growth medium for cells.
  • the present invention further relates to the use of a method according to the invention for monitoring biological processes in bioreactors, for determining cell growth in fermentation processes, for checking cell properties in taken biological samples, blood samples, isolated blood plasma or serum, for checking or monitoring a course of therapy, in particular in tumor therapies, for investigating the influence of substances, reagents or biological macromolecules on the viability and viability of cells in the development and production of pharmaceutical agents, for the identification of pharmaceutically active substances, reagents or biological macromolecules.
  • a use of a method according to the invention in the brewing industry for monitoring fermentation processes is provided.
  • a difference of the method according to the invention over the prior art is that spatial signals, in particular surface signals are processed, and not time-dependent signal or images, as described for example in the prior art in the Wei et al. (Conf Proc IEEE Eng Med Biol Soc. 2005; 6: 6305-8). While the use of time-dependent images may allow assessment of cells in cultures with only living or dead cells, it is not possible to successfully apply this method to cultures, for example, in a growth phase, resulting in a variety of different life conditions in a sample available.
  • test module does not contain three sub-modules (without feature processing, feature processing, feature processing and selection) in connection with a complicated selection comparison, but only the sub-module feature processing, whereby the selector match is likewise not carried out.
  • the method of the present invention uses in comparison to the method of Long et al. (Computers in Biology and Medicine 36, 339-362) various mathematical features of a cell image and classifies them. This is different from the classification of the raw data of a cell image, whereby the accuracy in determining cell characteristics can not be obtained, as is the case with the classification according to the present invention.
  • Fig. 1 Schematic representation of the basis of this invention.
  • FIG. 3 Schematic representation of the method according to the invention for determining the cell properties in Example 1
  • Example 4 shows a flow chart of the process according to the invention for acquiring the calibration information in Example 1
  • Example 6 shows a flow chart of the cell properties analysis according to the invention on the basis of the loaded calibration information in Example 1
  • FIG. 7 shows a flowchart of the algorithm according to the invention for cell recognition in FIG.
  • FIG. 8 Schematic representation of the principle according to the invention and the structure of Example 2 with integration of a cleaning system
  • FIG. 9 Schematic representation of the principle according to the invention and the structure of Example 3, wherein a reagent adding system is integrated.
  • Example A2 is a flow chart of the calibration information acquisition process of the present invention in Example A2 of this invention.
  • FIG. 11 is a flow chart of the calibration information acquisition process of the invention in Example A3 of this invention.
  • FIG. 12 Schematic representation of the principle according to the invention and the structure of the apparatus in Example A4
  • Fig. 13 Schematic representation of the inventive principle and the structure of the apparatus, which uses a side lighting, in Example A4
  • FIG. 14 Schematic representation of the principle according to the invention and the structure of the apparatus which uses the evanescent wave for illumination, in example A4
  • FIG. 15 Schematic representation of the principle according to the invention and the structure of the apparatus, which uses the evanescent wave for illumination and a microscope and a camera, in example A4
  • the object of the invention is achieved as follows: A part of the medium in the container is brought by the drive system in the measuring chamber. Subsequently, the sample, which contains cells and is not treated with dye or label material, is illuminated by a light source. The optical signal of the cells is sent to a two-dimensional apparatus which converts the optical signal into an electronic signal. Thereafter, two-dimensional electronic signals or two-dimensional digital information are generated. This electronic signal or information is sent to the analyzer and images are generated. The analyzer analyzes and processes the images based on the recorded calibration information. The properties of the objects in the medium are then determined. The so-called calibration information is acquired prior to examining the sample, and the process of acquisition is thus performed: images of the objects having some property are used as the training data set. Features of the images, which favors the correct classification of the examined objects having different properties, are extracted as calibration information.
  • the height of the measuring chamber is adjusted to the average size of the objects in the medium, so only one layer of the objects is formed.
  • the drive system includes at least one pump to facilitate collection of a portion of the medium and transfer into the metering chamber.
  • the rate of flow of the medium can be controlled by adjusting the speed of the pump.
  • the speed of flow of the medium is adapted to the intensity of the illumination. Under the conditions that the lighting is insufficient, one can reduce the speed of the pump to obtain clearer images.
  • a cleaning system incorporating at least one detergent container and one refuse container is integrated.
  • the detergent container is connected by a line to the drive system and the measuring chamber.
  • the refuse container is connected by a pipe to the measuring chamber.
  • Each of these lines is equipped with at least one switch (in particular a valve) for controlling the flow of the objects.
  • some reagent may be added to the metering chamber when another drive system is used.
  • This reagent may favor the examination of the objects in the medium.
  • examples of such reagents are antifoam emulsions, contrast enhancers, dyes (for purposes of comparison), fluorophores, etc.
  • the analyzer uses Fourier features as calibration information calculated from the image of the object, and the classifier uses these features as a training data set.
  • the processing of the images of the sample from the calibration information includes the following steps: recognition of the objects, calculation of a spectrum by means of a mathematical method of the image of the objects, and classification.
  • the objects are cells, such as B., animal cells, plant cells, or cells of the microorganism.
  • the apparatus for analysis of the medium comprises the following components: a light emitter which illuminates the sample, an optical microscopic system which generates images, a receiver which receives the light from the object, and an analyzer in which the Calibration information is recorded. It can also analyze and process the images based on the recorded calibration information.
  • the light emitted from the light emitter is one of the following: infrared light, visible light, and ultraviolet light, or the combination of several of them.
  • the optical system is based on one of the following: phase contrast microscope, brightfield microscope, darkfield microscope, difference interference microscope, fluorescence microscope, and confocal microscope, or the combination of several of those.
  • the light receiver is an IEEE 1394 standard compliant CCD or CMOS camera.
  • the analyzer includes a 1394 adapter, a processor, memory, and hard disk that stores the calibration information.
  • One can also replace the camera and analyzer with an intelligent camera which combines the ability of the conversion optically / electronically with the signal analysis and signal processing unit. This device can adjust the distance between the microscope objective and the sample, thus increasing the quality of the image.
  • the light propagates through no optical system but directly to the apparatus which performs the conversion of optical values to electronic values. Subsequently, images are generated. This simplifies the system.
  • the cells in the sample to be tested have three distinct characteristics of living condition: living, necrotic, and apoptotic.
  • the cells in the sample to be tested have different properties of the activities, ie, different levels of metabolic activities. In one example of this invention, the cells in the sample to be examined have different levels of aging.
  • the container 1 contains a medium 2.
  • a portion of the medium 2 is received by the drive system 4, and transferred into the measuring chamber 6.
  • a thin layer of the medium 2 is formed. This thin layer is illuminated by a light emitter 8.
  • the optical signals are converted into electronic area signals and sent to the signal analysis unit 14 for automated inspection and analysis. The objects in medium 2 are then recognized, counted and classified.
  • FIG. 2 is a schematic representation of the principle and structure of a first example of this invention.
  • the properties of the state of life of the cells in the medium 2 in a bioreactor 20 are examined.
  • Animal cells namely Chinese hamster ovary (CHO) and heia cells as well as yeast cells were used in the experiments.
  • Part of the medium 2 located in the bioreactor 20 is taken by the pump 29 as a sample through the line 38 a, and sent into the measuring chamber 6.
  • the height of the measuring chamber 6 is adapted to the average size of the objects in the medium 2.
  • the measuring chamber 6 is located in front of the microscope 10.
  • the medium 2 and the objects in the medium 2 are recorded as generated images by the microscope 10, the light emitter 8 illuminating the objects.
  • the optical signals of the generated images are sent to the camera 12a.
  • the camera 12a is connected to an analysis unit.
  • the generated images are processed by the machine-based pattern recognition technique. Thereafter, the characteristics of the cell's state of life, ie, whether a cell is live, necrotic, or apoptotic, are determined in the sample.
  • the sample may also contain plant cells or cells of the microorganism.
  • the assay procedure for such plant cells or cells of the microorganism is the same as for animal cells and yeast cells.
  • a bioreactor window 21 it is possible to see inside the bioreactor.
  • the images are taken by phase contrast microscopy. As shown in FIG. 3, the light emitter 8 emits a parallel light to illuminate the annular diaphragm 11.
  • the light emitted by the light emitter 8 is one of the following: infrared light, visible light, and ultraviolet light, or a combination thereof. Only the rays in the annular region shown in the figure can pass through the annular diaphragm 11. This part of the rays is focused by the condenser 9, and passes through the hole 49 on the carrier 48, and illuminates the sample 22 to be examined in the measuring chamber 25.
  • the sample 22 is a suspension of the cells in which the cells have different properties: live, necrotic or apoptotic.
  • the rays cast onto the sample 22 are divided into two parts: a part of the rays are the annular direct rays I 1a coming from the annular diaphragm 11.
  • the other part of the rays is the scattered radiation I Ib radiating from the sample 22.
  • These two parts of the beams are collected by the microscope objective 16 and projected onto the phase plate 17.
  • the direct beams I Ia and the scattered radiation I Ib are differently modulated by the phase plate 17.
  • a plurality of area signals in this case an image is generated at the light-receiving chip array 18 of the CCD camera 19.
  • the camera can also be a CMOS camera.
  • the light emitter 8, annular diaphragm 11, condenser 9, microscope objective 16, and phase plate 17 together form a phase contrast microscope.
  • the apparatus may also include any of the following or the combination of several of them: brightfield microscope, darkfield microscope, differential interference microscope, fluorescence microscope, and confocal microscope.
  • the CCD or CMOS camera 19 corresponds to the IEEE 1394 standard in one example.
  • the CCD camera 19 converts the optical signals of the image of the sample 22 into electronic signals, and sends these electronic signals to the analyzer 30 through an IEEE 1394 standard compliant FireWire cable 33.
  • the analyzer 30 transmits the image of the sample 22 through a 1394 adapter 32 connected to the FireWire cable 33 into the memory 31.
  • the analyzer 30 also loads the calibration information stored in the hard disk 37 into the memory 31.
  • the processor 34 processes the data (calibration information and electronic signals) in the memory 31, calculates and analyzes the image of the sample 22. Thereafter, the properties of the cells in the sample 22 are determined.
  • the CCD camera 19 and the analyzer 30 may be replaced by an intelligent camera combining the capability of conversion with the signal analysis and signal processing unit.
  • the analyzer 30 includes a board 36 for stepper motor control.
  • the stepper motor control controls the rotation of a stepper motor 40 through a control cable 35 and thus rotates a threaded spindle 43.
  • a carrier 42 is fixed to a floor 46.
  • An internal screw of the carrier 42 corresponds to the screw 44 of the threaded spindle 43.
  • the calibration information used by the analyzer 30 is acquired by the process shown in FIG.
  • step 64 the images of the following calibrating samples are taken: the first sample 61 containing only living cells, the second sample 62 containing only necrotic cells, and the third sample 63 containing only apoptotic cells. These generated images are taken as a training data set. In all training images, the quality of life of the cell is known (ie, living, necrotic, apoptic).
  • the process for acquiring the first sample 61, the second sample 62 and the third sample 63 comprises the following steps: The suspended cultivation of the cells is carried out in the liquid medium 22.
  • Cisplatin a substance against cancer
  • the culture is kept for 16 hours, after which the first sample 61, the second sample 62 and the third sample 63 are taken from the cell suspension and a Cell sorter fed to recognize the living, necrotic and apoptotic cells and each to send in a different container d is a double dye consisting of annexin-V and PI, used by the cell sorter.
  • the acquisition of Samples 61, 62 and 63 was also accomplished by storing the extracts of cultures stored under different conditions (such as different pH values, O 2 concentrations, temperatures, physical treatments). the cells into which cell sorters were directed, and thus the cells were divided into three groups similar to the one above.
  • step 68 49 Fourier features are calculated for each cell in the images. These Fourier features are stored on the hard disk.
  • step 69 various subsets of the 49 Fourier cell image characteristics acquired in step 68 are used to train a three-class SVM classifier (SVM). Subsequently, this classifier is used in step 70 to test a particular image data set in which the ratio of each class of cells (with different properties) is known. This particular image data set is acquired in the following manner. The first sample 61, the second sample 62 and the third sample 63 are mixed in a defined ratio. Subsequently, the mixture of the first sample 61, the second sample 62 and the third sample 63 is taken by a normal phase contrast microscope.
  • SVM three-class SVM classifier
  • the true ratio of each class of cells is determined by the cell sorter.
  • the mixed samples are used as reference.
  • different subsets lead to differently accurate results.
  • the subset is selected as the best subset which has resulted in the most accurate determination of the characteristics of the cells previously determined by the cell sorter and so known. For example, in a trial, a subset consisting of 12 features (with indicia 2, 7, 8, 15, 18, 20, 23, 29, 31, 37, 43, 48) was considered the best of the 49 features - aggravates.
  • the feature subscripts contained in the best subset are stored on the hard disk.
  • the classifier that uses the best subset as a training record is also saved to disk. The best part indexes of the features and the best subset of the training data set classifiers serve as the calibration information of this example.
  • the performance of the system is increased by means of the selection of the features. In some cases, however, good results will be obtained, even without the selection of features. In these cases, the properties of the objects can be determined from the complete set of features.
  • FIG. 5 is a schematic representation of the method of calculating the 49 Fourier features in step 68 in FIG. 4. If the fast Fourier transformation 56 for each of the cell images 55, it results in a spatial spectrum 51. Subsequently, this spatial spectrum 51 is divided into 7 rows and 7 columns. This results in 49 sub-pictures. Subsequently, the energy for each of these sub-images 57 (ie, the sum of the square of the pixel values of each sub-image) is calculated. Thus, 49 characteristics are obtained.
  • the feature indices 52 are shown below in FIG.
  • step 75 the classifier and the selected indexes of the features serving as the calibration information are read. Thereafter, the image of the sample to be tested is also read in step 76. The cells contained in the image are then recognized from the background in step 77. Thereafter, the Fourier feature values of each cell image corresponding to the indices contained in the calibration information are calculated in step 78. For example, in one experiment 12 features (with indicia 2, 7, 8, 15, 18, 20, 23, 29, 31, 37, 43, 48) of the cell image were calculated, thus the cell image was converted to 12 electronic values. In step 79, the electronic values of each cell image are then compared with the stored electronic values of the calibrating samples, and to be concrete, in this example, it is classified by the classifier included in the calibration information into living, necrotic, and apoptotic cells.
  • necrotic and apoptotic cells are labeled as “dead” and thus the entire cells can be classified as “living” or "dead”.
  • FIG. 7 explains the method for cell recognition in step 77 in FIG.
  • the basis of cell recognition is that two classes of images - cell images and non-cell images - are used to train a classifier. Subsequently, this trained classifier is used to recognize the cells in the image of the sample to be examined from the background. Images of non-cells are defined by the fact that there is no cell in them. In this example, the images of non-cells are acquired by randomly taking the pixels of the background area of the image of the sample through a window of a defined size.
  • a principal component analysis is performed for the cell images in the training data set. Then, six eigenvectors corresponding to the maximum eigenvalues are calculated in step 82.
  • step 83 the images of non-cells from the training record are read. These images and the cell images used in step 81 in the training data set are projected in step 84 to the six eigenvectors computed in step 82. These projected vectors are used in step 85 to train an SVM classifier with three classes. So the training of the classifier is complete.
  • the images of the sample to be examined are then read in step 86.
  • step 85 the trained classifier is used to calculate a confidence map in step 87.
  • a window of size NxN is placed around each pixel of an image, and the pixel values within that window are converted to a vector, and the distance from that vector to the boundary of the two classes (cells and non-cells) is given as confidence. worth referred to.
  • pixels in the confidence map are retrieved in step 88 at which the confidence values within a certain perimeter are maximum and above a defined threshold. These pixels are considered the positions of the cells.
  • FIG. 8 is a schematic representation of the principle and the structure of Example 2.
  • a cleaning system is integrated.
  • a first valve 28 is opened and a second valve 26 is closed, some detergent is sent by a pump 29 through a conduit 38c from the container 53 to the measuring chamber 6, and through the conduit 38b forwarded to the refuse container 54.
  • the measuring chamber 6 is cleaned.
  • the pump 29 does not receive any cleaning agent but a portion of the medium 2 as a sample 22.
  • the examination of the medium 2 and the cleaning of the measuring chamber 6 by the adjustment of the states of the first valve 26 and the second valve 28 alternate.
  • Figure 9 is a schematic representation of the principle and structure of Example 3.
  • a reagent-adding system is integrated.
  • a reagent pump 29a and a reagent cartridge 32 are added to direct some reagent in the reagent cartridge 32 from the pump 29a into the metering chamber 6. There it is mixed with sample 22 to aid in the investigation.
  • Example A2 phase-contrast microscopy is used for taking the images of sample 22.
  • the described pattern recognition technique is used to assess the vitality of the animal cells, i. h., to investigate the level of metabolic activity of animal cells in sample 22.
  • CHO and Heia cells were used in the experiments.
  • the apparatus used in this example is the same as in Example 1 (as shown in Fig. 3). Nevertheless, calibration information other than Example 1 is used in this example.
  • the calibration information used by the analyzer 30 is acquired by the method illustrated in FIG. First, the animal cell suspension is transferred to a closed container. Subsequently, the suspension is stored at a temperature of 45 0 C in a water bath for 30 minutes. The suspension is then stained with C12-resazurin and SYTOX. The suspension is then placed in the cell sorter to divide the cells into eight groups according to their own vitality. As a result, a plurality of calibrating samples 101,... 108 result. The level of vitality is assessed according to the intensity of the red fluorescence emitted by the cell. The sample 108 has the highest intensity of the red fluorescence, while the sample 101 has the lowest intensity of the red fluorescence.
  • a vitality value of 100% is related to the highest intensity of red fluorescence, and a vitality value of -100% the lowest intensity of red fluorescence is drawn.
  • the respective range of vitality values of the sample 101, the sample 102,... And the sample 108 are shown in Table 1.
  • Table 1 ranges of cell vitality values of the training samples in Example A2
  • step 114 the sample 101, ... 108 are taken by a normal phase contrast microscope.
  • the images produced by the phase-contrast microscope are used as a training data set. In all training images, the range of vitality values of each cell is known.
  • step 118 the 49 Fourier features of each cell in the images are calculated and stored on the hard disk.
  • step 119 various subsets of the 49 Fourier cell image characteristics acquired in step 118 are used to train a two class SVM classifier. While the images of sample 101-104 are used as a training record for one class, the images of sample 105-108 are to be used as a training record for the other class.
  • a vitality value in the classifier refers to a distance between the Fourier feature vector resulting from concatenating the values of the subset of Fourier features and the boundary of the two classes. In step 120, the closer the vitality value determined by the classifier is to the vitality value determined by the celestial sorter, the more accurate the classifier.
  • the subset of features leading to the highest accuracy is selected as the best subset. For example, in an attempt, a subset consisting of 10 features (with indicia 1, 2, 5, 14, 18, 24, 28, 33, 39, 47) was selected as the best of the 49 features.
  • the indexes of features contained by the best subset are stored on the hard disk.
  • the classifier that uses the best subset as a training record is also saved to disk. The index of features contained in the best subset and the best subset as the ning data sets using classifiers serve as the calibration information of this example.
  • the calibration information in this example is the information stored in step 121 (as shown in Fig. 10) .
  • 10 features with indicia 1, 2, 5, 14, 18, 24, 28, 33, 39, 47
  • each cell image was converted to 12 electronic values.
  • the electronic values of the cell image are compared with the calibration information, to be concrete, classified by the classifier from the calibration information, the distance from the Fourier feature vector of the image of the cell to the boundary of the two classes in the range [0, 1] is normalized, and this normalized distance is used as the cell vitality value.
  • classifiers have been used in comparing the plurality of electronic values of the cell image with the stored electronic values of the calibrating samples. Some of them are: Gaussian Mix Model Classifier (Gaussian Mix Model Classifier), Nutrient Neighbor Classifier (Nearest Neighbor Classifier), etc. The accuracy of these classifiers has been comparable to the accuracy of the SVM classifier described above.
  • Example A3 In Example A3, phase-contrast microscopy is also used for imaging the sample.
  • the pattern recognition technique of this invention is used to study the aging of the animal cells in the sample. CHO cells were used in the experiments.
  • the apparatus used in this example is the same as in Example 1 (as it is shown in FIG. 3). Nevertheless, in this example, other calibration information is used as Example 1.
  • the calibration information used by the analyzer 30 is acquired by the method shown in FIG.
  • the images of the following calibrating samples are taken: the first sample 161 containing only aged cells, and the second sample 162 containing only unaged cells. These generated images are taken as the training record.
  • the property of each cell is known. For example, in the first sample 161, the property of each cell is "aged.” In the second sample 162, the property of each cell is "not aged.”
  • step 168 49 Fourier features are calculated for each cell in the images. These 49 Fourier features are recorded on the hard disk.
  • various subsets of the 49 Fourier cell image characteristics acquired in step 168 are used to train a two class SVM classifier. Subsequently, this classifier is used in step 170 to test an image data set in which the relationship between the aged and non-aged cells in each image is known.
  • This image data set is acquired as follows: The first sample 161 and the second sample 162 are mixed with a certain ratio. Subsequently, the mixed first sample 161 and the second sample are taken by a normal phase contrast microscope. In the mixed sample, the ratio between the aged and non-aged cells is derived from the mixing ratio. This mixed sample is used as a reference.
  • the sample contains 75% aged cells.
  • the classifier is trained with different subsets of the features. The use of different subsets leads to different accuracy in the determination.
  • the subset (or subsets) of features is selected that resulted in a result that was as close as possible to the previously known reference result (s). Therefore, the subset of features leading to the highest accuracy is selected as the best subset.
  • the indexes of the features contained by the best subset are stored on the hard disk.
  • a subset consisting of 11 features was selected as the best of the 49 features.
  • the classifier that uses the best subset as a training record will also go to disk saved.
  • the indices of the features included in the best subset and the classifier using the best subset as the training data set serve as the calibration information of this example.
  • Example A4 In Example A4, no optical imaging system is used. The light from the objects to be examined is thrown directly onto the light receiver. This creates images. Subsequently, the properties of the animal cells in the sample are examined by the machine learning pattern recognition technique.
  • the apparatus used in this example is similar to the apparatus of Example 1. However, this example does not use an optical imaging system and a mechanism for adjusting the distance between the cells and the light receiver, as shown in FIG.
  • the light emitted by the light emitter 8 illuminates the cells of the sample 22.
  • the rays from the cells of the sample 22 go to the light receiver 122.
  • electronic signals are generated. These signals are sent through the cable 33 into the analyzer 30 and are processed there. Thus, the cell properties are determined.
  • the beams from the light emitter 8 come out of the side of the system, as shown in FIG.
  • the rays coming from the cells of the sample In this case, most of the rays emitted from the light emitter 8 are not mixed with the rays from the cells of the sample 22 and are not projected onto the light receiver 122. Therefore, the contrast of the images increases.
  • Example A5 the cells are illuminated with an evanescent wave 13, as shown in FIG.
  • the light emitted from the light emitter 8 is thrown onto the transparent material 115.
  • the direction of propagation of the light is set so that total reflection occurs at the boundary between the transparent material 115 and the medium 2 containing the cells of the sample 22.
  • the evanescent wave 13 resulting from the total reflection illuminates the cells of the sample 22, and then the rays from the cells of the sample 22 are thrown onto the light receiver 122.
  • the light receiver 122 generates electronic signals and these signals are sent through the cable 33 into the analyzer 30 where they are processed. Thus, the cell properties are determined.
  • a microscope and a CCD or CMOS camera 19 may be employed, as shown in FIG. Compared to FIG. 14, a microscope objective 16 and a CCD or CMOS camera 19 are additionally used.
  • the camera 19 includes a light-receiving chip array 18. The beams from the cells of the sample 22 are incident on the light receiving chip array 18.
  • the microscope objective 16 may be one of the objective: phase contrast microscope, bright field microscope, dark field microscope, differential interference microscope, fluorescence microscope , and confocal microscope, or a combination of several of them.
  • u 1 ⁇ is the z / -tel pixel value of the sub-picture
  • p () indicates the probability of occurrence of the value U 1 /.
  • Energy and entropy are calculated for each sub-image, so each 32 features are generated.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Urology & Nephrology (AREA)
  • Hematology (AREA)
  • Cell Biology (AREA)
  • Biotechnology (AREA)
  • Microbiology (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Treatment Of Fiber Materials (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Untersuchung von Eigenschaften eines Objekts in einem Medium sowie die Verwendung des Verfahrens und eine Vorrichtung zur Durchführung des Verfahrens. Erfindungsgemäß wird ein Verfahren zur Untersuchung von Eigenschaften eines Objekts in einem Medium zur Verfügung gestellt, bei dem ein Objekts im Medium beleuchtet wird und anschließend ein optisches Signal vom Objekt detektiert wird. Das optische Signal wird in eine Mehrzahl von Flächensignalen umgewandelt und danach mittels Anwendung eines mathematischen Verfahrens auf die Mehrzahl von Flächensignalen zur Berechnung einer Mehrzahl von deren Merkmale, und somit zur Erzeugung einer Mehrzahl von elektronischen Werten, welche Signal-Merkmale darstellen, verarbeitet. Abschließend werden die Signal-Merkmale des Objekts mit den gespeicherten Signal-Merkmalen einer oder mehrerer kalibrierender Proben zur Erzeugung mindestens eines Wertes, welcher der untersuchten Eigenschaft entspricht, verglichen.

Description

Titel: Verfahren und Vorrichtung zur Untersuchung von Eigenschaften eines
Objekts in einem Medium Anmelder: Universität Bielefeld
Unser Zeichen: 90094WO
Beschreibung
Gebiet der Erfindung
[0001] Die Erfindung betrifft ein Verfahren zur Untersuchung von Eigenschaften eines Objekts in einem Medium sowie die Verwendung des Verfahrens und eine Vorrichtung zur Durchführung des Verfahrens.
Hintergrund der Erfindung
[0002] In einer Vielzahl industrieller Anwendungen werden Medien unterschiedlicher Art verwendet. Einerseits kann das Medium das Endprodukt eines industriellen Prozesses sein, wie z. B. ein in der Nahrungsmittel-Industrie produzierter Saft, oder das Leitungswasser aus dem Wasserwerk. Andererseits kann es erforderlich sein, dass die Endprodukte in einem Medium produziert werden, beispielsweise werden Zellen in einem bestimmten Medium kultiviert, um ein Medikament zu produzieren, welches biologische Makromoleküle enthält. In beiden Fällen müssen die Eigenschaften der Objekte im Medium untersucht werden, damit die Qualität der Endprodukte garantiert werden kann.
[0003] In industriellen Prozessen oder in Laboren wird das Medium oft in einem Behälter oder Bioreaktor verwendet. Daraufhin ist es erforderlich, die Untersuchung des Mediums im Behälter mit einem Inline- Verfahren durchzuführen.
[0004] Eine Art von Inline-Untersuchungen wird In-Situ-Untersuchung genannt. Da- bei wird die Probe des Mediums an der ursprünglichen Stelle genommen und untersucht, wie es im Patent DE 40 32 003 Al beschrieben wird. Bei einer In-Situ-Untersuchung, wird die Probe in einer Messzone oder Messkammer untersucht. Einer der Vorteile der In-Situ- Untersuchung ist, dass die wahren Eigenschaften des Mediums am ursprünglichen Platz überprüft werden können. [0005] Dennoch haben In-Situ-Untersuchungen viele Nachteile. Dies ist beispielsweise dann der Fall, wenn sich bei einer In-Situ-Untersuchung die Messkammer im Medium befindet. Eine Folge davon ist, dass die optischen Elemente vom Medium mit transparenten Materialien getrennt werden müssen. Diese Materialien werden normalerweise durch einen Kleber fixiert. Daraufhin muss die Stabilität des Klebers, der sich im Medium (normalerweise ist es Flüssigkeit, die hauptsächlich Wasser enthält) befindet, sehr gut sein, sonst wird das Medium ins Innere des Systems eingehen, und Verschmutzung und Schaden verursachen.
[0006] Ein anderer Nachteil ist die Schwierigkeit der Kontrolle der Geschwindigkeit des Mediums, das die Messkammer durchläuft. Muss die Belichtungszeit wegen einer nichtausreichenden Beleuchtung verlängert werden, so werden die erworbenen Bilder verschwommen. Daher ist es dann erforderlich ein Antriebssystem zu verwenden, um die Geschwindigkeit des Mediums zu kontrollieren.
[0007] Bei der Untersuchung des Mediums kann das Hinzufügen von zusätzlichen Reagenzien vorteilhaft sein, wobei es bei der In-Situ-Untersuchung schwierig ist, ein Reagenz ins Medium hinzuzufügen. Dies stellt einen anderen Nachteil der In-Situ-Untersuchung dar.
[0008] Da bei der In-Situ-Untersuchung die Messzone oder Messkammer im Medium ist, ist es zumeist schwierig, diese zu reinigen, ohne den Prozess zu unterbrechen.
[0009] In der Biotechnologie ist die Untersuchung der Eigenschaften von Zellen im Medium eines Bioreaktors von Bedeutung. Die wichtigsten Zelleigenschaften umfassen im Allgemeinen Vitalität, Lebensfähigkeit, Alterung, etc.. Es ist bekannt, dass in der Zellkultur die Zelleigenschaften mit der Wachstumsumgebung zusammen hängen. Das Zellwachstum wird durch die Zuführung von Sauerstoff, den pH- Wert, die Temperatur, Konzentration der Nahrung und Mineralien, etc. beeinflusst. Für verschiedene Zellen gibt es verschiedene günstigste Bedingungen fürs Wachstum. Diese günstigsten Bedingungen werden normalerweise im Voraus durch Versuche bestimmt, und in der Zellkultur kontrolliert, damit die Zellen immer unter den optimalen Bedingungen wachsen können. Aber auch unter optimalen Bedin- gungen ist es erforderlich, die Zelleigenschaften zu überwachen, um den aktuellen Zustand des Zellwachstums zu erfahren. Es kann durch die Untersuchung der Zellvitalität das Niveau der metabolischen Aktivitäten beurteilt werden. Zudem kann der Lebenszustand einer Zelle in „lebend", „nekrotisch" und „apoptotisch" eingestuft werden. Dadurch wird beurteilt, ob die Umgebung bzw. die Bedingungen tatsächlich als günstig oder optimal für das Zellwachstum einzustufen sind.
[0010] Zudem ist die Diagnose der Zellalterung relevant. Ein Beispiel zeigt sich in der Medizin, denn vielfältige Krankheiten gehen auf Zellalterung zurück. In der Bierindustrie hängt das Bieraroma mit der Zellalterung der verwendeten Hefen zusammen. Wenn der verwendete Zellstamm der Alterung nicht widersteht, oder die Umgebung während des Produktionsprozesses im Bioreaktor verschlechtert wird, altern die Zellen, wodurch das Bieraroma und damit letztlich die Qualität des Produktes beeinflusst wird. Es wird davon ausgegangen, dass in Biotechnologie die Bestimmung der Alterung von Zellen im Allgemeinen ein weiterer Indikator für den physiologischen Zustand der Zellen ist.
[0011] Die Untersuchung der Eigenschaften der Zellen lässt sich ungefähr in zwei Gruppen eingestuft: manuelle Verfahren und automatisierte Verfahren.
[0012] Manuelle Verfahren sind eine Art von Verfahren, welche mithilfe eines Mikroskops von einer Person durchgeführt werden. Normalerweise werden die Zellen vor der Untersuchung mit bestimmten Farbstoffen oder Kennzeichenmaterialien behandelt. Diese Materialien haben wegen unterschiedlicher Zelleigenschaften unterschiedliche Interaktionen mit den Zellen, weil Zellen mit unterschiedlichen Eigenschaften normalerweise unterschiedliche physikalische Charakteristiken (wie z. B. Permeabilität der Zellmembrane) oder metabolische Aktivitäten (wie z. B. die Fähigkeit des Umwandeins der Energie, und die Fähigkeit der Synthese des Makromoleküls), etc. haben.
[0013] Propidium Iodid ( PI ), HOHECHST und Annexin-V sind beispielsweise weit verbreitet für Untersuchung des Lebenszustands von Zellen. PI ist ein Farbstoff der Nukleinsäure. Er wird normalerweise von einem grünen Laser angeregt, und emittiert rote Fluoreszenz. PI kann die unbeschädigte Zellmembran nicht durchdringen, dennoch für Zellen, die eine Apoptose der Mittephase oder der späten Phase durchlaufen, kann PI durch die ZeIl- membrane an den Zellkern gelangen, und den Zellkern rot färben. HOECHST ist ein Farbstoff, der sich speziell an DNA binden lässt. Er kann die normale Zellmembran durchdringen, dennoch hat er keine giftige Wirkung auf die Zelle. Die Fluoreszenz-Intensität von HOECHST in einer Zelle, die eine Apoptose durchläuft, ist höher als die in der normalen Zelle. Ein kombinierter Farbstoff, der aus PI und HOECHST besteht, kann für Untersuchung des Lebenszustands der Zellen genutzt werden. Wenn die Zelle lebend ist, wird ihr Zellkern durch HOECHST ein wenig blau gefärbt. Wenn die Zelle eine Nekrose erleidet, wird ihr Zellkern von PI stark rot gefärbt. Wenn die Zelleigenschaft "apoptotisch" ist sieht der Zellkern wegen seiner Verdichtung hellblau aus. Auf diese Weise können diese drei verschiedenen Zelleigen- Schäften durch menschliche Beobachter bestimmt werden.
[0014] Ein Farbstoff, der aus Annexin- V und PI besteht, kann auch für Untersuchung dieser drei verschiedenen Eigenschaften des Lebenszustands der Zellen verwendet werden. Phosphatidylserin (PS) befindet sich normalerweise an der Innenseite der Zelle. Dennoch kann es durch apoptotische Prozesse von der Innenseite der Zelle auf die Oberfläche der Zelle gelangen. Da sich Annexin-V speziell an PS binden lässt, kann eine apoptotische oder nekro- tisceh Zelle Annexin-V positiv sein. Dennoch ist PI nur in nekrotischen Zellen positiv. Die Folge: lebende Zellen emittieren grundsäzlich keine Fluoreszenz; die Membran einer nekrotischen Zelle hat helle grüne Fluoreszenz, und der Zellkern emittiert helle rote Fluoreszenz; apoptotische Zellen haben helle grüne Fluoreszenz nur an der Membran. So können diese drei verschiedenen Zeil-Eigenschaften durch menschliche Beobachtung bestimmt werden.
[0015] Bei der Untersuchung der Zellvitalität ist es auch erforderlich, gewisse Farbstoffe im Voraus ins Medium hinzuzufügen, um die Zellen zu kennzeichnen. So kann man einen Farbstoff, der aus C12-Resazurin und SYTOX besteht (Invitrogen GmbH), benutzen. Diese Untersuchungstechnik beruht auf zwei Tatsachen: In metabolisch aktiven Zellen wird C12-Resazurin in C12-Resorufm, das rote Fluoreszenz emittiert, reduziert. Normalerweise kann der grüne Fluoreszenzfarbstoff, SYTOX, nicht durch normale Zellmembrane durchdringen. Dennoch kann er in den Innenraum der Zellen, die Apoptose der Mittephase oder der späten Phase durchlaufen, eindringen, da diese eine beschädigte Membran haben. Daher emittieren die toten Zellen bei der Untersuchung grundsätzlich grüne Fluoreszenz, dennoch emittieren die gesunden, metabolisch aktiven Zellen grundsätzlich rote Fluoreszenz, und emittieren die beschädigten Zellen geschwächte grüne bzw. rote Fluoreszenz.
[0016] Ein anderes, übliches Verfahren für die Untersuchung der Zellvitalität ist die radioaktive Kennzeichnung der Zellen. Dabei wird ein Isotop, wie z. B. 3[H]-Thymidin, in die Probe hinzugefügt. Da lebende Zellen die erforderliche Nahrung aus der Umgebung aufnehmen, werden sie unvermeidlich in der Nährlösung enthaltene, radioaktive Isotope aufnehmen. Tote Zellen besitzen diese Fähigkeit nicht und somit ist die Geschwindigkeit der Sammlung des Isotops in Zellen ein Zeichen des Niveaus des Zellmetabolismus, und dies kann für die Diagnose der Zellvitalität verwendet werden.
[0017] Heutzutage ist die Diagnose der Zellalterung hauptsächlich von der Messung des Zell-Telomers, der DNA, den Mitochondrien, etc. abhängig. Diese Methoden erfordern normalerweise die Untersuchung gewisser Eigenschaften des Makromoleküls, z. B. mit Fluoreszenz-Färbung, PCR, Elektrophorese, Hybridisierung, etc., welche dauerhaft und teuer sind.
[0018] Die oben erwähnten automatisierten Verfahren nutzen Automationstechniken, um die Färbung der Zelle, Kennzeichnung, und Untersuchung etc. zu mechanisieren. Diese Prozesse werden normalerweise von einem PC kontrolliert.
[0019] Wei et al. haben (Biotechno Io gy and Bioenineering, VoI 97, No. 6, August 15, 2007) eine Methode zur Bestimmung der Lebensfähigkeit von Brauereihefen vorgeschlagen, welche auf Dunkelfeld-Mikroskopie in Verbindung mit Bildverarbeitung und Support- Vektor-Maschinen (SVM) beruht. Dabei wird bei der Beurteilung der Lebensfähigkeit der Zellen die SVM darauf trainiert eine lebende Zelle oder eine tote Zelle zu erkennen. Die Autoren offenbaren nicht, ob die Methode auch geeignet ist, um andere Zustände einer Zelle, wie beispielsweise Nekrose oder Apoptose zu erkennen.
[0020] Weiterhin wurde von Wei et. al. ein Verfahren zur automatisierten Bestimmung der Zellviabilität unter Verwendung eines neuronalen Netzwerkes vorgeschlagen, mit dem eine Treffergenauigkeit von 90 % erzielt werden kann. (Conf Proc IEEE Eng Med Biol Soc. 2005;6:6305-8). Dieses Verfahren beruht auf der Verarbeitung von mehreren zeitabhängigen Informationen. Dabei wird die Probe einer Kultur zu mehreren Zeitpunkten fotografiert, um so genannte Zeitserienbilder zu erhalten, wobei anschließend eine Hauptkomponentenanalyse (englisch: Principal Component Ananlysis, PCA) im Zeitbereich des Vektors angewendet wird, welcher aus Grauwerten derselben Pixel im Zeitverlauf besteht.
[0021] Long et al. haben 2006 (Computers in Biology and Medicine 36, 339 - 362) ein automatisches Verfahren zur Detektion ungefärbter lebender Zellen unter Verwendung einer SVM offenbart. Dabei wird eine sich wiederholende Trainingsprozedur angewendet, durch welche die repräsentativsten Proben für die Festlegung von Erkennungskriterien ausgewählt ό werden. Diese Methode verwendet jedoch die Rohdaten der Zellbilder zur Klassifizierung, was sich in einer geringeren Genauigkeit bei der Bestimmung von Merkmalen niederschlägt.
[0022] In 2007 wurde von Wei et al. (2007 European Biosperpectives, 25th DECHE- MA annual Convention of biotechnologies, 30 May - 1 June 2007, Köln, Deutschland) eine vergleichende Untersuchung hinsichtlich Zuverlässigkeit automatisierter Erkennungssysteme veröffentlich, welche eine SVM verwenden. Dabei wurden für das Training der SVM verschieden Testverfahren verwendet. Neben Rohbilddaten wurden auch vollständige und ein reduzierter Satz an bestimmten Merkmalseigenschaften verwendet. Den Autoren war es mög- lieh zu zeigen, dass eine gezielte Auswahl von Merkmalseigenschaften geeignet ist, um die Trefferquote zu erhöhen und die Abweichung der Treffer zu verringern. Im Ergebnis ist jedoch nur die Bestimmung möglich, ob eine Zelle lebt, oder tot ist, insbesondere in Mischungen von lebenden und toten Zellen. Es ist nicht möglich mehrere unterschiedliche Zustände einer Zelle zu bestimmen, wie beispielsweise, ob eine Zelle apoptotisch ist, oder wie vital eine Zelle noch ist.
[0023] Die beiden Arten von Verfahren (manuelle Verfahren und automatisierte Verfahren) können die Untersuchung der Zeil-Eigenschaften zumeist nur dadurch erfüllen, dass Farbstoffe oder Kennzeichenmaterien hinzugefügt werden. Es gibt folgende Probleme beim Einsatz dieser Verfahren: Da die Farbstoffe oder Kennzeichenmaterien verbraucht werden, müssen diese nachgeführt werden wodurch sich der Aufwand erhöht. Außerdem beansprucht der Prozess der Färbung oder Kennzeichnung normalerweise eine lange Zeit (über fünf Minuten), um eine völlige Interaktion zwischen den Zellen und dem Farbstoff oder Kennzeichenmaterial zu ermöglichen.
Kurze Beschreibung der Erfindung
[0024] Aufgabe der vorliegenden Erfindung ist es ein präzises, einfaches, und preisgünstigen Inline- Verfahrens zur Untersuchung von Eigenschaften der Objekte in einem Medium zur Verfügung zu stellen, welches ohne Verwendung von Farbstoffen oder anderen Ma- terialien durchgeführt werden kann und zuverlässige Ergebnisse hinsichtlich der Detektion von definierten Eigenschaften der untersuchten Objekte liefert.
[0025] Erfindungsgemäß ist ein Verfahren zur Untersuchung von Eigenschaften eines Objekts in einem Medium vorgesehen, welches die folgenden Schritte umfasst: Beleuchtung des Objekts im Medium; Detektion eines optischen Signals vom Objekt;
Umwandlung des optischen Signals in eine Mehrzahl von Flächensignalen; Anwendung eines mathematischen Verfahrens auf die Mehrzahl von Flächensignalen zur Berechnung einer Mehrzahl von deren Merkmale, und somit zur Erzeugung einer Mehrzahl von elektronischen Werten, welche Signal-Merkmale darstellen;.
Vergleichen der Signal-Merkmale des Objekts mit den gespeicherten Signal- Merkmalen einer oder mehrerer kalibrierender Proben zur Erzeugung mindestens eines Wertes, welcher der untersuchten Eigenschaft entspricht.
[0026] Weiterhin umfasst das erfindungsgemäße Verfahren die Erstellung der gespeicherten Signal-Merkmale aus einer oder mehreren kalibrierenden Proben. Weiter ist ein Auswählen einer Teilmenge von einer Mehrzahl von elektronischen Werten der kalibrierenden Proben vorgesehen. Bevorzugt wird eines der nachfolgenden mathematischen Verfahren auf die Mehrzahl von Flächensignalen angewandt: Fourier-Transformation, Wavelet- Transformation, Hauptkomponentenanlalyse, Garbor-Filter. In einer Ausführungsform umfasst das erfindungsgemäße Verfahren ein mathematisches Verfahren auf die Mehrzahl von elektronischen Werten zur Erzeugung eines räumlichen Spektrums, und das mathematische Verfahren ist eines der folgenden: Fourier-Transformation, Wavelet-Transformation. Weiterhin ist das Ver- gleichen der Signal-Merkmale des Objekts im Medium mit den gespeicherten Signal- Merkmalen mittels eines Klassifizierers vorgesehen. Bevorzugt wird Klassifizierer benutzt, die auf einem der nachfolgenden Verfahren basiert: Support- Vector-Maschine, Gaussian- Mix-Modell (Gaussian-Mix-Model), Nähreste-Nachbarn (Nearest Neighbor).
[0027] Eine erfmdungsgemäße Weiterbildung des erfindungsgemäßen Verfahrens umfasst ein Unterscheiden des Objekts in dem Medium vom Hintergrund.
[0028] Für das erfmdungsgemäße Verfahren ist auf Zelle oder einen Mikroorganismus als Objekte anwendbar, wobei es sich bei einer Zelle um eine Tierzelle, eine Pflanzzelle, eine Zelle tumorgenetischen Ursprungs oder eine Zelle eines Mikroorganismus handeln kann.
[0029] Mit dem erfindungsgemäßen Verfahren können Eigenschaften des Objekts bestimmt werden, wobei das Objekt apoptotisch, nekrotisch, gealtert, tot, lebendig, oder mit unterschiedlichem Niveau der metabolischen Aktivitäten sein kann. Vorzugsweise erfolgt die De- tektion durch Hellfeld-, Dunkelfeld-, Fluoreszenz-, Phasenkontraste- oder Differenz- Intererferenz-Mikroskopie.
[0030] Die Erfindung betrifft weiter eine Vorrichtung zur Untersuchung mindestens eines Objekts mit: einer Lichtquelle zur Beleuchtung des Objekts; einem Detektor zum Erwerb des optischen Signals von dem Objekt und zur Erzeugung einer Mehrzahl von Flächensignalen; einer Signalanalyseeinheit zur Anwendung eines mathematischen Verfahrens auf die Mehrzahl von Flächensignalen, und dadurch zur Erzeugung einer Mehrzahl von elektronischen Werten, welche Signal-Merkmale darstellen, und einem Vergleicher zum Vergleichen der Signal-Merkmale eines Objekts mit den gespeicherten Signal-Merkmalen einer oder mehrerer kalibrierender Proben zur Erzeugung mindestens eines Wertes, welcher der untersuchten Eigenschaften entspricht.
[0031] In einer Weiterbildung der erfindungsgemäßen Vorrichtung weist die Vorrichtung zusätzlich eine Messkammer auf, die vorzugsweise ein flüssiges Medium enthält bzw. wobei sich die zu untersuchenden Objekte in einem flüssigen Medium befinden. Bevorzugt kann es sich bei dem flüssigen Medium um ein Wachstumsmedium für Zellen handeln.
[0032] Die vorliegende Erfindung betrifft weiterhin die Verwendung eines erfindungsgemäßen Verfahrens zur Überwachung biologischer Prozesse in Bioreaktoren, zur Bestimmung des Zellwachstums in Fermentationsprozessen, zur Überprüfung von Zelleigenschaften in entnommenen biologischen Proben, Blutproben, isoliertem Blutplasma oder -serum, zur Über- prüfung oder Überwachung eines Therapieverlaufes, insbesondere bei Tumortherapien, zur Untersuchung des Einflusses von Substanzen, Reagenzien oder biologischen Makromolekülen auf die Lebens- und Entwicklungsfähigkeit von Zellen bei der Entwicklung und Herstellung von pharmazeutischen Mitteln, zur Identifizierung von pharmazeutisch wirksamen Substanzen, Reagenzien oder biologischen Makromolekülen.
[0033] Weiterhin ist eine Verwendung eines erfindungsgemäßen Verfahrens im Brauereiwesen zur Überwachung von Gärungsprozessen vorgesehen. [0034] Ein Unterschied des erfindungsgemäßen Verfahrens gegenüber dem Stand der Technik ist, dass räumliche Signale, insbesondere Flächensignale verarbeitet werden, und nicht zeitabhängige Signal oder Bilder, wie dies beispielsweise im Stand der Technik bei der von Wei et al. (Conf Proc IEEE Eng Med Biol Soc. 2005;6:6305-8) beschriebenen Methode der Fall ist. Bei der Verwendung von zeitabhängigen Bildern kann zwar eine Beurteilung von Zellen in Kulturen mit ausschließlich lebenden oder toten Zellen erfolgen, jedoch ist es nicht möglich dieses Verfahren erfolgreich auf Kulturen anzuwenden, die sich beispielsweise in eine Wachstumsphase befinden, wodurch eine Vielzahl unterschiedlicher Lebenszustände in einer Probe vorliegen.
[0035] Es hat sich weiterhin in Experimenten gezeigt, dass die Anwendung von mathematischen Verfahren, wie beispielsweise PCA, auf Flächensignale zum Erhalt von deutlich besser verwertbaren Merkmalen zur Auswertung einer Probe führt, als bei der Auswertung von zeitabhängigen Signalen.
[0036] Bezüglich der 2007 auf der European Biosperpectives veröffentlichten Untersuchung von Wei et. al. ist das Verfahren der vorliegenden Erfindung deutlich vereinfacht worden. So enthält ein Testmodul nicht drei Untermodule (ohne Merkmalsverarbeitung; Merkmalsverarbeitung; Merkmalsverarbeitung und Auswahl) in Zusammenhang mit einem komplizierten Selektionsabgleich, sondern lediglich das Untermodul Merkmalsverarbeitung, wobei der Se- lektionsabgleich ebenfalls nicht durchgeführt wird.
[0037] Das Verfahren der vorliegenden Erfindung verwendet im Vergleich zum Verfahren von Long et al. (Computers in Biology and Medicine 36, 339 - 362) verschieden mathemati- sehe Merkmale eines Zellbildes und klassifiziert diese. Dies ist ein Unterschied zur Klassifizierung der Rohdaten eines Zellbildes, wodurch nicht die Genauigkeit bei der Bestimmung von Zelleigenschaften erzielt werden kann, wie es bei der Klasifizierung gemäß der vorliegenden Erfindung der Fall ist.
Beschreibung der Figuren
[0038] Die Erfindung wird nachfolgend anhand von Figuren und Beispielen beschrieben, ohne auf die Ausführungsformen in den Figuren und Beispielen beschränkt zu sein: Fig. 1 Schematische Darstellung der Grundlage dieser Erfindung.
Fig. 2 Schematische Darstellung des erfindungsgemäßen Prinzips und der Struktur vom Beispiel 1
Fig. 3 Schematische Darstellung des erfindungsgemäßen Verfahrens zur Bestimmung der Zeil-Eigenschaften im Beispiel 1
Fig. 4 Flussdiagramm des erfindungsgemäßen Prozesses des Erwerbs der Kalibrie- rungsinformation im Beispiel 1
Fig.5 Schematische Darstellung des erfindungsgemäßen Verfahrens der Berechnung der 49 Fourier-Merkmale im Schritt 68 in von Fig. 4.
Fig. 6 Flussdiagramm der erfindungsgemäßen Untersuchung der Zelleigenschaften anhand der geladenen Kalibrierungsinformation im Beispiel 1
Fig. 7 Flussdiagramm des erfindungsgemäßen Algorithmus für die Zellerkennung im
Schritt 77 in der Figur 6.
Fig. 8 Schematische Darstellung des erfindungsgemäßen Prinzips und der Struktur vom Beispiel 2 unter Integration eines Reinigungssystem
Fig. 9 Schematische Darstellung des erfindungsgemäßen Prinzips und der Struktur vom Beispiel 3, wobei ein Reagenz hinzufügendes System integriert ist.
Fig. 10 Flussdiagramm des erfindungsgemäßen Prozesses des Erwerbs der Kalibrierungsinformation im Beispiel A2 dieser Erfindung.
Fig. 11 Flussdiagramm des erfindungsgemäßen Prozesses des Erwerbs der Kalibrierungsinformation im Beispiel A3 dieser Erfindung.
Fig. 12 Schematische Darstellung des erfindungsgemäßen Prinzips und der Struktur des Apparats im Beispiel A4 Fig. 13 Schematische Darstellung des erfϊndungsgemäßen Prinzips und der Struktur des Apparats, der eine Seitebeleuchtung benutzt, im Beispiel A4
Fig. 14 Schematische Darstellung des erfindungsgemäßen Prinzips und der Struktur des Apparats, der die evaneszente Welle zur Beleuchtung benutzt, im Beispiel A4
Fig. 15 Schematische Darstellung des erfindungsgemäßen Prinzips und der Struktur des Apparats, der die evaneszente Welle zur Beleuchtung und ein Mikroskop und eine Kame- ra benutzt, im Beispiel A4
Detaillierte Beschreibung der Erfindung
[0039] Die erfindungsgemäße Aufgabe wird folgendermaßen gelöst: Ein Teil des Mediums im Behälter wird vom Antriebssystem in die Messkammer gebracht. Anschließend wird die Probe, die Zellen enthält, und mit keinem Farbstoff oder Kennzeichenmaterial behandelt wird, von einer Lichtquelle beleuchtet. Das optische Signal der Zellen wird an einen zweidimensionalen Apparat, der das optische Signal in ein elektronisches Signal umwandelt, gesendet. Daraufhin werden zweidimensionale, elektronische Signale bzw. zweidimensionale digitale Information erzeugt. Dieses elektronische Signal bzw. diese Information werden in den Analyser gesendet, und Bilder werden erzeugt. Der Analyser analysiert und verarbeitet die Bilder anhand der aufgezeichneten Kalibrierungsinformation. Daraufhin werden die Eigenschaften der Objekte im Medium bestimmt. Die sogenannte Kalibrierungsinformation wird vor der Untersuchung der Probe erworben, und der Prozess des Erwerbs wird so durchgeführt: Bilder der Objekte, die eine gewisse Eigenschaft haben, werden als der Trainingda- tensatz genutzt. Merkmale der Bilder, welche die korrekte Klassifikation der untersuchten Objekte, die verschiedene Eigenschaften haben, begünstigt, werden als Kalibrierungsinformation extrahiert.
[0040] Um die Verteilung von Multischichten der Objekte in der Messkammer zu vermeiden (weil dies verschwommene Bilder verursacht), wird die Höhe der Messkammer der durchschnittlichen Größe der Objekte im Medium angepasst, so wird nur eine Schicht der Objekte geformt. [0041] Im Apparat, der dieser Erfindung durchführt, enthält das Antriebssystem mindestens eine Pumpe, um die Sammlung eines Teils des Mediums und die Übertragung in die Messkammer zu begünstigen. Außerdem kann die Geschwindigkeit des Fließens des Mediums durch Einstellung der Geschwindigkeit der Pumpe kontrolliert werden. So kann es ver- wirklicht werden, dass die Geschwindigkeit des Fließens des Mediums der Intensität der Beleuchtung angepasst wird. Unter den Bedingungen, dass die Beleuchtung nicht ausreichend ist, kann man die Geschwindigkeit der Pumpe reduzieren, um deutlichere Bilder zu erlangen.
[0042] Nach einem dauerhaften Laufen können sich die Substanzen im Medium in der Messkammer absetzen und anstauen und können sogar eine Verstopfung des Systems verursachen. Um dieses Problem zu lösen wird in einem Beispiel dieser Erfindung ein Reinigungssystem integriert, das mindestens einen Reinigungsmittelbehälter und einen Müllbehälter enthält. Der Reinigungsmittelbehälter wird durch eine Leitung mit dem Antriebssystem und der Messkammer verbunden. Der Müllbehälter ist durch eine Leitung mit der Messkam- mer verbunden. Jede dieser Leitungen wird mit mindestens einem Schalter (insbesondere einem Ventil) zur Kontrolle des Fließens der Objekte ausgerüstet. Mit diesem integrierten Reinigungssystem können die Medium-Untersuchung und die Messkammer-Reinigung durch die Einstellung des Zustands des Ventils abwechseln.
[0043] In einem Beispiel dieser Erfindung, kann ein gewisses Reagenz beim Einsatz eines anderen Antriebssystems in die Messkammer hinzugefügt werden. Dieses Reagenz kann die Untersuchung der Objekte im Medium begünstigen. Beispiele für solche Reagenzien sind Antischaum-Emulsionen, Kontrast erhöhende Mittel, Farbstoffe (zum Zweck vom Vergleich) Fluorophore, etc.
[0044] In einem Beispiel dieser Erfindung, werden vom Analyser Fourier-Merkmale als Kalibrierungsinformation genutzt, die aus dem Bild des Objekts berechnet wurden und der Klassifizierer, nutzt diese Merkmale als Trainingdatensatz. Die Verarbeitung der Bilder der Probe anhand der Kalibrierungsinformation umfasst die folgenden Schritte: Erkennung der Objekte, Berechnung eines Spektrums mittels eines mathematischen Verfahrens des Bildes der Objekte, und Klassifikation. Normalerweise sind die Objekte Zellen, wie z. B., Tierzellen, Pflanzzellen, oder Zellen des Mikroorganismus. [0045] Der Apparat für Analyse des Mediums umfasst die folgenden Komponenten: einen Lichtsender, der die Probe beleuchtet, ein optisches mikroskopisches System, das Bilder erzeugt, einen Empfänger, der das Licht aus der Objekte empfängt, - und einen Analyser, in dem die Kalibrierungsinformation aufgezeichnet wird. Außerdem kann dieser die Bilder anhand der aufgezeichneten Kalibrierungsinformation analysieren und verarbeiten.
[0046] Das vom Lichtsender emittierte Licht ist eines von folgenden: Infrarotlicht, sichtba- res Licht, und Ultraviolet licht, oder die Kombination von mehreren von denen. Das optische System beruht auf einem von folgenden: Phasenkontrastmikroskop, Hellfeldmikroskop, Dunkelfeldmikroskop, Differenz-Interferenz-Mikroskop, Fluoreszenzmikroskop, und Konfokalmikroskop, oder die Kombination von mehreren von denen. Der Lichtempfänger ist eine dem IEEE-1394-Standard entsprechende CCD- oder CMOS-Kamera. Der Analyser enthält einen 1394- Adapter, einen Prozessor, Speicher, und Festplatte, in der die Kalibrierungsinformation aufgezeichnet ist. Man kann auch die Kamera und den Analyser durch eine intelligente Kamera ersetzen, welche die Fähigkeit der Wandlung optisch/elektronisch mit dem Signalanalyse- und Signalverarbeitungeinheit kombiniert. Dieser Apparat kann den Abstand zwischen dem Mikroskopobjektiv und der Probe einstellen, somit kann die Qualität der Abbildung erhöht werden.
[0047] In einem Beispiel dieser Erfindung, breitet sich das Licht durch kein optisches System, sondern direkt auf den Apparat aus, der die Wandlung von optischen Werten auf elektronischen Werten durchführt. Anschließend werden Bilder erzeugt. Auf diese Weise wird das System vereinfacht.
[0048] In einem Beispiel dieser Erfindung haben die Zellen in der zu untersuchenden Probe drei verschiedene Eigenschaften des Lebenszustands: lebend, nekrotisch, und apopto- tisch.
[0049] In einem Beispiel dieser Erfindung haben die Zellen in der zu untersuchenden Probe unterschiedliche Eigenschaften der Aktivitäten, d. h., unterschiedliches Niveau der metabolischen Aktivitäten. [0050] In einem Beispiel dieser Erfindung haben die Zellen in der zu untersuchenden Probe unterschiedliches Niveau der Alterung.
[0051 ] Die Erfindung wird jetzt anhand der Figuren näher erläutert:
[0052] In der Figur 1 wird die Grundlage dieser Erfindung schematisch dargestellt. Der Behälter 1 enthält ein Medium 2. Ein Teil des Mediums 2 wird vom Antriebssystem 4 aufgenommen, und in die Messkammer 6 übertragen. In der Messkammer 6 wird eine dünne Schicht des Medium 2 geformt. Diese dünne Schicht wird von einem Lichtsender 8 beleuch- tet. Von einem Apparat 12 für Wandlung werden die optischen Signale in elektronische Flächensignale umgewandelt, und in die Signalanalyseeinheit 14 zur automatisierten Untersuchung und Analyse gesendet. Daraufhin werden die Objekte im Medium 2 erkannt, gezählt und klassifiziert.
Beispiel 1
[0053] Figur 2 ist eine schematische Darstellung des Prinzips und der Struktur eines ersten Beispiels dieser Erfindung dargestellt. Dabei werden die Eigenschaften des Lebenszustands der Zellen im Medium 2 in einem Bioreaktor 20 untersucht. Es wurden Tierzellen, nämlich Chinese-Hamster-Ovary (CHO)- und Heia-Zellen sowie Hefe-Zellen in den Versu- chen verwendet. Ein Teil des sich im Bioreaktor 20 befindenden Mediums 2 wird von der Pumpe 29 als Probe durch die Leitung 38a aufgenommen, und in die Messkammer 6 gesendet. Die Höhe der Messkammer 6 wird der durchschnittlichen Größe der Objekte im Medium 2 angepasst. Die Messkammer 6 befindet sich vor dem Mikroskop 10. Das Medium 2 und die Objekte in dem Medium 2 werden als erzeugten Bilder vom Mikroskop 10 aufgenommen, wobei der Lichtsender 8 die Objekte beleuchtet. Die optischen Signale der erzeugten Bilder werden an die Kamera 12a gesendet. Die Kamera 12a wird mit einer Analyseeinheit verbunden. In der Analyseneinheit werden die erzeugten Bilder durch die auf maschinellem Lernen beruhende Mustererkennungstechnik verarbeitet. Daraufhin werden die Eigenschaften des Lebenszustands der Zellen, d. h., ob eine Zelle lebend, nekrotisch, oder apoptotisch ist, in der Probe bestimmt. Ähnlich kann die Probe auch Pflanzzellen, oder Zellen des Mikroorganismus enthalten. Das Untersuchungsverfahren für solche Pflanzenzellen bzw. Zellen der Mikroorganismus ist dasselbe wie für Tierzellen und Hefe-Zellen. Durch ein Bioreaktorfenster 21 ist es möglich in das Innere des Bioreaktors zu sehen. [0054] In diesem Beispiel werden die Bilder durch Phasenkontrastmikroskopie aufgenommen. Wie es in der Figur 3 gezeigt wird, emittiert der Lichtsender 8 ein paralleles Licht, um das ringförmige Diaphragma 11 zu beleuchten. Das vom Lichtsender 8 emittierte Licht ist eines von folgenden: Infrarotlicht, sichtbares Licht, und Ultra violetlicht, oder eine Kombina- tion davon. Nur die Strahlen in dem in der Figur dargestellten, ringförmigen Bereich können durch das ringförmige Diaphragma 11 durchgehen. Dieser Teil der Strahlen wird vom Kondensor 9 fokussiert, und geht durch das Loch 49 am Träger 48 durch, und beleuchtet die zu untersuchende Probe 22 in der Messkammer 25. Die Probe 22 ist eine Suspension der Zellen, in der die Zellen verschiedene Eigenschaften haben: lebend, nekrotisch oder apoptotisch. Die auf die Probe 22 geworfenen Strahlen werden in zwei Teile eingeteilt: Ein Teil der Strahlen sind die aus dem ringförmigen Diaphragma 11 kommenden, ringförmigen, direkten Strahlen I Ia. Der andere Teil der Strahlen ist die von der Probe 22 abstrahlende Streustrahlung I Ib. Diese zwei Teile der Strahlen werden vom Mikroskopobjektiv 16 gesammelt, und auf die Phasenplatte 17 projiziert. Die direkten Strahlen I Ia und die Streustrahlung I Ib werden von der Phasenplatte 17 unterschiedlich moduliert. Abschließend wird eine Mehrzahl von Flächensignale, in diesem Fall ein Bild am Lichtempfang-Chiparray 18 der CCD-Kamera 19 erzeugt. Im Sinne der Erfindung kann die Kamera auch eine CMOS-Kamera sein. Der Lichtsender 8, das ringförmige Diaphragma 11, der Kondensor 9, das Mikroskopobjektiv 16, und die Phasenplatte 17 bilden zusammen ein Phasenkontrastmikroskop. Außerdem kann der Ap- parat auch eines der folgenden oder die Kombination von mehreren davon umfassen: Hellfeldmikroskop, Dunkelfeldmikroskop, Differenz-Interferenz-Mikroskop, Fluoreszenzmikroskop, und Konfokalmikroskop. Die CCD- oder CMOS-Kamera 19 entspricht in einem Beispiel dem IEEE-1394-Standard. Die CCD-Kamera 19 wandelt die optischen Signale des Bildes der Probe 22 in elektronische Signale um, und sendet diese elektronischen Signale durch ein dem IEEE-1394-Standard entsprechendes FireWire-Kabel 33 an den Analyser 30. Der Analyser 30 überträgt das Bild der Probe 22 durch einen mit dem FireWire-Kabel 33 verbundenen 1394-Adapter 32 in den Speicher 31. Der Analyser 30 lädt die in der Festplatte 37 gespeicherte Kalibrierungsinformation auch in den Speicher 31. Der Prozessor 34 verarbeitet die Daten (Kalbrierungsinformation und elektronische Signale) im Speicher 31, berechnet und analysiert das Bild der Probe 22. Daraufhin werden die Eigenschaften der Zellen in der Probe 22 bestimmt. Hier kann man auch die CCD-Kamera 19 und den Analyser 30 durch eine intelligente Kamera, welche die Fähigkeit der Wandlung mit dem Signalanalyse- und Signalverarbeitungeinheit kombiniert, ersetzen. [0055] Der Analyser 30 enthält eine Platine 36 für eine Schrittmotorkontrolle. Die Schrittmortorkontrolle kontrolliert durch ein Kontrollekabel 35 die Rotation eines Schrittmotors 40 und lässt folglich eine Gewindespindel 43 rotieren. Ein Träger 42 wird an einem Boden 46 fixiert. Eine Innenschraube des Trägers 42 entspricht der Schraube 44 der Gewinde- spindel 43. Wenn die Gewindespindel 43 durch den Schrittmotor 40 angetrieben rotiert, entsteht eine relative Bewegung zwischen dem Träger 42 und dem Schrittmotor 40 oder der Gewindespindel 43. Diese relative Bewegung bewirkt gleichzeitig, dass sich ein gleitender Block 41 und der mit dem gleitenden Block 41 fixierte Träger 48 auf- und abbewegen. Somit wird der Abstand zwischen dem Mikroskopobjektiv 16 und der Probe 22 eingestellt wird. Auf diese Weise kann die Qualität der am Lichtempfang-Chiparray 18 der CCD-Kamera 19 erzeugten Bilder maximiert werden.
[0056] In diesem Beispiel wird die vom Analyser 30 genutzte Kalibrierungsinformation durch den in der Figur 4 gezeigten Prozess erworben. Im Schritt 64 werden die Bilder der folgenden kalibrierenden Proben aufgenommen: die nur lebende Zellen enthaltende erste Probe 61, die nur nekrotische Zellen enthaltende zweite Probe 62, und die nur apoptotische Zellen enthaltende dritte Probe 63. Diese erzeugten Bilder werden als ein Trainingdatensatz genommen. In allen trainierenden Bildern ist die Eigenschaft des Lebenszustands der Zelle bekannt (d.h. lebend, nekrotisch, apoptisch). Zum Beispiel, in der erste Probe 61 ist die Eigen- schaft des Lebenszustands jeder Zelle „lebend", in der zweiten Probe 62 ist die Eigenschaften des Lebenszustands jeder Zelle „nekrotisch", und in der dritten Probe 63 ist die Eigenschaften des Lebenszustands jeder Zelle „apopto tisch". Das Verfahren für den Erwerb der ersten Probe 61, der zweiten Probe 62 und der dritten Probe 63 umfasst folgende Schritte: Die suspendierte Kultivierung der Zellen wird in dem flüssigen Medium 22 durchgeführt. Wenn die Zellen in die logarithmische Phase des Wachstums übergehen, wird Cisplatin (eine Substanz gegen Krebs) mit einer Konzentration von 2 μg / ml hinzugefügt und die Kultur wird für 16 Stunden aufbewahrt. Danach werden die erste Probe 61, die zweite Probe 62 und die dritte Probe 63 aus der Zellsuspension genommen und einem Zellsorter zugeleitet, um die lebendigen, nekrotischen und apoptotischen Zellen zu erkennen und jeweils in einen unterschiedlichen Behälter zu senden. Dabei wird ein doppelter Farbstoff, der aus Annexin- V und PI besteht, vom Zellsorter verwendet. Der Erwerb von Proben 61, 62 und 63 wurde auch dadurch realisiert, dass die Auszüge von Kulturen, die unter verschiedenen Bedingungen (wie z. B. unterschiedliche pH Werten, O2 Konzentrationen, Temperaturen, physischen Behandlungen) aufbewahrt wor- den waren, in den Zellsorter geleitet wurden, und somit ließen sich die Zellen ähnlich wie oben in drei Gruppen teilen.
[0057] Im Schritt 68 werden 49 Fourier-Merkmale für jede Zelle in den Bildern berechnet. Diese Fourier-Merkmale werden auf der Festplatte gespeichert. Im Schritt 69 werden verschiedene Teilmengen der im Schritt 68 erworbenen 49 Fourier-Merkmale der Zellbilder genutzt, um einen SVM-Klassifϊzierer (SVM: support vector machine) mit drei Klassen zu trainieren. Daraufhin wird dieser Klassifizierer im Schritt 70 genutzt, um einen besonderen Bilddatensatz, in dem das Verhältnis jeder Klasse von Zellen (mit unterschiedlichen Eigenschaf- ten) bekannt ist, zu testen. Dieser besondere Bilddatensatz wird in der folgenden Weise erworben. Es werden die erste Probe 61, die zweite Probe 62 und die dritte Probe 63 in einem definierten Verhältnis gemischt. Anschließend wird das Gemisch der ersten Probe 61, der zweiten Probe 62 und der dritten Probe 63 durch ein normales Phasenkontrastmikroskop aufgenommen. In diesem Gemisch wird das wirkliche Verhältnis jeder Klasse von Zellen (mit den unterschiedlichen Eigenschaften der drei Proben) durch den Zellsorter bestimmt. Die gemischten Proben werden als Referenz verwendet. Im Schritt 69 führen unterschiedliche Teilmengen zu unterschiedlich genauen Ergebnissen. In Schritt 70 wird die Teilmenge als die beste Teilmenge ausgewählt, welche zur genausten Bestimmung der Eigenschaften der Zellen geführt hat, welche ja zuvor durch den Zellsorter bestimmt wurden und so bekannt waren. Es wurde beispielsweise in einem Versuch eine Teilmenge, die aus 12 Merkmalen (mit Indizies 2, 7, 8, 15, 18, 20, 23, 29, 31, 37, 43, 48) besteht, als die beste aus den 49 Merkmalen ausge- wält. Im Schritt 71 werden die in der besten Teilmenge enthaltenen Merkmals-Indices auf die Festplatte gespeichert. Gleichzeitig wird der Klassifizierer, der die beste Teilmenge als Trainingdatensatz nutzt, auch auf die Festplatte gespeichert. Die in der besten Teilmenge enthal- tenen Indexe der Merkmale und der die beste Teilmenge als Trainingdatensatz nutzende Klassifizierer dienen als die Kalibrierungsinformation dieses Beispiels.
[0058] Normalerweise wird mittels der Selektion der Merkmale die Leistung des Systems gesteigert. In gewissen Fällen wird es jedoch zu guten Ergebnissen kommen, selbst ohne die Selektion der Merkmale. In diesen Fällen können die Eigenschaften der Objekte bestimmt werden anhand des kompleten Sets der Merkmale.
[0059] Figur 5 ist eine schematische Darstellung des Verfahrens der Berechnung der 49 Fourier-Merkmale im Schritt 68 in der Figur 4. Wenn die schnelle Fouriertransformation 56 für jedes der Zellbilder 55 durchgeführt wird, ergibt es ein räumliches Spektrum 51. Anschließend wird dieses räumliche Spektrum 51 in 7 Reihen und 7 Spalte geteilt. Es ergibt somit 49 Sub-Bilder. Anschließend wird die Energie für jedes dieser Sub-Bilder 57 (d. h., die Summe des Quadrats der Pixelwerte jedes Sub-Bildes) berechnet. Somit werden 49 Merkmale ergibt. Die Merkmale-Indizes 52 werden unten in der Figur 5 dargestellt.
[0060] Das Verfahren zur Untersuchung der Zeil-Eigenschaften der zu überprüfenden Probe wird in der Figur 6 gezeigt. Im Schritt 75 werden der Klassifizierer und die ausgewählten Indexe der Merkmale, die als die Kalibrierungsinformation dienen, eingelesen. Danach wird das Bild der zu prüfenden Probe im Schritt 76 auch eingelesen. Daraufhin werden die im Bild enthaltenen Zellen im Schritt 77 aus dem Hintergrund erkannt. Danach werden die Fourier- Merkmalwerte jedes Zellbildes, die den in der Kalibrierungsinformation enthaltenen Indizes entsprechen, im Schritt 78 ausgerechnet. Es wurden beispielsweise in einem Versuch 12 Merkmalen (mit Indizies 2, 7, 8, 15, 18, 20, 23, 29, 31, 37, 43, 48) des Zellbildes berechnet, somit wurde das Zellbild in 12 elektronischen Werte umgewandelt. Im Schritt 79 werden die elektronischen Werte jedes Zellbildes anschließend mit den gespeicherten elektronischen Werten der kalibrierenden Proben vergliechen, und um konkret zu sein, in diesem Beispiel wird er von dem in der Kalibrierungsinformation enthaltenen Klassifizierer in lebende, nekrotische, und apoptotische Zellen klassifiziert.
[0061] Dies liegt daran, dass eine tote Zelle entweder nekrotisch oder apoptotisch ist. Aus diesem Grund werden nekrotische und apoptotische Zellen als „tot" gekennzeichnet, und somit lassen sich die gesamten Zellen in „lebend" oder „tot" klassifizieren.
[0062] In unseren Versuchen sind auch andere mathematische Verfahren im Umwandeln des Zellbildes in eine Mehrzahl von Merkmal repräsentierenden elektronischen Werten angewendet worden. Einige davon lauten: Wavelet-Transformation, Hauptkomponentenanalyse, Gabor-Filter, etc. Die aus diesen Methoden entstandenen Treffgenauigkeiten sind vergleichbar gewesen mit den Treffgenauigkeiten aus der oben beschriebenen Fourier-Transformation.
[0063] In unseren Versuchen sind andere Typen von Klassifizierern im Vergleichen der Mehrzahl von elektronischen Werten des Zellbildes mit den gespeicherten elektronischen Werten der kalibrierenden Proben angewandet worden. Einige davon lauten: Gaussian-Mix- Modell- Klassifizierer (Gaussian-Mix-Model-Klassifϊzierer), Nähreste-Nachbarn- Klassifizierer (Nearest-Neighbor-Klassifizierer), etc. Die aus diesen Klassifizierern entstandenen Treffgenauigkeiten sind vergleichbar gewesen mit den Treffgenauigkeiten aus dem oben beschriebenen SVM-Klassifizierer.
[0064] In der Figur 7 wird das Verfahren für die Zellerkennung im Schritt 77 in der Figur 6 erläutert. Die Basis der Zellerkennung ist, dass zwei Klassen von Bildern - Zellbilder und Bilder von Nicht-Zellen - fürs Trainieren eines Klassifizierer eingesetzt werden. Anschließend wird dieser trainierte Klassifizierer genutzt, um die Zellen im Bild der zu untersuchenden Probe aus dem Hintergrund zu erkennen. Bilder von Nicht-Zellen sind dadurch definiert, dass in diesen keine Zelle abgebildet ist. In diesem Beispiel werden die Bilder von NichtZellen dadurch erworben, dass die Pixel des Hintergrundbereichs des Bildes der Probe durch ein Fenster einer definierten Größe zufällig aufgenommen werden. Im Schritt 81 wird eine Hauptkomponentenanalyse für die Zellbilder im Trainingdatensatz durchgeführt. Anschließend werden sechs Eigenvektoren, die den maximalen Eigenwerten entsprechen, im Schritt 82 berechnet. Im Schritt 83 werden die Bilder von Nicht-Zellen aus dem Trainingdatensatz eingelesen. Diese Bilder sowie die im Schritt 81 eingesetzten Zellbilder im Trainingdatensatz werden im Schritt 84 auf die sechs im Schritt 82 berechneten Eigenvektoren projiziert. Diese projizierten Vektoren werden im Schritt 85 fürs Trainieren eines SVM-Klassifizierers mit drei Klassen genutzt. So ist das Trainieren des Klassifizierers abgeschlossen. Daraufhin werden die Bilder der zu untersuchenden Probe im Schritt 86 eingelesen. Im Schritt 85 wird der trainierte Klassifizierer eingesetzt, um eine Zuversicht-Mappe im Schritt 87 zu berechnen. Es wird ein Fenster der Größe N x N um jedes Pixel eines Bildes gelegt und es werden die Pixelwerte innerhalb dieses Fensters in einen Vektor umgewandelt, und die Entfernung von diesem Vektor zur Grenze der zwei Klassen (Zellen und Nicht-Zellen) wird als Zuversichts- wert bezeichnet. Anschließend werden Pixel in der Zuversichtsmappe im Schritt 88 herausgefunden, an denen die Zuversichtswerte in einem bestimmten Umkreis maximal sind und über einem definierten Schwellenwert sind. Diese Pixel werden als die Positionen der Zellen angesehen.
Beispiel 2
[0065] Figur 8 ist eine schematische Darstellung des Prinzips und der Struktur vom Beispiel 2. Dabei wird ein Reinigungssystem integriert. Wenn ein erstes Ventil 28 geöffnet und eine zweites Ventil 26 geschlossen wird, wird einiges Reinigungsmittel von einer Pumpe 29 durch eine Leitung 38c vom Behälter 53 an die Messkammer 6 gesendet, und durch die Leitung 38b in den Müllbehälter 54 weitergeleitet. So wird die Messkammer 6 gereinigt. Andererseits, wenn das zweite Ventil 26 geöffnet und das erste Ventil 28 geschlossen wird, nimmt die Pumpe 29 kein Reinigungsmittel auf, sondern einen Teil des Mediums 2 als Probe 22 auf. Somit können die Untersuchung des Mediums 2 und die Reinigung der Messkammer 6 durch die Einstellung der Zustände des ersten Ventils 26 und des zweiten Ventils 28 abwechseln.
Beispiel 3
[0066] Figur 9 ist eine schematische Darstellung des Prinzips und der Struktur vom Beispiel 3. Dabei wird ein Reagenzien hinzufügendes System integriert. Im Vergleich zu Figur 8, wer- den eine Reagenzpumpe 29a und eine Reagenz-Patrone 32 hinzugefügt, damit einiges Reagenz in der Reagenz-Patrone 32 von der Pumpe 29a in die Messkammer 6 geleitet wird. Dort wird es mit der Probe 22 gemischt, um die Untersuchung zu begünstigen.
Beispiel A2 [0067] In Beispiel A2 wird Phasenkontrastmikroskopie für die Aufnahme der Bilder der Probe 22 eingesetzt. Es wird die beschriebene Mustererkennungstechnik genutzt, um die Vitalität der Tierzellen, d. h., das Niveau der metabolischen Aktivitäten der Tierzellen, in der Probe 22 zu untersuchen. Es wurden CHO- und Heia-Zellen in den Versuchen verwendet. Der in diesem Beispiel angewandte Apparat ist derselbe wie im Beispiel 1 (wie es in der Figur 3 ge- zeigt wird). Trotzdem wird in diesem Beispiel andere Kalibrierungsinformation als im Beispiel 1 genutzt.
[0068] In diesem Beispiel wird die vom Analyser 30 genutzte Kalibrierungsinformation durch das in der Figur 10 dargestellte Verfahren erworben. Zuerst, wird die Suspension der Tierzellen in einen geschlossenen Behälter überführt. Anschließend wird die Suspension bei einer Temperatur von 45 0C in einem Wasserbad für 30 Minuten aufbewahrt. Daraufhin wird die Suspension mit C12-resazurin und SYTOX gefärbt. Anschließend wird die Suspension in den Zellsorter gestellt, um die Zellen je nach ihrer eigenen Vitalität in acht Gruppen zu teilen. Folglich ergeben sich eine Vielzahl von kalibrierenden Proben 101, ...108. Das Niveau der Vitalität wird nach der Intensität der von der Zelle emittierten, roten Fluoreszenz beurteilt. Dabei besitzt die Probe 108 die höchste Intensität der roten Fluoreszenz, während die Probe 101 die niedrigste Intensität der roten Fluoreszenz hat. Es wird ein Vitalitätswert von 100% auf die höchste Intensität der roten Fluoreszenz bezogen, und ein Vitalitätwert von -100% auf die niedrigste Intensität der roten Fluoreszenz beszogen. Es wird der jeweiligen Bereich der Vitalitätwerte der Probe 101, der Probe 102, ... und der Probe 108 in der Tabelle 1 dargestellt.
Tabelle 1 : Bereichen der Zellvitalität- Werte der trainierenden Proben im Beispiel A2
Figure imgf000023_0001
[0069] Im Schritt 114 werden die Probe 101,... 108 durch ein normales Phasenkontrastmikroskop aufgenommen. Die erzeugten Bilder vom Phasenkontrastmikroskop werden als Trainingdatensatz eingesetzt. In allen trainierenden Bildern ist der Bereich der Vitalitätwerte jeder Zelle bekannt.
[0070] Im Schritt 118 werden die 49 Fourier-Merkmale jeder Zelle in den Bildern berechnet und auf der Festplatte gespeichert. Im Schritt 119 werden verschiedene Teilmengen der im Schritt 118 erworbenen 49 Fourier-Merkmale der Zellbilder genutzt, um einen SVM- Klassifizierer mit zwei Klassen zu trainieren. Während die Bilder der Probe 101 -104 als Trainingdatensatz für eine Klasse genutzt werden, sind die Bilder der Probe 105-108 als Trainingdatensatz für die andere Klasse zu verwenden. Ein Vitalitätswert bezieht sich im Klassifizierer auf eine Entfernung zwischen dem Fourier-Merkmalvektor, der vom Verketten der Werte der Teilmenge der Fourier-Merkmale entstanden ist, und der Grenze der zwei Klassen. Im Schritt 120, je näher der vom Klassifizierer bestimmte Vitalitätswerte bei dem vom ZeIl- sorter bestimmten Vitalitätwert ist, desto genauer ist der Klassifizierer. Die Nutzung von unterschiedlichen Teilmengen der Merkmale führt zu unterschiedlich genauen Ergebnissen. Deswegen wird die Teilmenge der Merkmale, die zur höchsten Genauigkeit führt, als die beste Teilmenge ausgewählt. Es wurde beispielsweise in einem Versuch eine Teilmenge, die aus 10 Merkmalen (mit Indizies 1, 2, 5, 14, 18, 24, 28, 33, 39, 47) besteht, als die beste aus den 49 Merkmalen ausgewählt. Im Schritt 121 werden die von der besten Teilmenge enthaltenen Indexe der Merkmale auf die Festplatte gespeichert. Gleichzeitig wird der Klassifizierer, der die beste Teilmenge als Trainingdatensatz nutzt, auch auf die Festplatte gespeichert. Die von der besten Teilmenge enthaltenen Indexe der Merkmale und der die beste Teilmenge als Trai- ningdatensatz nutzende Klassifϊzierer dienen als die Kalibrierungsinformation dieses Beispiels.
[0071] Das Verfahren, in dem die Zeil-Eigenschaften durch die Kalibrierungsinformation untersucht werden, ist identisch zu dem Verfahren von Beispiel 1. Dennoch ist die Kalibrierungsinformation in diesem Beispiel die im Schritt 121 (wie es in der Figur 10 gezeigt wird) gespeicherte Information. Es wurden beispielsweise in einem Versuch 10 Merkmalen (mit Indizies 1, 2, 5, 14, 18, 24, 28, 33, 39, 47) des Zellbildes berechnet, somit wurde jedes Zellbild in 12 elektronische Werte umgewandelt. Wenn die elektronischen Werte des Zellbildes mit der Kalibrierungsinformation verglichen werden, um konkret zu sein, vom Klassifϊzierer aus der Kalibrierungsinformation klassifiziert werden, wird die Entfernung vom Fourier- Merkmalvektor des Bildes der Zelle zur Grenze der zwei Klassen im Bereich [0, 1] normalisiert, und es wird diese normalisierte Entfernung als Zellvitalitätswert verwendet.
[0072] In unseren Versuchen sind auch andere mathematische Verfahren im Umwandeln des Zellbildes in eine Mehrzahl von merkmale-repreäsentierenden elektronischen Werten an- gewandet worden. Einige davon lauten: Wavelet-Transformation, Hauptkomponentenanalyse, Gabor-Filter, etc. Die aus diesen Methoden entstandenen Treffgenauigkeiten sind vergleichbar gewesen mit den Treffgenauigkeiten aus der oben beschriebenen Fourier-Transformation.
[0073] In unseren Versuchen sind andere Typen von Klassifizierern im Vergleichen der Mehrzahl von elektronischen Werten des Zellbildes mit den gespeicherten elektronischen Werten der kalibrierenden Proben angewandet worden. Einige davon lauten: Gaussian-Mix- Modell- Klassifϊzierer (Gaussian-Mix-Model-Klassifϊzierer), Nähreste-Nachbarn- Klassifϊzierer (Nearest-Neighbor-Klassifϊzierer), etc. Die aus diesen Klassifizierern entstandenen Treffgenauigkeiten sind vergleichbar gewesen mit den Treffgenauigkeiten aus dem oben beschriebenen SVM-Klassifϊzierer.
Beispiel A3 [0074] In Beispiel A3 wird die Phasenkontrastmikroskopie auch für die Abbildung der Probe eingesetzt. Es wird die Mustererkennungstechnik dieser Erfindung genutzt, um die Alterung der Tierzellen in der Probe zu untersuchen. Es wurden CHO-Zellen in den Versuchen verwendet. Der in diesem Beispiel angewandte Apparat ist derselbe wie im Beispiel 1 (wie es in der Figur 3 gezeigt wird). Trotzdem wird in diesem Beispiel andere Kalibrierungsinformation als Beispiel 1 verwendet.
[0075] In diesem Beispiel wird die vom Analyser 30 genutzte Kalibrierungsinformation durch das in der Figur 11 gezeigte Verfahren erworben. Im Schritt 164 werden die Bilder der folgenden kalibrierenden Proben aufgenommen: die nur gealterte Zellen enthaltende erste Probe 161, und die nur nichtgealterte Zellen enthaltende zweite Probe 162. Diese erzeugten Bilder werden als der Trainingdatensatz genommen. In allen trainierenden Bildern ist die Eigenschaft jeder Zelle bekannt. Zum Beispiel ist in der ersten Probe 161 die Eigenschaft jeder Zelle „gealtert". In der zweiten Probe 162 ist die Eigenschaft jeder Zelle „nichtgealtert".
[0076] Im Schritt 168 werden 49 Fourier-Merkmale für jede Zelle in den Bildern berechnet. Diese 49 Fourier-Merkmale werden auf die Festplatte aufgezeichnet. Im Schritt 169 werden verschiedene Teilmengen der im Schritt 168 erworbenen 49 Fourier-Merkmale der Zellbilder genutzt, um einen SVM-Klassifizierer mit zwei Klassen zu trainieren. Daraufhin wird dieser Klassifizierer im Schritt 170 genutzt, um einen Bilddatensatz zu testen, in welchem das Verhältnis zwischen den gealterten und nichtgealterten Zellen in jedem Bild bekannt ist. Dieser Bilddatensatz wird folgendermaßen erworben: Es werden die erste Probe 161 und die zweite Probe 162 mit einem gewissen Verhältnis gemischt. Anschließend werden die gemischten erste Probe 161 und die zweite Probe durch ein normales Phasenkontrastmikroskop aufgenommen. In der gemischten Probe leitet sich das Verhältnis zwischen den gealterten und nichtgealterten Zellen aus dem Mischungsverhältnis ab. Diese gemischte Probe wird als Referenz genutzt. Zum Beispiel, wenn das Mischungsverhältnis 3 Teile gealterter Zellen mit 1 Teil nicht gealterter Zellen ist, enthält die Probe der 75% gealterte Zellen. In Schritt 169 wird der Klassifizierer mit unterschiedlichen Teilmengen der Merkmale trainiert. Die Verwendung unterschiedlicher Teilmengen führt zu unterschiedlichen Genauigkeiten bei der Bestimmung. In Schritt 170 wird die Teilmenge (oder die Teilmengen) der Merkmale ausgewählt, die zu einem Ergebnis geführt hat (haben), welches möglichst nahe am vorbekannten Referenzergebnis lag(en). Deswegen wird die Teilmenge der Merkmale, die zur höchsten Genauigkeit führt, als die beste Teilmenge ausgewählt. Im Schritt 171 werden die von der besten Teilmenge enthaltenen Indizes der Merkmale auf die Festplatte gespeichert. Es wurde beispielsweise in einem Versuch eine Teilmenge, die aus 11 Merkmalen (mit Indizies 0, 5, 15, 19, 21, 27, 28, 30, 40, 41, 44) besteht, als die beste aus den 49 Merkmalen ausgewählt. Gleichzeitig wird der Klassifizierer, der die beste Teilmenge als Trainingdatensatz nutzt, auch auf die Festplatte gespeichert. Die von der besten Teilmenge enthaltenen Indizes der Merkmale und der die beste Teilmenge als Trainingdatensatz nutzende Klassifϊzierer dienen als die Kalibrierungsinformation dieses Beispiels.
[0077] In unseren Versuchen sind auch andere mathematische Verfahren im Umwandeln des Zellbildes in eine Mehrzahl von Merkmal repräsentierenden elektronischen Werten ange- wandet worden. Einige davon lauten: Wavelet-Transformation, Hauptkomponentenanalyse, Gabor-Filter, etc. Die aus diesen Methoden entstandenen Treffgenauigkeiten sind vergleichbar gewesen mit den Treffgenauigkeiten aus der oben beschriebenen Fourier-Transformation.
[0078] In unseren Versuchen sind andere Typen von Klassifizierern im Vergleichen der Mehrzahl von elektronischen Werten des Zellbildes mit den gespeicherten elektronischen Werten der kalibrierenden Proben angewandet worden. Einige davon lauten: Gaussian-Mix- Modell- Klassifϊzierer (Gaussian-Mix-Model-Klassifϊzierer), Nähreste-Nachbarn- Klassifizierer (Nearest-Neighbor-Klassifizierer), etc. Die aus diesen Klassifizierern entstandenen Treffgenauigkeiten sind vergleichbar gewesen mit den Treffgenauigkeiten aus dem oben beschriebenen SVM-Klassifizierer.
Beispiel A4 [0079] In Beispiel A4 wird kein optisches Abbildungssystem verwendet. Das Licht aus den zu untersuchenden Objekten wird direkt auf den Lichtempfänger geworfen. Dadurch werden Bilder erzeugt. Daraufhin werden die Eigenschaften der Tierzellen in der Probe durch die auf maschinellem Lernen beruhende Mustererkennungstechnik untersucht.
[0080] Der in diesem Beispiel angewandte Apparat ist ähnlich zu dem Apparat aus Beispiel 1. Dennoch benutzt dieses Beispiel kein optisches Abbildungssystem und keinen Mechanismus zur Einstellung der Distanz zwischen den Zellen und dem Lichtempfänger, wie es in der Figur 12 gezeigt wird. Das vom Lichtsender 8 emittierte Licht beleuchtet die Zellen der Probe 22. Die Strahlen aus den Zellen der Probe 22 gehen auf den Lichtempfänger 122. Dort werden elektronische Signale erzeugt. Diese Signale werden durch das Kabel 33 in den Analyser 30 gesendet, und werden dort verarbeitet. Somit werden die Zeil-Eigenschaften bestimmt.
[0081] Es ist auch möglich, dass die Strahlen aus dem Lichtsender 8 aus der Seite des Systems kommen, wie es in der Figur 13 gezeigt wird. Die Strahlen, die von den Zellen der Probe 22 gebeugt, gebrochen, oder verstreut werden, gehen auf den Lichtempfänger 122. In diesem Fall werden die meisten Strahlen, die vom Lichtsender 8 emittiert werden, nicht mit den Strahlen aus den Zellen der Probe 22 gemischt und nicht auf den Lichtempfänger 122 projiziert. Deswegen erhöht sich der Kontrast der Bilder.
Beispiel A5
[0082] In Beispiel A5 werden die Zellen mit einer evaneszenten Welle 13 beleuchtet, wie es in der Figur 14 gezeigt wird. Das vom Lichtsender 8 emittierte Licht wird auf das transparente Material 115 geworfen. Die Richtung der Ausbreitung des Lichtes wird so fest- gesetzt, dass eine Totalreflexion an der Grenze zwischen dem transparenten Material 115 und dem Medium 2, das die Zellen der Probe 22 enthält, entsteht. Die evaneszente Welle 13, die aus der Totalreflexion stammt, beleuchtet die Zellen der Probe 22, und anschließend werden die Strahlen aus den Zellen der Probe 22 auf den Lichtempfänger 122 geworfen. Der Lichtempfänger 122 erzeugt elektronische Signale und diese Signale werden durch das Kabel 33 in den Analyser 30 gesendet, wo sie verarbeitet werden. Somit werden die Zeil-Eigenschaften bestimmt.
[0083] In diesem Beispiel können ein Mikroskop und eine CCD- oder CMOS-Kamera 19 eingesetzt werden, wie es in der Figur 15 gezeigt wird. Im Vergleich zu Figur 14 werden zu- sätzlich ein Mikroskopobjektiv 16 und eine CCD- oder CMOS-Kamera 19 genutzt. Die Kamera 19 enthält ein Lichtempfang-Chiparray 18. Die Strahlen aus den Zellen der Probe 22 gehen auf das Lichtempfang-Chiparray 18. Das Mikroskopobjektiv 16 kann das Objektiv eines der folgenden sein: Phasenkontrastmikroskop, Hellfeldmikroskop, Dunkelfeldmikroskop, Differenz-Interferenz-Mikroskop, Fluoreszenzmikroskop, und Konfokalmikroskop, oder eine Kombination von mehreren davon.
Beispiel A6
[0084] In dieser Erfindung können in Bezug auf die Klassifikation der Objekte nicht nur auf Fourier-Transform basierende Merkmale eingesetzt werden (s. Beschreibung des Bei- spiels 1 und Figur 5), sondern auch Merkmale genutzt werden können, die auf Wavelet- Transform basieren.
[0085] Eine Wavelet-Paket-Dekomposition mit zwei Ebenen wird auf die Zellbilder angewandt. Auf jeder Ebene der Dekomposition wird der Frequenz-Raum in vier Sub-Räume abgeteilt, was insgesamt 42 = 16 Sub-Bilder ergibt. Wenn jedes Sub-Bild eine Größe mit N x N Pixel hat, dann können dessen Energie (E) und Entropie (Ep) gemäß der folgenden Formeln I und II berechnet werden:
Figure imgf000028_0001
hier ist u1} das z/-tel Pixel- Wert des Sub-Bildes, und p( ) kennzeichnet die Wahrscheinlichkeit des Vorfalls des Wertes U1/. Energie und Entropie werden für jedes Sub-Bild berechnet, des- wegen werden jeweils 32 Merkmale erzeugt.
[0086] Die restlichen Verfahren in diesem Beispiel sind identisch oder ähnlich wie jene, die im Beispiel 1 beschrieben sind.
Bezugszeichen
1 Behälter
2 Medium
4 Antriebssystem
6 Messkammer
8 Lichtsender
9 Kondensor
10 Mikroskop
11 Diaphragma
I Ia direkte Strahlen
I Ib Streustrahlung
12 Apparat für Signalwandlung
12a Kamera
13 evaneszente Welle
14 S ignalanaly seeinheit
16 Mikroskopobj ektiv
17 Phasenplatte
18 Lichtempfang-Chiparray
19 CCD-Kamera
20 Bioreaktor
22 Probe
25 Messkammer
26 zweites Ventil
28 erstes Ventil
29 Pumpe
29a Reagenzpumpe
30 Analyser
31 Speicher
32 Reagenzpatrone
33 FireWire-Kabel
34 Prozessor
35 Kontrollkabel
36 Platine 37 Festplatte
38a Leitung
38b Leitung
38c Leitung
40 Schrittmotor
41 gleitender Block
42 Träger
43 Gewindespindel
44 Schraube
46 Boden
48 Träger
49 Loch
51 räumliches Spektrum
52 Merkmale-Indizes
53 Behälter mit Reinigungsmittel
54 Müllbehälter
55 Zellbilder
56 schnelle Fouriertransformation
57 Berechnung der Energie der Sub-Bilder
61 erste Probe nur lebender Zellen
62 zweite Probe nur nekrotischer Zellen
63 dritte Probe nur apoptotischer Zellen
68 Merkmalsberechnung
69 Trainieren eines Klassifϊzierers mit Teilmengen der Merkmale
70 Selektion der besten Teilmengen
75 Einlesen der a-priori-Informationen
76 Einlesen der Bilder
77 Zellerkennung
78 Berechnung der Merkmalswerte
79 Untersuchung mit dem Klassifizierer
81 Hauptkomponentenanalyse
82 Berechnung der Eigenvektoren
83 Einelesen von Bildern ohne Zellen
84 Projektion der Bilder ohne Zellen auf die Eigenvektoren
85 Trainieren des Klassifizierers 86 Einlesen der Zellbilder
87 Berechnung der Zuversichts-Mappe
88 Bestimmung der Positionen der Zellen
101 - 108 Proben unterschiedlicher Vitalität, ansteigend von 101 zu 108 114 Abbildung im Phasenkontrastmikroskop
115 transparente Materialien
118 Merkmalsberechnung
119 Trainieren des Klassifizierers mit Teilmengen der Merkmale
120 Selektion der Teilmengen der Merkmale 121 Speicherung der besten Teilmenge der Merkmale
122 Lichtempfänger
161 erste Probe nur gealterte Zellen
162 zweite Probe nur nichtgealterte Zellen 168 Merkmalsberechnung 169 Trainieren eines Klassifizierers mit Teilmengen der Merkmale
170 Selektion der besten Teilmenge

Claims

Titel: Verfahren und Vorrichtung zur Untersuchung von Eigenschaften einesObjekts in einem Medium Anmelder: Universität BielefeldUnser Zeichen: 90094WOAnsprüche
1. Verfahren zur Untersuchung von Eigenschaften eines Objekts in einem Medium (2) umfassend:
Beleuchtung des Objekts im Medium (2) - Detektion eines optischen Signals vom Objekt;
Umwandeln des optischen Signals in eine Mehrzahl von Flächensignalen; Anwendung eines mathematischen Verfahrens auf die Mehrzahl von Flächensignalen zur Berechnung einer Mehrzahl von deren Merkmale und somit zur Erzeugung einer Mehrzahl von elektronischen Werten, welche Signal-Merkmalen darstellen; - Vergleichen der Signal-Merkmale des Objekts mit den gespeicherten Signal-
Merkmalen einer oder meherer kalibrierender Proben zur Erzeugung mindestens eines Wertes, welcher der untersuchten Eigenschaft entspricht.
2. Verfahren nach Anspruch 1, weiter umfassend die Erstellung der gespeicherten Sig- nal-Merkmale aus einer oder mehreren kalibrierenden Proben.
3. Verfahren nach einem der vorhergehenden Ansprüche, weiter umfassend ein Auswählen einer Teilmenge von einer Mehrzahl von elektronischen Werten der kalibrierenden Proben.
4. Verfahren nach Anspruch 3, wobei die Auswahl unter wenigstens einem Kriterium durchgeführt wird, dass die durch dieses Verfahren erworbenen Ergebnisse an die durch ein oder mehrere Referenzverfahren erwobenen Ergebnisse angenähert werden.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei das auf die Mehrzahl von Flächensignalen angewandte mathematische Verfahren eines der folgenden Verfahren ist: Fourier-Transformation, Wavelet- Transformation, Hauptkomponentenanlalyse, Garbor- Filter.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei ein mathematisches Verfahren auf die Mehrzahl von Flächensignalen zur Erzeugung eines räumlichen Spektrums
(51) angewandt wird, und das mathematische Verfahren eines der folgenden ist: Fourier- Transformation, Wavelet-Transformation.
7. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Vergleichen der Signal-Merkmale des Objekts mit den gespeicherten Signal-Merkmalen mittels eines Klassifizierers durchgeführt wird.
8. Verfahren nach Anspruch 7, wobei der Klassifizierer auf einem der nachfolgenden Verfahren basiert: Support- Vector-Maschine, Gaussian-Mix-Modell (Gaussian-Mix-Model), Nächste-Nachbarn (Nearest Neighbor).
9. Verfahren nach einem der vorhergehenden Ansprüche, umfassend ein Unterscheiden des Objekts in dem Medium (2) vom Hintergrund.
10. Verfahren nach einem der vorherigen Ansprüche, wobei das Objekt eine Zelle oder einen Mikroorganismus umfasst.
11. Verfahren nach Anspruch 10, wobei die Zelle eine Tierzelle, eine Pflanzzelle, eine Zelle tumorgenetischen Ursprungs oder eine Zelle eines Mikroorganismus ist.
12. Verfahren nach Anspruch 10 oder 11, wobei die Eigenschaft des Objekts bestimmt, ob das Objekt apoptotisch, nekrotisch, gealtert, tot oder lebendig ist.
13. Verfahren nach Anspruch 10 oder 11, wobei die Eigenschaft des Objekts bestimmt, wie metabolisch aktiv das Objekt ist.
14. Verfahren nach einem der vorhergehenden Ansprüche, wobei für eine oder mehrer Eigenschaften eines Objekts bei der Kalibrierung Schwellenwerte definiert werden, die zur Bestimmung der Eigenschaften eines Objektes im Medium verwendet werden.
15. Verfahren nach einem der vorherigen Ansprüche, wobei die Detektion durch Hellfeld-, Dunkelfeld-, Fluoreszenz-, Phasenkontraste- oder Differenz-Intererferenz-Mikroskopie erfolgt.
16. Vorrichtung zur Untersuchung mindestens eines Objekts mit: einer Lichtquelle (8) zur Beleuchtung des Objekts; einem Detektor zum Erwerb des optischen Signals von dem Objekt und zur Erzeugung einer Mehrzahl von Flächensignalen; - einer Signalanalyseeinheit (14) zur Anwendung eines mathematischen Verfahrens auf die Mehrzahl von Flächensignalen, und dadurch zur Erzeugung einer Mehrzahl von elektronischen Werten, welche Signal-Merkmale darstellen, und einem Vergleicher zum Vergleichen der Signal-Merkmale eines Objekts mit den gespeicherten Signal-Merkmalen einer oder mehrerer kalibrierender Proben zur Erzeugung mindestens eines Wertes, welcher der untersuchten Eigenschaften entspricht.
17. Vorrichtung nach Ansprüche 16, wobei diese zusätzlich eine Messkammer (6) aufweist.
18. Vorrichtung nach Anspruch 17, wobei die Messkammer (6) ein flüssiges Medium (2) aufweist.
19. Vorrichtung nach Anspruch 18, wobei es sich bei dem flüssigen Medium (2) um ein Wachstumsmedium für Zellen handelt.
20. Verwendung eines Verfahrens nach den Ansprüchen 1 bis 15 zur Überwachung biologischer Prozesse in Bioreaktoren.
21. Verwendung eines Verfahrens nach den Ansprüchen 1 bis 15 zur Bestimmung des Zellwachstums in Fermentationsprozessen.
22. Verwendung eines Verfahrens nach den Ansprüchen 1 bis 15 zur Überprüfung von Zelleigenschaften in entnommenen biologischen Proben, Blutproben, isoliertem Blutplasma oder -serum.
23. Verwendung eines Verfahrens nach einem der Ansprüche 1 bis 15, zur Überprüfung oder Überwachung eines Therapieverlaufes, insbesondere bei Tumortherapien.
24. Verwendung eines Verfahrens nach den Ansprüchen 1 bis 15 zur Untersuchung des Einflusses von Substanzen, Reagenzien oder biologischen Makromolekülen auf die Lebensund Entwicklungsfähigkeit von Zellen bei der Entwicklung und Herstellung von pharmazeutischen Mitteln.
25. Verwendung eines Verfahrens nach den Ansprüchen 1 bis 15 zur Identifizierung von pharmazeutisch wirksamen Substanzen, Reagenzien oder biologischen Makromolekülen.
26. Verwendung eines Verfahrens nach den Ansprüchen 1 bis 15 im Brauereiwesen zur Überwachung von Gärungsprozessen.
PCT/EP2009/050566 2008-01-23 2009-01-19 Verfahren und vorrichtung zur untersuchung von eigenschaften eines objekts in einem medium WO2009092697A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102008005546.8 2008-01-23
DE102008005546 2008-01-23

Publications (2)

Publication Number Publication Date
WO2009092697A2 true WO2009092697A2 (de) 2009-07-30
WO2009092697A3 WO2009092697A3 (de) 2009-12-03

Family

ID=40901475

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2009/050566 WO2009092697A2 (de) 2008-01-23 2009-01-19 Verfahren und vorrichtung zur untersuchung von eigenschaften eines objekts in einem medium

Country Status (1)

Country Link
WO (1) WO2009092697A2 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019114117B3 (de) * 2019-05-27 2020-08-20 Carl Zeiss Microscopy Gmbh Automatische Workflows basierend auf einer Erkennung von Kalibrierproben

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
WEI, NING ET AL: "In situ dark field microscopy for on-line monitoring of yeast cultures" BIOTECHNOLOGY LETTERS, KLUWER ACADEMIC PUBLISHERS, DO, Bd. 29, Nr. 3, 21. Dezember 2006 (2006-12-21), Seiten 373-378, XP019477799 ISSN: 1573-6776 *
WEI, NING ET AL: "Reagent-free automatic cell viability determination using neural networks based machine vision and dark-field microscopy in Saccharomyces cerevisiae" ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY, 2005. IEEE-EMBS 2005. 27T H ANNUAL INTERNATIONAL CONFERENCE OF THE SHANGHAI, CHINA 01-04 SEPT. 2005, PISCATAWAY, NJ, USA,IEEE, 1. September 2005 (2005-09-01), Seiten 6305-6308, XP010907282 ISBN: 978-0-7803-8741-6 *
WEI, NING ET AL: "A machine vision system for automated non-invasive assessment of cell viability via dark field microscopy, wavelet feature selection and classification" BMC BIOINFORMATICS, BIOMED CENTRAL, LONDON, GB, Bd. 9, Nr. 1, 21. Oktober 2008 (2008-10-21), Seite 449, XP021041839 ISSN: 1471-2105 *
WEI, NING: "A Machine Vision-based In Situ Probe for Automated On-Line Measurement of Cell Density and Viability by Dark Field Microscopy, Image Processing and Pattern Recognition" DOKTORARBEIT AN DER FAKULTÄT FÜR TECHNOLOGY DER UNIVERSITÄT BIELEFELD, DEUTSCHLAND, [Online] Mai 2007 (2007-05), XP007909638 Bielefeld, Deutschland Gefunden im Internet: URL:http://bieson.ub.uni-bielefeld.de/volltexte/2008/1326/pdf/___all.pdf> [gefunden am 2009-09-01] *
WEI, NING; YOU, JIA; FREIHS, KARL; FLASCHEL, ERWIN;NATTKEMPER, TIM WILHELM: "An In Situ Probe for On-Line Monitoring of Cell Density and Viability on the Basis of Dank Field Mircoscopy in Conjunction with Image Processing and Supervised Machine Learning" BIOTECHNOLOGY AND BIOENGINEERING, [Online] Bd. 97, Nr. 6, 15. August 2007 (2007-08-15), XP007909637 Wiley Periodicals, US Gefunden im Internet: URL:http://www3.interscience.wiley.com/cgi-bin/fulltext/114109889/PDFSTART> [gefunden am 2009-09-01] *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019114117B3 (de) * 2019-05-27 2020-08-20 Carl Zeiss Microscopy Gmbh Automatische Workflows basierend auf einer Erkennung von Kalibrierproben
US10989908B2 (en) 2019-05-27 2021-04-27 Carl Zeiss Microscopy Gmbh Automated workflows based on an identification of calibration samples

Also Published As

Publication number Publication date
WO2009092697A3 (de) 2009-12-03

Similar Documents

Publication Publication Date Title
US11561178B2 (en) Artificial fluorescent image systems and methods
DE60226043T2 (de) Verfahren für quantitative video-mikroskopie und vorrichtung und programm zur durchführung des verfahrens
DE102008059788B4 (de) Analyse und Klassifizierung insbesondere biologischer oder biochemischer Objekte auf Basis von Zeitreihen-Bildern, anwendbar bei der zytometrischen Time-Lapse-Zellanalyse in der bildbasierten Zytometrie
DE60316113T2 (de) Verfahren für quantitative video-mikroskopie und vorrichtung und computerprogramm zur durchführung des verfahrens
DE69812928T2 (de) Bestimmung von partikeln in einer flüssigen probe
EP1248947B1 (de) Verfahren und vorrichtung zur charakterisierung einer kulturflüssigkeit
DE112005001530B4 (de) Verfahren zur Spektralidentifikation von Mikroorganismen
EP2380008B1 (de) Verfahren und system zur charakterisierung einer probe mittels bildgebender fluoreszenzmikroskopie
EP3042177A1 (de) In-vitro-verfahren zum markierungsfreien bestimmen eines zelltyps einer zelle
EP4070232A1 (de) Systeme und verfahren für hochdurchsatz-wirkstoffscreening
EP3417330A1 (de) Mikroskopanordnung
EP1846569B1 (de) Verfahren zur bestimmung von keimen
DE69720248T2 (de) Schneller mikrobieller test
WO2012085079A2 (de) Vorrichtung und verfahren zur bestimmung von objekten in einer farbaufnahme
DE102005021034B4 (de) Verfahren zur Kultivierung einer Zellkultur in einem automatisierten Zellkultursystem sowie automatisiertes Zellkultursystem
DE102011055426A1 (de) Mikroskopieverfahren zur Erkennung biologischer Zielobjekte
EP3430565B1 (de) Verfahren zur untersuchung verteilter objekte unter segmentierung eines übersichtbildes
DE102009033927B4 (de) Vorrichtung und Verfahren zum Lokalisieren eines validen Bereiches eines Blutausstriches
WO2009092697A2 (de) Verfahren und vorrichtung zur untersuchung von eigenschaften eines objekts in einem medium
WO1990009454A1 (de) Verfahren zur schnellen prüfung der wirksamkeit von agenzien auf mikroorganismen und vorrichtung zur durchführung des verfahrens
DE102020105123B3 (de) Verfahren zum spektrometrischen Charakterisieren von Mikroorganismen
KR20060127403A (ko) 세포 샘플들의 자동 분석
CN108387553B (zh) 针对白细胞与血小板共存全息图的分块重建与分类计数方法
EP3851516A1 (de) Verfahren und vorrichtung zur kultivierung und untersuchung von neuronen
DE10326966B4 (de) Verfahren und Vorrichtung zur Bestimmung von ausdifferenzierten Säugerzellen

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09704335

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09704335

Country of ref document: EP

Kind code of ref document: A2