WO2012084530A1 - Microscope with a colour image sensor and microscopy method with a colour image sensor - Google Patents
Microscope with a colour image sensor and microscopy method with a colour image sensor Download PDFInfo
- Publication number
- WO2012084530A1 WO2012084530A1 PCT/EP2011/072200 EP2011072200W WO2012084530A1 WO 2012084530 A1 WO2012084530 A1 WO 2012084530A1 EP 2011072200 W EP2011072200 W EP 2011072200W WO 2012084530 A1 WO2012084530 A1 WO 2012084530A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- color
- image
- image sensor
- cells
- pixels
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 19
- 238000000386 microscopy Methods 0.000 title claims description 19
- 238000001914 filtration Methods 0.000 claims abstract description 12
- 238000003384 imaging method Methods 0.000 claims abstract description 11
- 230000000903 blocking effect Effects 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 abstract description 2
- 239000000523 sample Substances 0.000 description 34
- 230000035945 sensitivity Effects 0.000 description 13
- 101100269850 Caenorhabditis elegans mask-1 gene Proteins 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002073 fluorescence micrograph Methods 0.000 description 2
- 239000005090 green fluorescent protein Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 108010043121 Green Fluorescent Proteins Proteins 0.000 description 1
- 102000004144 Green Fluorescent Proteins Human genes 0.000 description 1
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000036211 photosensitivity Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000009261 transgenic effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/48—Increasing resolution by shifting the sensor relative to the scene
Definitions
- the present invention relates to a microscope with a color image sensor and a microscopy method with a color image sensor.
- GFP green fluorescent protein
- the object is achieved by a microscope having a color image sensor, imaging optics for magnifying a sample on the color image sensor and a control unit, wherein the color image sensor has a plurality of in-plane pixels and a color mask covering the pixels and the color mask for each pixel Filter cell containing either a color cell for color filtering for one of at least three color channels or as a transparency cell, which does not cause color filtering, the color mask having color cells for all of the at least three color channels and transparency cells and wherein the control unit based on the image data of the color image sensor generates an image of the sample.
- the color image sensor of the microscope according to the invention also has transparency cells in the color mask in addition to the color cells, in addition to the color information, it is also possible to record monochrome image information that is not adversely affected (for example, attenuated) by any color filters. Furthermore, a possibly provided IR filter can be swung out, whereby spectral restrictions are eliminated. Thus, it is possible to suitably evaluate the image data of the color image sensor depending on the desired type of recording and thereby to form the desired image. In particular, it is possible to simultaneously record a color image and a monochrome image by means of the color image sensor. At the same time, it is understood here in particular that the exposure of the pixels takes place simultaneously, regardless of whether the associated filter cell is a color cell or a transparency cell.
- the color image sensor may also be referred to as a multispectral sensor.
- the microscope according to the invention can have a movement unit with which the color image sensor can be moved in the plane. This makes it possible to perform different images of the sample with different positions of the color image sensor. These different images can then be used for image generation. Thus, for example, an increase in resolution and / or sensitivity can be achieved.
- the color mask can be in one piece or in several parts. In particular, the color mask can be made transparent in the region of the transparency cells or can have a corresponding opening.
- the microscope according to the invention may include a control unit which is designed to a) after a first recording of the sample by means of the color image sensor to control the movement unit so that the color image sensor is displaced in the plane, b) a second image of the sample by means of the color image sensor in the triggering a shifted position, and c) generating an image of the sample based on the images.
- the shift may be performed by always shifting the size of a pixel (pixel shift). In this case, the full resolution is present in each spectral field.
- a combination of pixel and subpixel shift is possible.
- the control unit can also be designed to achieve a higher resolution in at least one of the color channels or a monochrome channel of the transparency cells in step c) compared to the number of corresponding color or transparency cells.
- control unit can be designed to generate a color image in step c), in which the image data of the pixels covered by transparency cells are taken into account.
- image data of the pixels covered by transparency cells are taken into account.
- luminance values of the pixels covered by transparency cells can be taken into account. If the pixels covered by transparency cells are sensitive to wavelengths outside the visible spectrum, these signals can also be taken into account.
- the control unit may be designed to perform step b) several times with different positions of the color image sensor in order to perform a plurality of second images with the different positions of the color image sensor. These several second images can then be taken into account in step c) during the generation of the image, in particular for improving the spatial resolution. In particular, pixel and subpixel shift can be combined.
- the control unit may further be configured to generate a color image and a monochrome image based on the image data of a single shot or a single shot, taking into account for the color image image data of the color cell covered pixels and for the monochrome image image data of the pixels covered by transparency cells ,
- the microscope can be selectively converted into a color image mode in which a color image of the sample is generated based on the image data of the color cell covered pixels, and in a monochrome image mode in which a monochrome image of the sample is based on the image data obtained by transparency cells covered pixel is generated to be switched.
- a color image mode in which a color image of the sample is generated based on the image data of the color cell covered pixels
- a monochrome image mode in which a monochrome image of the sample is based on the image data obtained by transparency cells covered pixel is generated to be switched.
- the modes differ essentially by the electrical control of the color image sensor and / or the evaluation of the provided image data to generate the desired color image or monochrome image.
- multiple images with different positions of the color image sensor can be used to generate the desired image.
- This implementation of the multiple recordings can be done in the manner described.
- the microscope can still be switched to a combined image mode in which both a color image and a monochrome image of the sample is generated, wherein image data of the pixels covered by color cells and, for the monochrome image, of the pixels covered by transparency cells are taken into account, preferably for the color image become.
- an infrared cut filter can be arranged in the beam path from the sample to the color image sensor in order to ensure, for example, correct color reproduction.
- the infrared blocking filter can be moved from a position in the beam path to a position outside the beam path and vice versa. This makes it possible to selectively provide an infrared cut filter in the beam path, if desired or required for color fast shooting.
- a previously unattained universally applicable applicability for color and fluorescence images with variable resolution and speed is provided without additional requirements for the microscope, such as colored lighting or additional components in the beam path, must be provided.
- the microscope according to the invention is therefore equally suitable for colored specimens (eg in pathology) and for monochrome fluorescence preparations (eg in the uptake of living cells). All this can be achieved in the microscope according to the invention with low cost and effort.
- the microscope according to the invention can thus be reacted very flexibly to the corresponding requirements of each sample. Only a suitable shooting mode (e.g., color picture mode, monochrome picture mode, composite picture mode) or camera mode needs to be selected. Camera mode is understood to mean in particular the combination of the execution of the at least one recording and the corresponding image generation.
- the microscope according to the invention can therefore be easily adapted to different recording conditions. Essentially, the control of the color image sensor, the scanning unit and / or the evaluation of the image data must be changed.
- the microscope according to the invention can be designed as a fluorescence microscope, as a multichannel fluorescence microscope, as a phase contrast microscope, as a transmitted light, incident light and / or bright field microscope or else as another microscope.
- all conventional contrasting techniques can be implemented, such as e.g. Bright field, dark field, phase contrast, differential interference contrast, polarization, fluorescence, etc., and any combinations thereof.
- control unit in the microscope according to the invention can be constructed as a single control unit or also from two or more control submodules.
- the sample to be magnified may be in particular a medical and / or biological sample or other materials. They are e.g. colored, fluorescent or non-colored material samples (e.g., ground steels) can be examined very well with the microscope according to the invention.
- the color image sensor may be a CCD sensor or a CMOS sensor, and e.g. be designed as an HDTV sensor with 1920 x 1080 image pixels. Further, the color image sensor may be capable of taking approximately 50-60 frames per second and outputting the corresponding image data.
- a microscopy method in which a sample is magnified imaged on a color image sensor, wherein as a color image sensor, a sensor is used, which has a plurality of pixels arranged in a plane as well as a pixel covering Color mask, wherein the color mask for each pixel contains a filter cell which is formed either as a color cell for color filtering for one of at least three color channels or as a transparency cell, which does not cause color filtering, and wherein the color mask color cells for all of the at least three color channels and transparency cells having.
- the microscopy method of the present invention it is possible to simultaneously record a color image and a monochrome image.
- the exposure of the pixels takes place simultaneously, regardless of whether the associated filter cell is a color cell or a transparency cell.
- the image data of the pixels covered by transparency cells may be taken into account in the generation of the color image, e.g. to improve the contrast range of the color image and the color interpolation.
- a) a first image of the sample can be taken by means of the color image sensor, b) then the color image sensor is displaced in the plane, c) a second image of the sample is taken in the displaced position by the color image sensor, and d) based On the recordings a picture of the sample can be generated. Furthermore, the image can be generated with a higher resolution in at least one of the color channels or a monochrome channel of the transparency cells in comparison to the number of corresponding color or transparency cells.
- the image can be generated as a color image, wherein the image data of the pixels covered by the transparency cells are taken into account in the image generation in order, e.g. to improve the contrast range of the color image and the color interpolation.
- the steps b) and c) can be carried out several times to perform a plurality of second exposures with different positions of the color image sensor.
- a color image and a monochrome image can be generated based on the image data of a single image, taking into account for the color image image data of the pixels covered by the color cells and for the monochrome image image data of the pixels covered by transparency cells.
- the microscope according to the invention can be developed so that steps of the microscopy method according to the invention can be realized with it.
- the microscopy method according to the invention can also be developed so that it has steps that can be carried out or performed with the microscope according to the invention.
- Fig. 1 is a schematic view of an embodiment of the microscope according to the invention
- Fig. 2 is a schematic plan view of a part of the color image sensor 7 in Fig. 1;
- Fig. 3 is a schematic plan view of an embodiment of the moving unit 8 in Fig. 1; 4 shows a further embodiment of the movement unit 8;
- Fig. 5 is a schematic representation of a portion of the sample
- FIG. 6 shows a schematic representation for the assignment of the filter cells to the image cells of the sample
- Fig. 7 is a schematic representation with a further assignment of the filter cells to the
- Fig. 1 1 and 12 possible unit cells in the formation of the filter mask as
- Fig. 13 is a schematic diagram for explaining the sensitivity of color and transparency pixels.
- FIGS. 14 and 15 are further illustrations for explaining the spectral sensitivity of color and transparency pixels.
- the microscope 1 according to the invention comprises a sample table 2 which carries a sample 3, a receiving unit 4 which is connected to the sample table 2 via a schematically illustrated stand 5, and a control unit 6.
- the recording unit 4 includes a color image sensor 7, a movement unit 8 for moving the color image sensor 7, and imaging optics 9 for magnifying imaging of the sample 3 or part of the sample 3 onto the color image sensor 7.
- the distance (in the z direction) between the imaging optics 9 and the sample table 3 and thus the sample 2 can be adjusted by means of the stand 5 under the control of the control unit 6.
- the sample table 3 can be moved in the x-direction and perpendicular to the plane of the drawing in the y-direction in order to position the sample 2.
- the color image sensor 7 comprises a plurality of pixels 10 arranged in rows and columns (of which only three are shown in phantom in Figure 2) and one of the pixels 1 0th covering color mask 1 1 on.
- the color mask 1 1 comprises filter cells 12, which are arranged in the same manner as the pixels 10 in rows and columns, wherein in each case exactly one filter cell 12 is assigned to a pixel 10 and covers it.
- the filter cells 12 are shown schematically as squares, wherein the filtering effect is described by the letters contained in each filter cell 12. The letters are only for the description of the filter effect and are of course not included in the actual filter mask 1 1.
- the letters R, G and B stand for color filters, where the letter R describes the red channel, the letter G the green channel and the letter B the blue channel.
- the filter cells of these three color channels can be referred to as color cells.
- the filter cells 12 with the letter W stand for filter cells in which no color filtering takes place. These filter cells can therefore also be referred to as transparency cells.
- the color and transparency cells are arranged in a regular pattern, wherein in the embodiment described here there is a unit cell 13 of 4x4 filter cells 12, as indicated schematically in FIG.
- the unit cell 13 is arranged repeatedly in the x and y directions, resulting in the filter cell distribution indicated in FIG. In Fig. 2, only a part of the color filter 7 is shown schematically, which is designed here as an HDTV sensor with 1920 x 1080 pixels 10.
- half of the filter cells 12 are transparency cells and arranged such that a displacement of the color image sensor 7 in the x or y direction by exactly one filter cell 12 leads to complete area coverage with transparency cells.
- a shift can be carried out, for example, by means of the movement unit 8.
- An embodiment of the movement unit 8 is shown schematically in plan view in FIG.
- the color image sensor 7 is seated on a carrier 20 which is connected to a frame 25 via four piezo elements 21, 22, 23 and 24.
- the desired displacement in the x and y direction can then be carried out. If, for example, the piezo elements 21 and 23 are driven, a shift in the y direction will take place.
- FIG. 4 schematically shows a further embodiment of the movement unit 8.
- This embodiment differs essentially from the embodiment of Figure 3 in that only two piezo elements 21 and 22 are necessary.
- the carrier 20 spring elements 26 and 27 are provided, via which the carrier 20 is connected to the frame 25.
- a shift in the x-direction can be performed.
- the piezoelectric element 22 is driven.
- the desired region of the sample 3 is magnified on the color image sensor 7 by means of the imaging optics 9.
- the color image sensor 7 picks up the enlarged image and supplies the corresponding image data to the control unit 6.
- the intensity information of the pixels 10 which are below the transparency cells and hereinafter also referred to as transparency pixels may be used to interpolate the image data of the pixels below the color cells and subsequently also as color pixels serve to produce an interpolated color image.
- the intensity information is the intensity of the entire spectrum detectable with the pixels.
- the interpolated color image may be e.g. have an increased contrast range, especially in low-light areas. Thus, an improvement in the overall photosensitivity of the color image can be achieved.
- the image data of the transparency pixels can also be used to generate a monochrome image that was taken simultaneously with the color image.
- the generation of the desired images from the image data is carried out by the control unit 6 or by a computer, not shown, to which the image data of the color image sensor are supplied.
- the generated image or the images produced can be displayed and / or stored on an output unit 15 (eg a screen), for example.
- the color image sensor 7 can be operated to generate a live image in color and / or a monochrome live image, e.g. be displayed on the screen 15 or is. It can e.g. 60 shots per second are made.
- the color image sensor in the xy plane is correspondingly displaced by means of the movement unit 8.
- a shift of the color image sensor 7 between the two images by the size of a pixel in the x or y direction can be performed.
- the two images achieve full resolution in the monochrome channel and improved resolution in the color channels with increased contrast.
- full resolution is understood to mean, in particular, that based on the at least two images, a photograph can be composed which has image data of the same pixel type (for example transparency pixels, red, green or blue color pixels) for all pixel positions of the color image sensor 7. It can e.g. a monochrome image with 1920 x 1080 pixels are generated.
- sample 3 The full resolution can also be understood with reference to sample 3 as follows.
- part of the sample 3, which can be assigned to a unit cell 13 of the color image sensor 7, is shown schematically, it being possible to divide the corresponding region of the sample 3 into 4 ⁇ 4 image cells 30 due to the above-mentioned assignment are shown with rounded corners.
- FIG. 6 shows how the assignment of the filter cells 12 to the image cells 30 of the sample 3 is at a first position of the color image sensor 7, of the color mask 11 a unit cell 13 and a column adjoining it on the left with four further filter cells 12 ,
- FIG. 7 shows a position offset by one pixel width in the x-direction (relative to the position according to FIG. 6) of the color image sensor 7.
- the two figures 6 and 7 are covered by two cells for all image cells 30, the corresponding intensity values by means of the two shown in Fig. 6 and 7 positions of the color mask 1 1 all the image cells 30 by transparency cells Transparency cells covered pixels can be detected. There is thus the aforementioned full resolution.
- more than two shots with different positions can be performed. This makes it possible, for example, to achieve an identical resolution in all three color channels and in particular a full resolution in all three color channels.
- an identical resolution in all three color channels is understood to mean, in particular, that there are 30 pixel values for each of the three color channels for the same number of image cells, or that the number of pixel values of the individual color channels corresponds to the ratio of the color filters of the color mask 11. In the color filter mask described here, this would mean that the number of pixels for red and blue is the same and exactly half the number of pixels is green.
- the moving unit 8 can also effect a displacement in the x or y direction, which is smaller than the size of a pixel 10.
- a displacement in the x or y direction which is smaller than the size of a pixel 10.
- the imaging optics 9 may include an infrared cut-off filter 14 to prevent infrared radiation from hitting the color pixels 10, which would distort color picking, as the pixels are often also sensitive to infrared radiation.
- the infrared blocking filter 14 is in particular movably mounted and can be removed from the beam path from the sample 3 to the color image sensor 7.
- a monochrome recording in which the image data of the monochrome pixels are evaluated, a higher sensitivity can be achieved.
- the distribution of the filter cells 12 shown in FIG. 2 is only to be understood as an example. Of course, any other suitable distribution can be chosen. Examples are shown in FIGS. 8, 9 and 10. From these it can also be seen that the unit cell 13 can be of different sizes.
- the filter mask 1 1 must not be designed as an RGB filter mask. It can also be designed, for example, as a CMY complementary filter mask.
- Figures 1 and 12 show examples of CYGM and CMYW filter masks, again showing only a unit cell, where C is cyan, Y is yellow, G is green, M is magenta, and W is a transparency cell.
- the relative sensitivity (y-axis) is measured over the wavelength in nm (x-axis) for pixels which are covered by color cells (in which case an infrared filter is connected upstream), and for pixels which are covered by transparency cells, curve 31 represents the relative sensitivity of a blue pixel (ie, a pixel covered by a blue color filter), curve 32 the relative sensitivity of a green pixel, curve 33 the relative sensitivity of a red pixel, and curve 34 the relative sensitivity of a red pixel Transparency pixels shows. It can be seen from the illustration of Figure 13 that the spectral sensitivity range is much wider for a transparency pixel than for color pixels. Thus, the range from the blue spectrum at about 400 nm to the near infrared at about 1000 nm.
- the quantum efficiency and thus the probability of detection of photons in the case of transparency pixels in the visible wavelength range (400 nm-700 nm) is higher and more constant than in the case of the color pixels.
- the color pixels are not sensitive and can not detect photons, while the transparency pixel still generates a signal.
- the transparency pixels are superior to the color pixels for fluorescent signals.
- the microscope according to the invention can therefore be used very flexibly for different recording modes with excellent quality.
- Figs. 14 and 15 the principal difference between color and transparency pixels is shown quantitatively in the manner that the same sensor (once with color filter and once without color filter) was illuminated and the output signal was measured.
- the bars 35, 36 and 37 show the output signal of the sensor with color mask and thus the output signal of a color pixel in the illumination with different wavelengths.
- the bar 35 shows the signal response (in arbitrary units) at 625 nm, the bar 36 at 565 nm illumination and the bar 37 at 430 nm illumination.
- Immediately to the right is the signal response without color filter (at the same illumination wavelength) , As can be seen from these bars 38 to 40, the intensity is always much higher.
- the signal response of the color cell is only 52 to 66% of the signal response of the transparency cell.
- the microscope 1 according to the invention can furthermore also have a light source, not shown, as well as further elements which are necessary for the operation of the microscope 1 and are known to the person skilled in the art.
Abstract
Provision is made of a microscope with a colour image sensor (7), an imaging optical unit (9) for imaging a sample (3) in magnifying fashion onto the colour image sensor (7) and a control unit (6), wherein the colour image sensor (7) has a plurality of pixels (10) arranged in a plane and a colour mask (11) covering the pixels (10), and the colour mask (11) contains a filter cell (12) for each pixel (10), said filter cell being embodied either as a colour cell for colour filtering for one of at least three colour channels or as a transparency cell, which brings about no colour filtering, wherein the colour mask (11) has colour cells for all of the at least three colour channels and transparency cells, and wherein the control unit (6) generates an image on the basis of the image data of the colour image sensor (7).
Description
Mikroskop mit einem Farbbildsensor sowie Mikroskopierverfahren mit einem Microscope with a color image sensor and microscopy method with a
Farbbildsensor Color sensor
Die vorliegende Erfindung betrifft ein Mikroskop mit einem Farbbildsensor sowie ein Mikroskopierverfahren mit einem Farbbildsensor. The present invention relates to a microscope with a color image sensor and a microscopy method with a color image sensor.
In der Mikroskopie müssen häufig farbige Präparate mit hoher Farbqualität sehr realitätsgetreu dokumentiert werden, um aus den Farbinformationen exakte Schlüsse ziehen zu können (z.B. Pathologie, Zytologie etc.). In microscopy, colored preparations with high color quality often have to be documented very realistically in order to be able to draw exact conclusions from the color information (for example, pathology, cytology, etc.).
Gleichzeitig besteht aber häufig die Anforderung, Fluoreszenzaufnahmen von transgenen, z.B. GFP gefärbten (GFP = green fluorescent protein) lebenden Zellen aufzunehmen. Dazu eignen sich monochrome Kameras deutlich besser, da sie eine höhere Empfindlichkeit als Farbkameras aufweisen, ein eventuell verwendeter Farbfilter einer Einzelchip-Farbkamera keine dramatische Reduktion der Auflösung verursacht und das Empfindlichkeitsspektrum nicht auf den sichtbaren Bereich des Lichtes beschränkt ist. At the same time, however, there is often a requirement to obtain fluorescence images of transgenic, e.g. GFP-colored (GFP = green fluorescent protein) to record living cells. This monochrome cameras are much better, since they have a higher sensitivity than color cameras, any color filter used in a single-chip color camera causes no dramatic reduction in resolution and the sensitivity spectrum is not limited to the visible range of light.
In der Praxis wird aus Kostengründen häufig nur in eine Kamera investiert, so daß mit dieser beide Aufnahmearten (mehrfarbige Aufnahme und Monochromaufnahme) durchzuführen sind, so daß dann eine Farbkamera angeschafft wird, mit der natürlich Farbbilder aufgezeichnet werden können. Für die Monochrom-Aufnahmen wird aus dem Farbbild die Farbinformation rechnerisch entfernt. Technisch bleibt die Kamera aber eine Farbkamera und erfordert nachteilige Kompromisse bei der Aufnahme von Fluoreszenzproben. Insbesondere bei der Abbildung von lebenden Zellen sind diese Kompromisse von Nachteil, da lebende Zellen oft sehr empfindlich sind. Da eine Farbkamera deutlich weniger lichtempfindlich ist als eine Monochrom-Kamera und daher längere Belichtungszeiten erfordert, ist eine verlängerte Bestrahlung mit Fluoreszenz-Anregungslicht notwendig, was den lebenden Zellen schadet und deren Lebensdauer verkürzt. Selbst eine nachträgliche Umwandlung des Farbbildes in ein Monochrombild über eine entsprechende Formel (z.B. gewichtete Summe aus RGB-Anteilen)
kann diesen Nachteil nicht beheben, da die optisch spektralen Verhältnisse bereits bei der Aufnahme festgelegt waren. In practice, often invested only in a camera for cost reasons, so that with this two types of recording (multi-color recording and monochrome recording) are carried out, so that then a color camera is purchased with the course color images can be recorded. For monochrome images, color information is mathematically removed from the color image. Technically, however, the camera remains a color camera and requires disadvantageous compromises in the recording of fluorescence samples. Particularly in the imaging of living cells, these trade-offs are disadvantageous because living cells are often very sensitive. Since a color camera is much less sensitive to light than a monochrome camera and therefore requires longer exposure times, prolonged exposure to fluorescent excitation light is necessary, harming the living cells and shortening their life. Even a subsequent conversion of the color image into a monochrome image via a corresponding formula (eg weighted sum of RGB components) can not solve this disadvantage, since the optical spectral ratios were already set during recording.
Ausgehend hiervon ist es Aufgabe der Erfindung, ein Mikroskop mit einer Farbkamera bereitzustellen, mit dem unterschiedliche Aufnahmearten möglich sind und gleichzeitig die eingangs beschriebenen Schwierigkeiten möglichst vermieden werden können. Ferner soll ein entsprechendes Mikroskopierverfahren bereitgestellt werden. Proceeding from this, it is an object of the invention to provide a microscope with a color camera, with the different recording modes are possible and at the same time the difficulties described above can be avoided as possible. Furthermore, a corresponding microscopy method is to be provided.
Die Aufgabe wird gelöst durch ein Mikroskop mit einem Farbbildsensor, einer Abbildungsoptik zum vergrößernden Abbilden einer Probe auf den Farbbildsensor und einer Steuereinheit, wobei der Farbbildsensor eine Mehrzahl von in einer Ebene angeordneten Pixeln sowie eine die Pixel überdeckende Farbmaske aufweist und die Farbmaske für jedes Pixel eine Filterzelle enthält, die entweder als Farbzelle zur Farbfilterung für einen von zumindest drei Farbkanälen oder als Transparenzzelle, die keine Farbfilterung bewirkt, ausgebildet ist, wobei die Farbmaske Farbzellen für alle der zumindest drei Farbkanälen und Transparenzzellen aufweist und wobei die Steuereinheit basierend auf den Bilddaten des Farbbildsensors ein Bild der Probe generiert. The object is achieved by a microscope having a color image sensor, imaging optics for magnifying a sample on the color image sensor and a control unit, wherein the color image sensor has a plurality of in-plane pixels and a color mask covering the pixels and the color mask for each pixel Filter cell containing either a color cell for color filtering for one of at least three color channels or as a transparency cell, which does not cause color filtering, the color mask having color cells for all of the at least three color channels and transparency cells and wherein the control unit based on the image data of the color image sensor generates an image of the sample.
Da der Farbbildsensor des erfindungsgemäßen Mikroskops neben den Farbzellen auch Transparenzzellen in der Farbmaske aufweist, können neben den Farbinformationen auch monochrome Bildinformationen aufgenommen werden, die nicht in nachteiliger Weise durch etwaige Farbfilter beeinflußt (z.B. abgeschwächt) sind. Ferner kann ein eventuell vorgesehener IR-Filter ausgeschwenkt werden, wodurch spektrale Einschränkungen aufgehoben sind. Somit ist es möglich, je nach gewünschter Art der Aufnahme die Bilddaten des Farbbildsensors geeignet auszuwerten und dadurch das gewünschte Bild zu erstellen. Insbesondere ist es möglich, mittels dem Farbbildsensor gleichzeitig ein Farbbild und ein Monochrom-Bild aufzunehmen. Unter gleichzeitig wird hier insbesondere verstanden, daß die Belichtung der Pixel unabhängig davon, ob die zugeordnete Filterzelle eine Farbzelle oder eine Transparenzzelle ist, gleichzeitig erfolgt. Der Farbbildsensor kann auch als Multispektralsensor bezeichnet werden. Since the color image sensor of the microscope according to the invention also has transparency cells in the color mask in addition to the color cells, in addition to the color information, it is also possible to record monochrome image information that is not adversely affected (for example, attenuated) by any color filters. Furthermore, a possibly provided IR filter can be swung out, whereby spectral restrictions are eliminated. Thus, it is possible to suitably evaluate the image data of the color image sensor depending on the desired type of recording and thereby to form the desired image. In particular, it is possible to simultaneously record a color image and a monochrome image by means of the color image sensor. At the same time, it is understood here in particular that the exposure of the pixels takes place simultaneously, regardless of whether the associated filter cell is a color cell or a transparency cell. The color image sensor may also be referred to as a multispectral sensor.
Das erfindungsgemäße Mikroskop kann eine Bewegungseinheit aufweisen, mit der der Farbbildsensor in der Ebene bewegbar ist. Damit ist es möglich, verschiedene Aufnahmen der Probe mit unterschiedlichen Positionen des Farbbildsensors durchzuführen. Diese verschiedenen Aufnahmen können dann zur Bilderzeugung genutzt werden. Damit läßt sich beispielsweise eine Steigerung der Auflösung und/oder der Empfindlichkeit erreichen.
Die Farbmaske kann einteilig oder mehrteilig sein. Insbesondere kann die Farbmaske im Bereich der Transparenzzellen transparent ausgebildet sein oder eine entsprechende Öffnung aufweisen. Das erfindungsgemäße Mikroskop kann eine Steuereinheit enthalten, die dazu ausgebildet ist, a) nach einer ersten Aufnahme der Probe mittels dem Farbbildsensor die Bewegungseinheit so anzusteuern, daß der Farbbildsensor in der Ebene verschoben wird, b) eine zweite Aufnahme der Probe mittels dem Farbbildsensor in der verschobenen Position auszulösen, und c) basierend auf den Aufnahmen ein Bild der Probe zu generieren. The microscope according to the invention can have a movement unit with which the color image sensor can be moved in the plane. This makes it possible to perform different images of the sample with different positions of the color image sensor. These different images can then be used for image generation. Thus, for example, an increase in resolution and / or sensitivity can be achieved. The color mask can be in one piece or in several parts. In particular, the color mask can be made transparent in the region of the transparency cells or can have a corresponding opening. The microscope according to the invention may include a control unit which is designed to a) after a first recording of the sample by means of the color image sensor to control the movement unit so that the color image sensor is displaced in the plane, b) a second image of the sample by means of the color image sensor in the triggering a shifted position, and c) generating an image of the sample based on the images.
Die Verschiebung kann beispielsweise so durchgeführt werden, daß stets um die Größe eines Pixels (Pixel-Verschiebung) verschoben wird. In diesem Fall liegt die volle Auflösung in jedem spektralen Teilbild vor. Alternativ ist es möglich, eine Verschiebung (Subpixel-Verschiebung) durchzuführen, die kleiner ist als die Größe eines Pixels. Damit können Zwischenpixelpositionen aufgenommen werden, so daß Bildinformationen aus Positionen zwischen den Pixeln aufgenommen werden, die sonst nicht zur Bildentstehung beitragen. Auch eine Kombination von Pixel- und Subpixelverschiebung ist möglich. For example, the shift may be performed by always shifting the size of a pixel (pixel shift). In this case, the full resolution is present in each spectral field. Alternatively, it is possible to perform a shift (sub-pixel shift) smaller than the size of a pixel. This allows inter-pixel positions to be captured so that image information is captured from positions between the pixels that would otherwise not contribute to image formation. A combination of pixel and subpixel shift is possible.
Die Steuereinheit kann ferner dazu ausgebildet sein, im Schritt c) im generierten Bild eine höhere Auflösung in zumindest einem der Farbkanäle oder einem Monochromkanal der Transparenzzellen zu erzielen im Vergleich zur Anzahl der entsprechenden Färb- bzw. Transparenzzellen. The control unit can also be designed to achieve a higher resolution in at least one of the color channels or a monochrome channel of the transparency cells in step c) compared to the number of corresponding color or transparency cells.
Des weiteren kann die Steuereinheit dazu ausgebildet sein, im Schritt c) ein Farbbild zu generieren, bei dem die Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt sind. Insbesondere können die Luminanzwerte der durch Transparenzzellen überdeckten Pixel berücksichtigt werden. Wenn die durch Transparenzzellen überdeckten Pixel sensitiv für Wellenlängen außerhalb des sichtbaren Spektrums sind, können auch diese Signale berücksichtigt werden. Furthermore, the control unit can be designed to generate a color image in step c), in which the image data of the pixels covered by transparency cells are taken into account. In particular, the luminance values of the pixels covered by transparency cells can be taken into account. If the pixels covered by transparency cells are sensitive to wavelengths outside the visible spectrum, these signals can also be taken into account.
Die Steuereinheit kann dazu ausgebildet sein, den Schritt b) mehrmals mit verschiedenen Positionen des Farbbildsensors durchzuführen, um mehrere zweite Aufnahmen mit den verschiedenen Positionen des Farbbildsensors durchzuführen. Diese mehreren zweiten Aufnahmen können dann im Schritt c) bei der Generierung des Bildes berücksichtigt werden, insbesondere zur Verbesserung der Ortsauflösung. Insbesondere können Pixel- und Subpixelverschiebung kombiniert werden.
Die Steuereinheit kann des weiteren dazu ausgebildet sein, basierend auf den Bilddaten einer einzelnen Aufnahme oder eines einzelnen Aufnahmevorgangs ein Farbbild und ein Monochrombild zu generieren, wobei für das Farbbild Bilddaten der durch Farbzellen überdeckten Pixel und für das Monochrombild Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt werden. The control unit may be designed to perform step b) several times with different positions of the color image sensor in order to perform a plurality of second images with the different positions of the color image sensor. These several second images can then be taken into account in step c) during the generation of the image, in particular for improving the spatial resolution. In particular, pixel and subpixel shift can be combined. The control unit may further be configured to generate a color image and a monochrome image based on the image data of a single shot or a single shot, taking into account for the color image image data of the color cell covered pixels and for the monochrome image image data of the pixels covered by transparency cells ,
In einer Weiterbildung kann mittels der Steuereinheit das Mikroskop selektiv in einen Farbbildmodus, in dem ein Farbbild der Probe basierend auf den Bilddaten der durch Farbzellen überdeckten Pixel generiert wird, und in ein Monochrombildmodus, in dem ein Monochrombild der Probe basierend auf den Bilddaten der durch Transparenzzellen überdeckten Pixel generiert wird, geschaltet werden. Für die Auswahl des entsprechenden Modus muß vorteilhafter Weise keine Änderung der Hardware des Mikroskops durchgeführt werden. Die Modi unterscheiden sich im wesentlichen durch die elektrische Ansteuerung des Farbbildsensors und/oder die Auswertung der bereitgestellten Bilddaten, um das gewünschte Farbbild oder Monochrombild zu generieren. In a further development, by means of the control unit the microscope can be selectively converted into a color image mode in which a color image of the sample is generated based on the image data of the color cell covered pixels, and in a monochrome image mode in which a monochrome image of the sample is based on the image data obtained by transparency cells covered pixel is generated to be switched. For the selection of the corresponding mode advantageously no change of the hardware of the microscope must be performed. The modes differ essentially by the electrical control of the color image sensor and / or the evaluation of the provided image data to generate the desired color image or monochrome image.
Natürlich können sowohl in dem Farbbildmodus als auch in dem monochromen Bildmodus mehrere Aufnahmen mit unterschiedlichen Positionen des Farbbildsensors genutzt werden, um das gewünschte Bild zu generieren. Diese Durchführung der mehreren Aufnahmen kann in der beschriebenen Art und Weise erfolgen. Of course, in both the color image mode and the monochrome image mode, multiple images with different positions of the color image sensor can be used to generate the desired image. This implementation of the multiple recordings can be done in the manner described.
Ferner kann mittels der Steuereinheit das Mikroskop noch in einen Kombibildmodus geschaltet werden, in dem sowohl ein Farbbild als auch ein Monochrombild der Probe generiert wird, wobei bevorzugt für das Farbbild Bilddaten der durch Farbzellen überdeckten Pixel und für das Monochrombild Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt werden. Furthermore, by means of the control unit, the microscope can still be switched to a combined image mode in which both a color image and a monochrome image of the sample is generated, wherein image data of the pixels covered by color cells and, for the monochrome image, of the pixels covered by transparency cells are taken into account, preferably for the color image become.
Bei dem erfindungsgemäßen Mikroskop kann ein Infrarotsperrfilter im Strahlengang von der Probe bis zum Farbbildsensor angeordnet sein, um z.B. eine korrekte Farbwiedergabe zu gewährleisten. Insbesondere kann der Infrarotsperrfilter von einer Position im Strahlengang zu einer Position außerhalb des Strahlengangs und umgekehrt bewegt werden. Damit ist es möglich, selektiv einen Infrarotsperrfilter im Strahlengang vorzusehen, wenn dies gewünscht oder für farbechte Aufnahmen erforderlich ist. Mit dem erfindungsgemäßen Mikroskop wird eine bisher unerreichte universell nutzbare Anwendbarkeit für Färb- und Fluoreszenz-Aufnahmen mit variabler Auflösung und Geschwindigkeit bereitgestellt, ohne daß zusätzliche Anforderungen an das Mikroskop, wie z.B. farbige Beleuchtung oder zusätzliche Komponenten im Strahlengang, gestellt werden müssen.
Das erfindungsgemäße Mikroskop ist somit in gleicher Weise für farbige Präparate (z.B. in der Pathologie) und für monochrome Fluoreszenzpräparate (z.B. bei der Aufnahme von lebenden Zellen) geeignet. All dies kann bei dem erfindungsgemäßen Mikroskop mit geringen Kosten und Aufwand erreicht werden. In the microscope according to the invention, an infrared cut filter can be arranged in the beam path from the sample to the color image sensor in order to ensure, for example, correct color reproduction. In particular, the infrared blocking filter can be moved from a position in the beam path to a position outside the beam path and vice versa. This makes it possible to selectively provide an infrared cut filter in the beam path, if desired or required for color fast shooting. With the microscope according to the invention a previously unattained universally applicable applicability for color and fluorescence images with variable resolution and speed is provided without additional requirements for the microscope, such as colored lighting or additional components in the beam path, must be provided. The microscope according to the invention is therefore equally suitable for colored specimens (eg in pathology) and for monochrome fluorescence preparations (eg in the uptake of living cells). All this can be achieved in the microscope according to the invention with low cost and effort.
Bei dem erfindungsgemäßen Mikroskop kann somit sehr flexibel auf die entsprechenden Anforderungen der jeweiligen Probe reagiert werden. Es muß lediglich ein geeigneter Aufnahmemodus (z.B. Farbbildmodus, Monochrombildmodus, Kombibildmodus) bzw. Kameramodus ausgewählt werden. Unter Kameramodus wird hier insbesondere die Kombination von der Durchführung der zumindest einen Aufnahme und der entsprechenden Bilderzeugung verstanden. Das erfindungsgemäße Mikroskop kann daher leicht an unterschiedliche Aufnahmebedingungen angepaßt werden. Es muß im wesentlichen die Ansteuerung des Farbbildsensors, der Scanning-Einheit und/oder die Auswertung der Bilddaten geändert werden. In the microscope according to the invention can thus be reacted very flexibly to the corresponding requirements of each sample. Only a suitable shooting mode (e.g., color picture mode, monochrome picture mode, composite picture mode) or camera mode needs to be selected. Camera mode is understood to mean in particular the combination of the execution of the at least one recording and the corresponding image generation. The microscope according to the invention can therefore be easily adapted to different recording conditions. Essentially, the control of the color image sensor, the scanning unit and / or the evaluation of the image data must be changed.
Das erfindungsgemäße Mikroskop kann als Fluoreszenzmikroskop, als Mehrkanal- Fluoreszenzmikroskop, als Phasenkontrastmikroskop, als Durchlicht-, Auflicht- und/oder Hellfeld-Mikroskop oder auch als sonstiges Mikroskop ausgebildet sein. Natürlich können alle üblichen Kontrastverfahren realisiert sein, wie z.B. Hellfeld, Dunkelfeld, Phasenkontrast, Differential-Interferenzkontrast, Polarisation, Fluoreszenz, etc. und beliebige Kombinationen davon. The microscope according to the invention can be designed as a fluorescence microscope, as a multichannel fluorescence microscope, as a phase contrast microscope, as a transmitted light, incident light and / or bright field microscope or else as another microscope. Of course, all conventional contrasting techniques can be implemented, such as e.g. Bright field, dark field, phase contrast, differential interference contrast, polarization, fluorescence, etc., and any combinations thereof.
Die Steuereinheit bei dem erfindungsgemäßen Mikroskop kann als einzelne Steuereinheit oder auch aus zwei oder mehreren Steuersubmodulen aufgebaut sein. The control unit in the microscope according to the invention can be constructed as a single control unit or also from two or more control submodules.
Bei der Probe, die vergrößert abzubilden ist, kann es sich insbesondere um eine medizinische und/oder biologische Probe oder sonstige Materialien handeln. Es sind z.B. farbige, fluoreszierende oder nicht-farbige Materialproben (z.B. geschliffene Stähle) sehr gut mit dem erfindungsgemäßen Mikroskop untersuchbar. The sample to be magnified may be in particular a medical and / or biological sample or other materials. They are e.g. colored, fluorescent or non-colored material samples (e.g., ground steels) can be examined very well with the microscope according to the invention.
Der Farbbildsensor kann insbesondere ein CCD-Sensor oder ein CMOS-Sensor sein und z.B. als HDTV-Sensor mit 1920 x 1080 Bildpixeln ausgebildet sein. Ferner kann der Farbbildsensor geeignet sein, ca. 50-60 Bilder pro Sekunde aufzunehmen und die entsprechenden Bilddaten auszugeben. In particular, the color image sensor may be a CCD sensor or a CMOS sensor, and e.g. be designed as an HDTV sensor with 1920 x 1080 image pixels. Further, the color image sensor may be capable of taking approximately 50-60 frames per second and outputting the corresponding image data.
Es wird ferner bereitgestellt ein Mikroskopierverfahren, bei dem eine Probe vergrößert auf einen Farbbildsensor abgebildet wird, wobei als Farbbildsensor ein Sensor verwendet wird, der eine Mehrzahl von in einer Ebene angeordneten Pixeln sowie eine die Pixel überdeckende
Farbmaske aufweist, wobei die Farbmaske für jedes Pixel eine Filterzelle enthält, die entweder als Farbzelle zur Farbfilterung für einen von zumindest drei Farbkanälen oder als Transparenzzelle, die keine Farbfilterung bewirkt, ausgebildet ist, und wobei die Farbmaske Farbzellen für alle der zumindest drei Farbkanälen und Transparenzzellen aufweist. It is further provided a microscopy method in which a sample is magnified imaged on a color image sensor, wherein as a color image sensor, a sensor is used, which has a plurality of pixels arranged in a plane as well as a pixel covering Color mask, wherein the color mask for each pixel contains a filter cell which is formed either as a color cell for color filtering for one of at least three color channels or as a transparency cell, which does not cause color filtering, and wherein the color mask color cells for all of the at least three color channels and transparency cells having.
Mit dem erfindungsgemäßen Mikroskopierverfahren ist es beispielsweise möglich, ein Farbbild und ein Monochrombild gleichzeitig aufzunehmen. Unter gleichzeitig wird hier insbesondere verstanden, daß die Belichtung der Pixel unabhängig davon, ob die zugeordnete Filterzelle eine Farbzelle oder eine Transparenzzelle ist, gleichzeitig erfolgt. Ferner können beispielsweise die Bilddaten der durch Transparenzzellen überdeckten Pixel bei der Generierung des Farbbildes berücksichtigt werden, um z.B. den Kontrastumfang des Farbbildes und der Farbinterpolation zu verbessern. For example, with the microscopy method of the present invention, it is possible to simultaneously record a color image and a monochrome image. At the same time, it is understood here in particular that the exposure of the pixels takes place simultaneously, regardless of whether the associated filter cell is a color cell or a transparency cell. Further, for example, the image data of the pixels covered by transparency cells may be taken into account in the generation of the color image, e.g. to improve the contrast range of the color image and the color interpolation.
Bei dem erfindungsgemäßen Mikroskopierverfahren kann a) eine erste Aufnahme der Probe mittels dem Farbbildsensor durchgeführt werden, b) danach der Farbbildsensor in der Ebene verschoben werden, c) eine zweite Aufnahme der Probe mittels dem Farbbildsensor in der verschobenen Position durchgeführt werden, und d) basierend auf den Aufnahmen ein Bild der Probe generiert werden. Ferner kann das Bild mit einer höheren Auflösung in zumindest einem der Farbkanäle oder einem Monochromkanal der Transparenzellen im Vergleich zur Anzahl der entsprechenden Färb- bzw. Transparenzzellen generiert werden. In the microscopy method according to the invention, a) a first image of the sample can be taken by means of the color image sensor, b) then the color image sensor is displaced in the plane, c) a second image of the sample is taken in the displaced position by the color image sensor, and d) based On the recordings a picture of the sample can be generated. Furthermore, the image can be generated with a higher resolution in at least one of the color channels or a monochrome channel of the transparency cells in comparison to the number of corresponding color or transparency cells.
Bei dem erfindungsgemäßen Mikroskopierverfahren kann das Bild als Farbbild generiert werden, wobei bei der Bildgenerierung die Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt werden, um z.B. den Kontrastumfang des Farbbildes und der Farbinterpolation zu verbessern. In the microscopy method according to the invention, the image can be generated as a color image, wherein the image data of the pixels covered by the transparency cells are taken into account in the image generation in order, e.g. to improve the contrast range of the color image and the color interpolation.
Ferner können bei dem erfindungsgemäßen Mikroskopierverfahren die Schritte b) und c) mehrmals durchgeführt werden, um mehrere zweite Aufnahmen mit verschiedenen Positionen des Farbbildsensors durchzuführen. Furthermore, in the microscopy method according to the invention, the steps b) and c) can be carried out several times to perform a plurality of second exposures with different positions of the color image sensor.
Bei dem erfindungsgemäßen Mikroskopierverfahren können basierend auf den Bilddaten einer einzelnen Aufnahme ein Farbbild und ein Monochrombild generiert werden, wobei für das Farbbild Bilddaten der durch die Farbzellen überdeckten Pixel und für das Monochrombild Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt werden.
Es versteht sich, daß die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in den angegebenen Kombinationen, sondern auch in anderen Kombinationen oder in Alleinstellung einsetzbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen. Insbesondere kann das erfindungsgemäße Mikroskop so weitergebildet werden, daß mit ihm Schritte des erfindungsgemäßen Mikroskopierverfahrens realisiert werden können. Auch das erfindungsgemäße Mikroskopierverfahren kann so weitergebildet werden, daß es Schritte aufweist, die mit dem erfindungsgemäßen Mikroskop durchführbar sind oder durchgeführt werden. Nachfolgend wird die Erfindung beispielsweise anhand der beigefügten Zeichnungen, die auch erfindungswesentliche Merkmale offenbaren, noch näher erläutert. Es zeigen: In the microscopy method according to the invention, a color image and a monochrome image can be generated based on the image data of a single image, taking into account for the color image image data of the pixels covered by the color cells and for the monochrome image image data of the pixels covered by transparency cells. It is understood that the features mentioned above and those yet to be explained below can be used not only in the specified combinations but also in other combinations or alone, without departing from the scope of the present invention. In particular, the microscope according to the invention can be developed so that steps of the microscopy method according to the invention can be realized with it. The microscopy method according to the invention can also be developed so that it has steps that can be carried out or performed with the microscope according to the invention. The invention will be explained in more detail for example with reference to the accompanying drawings, which also disclose characteristics essential to the invention. Show it:
Fig. 1 eine schematische Ansicht einer Ausführungsform des erfindungsgemäßen Mikroskops; Fig. 2 eine schematische Draufsicht eines Teils des Farbbildsensors 7 in Fig. 1 ; Fig. 1 is a schematic view of an embodiment of the microscope according to the invention; Fig. 2 is a schematic plan view of a part of the color image sensor 7 in Fig. 1;
Fig. 3 eine schematische Draufsicht einer Ausführungsform der Bewegungseinheit 8 in Fig. 1 ; Fig. 4 eine weitere Ausführungsform der Bewegungseinheit 8; Fig. 3 is a schematic plan view of an embodiment of the moving unit 8 in Fig. 1; 4 shows a further embodiment of the movement unit 8;
Fig. 5 eine schematische Darstellung eines Teiles der Probe; Fig. 5 is a schematic representation of a portion of the sample;
Fig. 6 eine schematische Darstellung zur Zuordnung der Filterzellen zu den Bildzellen der Probe; 6 shows a schematic representation for the assignment of the filter cells to the image cells of the sample;
Fig. 7 eine schematische Darstellung mit einer weiteren Zuordnung der Filterzellen zu den Fig. 7 is a schematic representation with a further assignment of the filter cells to the
Bildzellen der Probe; Image cells of the sample;
Fig. 8-10 Einheitszellen anderer Verteilungen der Filterzellen der Farbmaske; 8-10 show unit cells of other distributions of the filter cells of the color mask;
Fig. 1 1 und 12 mögliche Einheitszellen bei der Ausbildung der Filtermaske alsFig. 1 1 and 12 possible unit cells in the formation of the filter mask as
Komplementärfiltermaske; Complementary filter mask;
Fig. 13 eine schematische Darstellung zur Erläuterung der Empfindlichkeit von Färb- und Transparenzpixeln, und Fig. 13 is a schematic diagram for explaining the sensitivity of color and transparency pixels, and
Fig. 14 und 15 weitere Darstellungen zur Erläuterung der spektralen Empfindlichkeit von Farb- und Transparenzpixeln. Bei der in Figur 1 gezeigten Ausführungsform umfaßt das erfindungsgemäße Mikroskop 1 einen Probentisch 2, der eine Probe 3 trägt, eine Aufnahmeeinheit 4, die über ein schematisch dargestelltes Stativ 5 mit dem Probentisch 2 verbunden ist, sowie eine Steuereinheit 6. FIGS. 14 and 15 are further illustrations for explaining the spectral sensitivity of color and transparency pixels. In the embodiment shown in FIG. 1, the microscope 1 according to the invention comprises a sample table 2 which carries a sample 3, a receiving unit 4 which is connected to the sample table 2 via a schematically illustrated stand 5, and a control unit 6.
Die Aufnahmeeinheit 4 enthält einen Farbbildsensor 7, eine Bewegungseinheit 8 zum Bewegen des Farbbildsensors 7 sowie eine Abbildungsoptik 9 zum vergrößernden Abbilden der Probe 3 bzw. eines Teils der Probe 3 auf den Farbbildsensor 7.
Der Abstand (in z-Richtung) zwischen der Abbildungsoptik 9 und dem Probentisch 3 und somit der Probe 2 ist mittels dem Stativ 5 unter Steuerung der Steuereinheit 6 einstellbar. Ferner kann der Probentisch 3 in x-Richtung und senkrecht zur Zeichenebene in y-Richtung bewegt werden, um die Probe 2 zu positionieren. The recording unit 4 includes a color image sensor 7, a movement unit 8 for moving the color image sensor 7, and imaging optics 9 for magnifying imaging of the sample 3 or part of the sample 3 onto the color image sensor 7. The distance (in the z direction) between the imaging optics 9 and the sample table 3 and thus the sample 2 can be adjusted by means of the stand 5 under the control of the control unit 6. Furthermore, the sample table 3 can be moved in the x-direction and perpendicular to the plane of the drawing in the y-direction in order to position the sample 2.
Wie der vergrößerten schematischen Draufsicht eines Teils des Farbbildsensors 7 in Figur 2 zu entnehmen ist, weist der Farbbildsensor 7 eine Mehrzahl von in Zeilen und Spalten angeordneten Pixeln 10 (von denen in Figur 2 schematisch nur drei gestrichelt dargestellt sind) sowie eine die Pixel 1 0 überdeckende Farbmaske 1 1 auf. As the enlarged schematic plan view of a portion of the color image sensor 7 can be seen in Figure 2, the color image sensor 7 comprises a plurality of pixels 10 arranged in rows and columns (of which only three are shown in phantom in Figure 2) and one of the pixels 1 0th covering color mask 1 1 on.
Die Farbmaske 1 1 umfaßt Filterzellen 12, die in gleicher Weise wie die Pixel 10 in Zeilen und Spalten angeordnet sind, wobei jeweils genau eine Filterzelle 12 einem Pixel 10 zugeordnet ist und dieses überdeckt. In Figur 2 sind die Filterzellen 12 schematisch als Quadrate dargestellt, wobei die Filterwirkung durch den in jeder Filterzelle 12 enthaltenen Buchstaben beschrieben ist. Die Buchstaben dienen nur zur Beschreibung der Filterwirkung und sind in der tatsächlichen Filtermaske 1 1 natürlich nicht enthalten. The color mask 1 1 comprises filter cells 12, which are arranged in the same manner as the pixels 10 in rows and columns, wherein in each case exactly one filter cell 12 is assigned to a pixel 10 and covers it. In Figure 2, the filter cells 12 are shown schematically as squares, wherein the filtering effect is described by the letters contained in each filter cell 12. The letters are only for the description of the filter effect and are of course not included in the actual filter mask 1 1.
Die Buchstaben R, G und B stehen für Farbfilter, wobei der Buchstabe R den Rotkanal, der Buchstabe G den Grünkanal und der Buchstabe B den Blaukanal beschreibt. Die Filterzellen dieser drei Farbkanäle können als Farbzellen bezeichnet werden. The letters R, G and B stand for color filters, where the letter R describes the red channel, the letter G the green channel and the letter B the blue channel. The filter cells of these three color channels can be referred to as color cells.
Die Filterzellen 12 mit dem Buchstaben W stehen für Filterzellen, in denen keine Farbfilterung stattfindet. Diese Filterzellen können daher auch als Transparenzzellen bezeichnet werden. Die Färb- und Transparenzzellen sind in einem regelmäßigen Muster angeordnet, wobei bei der hier beschriebenen Ausführungsform eine Einheitszelle 13 von 4x4 Filterzellen 12 vorliegt, wie in Figur 2 schematisch angedeutet ist. Die Einheitszelle 13 ist in x- und y-Richtung wiederholt angeordnet, so daß sich die in Figur 2 angedeutete Filterzellenverteilung ergibt. In Fig. 2 ist nur ein Teil des Farbfilters 7 schematisch dargestellt, der hier als HDTV-Sensor mit 1920 x 1080 Pixeln 10 ausgebildet ist. The filter cells 12 with the letter W stand for filter cells in which no color filtering takes place. These filter cells can therefore also be referred to as transparency cells. The color and transparency cells are arranged in a regular pattern, wherein in the embodiment described here there is a unit cell 13 of 4x4 filter cells 12, as indicated schematically in FIG. The unit cell 13 is arranged repeatedly in the x and y directions, resulting in the filter cell distribution indicated in FIG. In Fig. 2, only a part of the color filter 7 is shown schematically, which is designed here as an HDTV sensor with 1920 x 1080 pixels 10.
Wie der Darstellung in Figur 2 zu entnehmen ist, sind die Hälfte der Filterzellen 12 Transparenzzellen und so angeordnet, daß eine Verschiebung des Farbbildsensors 7 in x- oder y-Richtung um genau eine Filterzelle 12 zu einer vollständigen Flächenabdeckung mit Transparenzzellen führt. Eine solche Verschiebung kann beispielsweise mittels der Bewegungseinheit 8 durchgeführt werden.
In Figur 3 ist in Draufsicht schematisch eine Ausführungsform der Bewegungseinheit 8 dargestellt. Der Farbbildsensor 7 sitzt auf einem Träger 20, der über vier Piezoelemente 21 , 22, 23 und 24 mit einem Rahmen 25 verbunden ist. Durch entsprechende Ansteuerung der jeweils gegenüberliegenden Piezoelemente kann dann die gewünschte Verschiebung in x- und y- Richtung durchgeführt werden. Werden beispielsweise die Piezoelemente 21 und 23 angesteuert, wird eine Verschiebung in y-Richtung erfolgen. As can be seen in the illustration in FIG. 2, half of the filter cells 12 are transparency cells and arranged such that a displacement of the color image sensor 7 in the x or y direction by exactly one filter cell 12 leads to complete area coverage with transparency cells. Such a shift can be carried out, for example, by means of the movement unit 8. An embodiment of the movement unit 8 is shown schematically in plan view in FIG. The color image sensor 7 is seated on a carrier 20 which is connected to a frame 25 via four piezo elements 21, 22, 23 and 24. By appropriate control of the respective opposite piezo elements, the desired displacement in the x and y direction can then be carried out. If, for example, the piezo elements 21 and 23 are driven, a shift in the y direction will take place.
In Figur 4 ist eine weitere Ausführungsform der Bewegungseinheit 8 schematisch dargestellt. Diese Ausführungsform unterscheidet sich im wesentlichen von der Ausführungsform von Figur 3 dadurch, daß nur noch 2 Piezoelemente 21 und 22 notwendig sind. An den den Piezoelementen 21 und 22 gegenüberliegenden Seiten des Trägers 20 sind Federelemente 26 und 27 vorgesehen, über die der Träger 20 mit dem Rahmen 25 verbunden ist. Durch Ansteuerung des Piezoelementes 21 kann eine Verschiebung in x-Richtung durchgeführt werden. Für eine Verschiebung in y-Richtung wird das Piezoelement 22 angesteuert. FIG. 4 schematically shows a further embodiment of the movement unit 8. This embodiment differs essentially from the embodiment of Figure 3 in that only two piezo elements 21 and 22 are necessary. At the piezoelectric elements 21 and 22 opposite sides of the carrier 20 spring elements 26 and 27 are provided, via which the carrier 20 is connected to the frame 25. By controlling the piezoelectric element 21, a shift in the x-direction can be performed. For a displacement in the y-direction, the piezoelectric element 22 is driven.
Im Betrieb des erfindungsgemäßen Mikroskops 1 wird der gewünschte Bereich der Probe 3 mittels der Abbildungsoptik 9 vergrößert auf den Farbbildsensor 7 abgebildet. During operation of the microscope 1 according to the invention, the desired region of the sample 3 is magnified on the color image sensor 7 by means of the imaging optics 9.
Der Farbbildsensor 7 nimmt das vergrößerte Bild auf und liefert die entsprechenden Bilddaten an die Steuereinheit 6. The color image sensor 7 picks up the enlarged image and supplies the corresponding image data to the control unit 6.
Wenn nur eine Einzelaufnahme gemacht wird, kann beispielsweise die Intensitäts-Information der Pixel 10, die unter den Transparenzzellen liegen und nachfolgend auch als Transparenzpixel bezeichnet werden, zur Stützung bei einer Interpolation der Bilddaten der Pixel, die unter den Farbzellen liegen und nachfolgend auch als Farbpixel bezeichnet werden, dienen, um ein interpoliertes Farbbild zu erzeugen. Bei der Intensitätsinformation handelt es sich um die Intensität aus dem gesamten mit den Pixeln erfaßbaren Spektrum. Das interpolierte Farbbild kann z.B. einen gesteigerten Kontrastumfang, insbesondere in lichtarmen Bereichen aufweisen. Somit kann eine Verbesserung der Gesamtlichtempfindlichkeit des Farbbildes erreicht werden. Ferner können die Bilddaten der Transparenzpixel auch noch dazu genutzt werden, eine Monochromaufnahme zu generieren, die gleichzeitig mit der Farbaufnahme gemacht wurde. If only a single shot is taken, for example, the intensity information of the pixels 10 which are below the transparency cells and hereinafter also referred to as transparency pixels may be used to interpolate the image data of the pixels below the color cells and subsequently also as color pixels serve to produce an interpolated color image. The intensity information is the intensity of the entire spectrum detectable with the pixels. The interpolated color image may be e.g. have an increased contrast range, especially in low-light areas. Thus, an improvement in the overall photosensitivity of the color image can be achieved. Furthermore, the image data of the transparency pixels can also be used to generate a monochrome image that was taken simultaneously with the color image.
Die Erzeugung der gewünschten Aufnahmen aus den Bilddaten erfolgt durch die Steuereinheit 6 oder durch einen nicht gezeigten Rechner, dem die Bilddaten des Farbbildsensors zugeführt werden.
Das erzeugte Bild bzw. die erzeugten Bilder können z.B. auf einer Ausgabeeinheit 1 5 (z.B. ein Bildschirm) dargestellt und/oder abgespeichert werden. The generation of the desired images from the image data is carried out by the control unit 6 or by a computer, not shown, to which the image data of the color image sensor are supplied. The generated image or the images produced can be displayed and / or stored on an output unit 15 (eg a screen), for example.
Ferner kann der Farbbildsensor 7 so betrieben werden, daß ein Livebild in Farbe und/oder ein Monochrom-Livebild erzeugt und z.B. auf dem Bildschirm 15 dargestellt werden bzw. wird. Es können z.B. 60 Aufnahmen pro Sekunde gemacht werden. Further, the color image sensor 7 can be operated to generate a live image in color and / or a monochrome live image, e.g. be displayed on the screen 15 or is. It can e.g. 60 shots per second are made.
Ferner ist es möglich, zumindest zwei Aufnahmen so nacheinander durchzuführen, daß die einzelnen Aufnahmen mit unterschiedlichen Positionen des Farbbildsensors 7 in der xy-Ebene durchgeführt werden. Dazu wird mittels der Bewegungseinheit 8 der Farbbildsensor in der xy- Ebene entsprechend verschoben. So kann beispielsweise eine Verschiebung des Farbbildsensors 7 zwischen den beiden Aufnahmen um die Größe eines Pixels in x- oder y- Richtung durchgeführt werden. In diesem Fall wird mit den beiden Aufnahmen eine volle Auflösung im Monochromkanal und eine verbesserte Auflösung in den Farbkanälen mit gesteigertem Kontrastumfang erreicht. Unter einer vollen Auflösung wird hier insbesondere verstanden, daß basierend auf den zumindest zwei Aufnahmen eine Aufnahme zusammengesetzt werden kann, die Bilddaten desselben Pixeltyps (z.B. Transparenzpixel, rotes, grünes oder blaues Farbpixel) für alle Pixelpositionen des Farbbildsensors 7 aufweist. Es kann z.B. ein Monochrombild mit 1920 x 1080 Pixeln generiert werden. Further, it is possible to perform at least two shots successively so that the individual shots are performed with different positions of the color image sensor 7 in the xy plane. For this purpose, the color image sensor in the xy plane is correspondingly displaced by means of the movement unit 8. For example, a shift of the color image sensor 7 between the two images by the size of a pixel in the x or y direction can be performed. In this case, the two images achieve full resolution in the monochrome channel and improved resolution in the color channels with increased contrast. In this case, full resolution is understood to mean, in particular, that based on the at least two images, a photograph can be composed which has image data of the same pixel type (for example transparency pixels, red, green or blue color pixels) for all pixel positions of the color image sensor 7. It can e.g. a monochrome image with 1920 x 1080 pixels are generated.
Die volle Auflösung kann auch unter Bezug auf die Probe 3 wie folgt verstanden werden. In Figur 5 ist ein Teil der Probe 3, der einer Einheitszelle 13 des Farbbildsensors 7 zugeordnet werden kann, schematisch dargestellt, wobei aufgrund der erwähnten Zuordnung der entsprechende Bereich der Probe 3 in 4 x 4 Bildzellen 30 aufgeteilt werden kann, die hier zur besseren Darstellbarkeit mit abgerundeten Ecken gezeigt sind. The full resolution can also be understood with reference to sample 3 as follows. In FIG. 5, part of the sample 3, which can be assigned to a unit cell 13 of the color image sensor 7, is shown schematically, it being possible to divide the corresponding region of the sample 3 into 4 × 4 image cells 30 due to the above-mentioned assignment are shown with rounded corners.
In Figur 6 ist dargestellt, wie die Zuordnung der Filterzellen 12 zu den Bildzellen 30 der Probe 3 bei einer ersten Position des Farbbildsensors 7 ist, wobei von der Farbmaske 1 1 eine Einheitszelle 13 und eine daran links angrenzende Spalte mit vier weiteren Filterzellen 12 dargestellt ist. FIG. 6 shows how the assignment of the filter cells 12 to the image cells 30 of the sample 3 is at a first position of the color image sensor 7, of the color mask 11 a unit cell 13 and a column adjoining it on the left with four further filter cells 12 ,
In Figur 7 ist eine um eine Pixelbreite in x-Richtung versetzte Position (relativ zur Position gemäß Fig. 6) des Farbbildsensors 7 dargestellt. Wie aus den beiden Figuren 6 und 7 ersichtlich ist, sind durch die beiden in Fig. 6 und 7 gezeigten Positionen der Farbmaske 1 1 alle Bildzellen 30 durch Transparenzzellen W abgedeckt, so daß mit zwei Aufnahmen für alle Bildzellen 30 die entsprechenden Intensitätswerte mittels der von Transparenzzellen überdeckten Pixeln erfaßt werden können. Es liegt somit die erwähnte volle Auflösung vor.
Natürlich können auch mehr als zwei Aufnahmen mit unterschiedlichen Positionen durchgeführt werden. Damit ist es zum Beispiel möglich, eine identische Auflösung in allen drei Farbkanälen und insbesondere eine volle Auflösung in allen drei Farbkanälen zu erzielen. Unter einer identischen Auflösung in allen drei Farbkanälen wird hier insbesondere verstanden, daß für die gleiche Anzahl von Bildzellen 30 Pixelwerte für jeden der drei Farbkanäle vorliegen oder daß die vorliegende Anzahl von Pixelwerten der einzelnen Farbkanäle dem Verhältnis der Farbfilter der Farbmaske 1 1 entsprechen. Dies würde bei der hier beschriebenen Farbfiltermaske bedeuten, daß die Pixelanzahl für rot und blau gleich ist und genau die Hälfte der Pixelanzahl für grün beträgt. FIG. 7 shows a position offset by one pixel width in the x-direction (relative to the position according to FIG. 6) of the color image sensor 7. As can be seen from the two figures 6 and 7, are covered by two cells for all image cells 30, the corresponding intensity values by means of the two shown in Fig. 6 and 7 positions of the color mask 1 1 all the image cells 30 by transparency cells Transparency cells covered pixels can be detected. There is thus the aforementioned full resolution. Of course, more than two shots with different positions can be performed. This makes it possible, for example, to achieve an identical resolution in all three color channels and in particular a full resolution in all three color channels. Here, an identical resolution in all three color channels is understood to mean, in particular, that there are 30 pixel values for each of the three color channels for the same number of image cells, or that the number of pixel values of the individual color channels corresponds to the ratio of the color filters of the color mask 11. In the color filter mask described here, this would mean that the number of pixels for red and blue is the same and exactly half the number of pixels is green.
Ferner kann die Bewegungseinheit 8 auch eine Verschiebung in x- oder y-Richtung bewirken, die kleiner ist als die Größe eines Pixels 10. Damit werden Aufnahmen an Zwischenpositionen möglich, wodurch die Auflösung des aufgenommenen Bildes gesteigert werden kann. Es ist in diesem Fall eine Subpixelauflösung möglich. Furthermore, the moving unit 8 can also effect a displacement in the x or y direction, which is smaller than the size of a pixel 10. Thus, images are possible at intermediate positions, whereby the resolution of the recorded image can be increased. In this case, a subpixel resolution is possible.
Ferner kann die Abbildungsoptik 9 einen Infrarotsperrfilter 14 aufweisen, um zu verhindern, daß Infrarotstrahlung auf die Farbpixel 10 trifft, was die Farbaufnahme verfälschen würde, da die Pixel häufig auch im Infrarotbereich empfindlich sind. Further, the imaging optics 9 may include an infrared cut-off filter 14 to prevent infrared radiation from hitting the color pixels 10, which would distort color picking, as the pixels are often also sensitive to infrared radiation.
Der Infrarotsperrfilter 14 ist insbesondere beweglich montiert und kann aus dem Strahlengang von der Probe 3 bis zum Farbbildsensor 7 entfernt werden. Damit kann bei einer Monochromaufnahme (bei der die Bilddaten der Monochrompixel ausgewertet werden) eine höhere Empfindlichkeit erreicht werden. The infrared blocking filter 14 is in particular movably mounted and can be removed from the beam path from the sample 3 to the color image sensor 7. Thus, in a monochrome recording (in which the image data of the monochrome pixels are evaluated), a higher sensitivity can be achieved.
Die in Figur 2 dargestellte Verteilung der Filterzellen 12 ist nur beispielhaft zu verstehen. Natürlich kann auch jede andere geeignete Verteilung gewählt werden. Beispiele sind in Figuren 8, 9 und 10 gezeigt. Aus diesen ist auch ersichtlich, daß die Einheitszelle 13 unterschiedlich groß sein kann. The distribution of the filter cells 12 shown in FIG. 2 is only to be understood as an example. Of course, any other suitable distribution can be chosen. Examples are shown in FIGS. 8, 9 and 10. From these it can also be seen that the unit cell 13 can be of different sizes.
Auch muß die Filtermaske 1 1 nicht als RGB-Filtermaske ausgebildet sein. Sie kann beispielsweise auch als CMY-Komplementärfiltermaske ausgebildet sein. In Figuren 1 1 und 12 sind Beispiele für CYGM- und CMYW-Filtermasken gezeigt, wobei wiederum nur eine Einheitszelle dargestellt ist, wobei C für cyan, Y für gelb, G für grün, M für magenta und W für eine Transparenzzelle steht. Also, the filter mask 1 1 must not be designed as an RGB filter mask. It can also be designed, for example, as a CMY complementary filter mask. Figures 1 and 12 show examples of CYGM and CMYW filter masks, again showing only a unit cell, where C is cyan, Y is yellow, G is green, M is magenta, and W is a transparency cell.
Der bereits erläuterte Vorteil der Transparenzzellen gegenüber den Farbzellen soll an den beispielhaft in Figur 13 eingezeichneten Empfindlichkeitskurven verdeutlicht werden.
In Figur 13 ist die relative Empfindlichkeit (y-Achse) über der Wellenlänge in nm (x-Achse) für Pixel, die von Farbzellen überdeckt sind (wobei hier noch ein Infrarotfilter vorgeschaltet ist), und für Pixel, die von Transparenzzellen überdeckt sind, dargestellt, wobei die Kurve 31 die relative Empfindlichkeit eines blauen Pixels (also eines von einem blauen Farbfilter überdeckten Pixels), die Kurve 32 die relative Empfindlichkeit eines grünen Pixels, die Kurve 33 die relative Empfindlichkeit eines roten Pixels und die Kurve 34 die relative Empfindlichkeit eines Transparenzpixels zeigt. Aus der Darstellung von Figur 13 kann entnommen werden, daß der Bereich der spektralen Empfindlichkeit bei einem Transparenzpixel viel breiter ist als bei Farbpixeln. So reicht der Bereich vom blauen Spektrum bei ca. 400 nm bis zum nahen Infrarot bei ca. 1000 nm. The already explained advantage of the transparency cells with respect to the color cells is to be clarified by the sensitivity curves shown by way of example in FIG. In FIG. 13, the relative sensitivity (y-axis) is measured over the wavelength in nm (x-axis) for pixels which are covered by color cells (in which case an infrared filter is connected upstream), and for pixels which are covered by transparency cells, curve 31 represents the relative sensitivity of a blue pixel (ie, a pixel covered by a blue color filter), curve 32 the relative sensitivity of a green pixel, curve 33 the relative sensitivity of a red pixel, and curve 34 the relative sensitivity of a red pixel Transparency pixels shows. It can be seen from the illustration of Figure 13 that the spectral sensitivity range is much wider for a transparency pixel than for color pixels. Thus, the range from the blue spectrum at about 400 nm to the near infrared at about 1000 nm.
Ferner ist der Quantenwirkungsgrad und damit die Detektionswahrscheinlichkeit für Photonen bei Transparenzpixeln im sichtbaren Wellenlängenbereich (400 nm - 700 nm) höher und stetiger als bei den Farbpixeln. Furthermore, the quantum efficiency and thus the probability of detection of photons in the case of transparency pixels in the visible wavelength range (400 nm-700 nm) is higher and more constant than in the case of the color pixels.
Im Bereich über 700 nm sind die Farbpixel nicht sensitiv und können keine Photonen detektieren, während das Transparenzpixel noch ein Signal erzeugt. In the range above 700 nm, the color pixels are not sensitive and can not detect photons, while the transparency pixel still generates a signal.
Somit sind die Transparenzpixel den Farbpixeln für Fluoreszenzsignale überlegen. Das erfindungsgemäße Mikroskop kann daher sehr flexibel für unterschiedliche Aufnahmemodi mit ausgezeichneter Qualität eingesetzt werden. In Figuren 14 und 15 ist der prinzipielle Unterschied zwischen Färb- und Transparenzpixeln quantitativ in der Art und Weise dargestellt, daß derselbe Sensor (einmal mit Farbfilter und einmal ohne Farbfilter) beleuchtet wurde und das Ausgangssignal gemessen wurde. Dabei zeigen die Balken 35, 36 und 37 das Ausgangssignal des Sensors mit Farbmaske und somit das Ausgangssignal eines Farbpixels bei der Beleuchtung mit unterschiedlichen Wellenlängen. Der Balken 35 zeigt die Signalantwort (in beliebigen Einheiten) bei 625 nm, der Balken 36 bei einer Beleuchtung mit 565 nm und der Balken 37 bei einer Beleuchtung mit 430 nm. Unmittelbar rechts daneben ist jeweils die Signalantwort ohne Farbfilter (bei gleicher Beleuchtungswellenlänge) dargestellt. Wie diesen Balken 38 bis 40 zu entnehmen ist, ist die Intensität stets deutlich höher. So beträgt die Signalantwort der Farbzelle nur 52 bis 66% der Signalantwort der Transparenzzelle. Thus, the transparency pixels are superior to the color pixels for fluorescent signals. The microscope according to the invention can therefore be used very flexibly for different recording modes with excellent quality. In Figs. 14 and 15, the principal difference between color and transparency pixels is shown quantitatively in the manner that the same sensor (once with color filter and once without color filter) was illuminated and the output signal was measured. The bars 35, 36 and 37 show the output signal of the sensor with color mask and thus the output signal of a color pixel in the illumination with different wavelengths. The bar 35 shows the signal response (in arbitrary units) at 625 nm, the bar 36 at 565 nm illumination and the bar 37 at 430 nm illumination. Immediately to the right is the signal response without color filter (at the same illumination wavelength) , As can be seen from these bars 38 to 40, the intensity is always much higher. Thus, the signal response of the color cell is only 52 to 66% of the signal response of the transparency cell.
In Figur 1 5 sind die Signalantworten für den Fall gezeigt, daß die Beleuchtung mit einer weiß emittierenden Leuchtdiode durchgeführt wurde. Wie aus den Balken 35 bis 40 ersichtlich ist,
erreicht ein Farbpixel im Rotkanal nur 27% der Aussteuerung des Transparenzpixels. Die starke Signalintensität des Transparenzpixels erklärt sich dadurch, daß das Transparenzpixel die gesamte über das Spektrum verteilte Energie empfängt, während ein Farbpixel nur den Energieanteil aus dem entsprechenden zugeordneten Wellenbereich in ein Signal wandeln kann. In Figure 1 5, the signal responses are shown for the case that the illumination was performed with a white emitting light emitting diode. As can be seen from bars 35 to 40, reaches a color pixel in the red channel only 27% of the modulation of the transparency pixel. The high signal intensity of the transparency pixel is explained by the fact that the transparency pixel receives all of the energy distributed across the spectrum, while a color pixel can only convert the energy portion from the corresponding associated waveband to a signal.
Dies kann beispielsweise für sehr kurze Belichtungszeiten bei monochromen Aufnahmen mittels des erfindungsgemäßen Mikroskopes genutzt werden. Das erfindungsgemäße Mikroskop 1 kann ferner noch eine nicht gezeigte Lichtquelle sowie weitere Elemente aufweisen, die zum Betrieb des Mikroskops 1 notwendig und dem Fachmann bekannt sind.
This can be used, for example, for very short exposure times in monochrome images by means of the microscope according to the invention. The microscope 1 according to the invention can furthermore also have a light source, not shown, as well as further elements which are necessary for the operation of the microscope 1 and are known to the person skilled in the art.
Claims
1 . Mikroskop mit 1 . Microscope with
einem Farbbildsensor (7), a color image sensor (7),
einer Abbildungsoptik (9) zum vergrößernden Abbilden einer Probe (3) auf den Farbbildsensorimaging optics (9) for magnifying imaging of a sample (3) on the color image sensor
(7), (7)
und einer Steuereinheit (6), and a control unit (6),
wobei der Farbbildsensor (7) eine Mehrzahl von in einer Ebene angeordneten Pixeln (1 0) sowie eine die Pixel (10) überdeckende Farbmaske (1 1 ) aufweist und die Farbmaske (1 1 ) für jedes Pixel (10) eine Filterzelle (12) enthält, die entweder als Farbzelle zur Farbfilterung für einen von zumindest drei Farbkanälen oder als Transparenzzelle, die keine Farbfilterung bewirkt, ausgebildet ist, wherein the color image sensor (7) has a plurality of pixels (1 0) arranged in a plane and a color mask (1 1) covering the pixels (10) and the color mask (1 1) has a filter cell (12) for each pixel (10) contains, which is formed either as a color cell for color filtering for one of at least three color channels or as a transparency cell, which does not cause color filtering,
wobei die Farbmaske (1 1 ) Farbzellen für alle der zumindest drei Farbkanälen und Transparenzzellen aufweist und wherein the color mask (1 1) has color cells for all of the at least three color channels and transparency cells, and
wobei die Steuereinheit (6) basierend auf den Bilddaten des Farbbildsensors (7) ein Bild generiert. wherein the control unit (6) generates an image based on the image data of the color image sensor (7).
2. Mikroskop nach Anspruch 1 , mit einer Bewegungseinheit (8), mit der der Farbbildsensor (7) in der Ebene bewegbar ist. 2. A microscope according to claim 1, comprising a moving unit (8) with which the color image sensor (7) is movable in the plane.
3. Mikroskop nach Anspruch 2, bei dem die Steuereinheit (6) dazu ausgebildet ist, a) nach einer ersten Aufnahme der Probe (3) mittels dem Farbbildsensor (7) die Bewegungseinheit (8) so anzusteuern, daß der Farbbildsensor (7) in der Ebene verschoben wird, 3. A microscope according to claim 2, wherein the control unit (6) is adapted to a) after a first recording of the sample (3) by means of the color image sensor (7) to control the movement unit (8) so that the color image sensor (7) in the plane is moved,
b) eine zweite Aufnahme der Probe (3) mittels dem Farbbildsensor (7) in der verschobenen Position auszulösen, und b) trigger a second image of the sample (3) by means of the color image sensor (7) in the shifted position, and
c) basierend auf den Aufnahmen das Bild der Probe zu generieren. c) generate the image of the sample based on the images.
4. Mikroskop nach Anspruch 3, bei dem die Steuereinheit (6) dazu ausgebildet ist, im Schritt c) im generierten Bild eine im Vergleich zur Anzahl der entsprechenden Färb- bzw. Transparenzzellen höhere Auflösung in zumindest einem der Farbkanäle oder einem Monochromkanal der Transparenzzellen zu erzielen. 4. A microscope according to claim 3, wherein the control unit (6) is adapted to in step c) in the generated image in comparison to the number of corresponding color or transparency cells higher resolution in at least one of the color channels or a monochrome channel of the transparency cells achieve.
5. Mikroskop nach Anspruch 3 oder 4, bei dem die Steuereinheit (6) dazu ausgebildet ist, im Schritt c) ein Farbbild zu generieren, bei dem die Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt sind. 5. A microscope according to claim 3 or 4, wherein the control unit (6) is adapted to generate in step c) a color image, in which the image data of the transparency cells covered by pixels are taken into account.
6. Mikroskop nach einem der Ansprüche 3 bis 5, bei dem die Steuereinheit (6) dazu ausgebildet ist, den Schritt b) mehrmals mit verschiedenen Positionen des Farbbildsensors (3) durchzuführen, um mehrere zweite Aufnahmen mit den verschiedenen Positionen des Farbbildsensors (7) durchzuführen. 6. A microscope according to any one of claims 3 to 5, wherein the control unit (6) is adapted to perform the step b) several times with different positions of the color image sensor (3) to several second images with the different positions of the color image sensor (7). perform.
7. Mikroskop nach einem der obigen Ansprüche, bei dem die Steuereinheit (6) dazu ausgebildet ist, basierend auf den Bilddaten einer einzelnen Aufnahme ein Farbbild und Monochrombild zu generieren, wobei für das Farbbild Bilddaten der durch Farbzellen überdeckten Pixel und für das Monochrombild Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt werden. 7. A microscope according to any one of the preceding claims, wherein the control unit (6) is adapted to generate a color image and monochrome image based on the image data of a single shot, wherein for the color image image data of the pixels covered by color cells and for the monochrome image image data taken into account by pixels covered by transparency cells.
8. Mikroskop nach einem der obigen Ansprüche, bei dem mittels der Steuereinheit (6) das Mikroskop (1 ) selektiv in einen Farbbildmodus, in dem ein Farbbild der Probe basierend auf den Bilddaten der durch Farbzellen überdeckten Pixel generiert wird, und in ein Monochrombildmodus, in dem ein Monochrombild der Probe basierend auf den Bilddaten der durch Transparenzzellen überdeckten Pixel generiert wird, geschaltet werden kann. 8. A microscope according to any one of the preceding claims, wherein by means of the control unit (6) the microscope (1) is selectively generated in a color image mode in which a color image of the sample is generated based on the image data of the color cell covered pixels, and in a monochrome image mode, in which a monochrome image of the sample is generated based on the image data of the pixels covered by transparency cells, can be switched.
9. Mikroskop nach einem der obigen Ansprüche, mit einem Infrarotsperrfilter (14) im Strahlengang von der Probe (3) bis zum Farbbildsensor (7), wobei der Infrarotsperrfilter (14) von der Position im Strahlengang zu einer Position au ßerhalb des Strahlegangs und umgekehrt bewegt werden kann. 9. Microscope according to one of the above claims, comprising an infrared blocking filter (14) in the beam path from the sample (3) to the color image sensor (7), wherein the infrared blocking filter (14) from the position in the beam path to a position au ßerhalb the beam path and vice versa can be moved.
10. Mikroskopierverfahren, bei dem eine Probe vergrößert auf einen Farbbildsensor abgebildet wird, wobei als Farbbildsensor ein Sensor verwendet wird, der eine Mehrzahl von in einer Ebene angeordneten Pixeln sowie eine die Pixel überdeckende Farbmaske aufweist, wobei die Farbmaske für jedes Pixel eine Filterzelle enthält, die entweder als Farbzelle zur Farbfilterung für einen von zumindest drei Farbkanälen oder als Transparenzzelle, die keine Farbfilterung bewirkt, ausgebildet ist, und wobei die Farbmaske Farbzellen für alle der zumindest drei Farbkanälen und Transparenzzellen aufweist. 10. A microscopy method in which a sample is imaged magnified on a color image sensor, wherein a sensor is used as a color image sensor having a plurality of pixels arranged in a plane and a color mask covering the pixels, wherein the color mask contains a filter cell for each pixel, which is formed either as a color cell for color filtering for one of at least three color channels or as a transparency cell which does not cause color filtering, and wherein the color mask has color cells for all of the at least three color channels and transparency cells.
1 1 . Mikroskopierverfahren nach Anspruch 10, bei dem 1 1. A microscopy method according to claim 10, wherein
a) eine erste Aufnahme der Probe mittels dem Farbbildsensor durchgeführt wird, a) a first image of the sample is taken by means of the color image sensor,
b) danach der Farbbildsensor in der Ebene verschoben wird, b) after that the color image sensor is shifted in the plane,
c) eine zweite Aufnahme der Probe mittels dem Farbbildsensor in der verschobenen Position durchgeführt wird, und c) performing a second photograph of the sample by means of the color image sensor in the shifted position, and
d) basierend auf den Aufnahmen ein Bild der Probe generiert wird. d) an image of the sample is generated based on the images.
12. Mikroskopierverfahren nach Anspruch 1 1 , bei dem das Bild mit einer höheren Auflösung in zumindest einem der Farbkanäle oder einem Monochromkanal der Transparenzzellen im12. The microscopy method according to claim 11, wherein the image with a higher resolution in at least one of the color channels or a monochrome channel of the transparency cells in
Vergleich zur Anzahl der entsprechenden Färb- bzw. Transparenzzellen generiert wird. Comparison to the number of corresponding color or transparency cells is generated.
13. Mikroskopierverfahren nach Anspruch 1 1 oder 12, bei dem das Bild als Farbbild generiert wird, bei dem die Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt werden. 13. The microscopy method according to claim 11 or 12, wherein the image is generated as a color image in which the image data of the pixels covered by transparency cells are taken into account.
14. Mikroskopierverfahren nach einem der Ansprüche 1 1 bis 13, bei dem die Schritte b) und c) mehrmals durchgeführt werden, um mehrere zweite Aufnahmen mit verschiedenen Positionen des Farbbildsensors durchzuführen. 14. A microscopy method according to any one of claims 1 1 to 13, wherein the steps b) and c) are performed several times to perform a plurality of second shots with different positions of the color image sensor.
15. Mikroskopierverfahren nach einem der Ansprüche 10 bis 14, bei dem basierend auf den Bilddaten einer einzelnen Aufnahme ein Farbbild und Monochrombild generiert wird, wobei für das Farbbild Bilddaten der durch Farbzellen überdeckten Pixel und für das Monochrombild Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt werden. 15. A microscopy method according to claim 10, wherein a color image and a monochrome image are generated based on the image data of a single image, taking into account for the color image image data of the color cell covered pixels and for the monochrome image image data of the pixels covered by the transparency cells.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102010063959.1 | 2010-12-22 | ||
DE102010063959A DE102010063959A1 (en) | 2010-12-22 | 2010-12-22 | Microscope with a color image sensor and microscopy method with a color image sensor |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2012084530A1 true WO2012084530A1 (en) | 2012-06-28 |
Family
ID=45440497
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/EP2011/072200 WO2012084530A1 (en) | 2010-12-22 | 2011-12-08 | Microscope with a colour image sensor and microscopy method with a colour image sensor |
Country Status (2)
Country | Link |
---|---|
DE (1) | DE102010063959A1 (en) |
WO (1) | WO2012084530A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI604716B (en) * | 2016-10-20 | 2017-11-01 | 雲象科技有限公司 | Navigation system for digitization of microscope image and method thereof |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070153104A1 (en) * | 2005-12-30 | 2007-07-05 | Ellis-Monaghan John J | Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor |
US20080012969A1 (en) * | 2006-05-15 | 2008-01-17 | Masanori Kasai | Image Pickup Apparatus, Image Processing Method, and Computer Program |
US20080018735A1 (en) * | 2006-07-24 | 2008-01-24 | Olympus Corporation | Microscope color image pickup apparatus, microscope color image pickup program product, and microscope color image pickup method |
WO2010066381A1 (en) * | 2008-12-09 | 2010-06-17 | Fotonation Ireland Limited | Rgbw sensor array |
EP2252046A1 (en) * | 2009-05-14 | 2010-11-17 | Olympus Corporation | Image acquisition apparatus, method for controlling image acquisition apparatus, and microscope system |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10109130B4 (en) * | 2001-02-24 | 2015-02-19 | Carl Zeiss Microscopy Gmbh | Method for recording and displaying fluorescence images with high spatial resolution |
DE102004038001B4 (en) * | 2003-08-14 | 2016-03-24 | Carl Zeiss Meditec Ag | Optical observation device and method for operating an optical observation device |
-
2010
- 2010-12-22 DE DE102010063959A patent/DE102010063959A1/en not_active Withdrawn
-
2011
- 2011-12-08 WO PCT/EP2011/072200 patent/WO2012084530A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070153104A1 (en) * | 2005-12-30 | 2007-07-05 | Ellis-Monaghan John J | Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor |
US20080012969A1 (en) * | 2006-05-15 | 2008-01-17 | Masanori Kasai | Image Pickup Apparatus, Image Processing Method, and Computer Program |
US20080018735A1 (en) * | 2006-07-24 | 2008-01-24 | Olympus Corporation | Microscope color image pickup apparatus, microscope color image pickup program product, and microscope color image pickup method |
WO2010066381A1 (en) * | 2008-12-09 | 2010-06-17 | Fotonation Ireland Limited | Rgbw sensor array |
EP2252046A1 (en) * | 2009-05-14 | 2010-11-17 | Olympus Corporation | Image acquisition apparatus, method for controlling image acquisition apparatus, and microscope system |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI604716B (en) * | 2016-10-20 | 2017-11-01 | 雲象科技有限公司 | Navigation system for digitization of microscope image and method thereof |
Also Published As
Publication number | Publication date |
---|---|
DE102010063959A1 (en) | 2012-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE60026201T2 (en) | Scanning method for a photosensor with several differently sized scanning surfaces | |
EP0878091B1 (en) | Colour image sensor for short-time exposure | |
EP2483732B1 (en) | Method for generating a microscopic image and microscope | |
DE112013003464B4 (en) | Coloring element and imaging device | |
DE102012216021B4 (en) | MAKING MULTIPLE PICTURES WITH A LARGE DYNAMIC RANGE FROM A SINGLE SENSOR FIELD | |
DE102010031535A1 (en) | An image pickup device and method for picking up an image | |
DE3931934A1 (en) | IMAGE INPUT / OUTPUT DEVICE | |
DE102010045856A1 (en) | Optical imaging system for multispectral imaging | |
DE102014214750B3 (en) | Image acquisition system with fast-vibrating global shutter CMOS sensor | |
WO2017036600A1 (en) | Fluorescent light detection system and microscopy system | |
DE102021116512A1 (en) | SPECTRAL SENSOR SYSTEM WITH OPTICAL FILTER SUB-ARRAYS | |
WO2012084531A1 (en) | Camera with a colour image sensor and recording method with such a camera | |
DE112015006389T5 (en) | imaging device | |
DE2729107A1 (en) | METHOD FOR GENERATING COLOR INFORMATION SIGNALS AND ARRANGEMENT FOR CARRYING OUT THE METHOD | |
DE19918689C2 (en) | Device for three-dimensional confocal optical examination of an object with illumination through a perforated plate | |
EP1542051A1 (en) | Apparatus and method for wavelength separation in a scanning microscope | |
DE102018129833A1 (en) | Microscope system, microscope system detection unit and method for microscopically imaging a sample | |
DE3230552A1 (en) | SOLID-COLOR IMAGE RECORDING SYSTEM | |
DE102007051889A1 (en) | Electronic endoscope | |
DE2934976C2 (en) | ||
DE112019004373T5 (en) | SPECTROSCOPIC IMAGING DEVICE AND FLUORESCENCE MONITORING DEVICE | |
WO2012084530A1 (en) | Microscope with a colour image sensor and microscopy method with a colour image sensor | |
DE102007051888A1 (en) | Electronic endoscope | |
EP4217785A1 (en) | Imaging system, in particular for a camera | |
DE19702837C1 (en) | Digital color camera for electronic photography |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 11802885 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 11802885 Country of ref document: EP Kind code of ref document: A1 |