WO2012084530A1 - Mikroskop mit einem farbbildsensor sowie mikroskopierverfahren mit einem farbbildsensor - Google Patents

Mikroskop mit einem farbbildsensor sowie mikroskopierverfahren mit einem farbbildsensor Download PDF

Info

Publication number
WO2012084530A1
WO2012084530A1 PCT/EP2011/072200 EP2011072200W WO2012084530A1 WO 2012084530 A1 WO2012084530 A1 WO 2012084530A1 EP 2011072200 W EP2011072200 W EP 2011072200W WO 2012084530 A1 WO2012084530 A1 WO 2012084530A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
image
image sensor
cells
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2011/072200
Other languages
English (en)
French (fr)
Inventor
Markus Cappellaro
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss MicroImaging GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss MicroImaging GmbH filed Critical Carl Zeiss MicroImaging GmbH
Publication of WO2012084530A1 publication Critical patent/WO2012084530A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48—Increasing resolution by shifting the sensor relative to the scene

Definitions

  • the present invention relates to a microscope with a color image sensor and a microscopy method with a color image sensor.
  • GFP green fluorescent protein
  • the object is achieved by a microscope having a color image sensor, imaging optics for magnifying a sample on the color image sensor and a control unit, wherein the color image sensor has a plurality of in-plane pixels and a color mask covering the pixels and the color mask for each pixel Filter cell containing either a color cell for color filtering for one of at least three color channels or as a transparency cell, which does not cause color filtering, the color mask having color cells for all of the at least three color channels and transparency cells and wherein the control unit based on the image data of the color image sensor generates an image of the sample.
  • the color image sensor of the microscope according to the invention also has transparency cells in the color mask in addition to the color cells, in addition to the color information, it is also possible to record monochrome image information that is not adversely affected (for example, attenuated) by any color filters. Furthermore, a possibly provided IR filter can be swung out, whereby spectral restrictions are eliminated. Thus, it is possible to suitably evaluate the image data of the color image sensor depending on the desired type of recording and thereby to form the desired image. In particular, it is possible to simultaneously record a color image and a monochrome image by means of the color image sensor. At the same time, it is understood here in particular that the exposure of the pixels takes place simultaneously, regardless of whether the associated filter cell is a color cell or a transparency cell.
  • the color image sensor may also be referred to as a multispectral sensor.
  • the microscope according to the invention can have a movement unit with which the color image sensor can be moved in the plane. This makes it possible to perform different images of the sample with different positions of the color image sensor. These different images can then be used for image generation. Thus, for example, an increase in resolution and / or sensitivity can be achieved.
  • the color mask can be in one piece or in several parts. In particular, the color mask can be made transparent in the region of the transparency cells or can have a corresponding opening.
  • the microscope according to the invention may include a control unit which is designed to a) after a first recording of the sample by means of the color image sensor to control the movement unit so that the color image sensor is displaced in the plane, b) a second image of the sample by means of the color image sensor in the triggering a shifted position, and c) generating an image of the sample based on the images.
  • the shift may be performed by always shifting the size of a pixel (pixel shift). In this case, the full resolution is present in each spectral field.
  • a combination of pixel and subpixel shift is possible.
  • the control unit can also be designed to achieve a higher resolution in at least one of the color channels or a monochrome channel of the transparency cells in step c) compared to the number of corresponding color or transparency cells.
  • control unit can be designed to generate a color image in step c), in which the image data of the pixels covered by transparency cells are taken into account.
  • image data of the pixels covered by transparency cells are taken into account.
  • luminance values of the pixels covered by transparency cells can be taken into account. If the pixels covered by transparency cells are sensitive to wavelengths outside the visible spectrum, these signals can also be taken into account.
  • the control unit may be designed to perform step b) several times with different positions of the color image sensor in order to perform a plurality of second images with the different positions of the color image sensor. These several second images can then be taken into account in step c) during the generation of the image, in particular for improving the spatial resolution. In particular, pixel and subpixel shift can be combined.
  • the control unit may further be configured to generate a color image and a monochrome image based on the image data of a single shot or a single shot, taking into account for the color image image data of the color cell covered pixels and for the monochrome image image data of the pixels covered by transparency cells ,
  • the microscope can be selectively converted into a color image mode in which a color image of the sample is generated based on the image data of the color cell covered pixels, and in a monochrome image mode in which a monochrome image of the sample is based on the image data obtained by transparency cells covered pixel is generated to be switched.
  • a color image mode in which a color image of the sample is generated based on the image data of the color cell covered pixels
  • a monochrome image mode in which a monochrome image of the sample is based on the image data obtained by transparency cells covered pixel is generated to be switched.
  • the modes differ essentially by the electrical control of the color image sensor and / or the evaluation of the provided image data to generate the desired color image or monochrome image.
  • multiple images with different positions of the color image sensor can be used to generate the desired image.
  • This implementation of the multiple recordings can be done in the manner described.
  • the microscope can still be switched to a combined image mode in which both a color image and a monochrome image of the sample is generated, wherein image data of the pixels covered by color cells and, for the monochrome image, of the pixels covered by transparency cells are taken into account, preferably for the color image become.
  • an infrared cut filter can be arranged in the beam path from the sample to the color image sensor in order to ensure, for example, correct color reproduction.
  • the infrared blocking filter can be moved from a position in the beam path to a position outside the beam path and vice versa. This makes it possible to selectively provide an infrared cut filter in the beam path, if desired or required for color fast shooting.
  • a previously unattained universally applicable applicability for color and fluorescence images with variable resolution and speed is provided without additional requirements for the microscope, such as colored lighting or additional components in the beam path, must be provided.
  • the microscope according to the invention is therefore equally suitable for colored specimens (eg in pathology) and for monochrome fluorescence preparations (eg in the uptake of living cells). All this can be achieved in the microscope according to the invention with low cost and effort.
  • the microscope according to the invention can thus be reacted very flexibly to the corresponding requirements of each sample. Only a suitable shooting mode (e.g., color picture mode, monochrome picture mode, composite picture mode) or camera mode needs to be selected. Camera mode is understood to mean in particular the combination of the execution of the at least one recording and the corresponding image generation.
  • the microscope according to the invention can therefore be easily adapted to different recording conditions. Essentially, the control of the color image sensor, the scanning unit and / or the evaluation of the image data must be changed.
  • the microscope according to the invention can be designed as a fluorescence microscope, as a multichannel fluorescence microscope, as a phase contrast microscope, as a transmitted light, incident light and / or bright field microscope or else as another microscope.
  • all conventional contrasting techniques can be implemented, such as e.g. Bright field, dark field, phase contrast, differential interference contrast, polarization, fluorescence, etc., and any combinations thereof.
  • control unit in the microscope according to the invention can be constructed as a single control unit or also from two or more control submodules.
  • the sample to be magnified may be in particular a medical and / or biological sample or other materials. They are e.g. colored, fluorescent or non-colored material samples (e.g., ground steels) can be examined very well with the microscope according to the invention.
  • the color image sensor may be a CCD sensor or a CMOS sensor, and e.g. be designed as an HDTV sensor with 1920 x 1080 image pixels. Further, the color image sensor may be capable of taking approximately 50-60 frames per second and outputting the corresponding image data.
  • a microscopy method in which a sample is magnified imaged on a color image sensor, wherein as a color image sensor, a sensor is used, which has a plurality of pixels arranged in a plane as well as a pixel covering Color mask, wherein the color mask for each pixel contains a filter cell which is formed either as a color cell for color filtering for one of at least three color channels or as a transparency cell, which does not cause color filtering, and wherein the color mask color cells for all of the at least three color channels and transparency cells having.
  • the microscopy method of the present invention it is possible to simultaneously record a color image and a monochrome image.
  • the exposure of the pixels takes place simultaneously, regardless of whether the associated filter cell is a color cell or a transparency cell.
  • the image data of the pixels covered by transparency cells may be taken into account in the generation of the color image, e.g. to improve the contrast range of the color image and the color interpolation.
  • a) a first image of the sample can be taken by means of the color image sensor, b) then the color image sensor is displaced in the plane, c) a second image of the sample is taken in the displaced position by the color image sensor, and d) based On the recordings a picture of the sample can be generated. Furthermore, the image can be generated with a higher resolution in at least one of the color channels or a monochrome channel of the transparency cells in comparison to the number of corresponding color or transparency cells.
  • the image can be generated as a color image, wherein the image data of the pixels covered by the transparency cells are taken into account in the image generation in order, e.g. to improve the contrast range of the color image and the color interpolation.
  • the steps b) and c) can be carried out several times to perform a plurality of second exposures with different positions of the color image sensor.
  • a color image and a monochrome image can be generated based on the image data of a single image, taking into account for the color image image data of the pixels covered by the color cells and for the monochrome image image data of the pixels covered by transparency cells.
  • the microscope according to the invention can be developed so that steps of the microscopy method according to the invention can be realized with it.
  • the microscopy method according to the invention can also be developed so that it has steps that can be carried out or performed with the microscope according to the invention.
  • Fig. 1 is a schematic view of an embodiment of the microscope according to the invention
  • Fig. 2 is a schematic plan view of a part of the color image sensor 7 in Fig. 1;
  • Fig. 3 is a schematic plan view of an embodiment of the moving unit 8 in Fig. 1; 4 shows a further embodiment of the movement unit 8;
  • Fig. 5 is a schematic representation of a portion of the sample
  • FIG. 6 shows a schematic representation for the assignment of the filter cells to the image cells of the sample
  • Fig. 7 is a schematic representation with a further assignment of the filter cells to the
  • Fig. 1 1 and 12 possible unit cells in the formation of the filter mask as
  • Fig. 13 is a schematic diagram for explaining the sensitivity of color and transparency pixels.
  • FIGS. 14 and 15 are further illustrations for explaining the spectral sensitivity of color and transparency pixels.
  • the microscope 1 according to the invention comprises a sample table 2 which carries a sample 3, a receiving unit 4 which is connected to the sample table 2 via a schematically illustrated stand 5, and a control unit 6.
  • the recording unit 4 includes a color image sensor 7, a movement unit 8 for moving the color image sensor 7, and imaging optics 9 for magnifying imaging of the sample 3 or part of the sample 3 onto the color image sensor 7.
  • the distance (in the z direction) between the imaging optics 9 and the sample table 3 and thus the sample 2 can be adjusted by means of the stand 5 under the control of the control unit 6.
  • the sample table 3 can be moved in the x-direction and perpendicular to the plane of the drawing in the y-direction in order to position the sample 2.
  • the color image sensor 7 comprises a plurality of pixels 10 arranged in rows and columns (of which only three are shown in phantom in Figure 2) and one of the pixels 1 0th covering color mask 1 1 on.
  • the color mask 1 1 comprises filter cells 12, which are arranged in the same manner as the pixels 10 in rows and columns, wherein in each case exactly one filter cell 12 is assigned to a pixel 10 and covers it.
  • the filter cells 12 are shown schematically as squares, wherein the filtering effect is described by the letters contained in each filter cell 12. The letters are only for the description of the filter effect and are of course not included in the actual filter mask 1 1.
  • the letters R, G and B stand for color filters, where the letter R describes the red channel, the letter G the green channel and the letter B the blue channel.
  • the filter cells of these three color channels can be referred to as color cells.
  • the filter cells 12 with the letter W stand for filter cells in which no color filtering takes place. These filter cells can therefore also be referred to as transparency cells.
  • the color and transparency cells are arranged in a regular pattern, wherein in the embodiment described here there is a unit cell 13 of 4x4 filter cells 12, as indicated schematically in FIG.
  • the unit cell 13 is arranged repeatedly in the x and y directions, resulting in the filter cell distribution indicated in FIG. In Fig. 2, only a part of the color filter 7 is shown schematically, which is designed here as an HDTV sensor with 1920 x 1080 pixels 10.
  • half of the filter cells 12 are transparency cells and arranged such that a displacement of the color image sensor 7 in the x or y direction by exactly one filter cell 12 leads to complete area coverage with transparency cells.
  • a shift can be carried out, for example, by means of the movement unit 8.
  • An embodiment of the movement unit 8 is shown schematically in plan view in FIG.
  • the color image sensor 7 is seated on a carrier 20 which is connected to a frame 25 via four piezo elements 21, 22, 23 and 24.
  • the desired displacement in the x and y direction can then be carried out. If, for example, the piezo elements 21 and 23 are driven, a shift in the y direction will take place.
  • FIG. 4 schematically shows a further embodiment of the movement unit 8.
  • This embodiment differs essentially from the embodiment of Figure 3 in that only two piezo elements 21 and 22 are necessary.
  • the carrier 20 spring elements 26 and 27 are provided, via which the carrier 20 is connected to the frame 25.
  • a shift in the x-direction can be performed.
  • the piezoelectric element 22 is driven.
  • the desired region of the sample 3 is magnified on the color image sensor 7 by means of the imaging optics 9.
  • the color image sensor 7 picks up the enlarged image and supplies the corresponding image data to the control unit 6.
  • the intensity information of the pixels 10 which are below the transparency cells and hereinafter also referred to as transparency pixels may be used to interpolate the image data of the pixels below the color cells and subsequently also as color pixels serve to produce an interpolated color image.
  • the intensity information is the intensity of the entire spectrum detectable with the pixels.
  • the interpolated color image may be e.g. have an increased contrast range, especially in low-light areas. Thus, an improvement in the overall photosensitivity of the color image can be achieved.
  • the image data of the transparency pixels can also be used to generate a monochrome image that was taken simultaneously with the color image.
  • the generation of the desired images from the image data is carried out by the control unit 6 or by a computer, not shown, to which the image data of the color image sensor are supplied.
  • the generated image or the images produced can be displayed and / or stored on an output unit 15 (eg a screen), for example.
  • the color image sensor 7 can be operated to generate a live image in color and / or a monochrome live image, e.g. be displayed on the screen 15 or is. It can e.g. 60 shots per second are made.
  • the color image sensor in the xy plane is correspondingly displaced by means of the movement unit 8.
  • a shift of the color image sensor 7 between the two images by the size of a pixel in the x or y direction can be performed.
  • the two images achieve full resolution in the monochrome channel and improved resolution in the color channels with increased contrast.
  • full resolution is understood to mean, in particular, that based on the at least two images, a photograph can be composed which has image data of the same pixel type (for example transparency pixels, red, green or blue color pixels) for all pixel positions of the color image sensor 7. It can e.g. a monochrome image with 1920 x 1080 pixels are generated.
  • sample 3 The full resolution can also be understood with reference to sample 3 as follows.
  • part of the sample 3, which can be assigned to a unit cell 13 of the color image sensor 7, is shown schematically, it being possible to divide the corresponding region of the sample 3 into 4 ⁇ 4 image cells 30 due to the above-mentioned assignment are shown with rounded corners.
  • FIG. 6 shows how the assignment of the filter cells 12 to the image cells 30 of the sample 3 is at a first position of the color image sensor 7, of the color mask 11 a unit cell 13 and a column adjoining it on the left with four further filter cells 12 ,
  • FIG. 7 shows a position offset by one pixel width in the x-direction (relative to the position according to FIG. 6) of the color image sensor 7.
  • the two figures 6 and 7 are covered by two cells for all image cells 30, the corresponding intensity values by means of the two shown in Fig. 6 and 7 positions of the color mask 1 1 all the image cells 30 by transparency cells Transparency cells covered pixels can be detected. There is thus the aforementioned full resolution.
  • more than two shots with different positions can be performed. This makes it possible, for example, to achieve an identical resolution in all three color channels and in particular a full resolution in all three color channels.
  • an identical resolution in all three color channels is understood to mean, in particular, that there are 30 pixel values for each of the three color channels for the same number of image cells, or that the number of pixel values of the individual color channels corresponds to the ratio of the color filters of the color mask 11. In the color filter mask described here, this would mean that the number of pixels for red and blue is the same and exactly half the number of pixels is green.
  • the moving unit 8 can also effect a displacement in the x or y direction, which is smaller than the size of a pixel 10.
  • a displacement in the x or y direction which is smaller than the size of a pixel 10.
  • the imaging optics 9 may include an infrared cut-off filter 14 to prevent infrared radiation from hitting the color pixels 10, which would distort color picking, as the pixels are often also sensitive to infrared radiation.
  • the infrared blocking filter 14 is in particular movably mounted and can be removed from the beam path from the sample 3 to the color image sensor 7.
  • a monochrome recording in which the image data of the monochrome pixels are evaluated, a higher sensitivity can be achieved.
  • the distribution of the filter cells 12 shown in FIG. 2 is only to be understood as an example. Of course, any other suitable distribution can be chosen. Examples are shown in FIGS. 8, 9 and 10. From these it can also be seen that the unit cell 13 can be of different sizes.
  • the filter mask 1 1 must not be designed as an RGB filter mask. It can also be designed, for example, as a CMY complementary filter mask.
  • Figures 1 and 12 show examples of CYGM and CMYW filter masks, again showing only a unit cell, where C is cyan, Y is yellow, G is green, M is magenta, and W is a transparency cell.
  • the relative sensitivity (y-axis) is measured over the wavelength in nm (x-axis) for pixels which are covered by color cells (in which case an infrared filter is connected upstream), and for pixels which are covered by transparency cells, curve 31 represents the relative sensitivity of a blue pixel (ie, a pixel covered by a blue color filter), curve 32 the relative sensitivity of a green pixel, curve 33 the relative sensitivity of a red pixel, and curve 34 the relative sensitivity of a red pixel Transparency pixels shows. It can be seen from the illustration of Figure 13 that the spectral sensitivity range is much wider for a transparency pixel than for color pixels. Thus, the range from the blue spectrum at about 400 nm to the near infrared at about 1000 nm.
  • the quantum efficiency and thus the probability of detection of photons in the case of transparency pixels in the visible wavelength range (400 nm-700 nm) is higher and more constant than in the case of the color pixels.
  • the color pixels are not sensitive and can not detect photons, while the transparency pixel still generates a signal.
  • the transparency pixels are superior to the color pixels for fluorescent signals.
  • the microscope according to the invention can therefore be used very flexibly for different recording modes with excellent quality.
  • Figs. 14 and 15 the principal difference between color and transparency pixels is shown quantitatively in the manner that the same sensor (once with color filter and once without color filter) was illuminated and the output signal was measured.
  • the bars 35, 36 and 37 show the output signal of the sensor with color mask and thus the output signal of a color pixel in the illumination with different wavelengths.
  • the bar 35 shows the signal response (in arbitrary units) at 625 nm, the bar 36 at 565 nm illumination and the bar 37 at 430 nm illumination.
  • Immediately to the right is the signal response without color filter (at the same illumination wavelength) , As can be seen from these bars 38 to 40, the intensity is always much higher.
  • the signal response of the color cell is only 52 to 66% of the signal response of the transparency cell.
  • the microscope 1 according to the invention can furthermore also have a light source, not shown, as well as further elements which are necessary for the operation of the microscope 1 and are known to the person skilled in the art.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

Es wird bereitgestellt ein Mikroskop mit einem Farbbildsensor (7), einer Abbildungsoptik (9) zum vergrößernden Abbilden einer Probe (3) auf den Farbbildsensor (7), und einer Steuereinheit (6), wobei der Farbbildsensor (7) eine Mehrzahl von in einer Ebene angeordneten Pixeln (10) sowie eine die Pixel (10) überdeckende Farbmaske (11) aufweist und die Farbmaske (11) für jedes Pixel (10) eine Filterzelle (12) enthält, die entweder als Farbzelle zur Farbfilterung für einen von zumindest drei Farbkanälen oder als Transparenzzelle, die keine Farbfilterung bewirkt, ausgebildet ist, wobei die Farbmaske (11) Farbzellen für alle der zumindest drei Farbkanälen und Transparenzzellen aufweist und wobei die Steuereinheit (6) basierend auf den Bilddaten des Farbbildsensors (7) ein Bild generiert.

Description

Mikroskop mit einem Farbbildsensor sowie Mikroskopierverfahren mit einem
Farbbildsensor
Die vorliegende Erfindung betrifft ein Mikroskop mit einem Farbbildsensor sowie ein Mikroskopierverfahren mit einem Farbbildsensor.
In der Mikroskopie müssen häufig farbige Präparate mit hoher Farbqualität sehr realitätsgetreu dokumentiert werden, um aus den Farbinformationen exakte Schlüsse ziehen zu können (z.B. Pathologie, Zytologie etc.).
Gleichzeitig besteht aber häufig die Anforderung, Fluoreszenzaufnahmen von transgenen, z.B. GFP gefärbten (GFP = green fluorescent protein) lebenden Zellen aufzunehmen. Dazu eignen sich monochrome Kameras deutlich besser, da sie eine höhere Empfindlichkeit als Farbkameras aufweisen, ein eventuell verwendeter Farbfilter einer Einzelchip-Farbkamera keine dramatische Reduktion der Auflösung verursacht und das Empfindlichkeitsspektrum nicht auf den sichtbaren Bereich des Lichtes beschränkt ist.
In der Praxis wird aus Kostengründen häufig nur in eine Kamera investiert, so daß mit dieser beide Aufnahmearten (mehrfarbige Aufnahme und Monochromaufnahme) durchzuführen sind, so daß dann eine Farbkamera angeschafft wird, mit der natürlich Farbbilder aufgezeichnet werden können. Für die Monochrom-Aufnahmen wird aus dem Farbbild die Farbinformation rechnerisch entfernt. Technisch bleibt die Kamera aber eine Farbkamera und erfordert nachteilige Kompromisse bei der Aufnahme von Fluoreszenzproben. Insbesondere bei der Abbildung von lebenden Zellen sind diese Kompromisse von Nachteil, da lebende Zellen oft sehr empfindlich sind. Da eine Farbkamera deutlich weniger lichtempfindlich ist als eine Monochrom-Kamera und daher längere Belichtungszeiten erfordert, ist eine verlängerte Bestrahlung mit Fluoreszenz-Anregungslicht notwendig, was den lebenden Zellen schadet und deren Lebensdauer verkürzt. Selbst eine nachträgliche Umwandlung des Farbbildes in ein Monochrombild über eine entsprechende Formel (z.B. gewichtete Summe aus RGB-Anteilen) kann diesen Nachteil nicht beheben, da die optisch spektralen Verhältnisse bereits bei der Aufnahme festgelegt waren.
Ausgehend hiervon ist es Aufgabe der Erfindung, ein Mikroskop mit einer Farbkamera bereitzustellen, mit dem unterschiedliche Aufnahmearten möglich sind und gleichzeitig die eingangs beschriebenen Schwierigkeiten möglichst vermieden werden können. Ferner soll ein entsprechendes Mikroskopierverfahren bereitgestellt werden.
Die Aufgabe wird gelöst durch ein Mikroskop mit einem Farbbildsensor, einer Abbildungsoptik zum vergrößernden Abbilden einer Probe auf den Farbbildsensor und einer Steuereinheit, wobei der Farbbildsensor eine Mehrzahl von in einer Ebene angeordneten Pixeln sowie eine die Pixel überdeckende Farbmaske aufweist und die Farbmaske für jedes Pixel eine Filterzelle enthält, die entweder als Farbzelle zur Farbfilterung für einen von zumindest drei Farbkanälen oder als Transparenzzelle, die keine Farbfilterung bewirkt, ausgebildet ist, wobei die Farbmaske Farbzellen für alle der zumindest drei Farbkanälen und Transparenzzellen aufweist und wobei die Steuereinheit basierend auf den Bilddaten des Farbbildsensors ein Bild der Probe generiert.
Da der Farbbildsensor des erfindungsgemäßen Mikroskops neben den Farbzellen auch Transparenzzellen in der Farbmaske aufweist, können neben den Farbinformationen auch monochrome Bildinformationen aufgenommen werden, die nicht in nachteiliger Weise durch etwaige Farbfilter beeinflußt (z.B. abgeschwächt) sind. Ferner kann ein eventuell vorgesehener IR-Filter ausgeschwenkt werden, wodurch spektrale Einschränkungen aufgehoben sind. Somit ist es möglich, je nach gewünschter Art der Aufnahme die Bilddaten des Farbbildsensors geeignet auszuwerten und dadurch das gewünschte Bild zu erstellen. Insbesondere ist es möglich, mittels dem Farbbildsensor gleichzeitig ein Farbbild und ein Monochrom-Bild aufzunehmen. Unter gleichzeitig wird hier insbesondere verstanden, daß die Belichtung der Pixel unabhängig davon, ob die zugeordnete Filterzelle eine Farbzelle oder eine Transparenzzelle ist, gleichzeitig erfolgt. Der Farbbildsensor kann auch als Multispektralsensor bezeichnet werden.
Das erfindungsgemäße Mikroskop kann eine Bewegungseinheit aufweisen, mit der der Farbbildsensor in der Ebene bewegbar ist. Damit ist es möglich, verschiedene Aufnahmen der Probe mit unterschiedlichen Positionen des Farbbildsensors durchzuführen. Diese verschiedenen Aufnahmen können dann zur Bilderzeugung genutzt werden. Damit läßt sich beispielsweise eine Steigerung der Auflösung und/oder der Empfindlichkeit erreichen. Die Farbmaske kann einteilig oder mehrteilig sein. Insbesondere kann die Farbmaske im Bereich der Transparenzzellen transparent ausgebildet sein oder eine entsprechende Öffnung aufweisen. Das erfindungsgemäße Mikroskop kann eine Steuereinheit enthalten, die dazu ausgebildet ist, a) nach einer ersten Aufnahme der Probe mittels dem Farbbildsensor die Bewegungseinheit so anzusteuern, daß der Farbbildsensor in der Ebene verschoben wird, b) eine zweite Aufnahme der Probe mittels dem Farbbildsensor in der verschobenen Position auszulösen, und c) basierend auf den Aufnahmen ein Bild der Probe zu generieren.
Die Verschiebung kann beispielsweise so durchgeführt werden, daß stets um die Größe eines Pixels (Pixel-Verschiebung) verschoben wird. In diesem Fall liegt die volle Auflösung in jedem spektralen Teilbild vor. Alternativ ist es möglich, eine Verschiebung (Subpixel-Verschiebung) durchzuführen, die kleiner ist als die Größe eines Pixels. Damit können Zwischenpixelpositionen aufgenommen werden, so daß Bildinformationen aus Positionen zwischen den Pixeln aufgenommen werden, die sonst nicht zur Bildentstehung beitragen. Auch eine Kombination von Pixel- und Subpixelverschiebung ist möglich.
Die Steuereinheit kann ferner dazu ausgebildet sein, im Schritt c) im generierten Bild eine höhere Auflösung in zumindest einem der Farbkanäle oder einem Monochromkanal der Transparenzzellen zu erzielen im Vergleich zur Anzahl der entsprechenden Färb- bzw. Transparenzzellen.
Des weiteren kann die Steuereinheit dazu ausgebildet sein, im Schritt c) ein Farbbild zu generieren, bei dem die Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt sind. Insbesondere können die Luminanzwerte der durch Transparenzzellen überdeckten Pixel berücksichtigt werden. Wenn die durch Transparenzzellen überdeckten Pixel sensitiv für Wellenlängen außerhalb des sichtbaren Spektrums sind, können auch diese Signale berücksichtigt werden.
Die Steuereinheit kann dazu ausgebildet sein, den Schritt b) mehrmals mit verschiedenen Positionen des Farbbildsensors durchzuführen, um mehrere zweite Aufnahmen mit den verschiedenen Positionen des Farbbildsensors durchzuführen. Diese mehreren zweiten Aufnahmen können dann im Schritt c) bei der Generierung des Bildes berücksichtigt werden, insbesondere zur Verbesserung der Ortsauflösung. Insbesondere können Pixel- und Subpixelverschiebung kombiniert werden. Die Steuereinheit kann des weiteren dazu ausgebildet sein, basierend auf den Bilddaten einer einzelnen Aufnahme oder eines einzelnen Aufnahmevorgangs ein Farbbild und ein Monochrombild zu generieren, wobei für das Farbbild Bilddaten der durch Farbzellen überdeckten Pixel und für das Monochrombild Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt werden.
In einer Weiterbildung kann mittels der Steuereinheit das Mikroskop selektiv in einen Farbbildmodus, in dem ein Farbbild der Probe basierend auf den Bilddaten der durch Farbzellen überdeckten Pixel generiert wird, und in ein Monochrombildmodus, in dem ein Monochrombild der Probe basierend auf den Bilddaten der durch Transparenzzellen überdeckten Pixel generiert wird, geschaltet werden. Für die Auswahl des entsprechenden Modus muß vorteilhafter Weise keine Änderung der Hardware des Mikroskops durchgeführt werden. Die Modi unterscheiden sich im wesentlichen durch die elektrische Ansteuerung des Farbbildsensors und/oder die Auswertung der bereitgestellten Bilddaten, um das gewünschte Farbbild oder Monochrombild zu generieren.
Natürlich können sowohl in dem Farbbildmodus als auch in dem monochromen Bildmodus mehrere Aufnahmen mit unterschiedlichen Positionen des Farbbildsensors genutzt werden, um das gewünschte Bild zu generieren. Diese Durchführung der mehreren Aufnahmen kann in der beschriebenen Art und Weise erfolgen.
Ferner kann mittels der Steuereinheit das Mikroskop noch in einen Kombibildmodus geschaltet werden, in dem sowohl ein Farbbild als auch ein Monochrombild der Probe generiert wird, wobei bevorzugt für das Farbbild Bilddaten der durch Farbzellen überdeckten Pixel und für das Monochrombild Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt werden.
Bei dem erfindungsgemäßen Mikroskop kann ein Infrarotsperrfilter im Strahlengang von der Probe bis zum Farbbildsensor angeordnet sein, um z.B. eine korrekte Farbwiedergabe zu gewährleisten. Insbesondere kann der Infrarotsperrfilter von einer Position im Strahlengang zu einer Position außerhalb des Strahlengangs und umgekehrt bewegt werden. Damit ist es möglich, selektiv einen Infrarotsperrfilter im Strahlengang vorzusehen, wenn dies gewünscht oder für farbechte Aufnahmen erforderlich ist. Mit dem erfindungsgemäßen Mikroskop wird eine bisher unerreichte universell nutzbare Anwendbarkeit für Färb- und Fluoreszenz-Aufnahmen mit variabler Auflösung und Geschwindigkeit bereitgestellt, ohne daß zusätzliche Anforderungen an das Mikroskop, wie z.B. farbige Beleuchtung oder zusätzliche Komponenten im Strahlengang, gestellt werden müssen. Das erfindungsgemäße Mikroskop ist somit in gleicher Weise für farbige Präparate (z.B. in der Pathologie) und für monochrome Fluoreszenzpräparate (z.B. bei der Aufnahme von lebenden Zellen) geeignet. All dies kann bei dem erfindungsgemäßen Mikroskop mit geringen Kosten und Aufwand erreicht werden.
Bei dem erfindungsgemäßen Mikroskop kann somit sehr flexibel auf die entsprechenden Anforderungen der jeweiligen Probe reagiert werden. Es muß lediglich ein geeigneter Aufnahmemodus (z.B. Farbbildmodus, Monochrombildmodus, Kombibildmodus) bzw. Kameramodus ausgewählt werden. Unter Kameramodus wird hier insbesondere die Kombination von der Durchführung der zumindest einen Aufnahme und der entsprechenden Bilderzeugung verstanden. Das erfindungsgemäße Mikroskop kann daher leicht an unterschiedliche Aufnahmebedingungen angepaßt werden. Es muß im wesentlichen die Ansteuerung des Farbbildsensors, der Scanning-Einheit und/oder die Auswertung der Bilddaten geändert werden.
Das erfindungsgemäße Mikroskop kann als Fluoreszenzmikroskop, als Mehrkanal- Fluoreszenzmikroskop, als Phasenkontrastmikroskop, als Durchlicht-, Auflicht- und/oder Hellfeld-Mikroskop oder auch als sonstiges Mikroskop ausgebildet sein. Natürlich können alle üblichen Kontrastverfahren realisiert sein, wie z.B. Hellfeld, Dunkelfeld, Phasenkontrast, Differential-Interferenzkontrast, Polarisation, Fluoreszenz, etc. und beliebige Kombinationen davon.
Die Steuereinheit bei dem erfindungsgemäßen Mikroskop kann als einzelne Steuereinheit oder auch aus zwei oder mehreren Steuersubmodulen aufgebaut sein.
Bei der Probe, die vergrößert abzubilden ist, kann es sich insbesondere um eine medizinische und/oder biologische Probe oder sonstige Materialien handeln. Es sind z.B. farbige, fluoreszierende oder nicht-farbige Materialproben (z.B. geschliffene Stähle) sehr gut mit dem erfindungsgemäßen Mikroskop untersuchbar.
Der Farbbildsensor kann insbesondere ein CCD-Sensor oder ein CMOS-Sensor sein und z.B. als HDTV-Sensor mit 1920 x 1080 Bildpixeln ausgebildet sein. Ferner kann der Farbbildsensor geeignet sein, ca. 50-60 Bilder pro Sekunde aufzunehmen und die entsprechenden Bilddaten auszugeben.
Es wird ferner bereitgestellt ein Mikroskopierverfahren, bei dem eine Probe vergrößert auf einen Farbbildsensor abgebildet wird, wobei als Farbbildsensor ein Sensor verwendet wird, der eine Mehrzahl von in einer Ebene angeordneten Pixeln sowie eine die Pixel überdeckende Farbmaske aufweist, wobei die Farbmaske für jedes Pixel eine Filterzelle enthält, die entweder als Farbzelle zur Farbfilterung für einen von zumindest drei Farbkanälen oder als Transparenzzelle, die keine Farbfilterung bewirkt, ausgebildet ist, und wobei die Farbmaske Farbzellen für alle der zumindest drei Farbkanälen und Transparenzzellen aufweist.
Mit dem erfindungsgemäßen Mikroskopierverfahren ist es beispielsweise möglich, ein Farbbild und ein Monochrombild gleichzeitig aufzunehmen. Unter gleichzeitig wird hier insbesondere verstanden, daß die Belichtung der Pixel unabhängig davon, ob die zugeordnete Filterzelle eine Farbzelle oder eine Transparenzzelle ist, gleichzeitig erfolgt. Ferner können beispielsweise die Bilddaten der durch Transparenzzellen überdeckten Pixel bei der Generierung des Farbbildes berücksichtigt werden, um z.B. den Kontrastumfang des Farbbildes und der Farbinterpolation zu verbessern.
Bei dem erfindungsgemäßen Mikroskopierverfahren kann a) eine erste Aufnahme der Probe mittels dem Farbbildsensor durchgeführt werden, b) danach der Farbbildsensor in der Ebene verschoben werden, c) eine zweite Aufnahme der Probe mittels dem Farbbildsensor in der verschobenen Position durchgeführt werden, und d) basierend auf den Aufnahmen ein Bild der Probe generiert werden. Ferner kann das Bild mit einer höheren Auflösung in zumindest einem der Farbkanäle oder einem Monochromkanal der Transparenzellen im Vergleich zur Anzahl der entsprechenden Färb- bzw. Transparenzzellen generiert werden.
Bei dem erfindungsgemäßen Mikroskopierverfahren kann das Bild als Farbbild generiert werden, wobei bei der Bildgenerierung die Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt werden, um z.B. den Kontrastumfang des Farbbildes und der Farbinterpolation zu verbessern.
Ferner können bei dem erfindungsgemäßen Mikroskopierverfahren die Schritte b) und c) mehrmals durchgeführt werden, um mehrere zweite Aufnahmen mit verschiedenen Positionen des Farbbildsensors durchzuführen.
Bei dem erfindungsgemäßen Mikroskopierverfahren können basierend auf den Bilddaten einer einzelnen Aufnahme ein Farbbild und ein Monochrombild generiert werden, wobei für das Farbbild Bilddaten der durch die Farbzellen überdeckten Pixel und für das Monochrombild Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt werden. Es versteht sich, daß die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in den angegebenen Kombinationen, sondern auch in anderen Kombinationen oder in Alleinstellung einsetzbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen. Insbesondere kann das erfindungsgemäße Mikroskop so weitergebildet werden, daß mit ihm Schritte des erfindungsgemäßen Mikroskopierverfahrens realisiert werden können. Auch das erfindungsgemäße Mikroskopierverfahren kann so weitergebildet werden, daß es Schritte aufweist, die mit dem erfindungsgemäßen Mikroskop durchführbar sind oder durchgeführt werden. Nachfolgend wird die Erfindung beispielsweise anhand der beigefügten Zeichnungen, die auch erfindungswesentliche Merkmale offenbaren, noch näher erläutert. Es zeigen:
Fig. 1 eine schematische Ansicht einer Ausführungsform des erfindungsgemäßen Mikroskops; Fig. 2 eine schematische Draufsicht eines Teils des Farbbildsensors 7 in Fig. 1 ;
Fig. 3 eine schematische Draufsicht einer Ausführungsform der Bewegungseinheit 8 in Fig. 1 ; Fig. 4 eine weitere Ausführungsform der Bewegungseinheit 8;
Fig. 5 eine schematische Darstellung eines Teiles der Probe;
Fig. 6 eine schematische Darstellung zur Zuordnung der Filterzellen zu den Bildzellen der Probe;
Fig. 7 eine schematische Darstellung mit einer weiteren Zuordnung der Filterzellen zu den
Bildzellen der Probe;
Fig. 8-10 Einheitszellen anderer Verteilungen der Filterzellen der Farbmaske;
Fig. 1 1 und 12 mögliche Einheitszellen bei der Ausbildung der Filtermaske als
Komplementärfiltermaske;
Fig. 13 eine schematische Darstellung zur Erläuterung der Empfindlichkeit von Färb- und Transparenzpixeln, und
Fig. 14 und 15 weitere Darstellungen zur Erläuterung der spektralen Empfindlichkeit von Farb- und Transparenzpixeln. Bei der in Figur 1 gezeigten Ausführungsform umfaßt das erfindungsgemäße Mikroskop 1 einen Probentisch 2, der eine Probe 3 trägt, eine Aufnahmeeinheit 4, die über ein schematisch dargestelltes Stativ 5 mit dem Probentisch 2 verbunden ist, sowie eine Steuereinheit 6.
Die Aufnahmeeinheit 4 enthält einen Farbbildsensor 7, eine Bewegungseinheit 8 zum Bewegen des Farbbildsensors 7 sowie eine Abbildungsoptik 9 zum vergrößernden Abbilden der Probe 3 bzw. eines Teils der Probe 3 auf den Farbbildsensor 7. Der Abstand (in z-Richtung) zwischen der Abbildungsoptik 9 und dem Probentisch 3 und somit der Probe 2 ist mittels dem Stativ 5 unter Steuerung der Steuereinheit 6 einstellbar. Ferner kann der Probentisch 3 in x-Richtung und senkrecht zur Zeichenebene in y-Richtung bewegt werden, um die Probe 2 zu positionieren.
Wie der vergrößerten schematischen Draufsicht eines Teils des Farbbildsensors 7 in Figur 2 zu entnehmen ist, weist der Farbbildsensor 7 eine Mehrzahl von in Zeilen und Spalten angeordneten Pixeln 10 (von denen in Figur 2 schematisch nur drei gestrichelt dargestellt sind) sowie eine die Pixel 1 0 überdeckende Farbmaske 1 1 auf.
Die Farbmaske 1 1 umfaßt Filterzellen 12, die in gleicher Weise wie die Pixel 10 in Zeilen und Spalten angeordnet sind, wobei jeweils genau eine Filterzelle 12 einem Pixel 10 zugeordnet ist und dieses überdeckt. In Figur 2 sind die Filterzellen 12 schematisch als Quadrate dargestellt, wobei die Filterwirkung durch den in jeder Filterzelle 12 enthaltenen Buchstaben beschrieben ist. Die Buchstaben dienen nur zur Beschreibung der Filterwirkung und sind in der tatsächlichen Filtermaske 1 1 natürlich nicht enthalten.
Die Buchstaben R, G und B stehen für Farbfilter, wobei der Buchstabe R den Rotkanal, der Buchstabe G den Grünkanal und der Buchstabe B den Blaukanal beschreibt. Die Filterzellen dieser drei Farbkanäle können als Farbzellen bezeichnet werden.
Die Filterzellen 12 mit dem Buchstaben W stehen für Filterzellen, in denen keine Farbfilterung stattfindet. Diese Filterzellen können daher auch als Transparenzzellen bezeichnet werden. Die Färb- und Transparenzzellen sind in einem regelmäßigen Muster angeordnet, wobei bei der hier beschriebenen Ausführungsform eine Einheitszelle 13 von 4x4 Filterzellen 12 vorliegt, wie in Figur 2 schematisch angedeutet ist. Die Einheitszelle 13 ist in x- und y-Richtung wiederholt angeordnet, so daß sich die in Figur 2 angedeutete Filterzellenverteilung ergibt. In Fig. 2 ist nur ein Teil des Farbfilters 7 schematisch dargestellt, der hier als HDTV-Sensor mit 1920 x 1080 Pixeln 10 ausgebildet ist.
Wie der Darstellung in Figur 2 zu entnehmen ist, sind die Hälfte der Filterzellen 12 Transparenzzellen und so angeordnet, daß eine Verschiebung des Farbbildsensors 7 in x- oder y-Richtung um genau eine Filterzelle 12 zu einer vollständigen Flächenabdeckung mit Transparenzzellen führt. Eine solche Verschiebung kann beispielsweise mittels der Bewegungseinheit 8 durchgeführt werden. In Figur 3 ist in Draufsicht schematisch eine Ausführungsform der Bewegungseinheit 8 dargestellt. Der Farbbildsensor 7 sitzt auf einem Träger 20, der über vier Piezoelemente 21 , 22, 23 und 24 mit einem Rahmen 25 verbunden ist. Durch entsprechende Ansteuerung der jeweils gegenüberliegenden Piezoelemente kann dann die gewünschte Verschiebung in x- und y- Richtung durchgeführt werden. Werden beispielsweise die Piezoelemente 21 und 23 angesteuert, wird eine Verschiebung in y-Richtung erfolgen.
In Figur 4 ist eine weitere Ausführungsform der Bewegungseinheit 8 schematisch dargestellt. Diese Ausführungsform unterscheidet sich im wesentlichen von der Ausführungsform von Figur 3 dadurch, daß nur noch 2 Piezoelemente 21 und 22 notwendig sind. An den den Piezoelementen 21 und 22 gegenüberliegenden Seiten des Trägers 20 sind Federelemente 26 und 27 vorgesehen, über die der Träger 20 mit dem Rahmen 25 verbunden ist. Durch Ansteuerung des Piezoelementes 21 kann eine Verschiebung in x-Richtung durchgeführt werden. Für eine Verschiebung in y-Richtung wird das Piezoelement 22 angesteuert.
Im Betrieb des erfindungsgemäßen Mikroskops 1 wird der gewünschte Bereich der Probe 3 mittels der Abbildungsoptik 9 vergrößert auf den Farbbildsensor 7 abgebildet.
Der Farbbildsensor 7 nimmt das vergrößerte Bild auf und liefert die entsprechenden Bilddaten an die Steuereinheit 6.
Wenn nur eine Einzelaufnahme gemacht wird, kann beispielsweise die Intensitäts-Information der Pixel 10, die unter den Transparenzzellen liegen und nachfolgend auch als Transparenzpixel bezeichnet werden, zur Stützung bei einer Interpolation der Bilddaten der Pixel, die unter den Farbzellen liegen und nachfolgend auch als Farbpixel bezeichnet werden, dienen, um ein interpoliertes Farbbild zu erzeugen. Bei der Intensitätsinformation handelt es sich um die Intensität aus dem gesamten mit den Pixeln erfaßbaren Spektrum. Das interpolierte Farbbild kann z.B. einen gesteigerten Kontrastumfang, insbesondere in lichtarmen Bereichen aufweisen. Somit kann eine Verbesserung der Gesamtlichtempfindlichkeit des Farbbildes erreicht werden. Ferner können die Bilddaten der Transparenzpixel auch noch dazu genutzt werden, eine Monochromaufnahme zu generieren, die gleichzeitig mit der Farbaufnahme gemacht wurde.
Die Erzeugung der gewünschten Aufnahmen aus den Bilddaten erfolgt durch die Steuereinheit 6 oder durch einen nicht gezeigten Rechner, dem die Bilddaten des Farbbildsensors zugeführt werden. Das erzeugte Bild bzw. die erzeugten Bilder können z.B. auf einer Ausgabeeinheit 1 5 (z.B. ein Bildschirm) dargestellt und/oder abgespeichert werden.
Ferner kann der Farbbildsensor 7 so betrieben werden, daß ein Livebild in Farbe und/oder ein Monochrom-Livebild erzeugt und z.B. auf dem Bildschirm 15 dargestellt werden bzw. wird. Es können z.B. 60 Aufnahmen pro Sekunde gemacht werden.
Ferner ist es möglich, zumindest zwei Aufnahmen so nacheinander durchzuführen, daß die einzelnen Aufnahmen mit unterschiedlichen Positionen des Farbbildsensors 7 in der xy-Ebene durchgeführt werden. Dazu wird mittels der Bewegungseinheit 8 der Farbbildsensor in der xy- Ebene entsprechend verschoben. So kann beispielsweise eine Verschiebung des Farbbildsensors 7 zwischen den beiden Aufnahmen um die Größe eines Pixels in x- oder y- Richtung durchgeführt werden. In diesem Fall wird mit den beiden Aufnahmen eine volle Auflösung im Monochromkanal und eine verbesserte Auflösung in den Farbkanälen mit gesteigertem Kontrastumfang erreicht. Unter einer vollen Auflösung wird hier insbesondere verstanden, daß basierend auf den zumindest zwei Aufnahmen eine Aufnahme zusammengesetzt werden kann, die Bilddaten desselben Pixeltyps (z.B. Transparenzpixel, rotes, grünes oder blaues Farbpixel) für alle Pixelpositionen des Farbbildsensors 7 aufweist. Es kann z.B. ein Monochrombild mit 1920 x 1080 Pixeln generiert werden.
Die volle Auflösung kann auch unter Bezug auf die Probe 3 wie folgt verstanden werden. In Figur 5 ist ein Teil der Probe 3, der einer Einheitszelle 13 des Farbbildsensors 7 zugeordnet werden kann, schematisch dargestellt, wobei aufgrund der erwähnten Zuordnung der entsprechende Bereich der Probe 3 in 4 x 4 Bildzellen 30 aufgeteilt werden kann, die hier zur besseren Darstellbarkeit mit abgerundeten Ecken gezeigt sind.
In Figur 6 ist dargestellt, wie die Zuordnung der Filterzellen 12 zu den Bildzellen 30 der Probe 3 bei einer ersten Position des Farbbildsensors 7 ist, wobei von der Farbmaske 1 1 eine Einheitszelle 13 und eine daran links angrenzende Spalte mit vier weiteren Filterzellen 12 dargestellt ist.
In Figur 7 ist eine um eine Pixelbreite in x-Richtung versetzte Position (relativ zur Position gemäß Fig. 6) des Farbbildsensors 7 dargestellt. Wie aus den beiden Figuren 6 und 7 ersichtlich ist, sind durch die beiden in Fig. 6 und 7 gezeigten Positionen der Farbmaske 1 1 alle Bildzellen 30 durch Transparenzzellen W abgedeckt, so daß mit zwei Aufnahmen für alle Bildzellen 30 die entsprechenden Intensitätswerte mittels der von Transparenzzellen überdeckten Pixeln erfaßt werden können. Es liegt somit die erwähnte volle Auflösung vor. Natürlich können auch mehr als zwei Aufnahmen mit unterschiedlichen Positionen durchgeführt werden. Damit ist es zum Beispiel möglich, eine identische Auflösung in allen drei Farbkanälen und insbesondere eine volle Auflösung in allen drei Farbkanälen zu erzielen. Unter einer identischen Auflösung in allen drei Farbkanälen wird hier insbesondere verstanden, daß für die gleiche Anzahl von Bildzellen 30 Pixelwerte für jeden der drei Farbkanäle vorliegen oder daß die vorliegende Anzahl von Pixelwerten der einzelnen Farbkanäle dem Verhältnis der Farbfilter der Farbmaske 1 1 entsprechen. Dies würde bei der hier beschriebenen Farbfiltermaske bedeuten, daß die Pixelanzahl für rot und blau gleich ist und genau die Hälfte der Pixelanzahl für grün beträgt.
Ferner kann die Bewegungseinheit 8 auch eine Verschiebung in x- oder y-Richtung bewirken, die kleiner ist als die Größe eines Pixels 10. Damit werden Aufnahmen an Zwischenpositionen möglich, wodurch die Auflösung des aufgenommenen Bildes gesteigert werden kann. Es ist in diesem Fall eine Subpixelauflösung möglich.
Ferner kann die Abbildungsoptik 9 einen Infrarotsperrfilter 14 aufweisen, um zu verhindern, daß Infrarotstrahlung auf die Farbpixel 10 trifft, was die Farbaufnahme verfälschen würde, da die Pixel häufig auch im Infrarotbereich empfindlich sind.
Der Infrarotsperrfilter 14 ist insbesondere beweglich montiert und kann aus dem Strahlengang von der Probe 3 bis zum Farbbildsensor 7 entfernt werden. Damit kann bei einer Monochromaufnahme (bei der die Bilddaten der Monochrompixel ausgewertet werden) eine höhere Empfindlichkeit erreicht werden.
Die in Figur 2 dargestellte Verteilung der Filterzellen 12 ist nur beispielhaft zu verstehen. Natürlich kann auch jede andere geeignete Verteilung gewählt werden. Beispiele sind in Figuren 8, 9 und 10 gezeigt. Aus diesen ist auch ersichtlich, daß die Einheitszelle 13 unterschiedlich groß sein kann.
Auch muß die Filtermaske 1 1 nicht als RGB-Filtermaske ausgebildet sein. Sie kann beispielsweise auch als CMY-Komplementärfiltermaske ausgebildet sein. In Figuren 1 1 und 12 sind Beispiele für CYGM- und CMYW-Filtermasken gezeigt, wobei wiederum nur eine Einheitszelle dargestellt ist, wobei C für cyan, Y für gelb, G für grün, M für magenta und W für eine Transparenzzelle steht.
Der bereits erläuterte Vorteil der Transparenzzellen gegenüber den Farbzellen soll an den beispielhaft in Figur 13 eingezeichneten Empfindlichkeitskurven verdeutlicht werden. In Figur 13 ist die relative Empfindlichkeit (y-Achse) über der Wellenlänge in nm (x-Achse) für Pixel, die von Farbzellen überdeckt sind (wobei hier noch ein Infrarotfilter vorgeschaltet ist), und für Pixel, die von Transparenzzellen überdeckt sind, dargestellt, wobei die Kurve 31 die relative Empfindlichkeit eines blauen Pixels (also eines von einem blauen Farbfilter überdeckten Pixels), die Kurve 32 die relative Empfindlichkeit eines grünen Pixels, die Kurve 33 die relative Empfindlichkeit eines roten Pixels und die Kurve 34 die relative Empfindlichkeit eines Transparenzpixels zeigt. Aus der Darstellung von Figur 13 kann entnommen werden, daß der Bereich der spektralen Empfindlichkeit bei einem Transparenzpixel viel breiter ist als bei Farbpixeln. So reicht der Bereich vom blauen Spektrum bei ca. 400 nm bis zum nahen Infrarot bei ca. 1000 nm.
Ferner ist der Quantenwirkungsgrad und damit die Detektionswahrscheinlichkeit für Photonen bei Transparenzpixeln im sichtbaren Wellenlängenbereich (400 nm - 700 nm) höher und stetiger als bei den Farbpixeln.
Im Bereich über 700 nm sind die Farbpixel nicht sensitiv und können keine Photonen detektieren, während das Transparenzpixel noch ein Signal erzeugt.
Somit sind die Transparenzpixel den Farbpixeln für Fluoreszenzsignale überlegen. Das erfindungsgemäße Mikroskop kann daher sehr flexibel für unterschiedliche Aufnahmemodi mit ausgezeichneter Qualität eingesetzt werden. In Figuren 14 und 15 ist der prinzipielle Unterschied zwischen Färb- und Transparenzpixeln quantitativ in der Art und Weise dargestellt, daß derselbe Sensor (einmal mit Farbfilter und einmal ohne Farbfilter) beleuchtet wurde und das Ausgangssignal gemessen wurde. Dabei zeigen die Balken 35, 36 und 37 das Ausgangssignal des Sensors mit Farbmaske und somit das Ausgangssignal eines Farbpixels bei der Beleuchtung mit unterschiedlichen Wellenlängen. Der Balken 35 zeigt die Signalantwort (in beliebigen Einheiten) bei 625 nm, der Balken 36 bei einer Beleuchtung mit 565 nm und der Balken 37 bei einer Beleuchtung mit 430 nm. Unmittelbar rechts daneben ist jeweils die Signalantwort ohne Farbfilter (bei gleicher Beleuchtungswellenlänge) dargestellt. Wie diesen Balken 38 bis 40 zu entnehmen ist, ist die Intensität stets deutlich höher. So beträgt die Signalantwort der Farbzelle nur 52 bis 66% der Signalantwort der Transparenzzelle.
In Figur 1 5 sind die Signalantworten für den Fall gezeigt, daß die Beleuchtung mit einer weiß emittierenden Leuchtdiode durchgeführt wurde. Wie aus den Balken 35 bis 40 ersichtlich ist, erreicht ein Farbpixel im Rotkanal nur 27% der Aussteuerung des Transparenzpixels. Die starke Signalintensität des Transparenzpixels erklärt sich dadurch, daß das Transparenzpixel die gesamte über das Spektrum verteilte Energie empfängt, während ein Farbpixel nur den Energieanteil aus dem entsprechenden zugeordneten Wellenbereich in ein Signal wandeln kann.
Dies kann beispielsweise für sehr kurze Belichtungszeiten bei monochromen Aufnahmen mittels des erfindungsgemäßen Mikroskopes genutzt werden. Das erfindungsgemäße Mikroskop 1 kann ferner noch eine nicht gezeigte Lichtquelle sowie weitere Elemente aufweisen, die zum Betrieb des Mikroskops 1 notwendig und dem Fachmann bekannt sind.

Claims

Patentansprüche
1 . Mikroskop mit
einem Farbbildsensor (7),
einer Abbildungsoptik (9) zum vergrößernden Abbilden einer Probe (3) auf den Farbbildsensor
(7),
und einer Steuereinheit (6),
wobei der Farbbildsensor (7) eine Mehrzahl von in einer Ebene angeordneten Pixeln (1 0) sowie eine die Pixel (10) überdeckende Farbmaske (1 1 ) aufweist und die Farbmaske (1 1 ) für jedes Pixel (10) eine Filterzelle (12) enthält, die entweder als Farbzelle zur Farbfilterung für einen von zumindest drei Farbkanälen oder als Transparenzzelle, die keine Farbfilterung bewirkt, ausgebildet ist,
wobei die Farbmaske (1 1 ) Farbzellen für alle der zumindest drei Farbkanälen und Transparenzzellen aufweist und
wobei die Steuereinheit (6) basierend auf den Bilddaten des Farbbildsensors (7) ein Bild generiert.
2. Mikroskop nach Anspruch 1 , mit einer Bewegungseinheit (8), mit der der Farbbildsensor (7) in der Ebene bewegbar ist.
3. Mikroskop nach Anspruch 2, bei dem die Steuereinheit (6) dazu ausgebildet ist, a) nach einer ersten Aufnahme der Probe (3) mittels dem Farbbildsensor (7) die Bewegungseinheit (8) so anzusteuern, daß der Farbbildsensor (7) in der Ebene verschoben wird,
b) eine zweite Aufnahme der Probe (3) mittels dem Farbbildsensor (7) in der verschobenen Position auszulösen, und
c) basierend auf den Aufnahmen das Bild der Probe zu generieren.
4. Mikroskop nach Anspruch 3, bei dem die Steuereinheit (6) dazu ausgebildet ist, im Schritt c) im generierten Bild eine im Vergleich zur Anzahl der entsprechenden Färb- bzw. Transparenzzellen höhere Auflösung in zumindest einem der Farbkanäle oder einem Monochromkanal der Transparenzzellen zu erzielen.
5. Mikroskop nach Anspruch 3 oder 4, bei dem die Steuereinheit (6) dazu ausgebildet ist, im Schritt c) ein Farbbild zu generieren, bei dem die Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt sind.
6. Mikroskop nach einem der Ansprüche 3 bis 5, bei dem die Steuereinheit (6) dazu ausgebildet ist, den Schritt b) mehrmals mit verschiedenen Positionen des Farbbildsensors (3) durchzuführen, um mehrere zweite Aufnahmen mit den verschiedenen Positionen des Farbbildsensors (7) durchzuführen.
7. Mikroskop nach einem der obigen Ansprüche, bei dem die Steuereinheit (6) dazu ausgebildet ist, basierend auf den Bilddaten einer einzelnen Aufnahme ein Farbbild und Monochrombild zu generieren, wobei für das Farbbild Bilddaten der durch Farbzellen überdeckten Pixel und für das Monochrombild Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt werden.
8. Mikroskop nach einem der obigen Ansprüche, bei dem mittels der Steuereinheit (6) das Mikroskop (1 ) selektiv in einen Farbbildmodus, in dem ein Farbbild der Probe basierend auf den Bilddaten der durch Farbzellen überdeckten Pixel generiert wird, und in ein Monochrombildmodus, in dem ein Monochrombild der Probe basierend auf den Bilddaten der durch Transparenzzellen überdeckten Pixel generiert wird, geschaltet werden kann.
9. Mikroskop nach einem der obigen Ansprüche, mit einem Infrarotsperrfilter (14) im Strahlengang von der Probe (3) bis zum Farbbildsensor (7), wobei der Infrarotsperrfilter (14) von der Position im Strahlengang zu einer Position au ßerhalb des Strahlegangs und umgekehrt bewegt werden kann.
10. Mikroskopierverfahren, bei dem eine Probe vergrößert auf einen Farbbildsensor abgebildet wird, wobei als Farbbildsensor ein Sensor verwendet wird, der eine Mehrzahl von in einer Ebene angeordneten Pixeln sowie eine die Pixel überdeckende Farbmaske aufweist, wobei die Farbmaske für jedes Pixel eine Filterzelle enthält, die entweder als Farbzelle zur Farbfilterung für einen von zumindest drei Farbkanälen oder als Transparenzzelle, die keine Farbfilterung bewirkt, ausgebildet ist, und wobei die Farbmaske Farbzellen für alle der zumindest drei Farbkanälen und Transparenzzellen aufweist.
1 1 . Mikroskopierverfahren nach Anspruch 10, bei dem
a) eine erste Aufnahme der Probe mittels dem Farbbildsensor durchgeführt wird,
b) danach der Farbbildsensor in der Ebene verschoben wird,
c) eine zweite Aufnahme der Probe mittels dem Farbbildsensor in der verschobenen Position durchgeführt wird, und
d) basierend auf den Aufnahmen ein Bild der Probe generiert wird.
12. Mikroskopierverfahren nach Anspruch 1 1 , bei dem das Bild mit einer höheren Auflösung in zumindest einem der Farbkanäle oder einem Monochromkanal der Transparenzzellen im
Vergleich zur Anzahl der entsprechenden Färb- bzw. Transparenzzellen generiert wird.
13. Mikroskopierverfahren nach Anspruch 1 1 oder 12, bei dem das Bild als Farbbild generiert wird, bei dem die Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt werden.
14. Mikroskopierverfahren nach einem der Ansprüche 1 1 bis 13, bei dem die Schritte b) und c) mehrmals durchgeführt werden, um mehrere zweite Aufnahmen mit verschiedenen Positionen des Farbbildsensors durchzuführen.
15. Mikroskopierverfahren nach einem der Ansprüche 10 bis 14, bei dem basierend auf den Bilddaten einer einzelnen Aufnahme ein Farbbild und Monochrombild generiert wird, wobei für das Farbbild Bilddaten der durch Farbzellen überdeckten Pixel und für das Monochrombild Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt werden.
PCT/EP2011/072200 2010-12-22 2011-12-08 Mikroskop mit einem farbbildsensor sowie mikroskopierverfahren mit einem farbbildsensor Ceased WO2012084530A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102010063959.1 2010-12-22
DE102010063959A DE102010063959A1 (de) 2010-12-22 2010-12-22 Mikroskop mit einem Farbbildsensor sowie Mikroskopieverfahren mit einem Farbbildsensor

Publications (1)

Publication Number Publication Date
WO2012084530A1 true WO2012084530A1 (de) 2012-06-28

Family

ID=45440497

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2011/072200 Ceased WO2012084530A1 (de) 2010-12-22 2011-12-08 Mikroskop mit einem farbbildsensor sowie mikroskopierverfahren mit einem farbbildsensor

Country Status (2)

Country Link
DE (1) DE102010063959A1 (de)
WO (1) WO2012084530A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI604716B (zh) * 2016-10-20 2017-11-01 雲象科技有限公司 數位化顯微影像導覽系統及其實施方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070153104A1 (en) * 2005-12-30 2007-07-05 Ellis-Monaghan John J Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor
US20080012969A1 (en) * 2006-05-15 2008-01-17 Masanori Kasai Image Pickup Apparatus, Image Processing Method, and Computer Program
US20080018735A1 (en) * 2006-07-24 2008-01-24 Olympus Corporation Microscope color image pickup apparatus, microscope color image pickup program product, and microscope color image pickup method
WO2010066381A1 (en) * 2008-12-09 2010-06-17 Fotonation Ireland Limited Rgbw sensor array
EP2252046A1 (de) * 2009-05-14 2010-11-17 Olympus Corporation Bilderfassungsvorrichtung, Verfahren zur Steuerung einer Bilderfassungsvorrichtung und Mikroskopsystem

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10109130B4 (de) * 2001-02-24 2015-02-19 Carl Zeiss Microscopy Gmbh Verfahren zur Aufzeichnung und Darstellung von Fluoreszenzbildern mit hoher räumlicher Auflösung
DE102004038001B4 (de) * 2003-08-14 2016-03-24 Carl Zeiss Meditec Ag Optische Beobachtungsvorrichtung und Verfahren zum Betrieb einer optischen Beobachtungsvorrichtung

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070153104A1 (en) * 2005-12-30 2007-07-05 Ellis-Monaghan John J Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor
US20080012969A1 (en) * 2006-05-15 2008-01-17 Masanori Kasai Image Pickup Apparatus, Image Processing Method, and Computer Program
US20080018735A1 (en) * 2006-07-24 2008-01-24 Olympus Corporation Microscope color image pickup apparatus, microscope color image pickup program product, and microscope color image pickup method
WO2010066381A1 (en) * 2008-12-09 2010-06-17 Fotonation Ireland Limited Rgbw sensor array
EP2252046A1 (de) * 2009-05-14 2010-11-17 Olympus Corporation Bilderfassungsvorrichtung, Verfahren zur Steuerung einer Bilderfassungsvorrichtung und Mikroskopsystem

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI604716B (zh) * 2016-10-20 2017-11-01 雲象科技有限公司 數位化顯微影像導覽系統及其實施方法

Also Published As

Publication number Publication date
DE102010063959A1 (de) 2012-06-28

Similar Documents

Publication Publication Date Title
DE60026201T2 (de) Abtastverfahren für einen Fotosensor mit mehreren verschieden großen Abtastflächen
EP0878091B1 (de) Farbbildsensor für kurzzeitbelichtung
EP3033646B1 (de) Hochauflösende scanning-mikroskopie
EP2483732B1 (de) Verfahren zur erzeugung eines mikroskopbildes und mikroskop
DE102014214750B3 (de) Bildaufnahmesystem mit schnell vibrierendem Global-Shutter-CMOS-Sensor
DE112013003464B4 (de) Farbbildgebungselement und Bildgebungsvorrichtung
DE102012216021B4 (de) Erzeugen mehrerer bilder mit grossem dynamikbereich von einem einzigen sensorfeld
DE102021116512A1 (de) Spektrales sensorsystem mit optischen filter-unterarrays
DE3931934A1 (de) Bild-ein-/ausgabevorrichtung
WO2017036600A1 (de) Fluoreszenzlichtdetektionssystem und mikroskopiesystem
DE102019123356B4 (de) Sensoranordnung, Verfahren zur Berechnung eines Farbbildes und eines hyperspektralen Bildes, Verfahren zur Durchführung eines Weißabgleichs und Verwendung der Sensoranordnung in der medizinischen Bildgebung
WO2012084531A1 (de) Kamera mit einem farbbildsensor sowie aufnahmeverfahren mit einer solchen kamera
DE102008015979A1 (de) Bewegt-Bild-Verarbeitungssystem und Bewegt-Bild-Verarbeitungsverfahren
DE19918689C2 (de) Vorrichtung zur dreidimensionalen konfocalen optischen Untersuchung eines Objektes mit Beleuchtung durch eine Lochplatte
DE112015006389T5 (de) Bildgebungsvorrichtung
DE102018129833A1 (de) Mikroskopsystem, Detektionseinheit für Mikroskopsystem und Verfahren zur mikroskopischen Abbildung einer Probe
EP1542051A1 (de) Verfahren und Vorrichtung zum Trennen unterschiedlicher Emissionswellenlängen in einem Scanmikroskop
DE102023114979A1 (de) Bildgebendes system mit räumlich getrennten spektralen anordnungen
DE2934976C2 (de)
WO2012084530A1 (de) Mikroskop mit einem farbbildsensor sowie mikroskopierverfahren mit einem farbbildsensor
DE112019004373T5 (de) Spektroskopische bildgebungsvorrichtung und fluoreszenzbeobachtungsvorrichtung
DE102004018182B4 (de) Vorrichtung und Verfahren zur Erzeugung einer Abbildung einer Objektszene
DE19702837C1 (de) Digitale Farbkamera für die elektronische Fotografie
WO2022063746A1 (de) Abbildungssystem, insbesondere für eine kamera
DE2642647C2 (de) Verfahren zur Messung der optischen Dichte von zu druckenden Farbbildern

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11802885

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11802885

Country of ref document: EP

Kind code of ref document: A1