Verfahren und System zum Auswerten einer optischen Aufnahme
Die Erfindung betrifft ein Verfahren und ein System zum Auswerten einer mittels eines Bildsensors erfaßten optischen Aufnahme. Der Bildsensor umfaßt dabei eine Vielzahl von lichtempfindlichen Elementen, von denen jedes zum Bestimmen eines Helligkeitswertes genau einer Farbe aus einer vorgegebenen Anzahl von Farben vorgesehen ist . Somit werden mit jedem Element Informationen zu der jeweils zugeordneten Farbe erhalten. Die Erfindung betrifft weiterhin eine Verwendung des erwähnten Systems sowie ein Computerprogramm und ein Computerprogrammprodukt .
Bekannte ladungsgekoppelte Bildsensoren, sogenannte CCD- Bildsensoren (CCD: Charge-coupled device), haben aufgrund ihrer Herkunft aus dem Bereich der Videotechnik viel von dieser Technik übernommen. Um farbige Bilder erzeugen zu können, werden die einzelnen Elemente eines Bildsensors üblicherweise mit farbigen Mikrofiltern versehen, so daß jedes Element nur Licht eines bestimmten, eine Farbe repräsentierenden Wellenlängenbereichs erfaßt und somit nur hinsichtlich des Helligkeitswertes dieser Farbe Informationen liefert, d. h. ein entsprechendes elektrisches Signal anlegt.
Üblicherweise sind Elemente für die drei Grundfarben Rot, Grün und Blau vorgesehen, die dabei in der Regel im sogenannten Bayer-Mosaik angeordnet sind. Ein auffälliges Merkmal dieses ist es, daß auf je einen roten und einen blauen Filter zwei grüne Filter kommen. Daher erfassen typische
Sensoren 50% des grünen, 25% des blauen und 25% des roten Lichts.
Da die Elektronik der Kamera für jeden Bildpunkt bzw. jedes Pixel nur den exakten Helligkeitswert für genau eine Farbe erhält, müssen die beiden anderen Farben jeweils aus den Werten der angrenzend liegenden Pixel durch Interpolation berechnet werden.
Aus der Druckschrift US 6 181 376 Bl ist bspw. ein Verfahren zum Bestimmen fehlender Farbwerte für Bildpunkte in einem Farbfilterarray bekannt . Bei dem Verfahren wird eine Interpolation bekannter Farbwerte entlang diagonaler Linien durchgeführt .
In der Druckschrift EP 0 720 387 A2 sind ein Verfahren und eine Vorrichtung zum Erzeugen von Zeilensprungbildern von einem Sensor mit progressiver Abtastung in einer elektronischen Kamera beschrieben. Hierbei wird die erforderliche Taktrate herabgesetzt, während die Zeilensprungpixelwerte für alle Farben in demselben Bereich bereitgestellt sind.
Viele Bildsensoren arbeiten im sogenannten Vollbildmodus und können nur jeweils vollständig ausgelesen werden. Problematisch dabei ist, daß dies bei einem großen Bildsensor relativ lange dauern kann, so daß kein flüssiges Livebild zum Fokussieren oder zur Bildausschnittsbestimmung durch eine Objektpositionierung oder eine Vergrößerungsanpassung angezeigt werden kann.
Andere Bildsensoren arbeiten im klassischen Halbbildverfahren der Videotechnik. Bei diesem Verfahren werden abwechselnd die geraden oder die ungeraden Zeilen des Sensors belichtet und ausgelesen. Die Halbbilder werden anschließend elektronisch zu Vollbildern zusammengesetzt. Nachteilig da-
bei ist, daß dieser Vorgang sequentiell ausgeführt wird und daher komplizierte Verkämungsalgorithmen erforderlich sind, um das farbige Vollbild korrekt darzustellen.
Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren und ein System vorzuschlagen, die es erlauben, eine mittels eines Bildsensors erfaßte optische Aufnahme schnell und einfach auszuwerten, um im Rahmen dessen bspw. eine Fo- kussierung oder auch eine Objektpositionierung oder eine Vergrößerungsanpassung durchführen zu können.
Zur Lösung der Aufgabe ist das erfindungsgemäße Verfahren zum Auswerten einer mittels eines Bildsensors erfaßten optischen Aufnahme, wobei der Bildsensor eine Vielzahl von lichtempfindlichen Elementen umfaßt und jedes der Elemente zum Bestimmen eines Helligkeitswertes genau einer Farbe aus einer vorgegebenen Anzahl von Farben vorgesehen ist, so daß mit jedem Element Informationen zu der jeweils zugeordneten Farbe erhalten werden, dadurch gekennzeichnet, daß eine der Farben aus der vorgegebenen Anzahl von Farben ausgewählt wird und bei der Auswertung nur Informationen der Elemente berücksichtigt werden, die für diese Farbe vorgesehen sind.
Es wird somit nur ein Farbauszug, zweckmäßigerweise derjenige mit den meisten Informationen, ausgelesen und der Rest verworfen. Dadurch sinkt zwar die Auflösung entsprechend, doch ist dies ist bei einem hochauflösenden Sensor kaum bemerkbar. Die durch das Verfahren erzielte Zeitersparnis beim Auslesen des Sensors bzw. beim Auswerten der erhaltenen Informationen ist hingegen erheblich. Dazu kommt, daß die Reduktion der Anzahl der Pixel bei vielen Anwendungen erwünscht ist. Da die Interpolation entfällt, können außerdem rauschärmere Bilder erzeugt werden.
Vorzugsweise sind die Elemente des Bildsensors matrixförmig in Zeilen und Spalten angeordnet. In diesem Fall bietet es sich an, daß wahlweise nur gerade oder ungerade Zeilen des Bildsensors ausgelesen werden. Bei dem auf diese Weise erzeugten Halbbild werden anschließend für die Auswertung nur die Informationen der Elemente berücksichtigt, die für die ausgewählte Farbe vorgesehen sind.
In dieser Ausgestaltung des erfindungsgemäßen Verfahrens wird nur das gewünschte Halbbild ausgelesen und nur die benötigten Farbinformationen daraus ausgelesen. Eine zeitaufwendige Farbinterpolation ist nicht erforderlich. Folglich muß auch eine durch die Interpolation bedingte Verringerung der Auflösung nicht hingenommen werden. Die resultierenden Bilder liegen in der ausgewählten Farbe vor, wobei eine schnellere und rauschärmere Darstellung der Bildinformation möglich ist.
Bei dem sogenannten Halbbildverfahren werden nicht rechte oder linke Halbbilder, sondern gerade und/oder ungerade Zeilen in ein Shiftregister geladen.
Üblicherweise sind die Elemente für die drei Grundfarben Rot, Grün und Blau vorgesehen, wobei die Elemente vorzugsweise in einem Bayer-Mosaik angeordnet sind.
In Ausgestaltung der Erfindung sind die Elemente mit Farb- mikrofiltern versehen. Diese stellen sicher, daß nur Licht eines bestimmten Wellenlängenbereichs transmittiert und somit von dem betreffenden Element absorbiert werden kann, so daß jedes Element nur Informationen zu der Helligkeit bzw. Intensität des Lichts eines Wellenlängenbereichs und somit zu einer Farbe liefert, d. h. für diese vorgesehen ist.
Die Informationen der für die ausgewählte Farbe vorgesehenen Elemente werden üblicherweise als Bild auf einer Anzeigeeinheit dargestellt .
Das erfindungsgemäße Verfahren erlaubt eine schnelle Fokus- sierung, Objektpositionierung und Vergrößerungsanpassung.
Das erfindungsgemäße System zum Auswerten einer optischen Aufnahme weist einen Bildsensor zum Erfassen der optischen Aufnahme und eine Recheneinheit zum Bearbeiten von mittels des Bildsensors erhaltenen Informationen auf . Der Bildsensor umfaßt eine Vielzahl von lichtempfindlichen Elementen, von denen jedes zum Bestimmen eines Helligkeitswertes genau einer Farbe aus einer vorgegebenen Anzahl von Farben vorgesehen ist. Das System zeichnet sich dadurch aus, daß die Recheneinheit ausgelegt ist, eine der Farben, vorzugsweise diejenige mit dem größten zugeordneten Informationsgehalt, auszuwählen und außerdem ausgelegt ist, bei der Auswertung nur Informationen der Elemente zu berücksichtigen, die für die ausgewählte Farbe vorgesehen sind.
Die Elemente des Bildsensors sind vorzugsweise matrixförmig in Zeilen und Spalten angeordnet .
In Ausgestaltung ist die Recheneinheit derart ausgelegt, daß diese wahlweise nur gerade oder ungerade Zeilen des Bildsensors ausliest. Diese Auswahl erfolgt bevorzugt ebenfalls durch die Recheneinheit.
Weiter Ausgestaltungen des erfindungsgemäßen Systems ergeben sich aus den Unteransprüchen.
Besonders geeignet ist das System für die Auswertung von monochromatischen Bildern, wie bspw. von Bildern in der Mikroskopie, insbesondere der Fluoreszenz-Mikroskopie. In der
Mikroskopie ist häufig nur ein monochromatisches Bild vorhanden, wie bspw. bei der Fluoreszenz-Untersuchung eines Objekts. Bei herkömmlichen Verfahren werden mit vier Pixeln Farbinformationen aufgenommen. Anschließend wird dann für jedes Pixel die Farbe anhand einer Interpolation mit den umliegenden Pixelfarben berechnet. Dies ist zeitintensiv. Bei einem einfarbigen Bild sind die übrigen Pixel ohne Helligkeitsinformation und liefern daher nur Rauschen, wodurch Bildverfälschungen auftreten können. Dies wurde bei herkömmlichen Auslese- und Auswerteverfahren nicht berücksichtigt.
Durch den Einsatz des erfindungsgemäßen Verfahrens kann die Bildrate bei der Fokussierung von monochromatischen Bilder, wie sie bspw. in der Fluoreszenz-Mikroskopie häufig angewandt wird, gegenüber einem herkömmlichen Verfahren praktisch verdoppelt werden, da eines der beiden Halbbilder überhaupt nicht verwendet wird. Durch den Verzicht auf eine Farbinterpolation kann die Darstellung des Farbauszuges gegenüber bekannten Verfahren darüber hinaus beschleunigt werden.
Die nicht zum gewählten Farbauszug gehörenden Farbpixel werden weggelassen und können somit nicht durch darin enthaltene Rauschinformationen den Farbauszug stören. Das Ergebnis ist ein rauscharmes, schnelles Graustufenbild zur optimalen Fokussierung und Bildausschnittsbestimmung.
Das neue Verfahren kann durch Unterstützung von speziellen sogenannten Readout-Modi bei der Ansteuerung eines CCD- Bildsensors bzw. einer digitalen Kamera eingesetzt werden. Das Verfahren ist insbesondere bei hochauflösenden Bildsensoren zu empfehlen, da bei diesen die durch das Verfahren bewirkte Reduzierung der Auflösung nicht ins Gewicht fällt. Bei Livebild-Darstellungen ist sogar häufig eine Reduktion
der Anzahl der Pixel erwünscht, um komfortabel den gewünschten Bildausschnitt (field of view) bestimmen zu können.
Das erfindungsgemäße Computerprogramm umfaßt Programmcodemittel, um alle Schritte eines vorstehend beschriebenen Verfahrens auszuführen. Es wird auf einem Computer oder einer entsprechenden Recheneinheit ausgeführt.
Das erfindungsgemäße Computerprogrammprodukt ist auf einem computerlesbaren Datenträger gespeichert. Als geeignete Datenträger kommen EEPROMs und Flashmemories, aber auch CD- ROMs, Disketten sowie Festplattenlaufwerke in Betracht.
Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.
Es versteht sich, daß die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
Die Erfindung ist anhand von Ausführungsbeispielen in der Zeichnung dargestellt und wird im folgenden unter Bezugnahme auf die Zeichnung ausführlich beschrieben.
Figur 1 verdeutlicht das bekannte Halbbildverfahren.
Figur 2 zeigt schematisch eine Ausführungsform des erfindungsgemäßen Verfahrens.
Figur 3 zeigt schematisch eine weitere Ausführungsform des erfindungsgemäßen Verfahrens .
Figur 4 zeigt schematisch noch eine weitere Ausführungsform des erfindungsgemäßen Verfahrens.
Figur 5 zeigt in schematischer Darstellung eine mögliche Anwendung des erfindungsgemäßen Verfahrens.
In Figur 1 ist zur Erläuterung schematisch das herkömmliche Halbbildverfahren wiedergegeben. Zu erkennen ist ein Bildsensor 10, der eine Vielzahl von matrixförmig in Zeilen und Spalten angeordneten lichtempfindlichen Elementen aufweist, wobei Elemente 12 für die Farbe Grün, Elemente 14 für die Farbe Rot und Elemente 16 für die Farbe Blau vorgesehen sind. Die Elemente 12 sind somit mit einem grünen Farbmikrofilter, die Elemente 14 mit einem roten Farbmikrofilter und die Elemente 16 mit einem blauen Farbmikrofilter versehen.
Zu erkennen ist, daß die Elemente 12, 14 und 16 für die drei Grundfarben Rot, Grün und Blau im sogenannten Bayer- Mosaik angeordnet sind. Auf je einen roten und blauen Filter kommen dabei zwei grüne Filter.
Für die erste, dritte, fünfte, siebte und neunte Zeile, d. h. für die ungeraden Zeilen des Bildsensors 10, wird ein erstes Halbbild 18 und für die zweite, vierte, sechste, achte und zehnte Zeile, d. h. für die geraden Zeilen des Bildsensors 10, wird ein zweites Halbbild 20 erzeugt. Dabei werden die beiden Halbbilder 18 und 20 dadurch erzeugt, daß jeweils die entsprechenden Zeilen zunächst belichtet und dann ausgelesen werden.
Beim Halbbildverfahren werden abwechselnd die geraden oder ungeraden Zeilen des Bildsensors 10 ausgelesen. Die Halbbilder 18 und 20 werden anschließend typischerweise elektronisch zusammengesetzt.
In den Figuren 2 bis 4 ist das erfindungsgemäße Verfahren näher erläutert. Zu erkennen ist wiederum ein Bildsensor 30, der eine Vielzahl von matrixförmig angeordneten Elementen 32, 34 und 36 aufweist, wobei die Elemente 32 für die Farbe Grün, die Elemente 34 für die Farbe Rot und die Elemente 36 für die Farbe Blau vorgesehen sind.
Wie in Figur 2 zu erkennen ist, wird zunächst ein erstes Halbbild 38 erzeugt, d. h. es werden nur die ungeraden Zeilen des Bildsensors 30 ausgelesen. Dieses Halbbild 38 zeigt nur grüne und rote Bildpunkte. Anschließend werden lediglich die Elemente 34 für die Farbe Rot berücksichtigt und das Ergebnis in einem Bild 40, das einen roten Farbauszug wiedergibt, dargestellt. Die Elemente 32 bzw. deren erhaltene Informationen finden bei der weiteren Auswertung keine Berücksichtigung.
Die Pixelzahl des Bildes 40 ist um Faktor 4 geringer als die Pixelzahl des Sensors 30. Da aber keine Interpolationen durchgeführt werden müssen, kann das Bild 40 schnell ermittelt werden. Mit diesem rauscharmen Bild 40 ist anschließend eine Fokussierung oder auch eine Bildausschnittsbewertung möglich.
In Figur 3 ist entsprechend ein zweites Halbbild 42 wiedergegeben, das sich durch Auslesen der geraden Zeilen des Bildsensors 30 ergibt. Aus diesem Halbbild 42 wird ein weiteres Bild 44, das einen blauen Farbauszug wiedergibt, ermittelt, indem lediglich die Elemente 36 für die Farbe Blau berücksichtigt werden.
In Figur 4 ist das Halbbild 38 aus Figur 2 wiederum gezeigt. In diesem Fall wird aus dem Halbbild 38 ein Bild 46 erzeugt, daß einen grünen Farbauszug wiedergibt.
Der grüne Farbauszug kann aus dem ersten Halbbild 38 oder dem zweiten Halbbild 42 gewonnen werden.
Bei dem erfindungsgemäßen Verfahren kann die Darstellung des Farbauszuges durch den Verzicht auf eine Farbinterpolation gegenüber herkömmlichen Verfahren beschleunigt werden. Die nicht zum gewählten Farbauszug gehörenden Farbpixel werden weggelassen und können somit nicht durch darin enthaltene Rauschinformationen den Farbauszug stören.
In Figur 5 ist eine mögliche Anwendung für das erfindungsgemäße Verfahren in schematischer Darstellung wiedergegeben. Zu erkennen ist ein aufzunehmendes Objekt 50, ein Objektiv 52, ein dichroitischer Strahlenteiler 54, ein Sperrfilter 56, eine Tubuslinse 58, eine Mikroskopachse 60, eine Bildebene bzw. ein Sensor 62, ein Anregungsfilter 64, eine Kollektorllinse 66, eine Lichtquelle 68 und eine Beleuchtungsachse 70.
In der gezeigten Darstellung liegt ein fluoreszierendes Objekt 50 in der Brennebene des Objektivs 52 und wird von diesem und der Tubuslinse 58 auf den Sensor 62 abgebildet. Zwischen dem Objektiv 52 und der Tubuslinse 58 bildet sich eine Zone mit einem sogenannten parallelen Strahlengang. In dieser Zone können optional Zusatzelemente eingeschoben werden. In der Fluoreszenz-Mikroskopie ist dies üblicherweise, der in Figur 5 dargestellte Strahlenteiler 54 zur Einkopplung einer Beleuchtung und der Sperrfilter 56.
Der Sperrfilter 56 läßt nur Licht mit der Wellenlänge der von dem Objekt 50 emittierten Fluoreszenzstrahlung passieren. Das kurzwellige Licht zur Fluoreszenzanregung wird von dem Sperrfilter 56 nicht durchgelassen und kann folglich auch nicht zur Bildentstehung beitragen.
Zur Beleuchtung des Objekts 50 wird das Licht der Lichtquelle 68 von der Kollektorlinse 66 gebündelt und von dem Strahlenteiler 54 in Richtung des Objekts 50 reflektiert. Der Anregungsfilter 64 läßt lediglich Licht der Wellenlänge passieren, die zur Anregung der Fluoreszenz dient. Beleuchtungslicht der Lichtquelle 68 der langwelligeren Fluoreszenzstrahlung wird von dem Anregungsfilter 64 gesperrt und kann so die Fluoreszenzstrahlung nicht überlagern und deren Sichtbarkeit beeinträchtigen.
Zur Steigerung der Lichteffizienz ist es dienlich, den Strahlenteiler 54 als dichroitischen Strahlenteiler 54 auszubilden, da dieser das kurzwellige Anregungslicht in hohem Maße reflektiert und für die langwellige Fluoreszenzstrahlung eine hohe Transmission aufweist.
Mittels dem in Figur 5 gezeigten Aufbau wird ein monochromatisches Bild erzeugt, daß gemäß dem erfindungsgemäßen Verfahren ausgewertet werden kann.