Verfahren und Vorrichtung zur FPN-Korrektur von Bildsignalen
Die Erfindung betrifft ein Verfahren sowie eine Vorrichtung zur FPN-Korrektur von Bildsignalen, die von Bildzellen eines Bildsensors erzeugt werden. Die Erfindung betrifft ferner eine digitale Kamera mit einer solchen Vorrichtung.
In der Photo- und Filmkameratechnik werden als Ersatz für herkömmliches Filmmaterial in zunehmendem Maße Bildaufnehmer eingesetzt, die eine optische Intensitätsverteilung in elektronische Bildsignale umwandeln. Derartige Bildsensoren weisen eine regelmäßige Anordnung von Bildpunkten ("Pixeln") auf, denen jeweils eine oder mehrere lichtempfindliche, im folgenden als Bildzellen bezeichnete Schaltungen aus Halbleiterbauelementen zugeordnet sind. Jede dieser Bildzellen erzeugt ein Bildsignal, dessen Spannungswert eine Funktion der Intensität des auf die Bildzelle auftreffenden Lichts ist.
Bei Bildsensoren für die farbige Wiedergabe besteht jeder Bildpunkt in der Regel aus einem Tripel von Bildzellen, die jeweils durch ein Farbfilter für eine der drei Spektralfarben Rot, Grün und Blau überdeckt sind. Jedes Bildsignal einer solchen Bildzelle gibt einen auf die betreffende Spektralfarbe bezogenen Helligkeitswert wieder, so daß in der Gesamtheit der drei Einzelsignale die Farbinformation für den betreffenden Bildpunkt enthalten ist.
Betrachtet man ein durch derartige Bildsignale repräsentiertes Bild auf einem Monitor oder einem Ausdruck, so stellt man fest, daß Flächen des Bildes, die eigentlich homogen und gleichmäßig erscheinen sollten, tatsächlich eine mehr oder weniger starke Körnung aufweisen. Diese Körnung entsteht dadurch, daß identisch aufgebaute Bildzellen trotz gleicher Intensität des auftreffenden Lichtes unterschiedliche Bildsignale erzeugen. Dieser Effekt wird als "fixed pattern noise" oder kurz als "FPN" bezeichnet. Die unterschiedlichen Eigenschaften der an sich identischen Bildzellen gehen auf herstellungsbedingte Variationen der elektronischen Bauelemente zurück, aus denen die einzelnen Bildzellen aufgebaut sind. Diese Variationen betreffen insbesondere die Geometrie und Dotierung der Strukturen, aus denen die einzelnen elektronischen Bauelemente ihrerseits bestehen. Je komplexer die einzelnen Bildzellen aufgebaut sind, desto größer ist im allgemeinen auch das FPN.
Zur Korrektur des FPN ist es bekannt, im Rahmen eines sogenannten "Weißabgleichs" bei einer Referenzhelligkeit ein Bild mit dem Bildsensor aufzunehmen und für jede Bildzelle einen Differenzwert des entsprechenden Bildsignals zu einem gemeinsamen Referenzsignal abzuspeichern. Dieser Differenzwert, der positiv
oder negativ sein kann, wird nun stets zu dem von der betreffenden Bildzelle erzeugten Bildsignal hinzuaddiert. Für die Referenzhelligkeit wird das FPN durch dieses bekannte Verfahren vollständig korrigiert.
Für von der Referenzhelligkeit verschiedene Helligkeiten wird das FPN hingegen nur unzureichend korrigiert, d.h. bei solchen Helligkeiten bleibt die körnige Darstellung an sich homogener Flächen weitgehend unverändert. Dies liegt daran, daß die Kennlinien der einzelnen Bildzellen, die den Zusammenhang zwischen der auf der Bildzelle auftreffenden optischen Intensität (Helligkeit) und dem erzeugten Bildsignal angeben, sich nicht nur durch das Hinzuaddieren eines Differenzwertes zur Deckung bringen lassen. Vielmehr unterscheiden sich die Kennlinien der einzelnen Bildzellen auch bezüglich ihrer Steigung, so daß eine Korrektur bei der Referenzhelligkeit sich bei anderen Helligkeiten u.U. erheblich weniger auswirkt.
In der Praxis stößt die Korrektur des FPN vor allem deswegen auf Schwierigkeiten, weil aufwendige mathematische Transformationen im Rahmen der Korrektur wegen der hohen erforderlichen Speicher- und Rechenkapazitäten und wegen der Echtzeitanforderungen zumindest für kommerzielle Anwendungen ausscheiden.
Es ist daher Aufgabe der Erfindung, ein Verfahren und eine Vorrichtung zur FPN-Korrektur von Bildsignalen der eingangs genannten Art derart zu verbessern, daß eine deutliche Verringerung des FPN bei geringen Anforderungen an den Speicherbedarf und die Rechenleistung erzielt wird.
Hinsichtlich des Verfahrens wird diese Aufgabe durch folgende Schritte gelöst, die vorzugsweise für das Bildsignal jeder Bildzelle getrennt durchgeführt werden:
a) Ermitteln, in welchem von wenigstens zwei Wertebereiσhen der Wert des Bildsignals zu einem vorgegebenen Zeitpunkt liegt;
b) Bestimmen eines korrigierten Wertes für das Bildsignal in Abhängigkeit von dem Ergebnis nach Schritt a ) .
Hinsichtlich der Vorrichtung wird die Aufgabe bei einer Vorrichtung der eingangs genannten Art gelöst durch:
a) einen Diskriminator zum Ermitteln, in welchem von wenigstens zwei Wertebereichen der Wert eines Bildsignals einer Bildzelle zu einem vorgegebenen Zeitpunkt liegt,
b) einer Auswahleinrichtung zur Bestimmung eines korrigierten Wertes für das Bildsignal in Abhängigkeit von dem von dem Diskriminator ermittelten Ergebnis .
Der Erfindung liegt die Erkenntnis zugrunde, daß sich eine wesentliche Verbesserung der FPN-Korrektur dadurch erzielen läßt, daß die Bildsignale nicht in einheitlicher Weise über den gesamten Wertebereich hinweg, sondern in unterschiedlicher Weise nach Wertebereichen getrennt korrigiert werden. Dies erlaubt es, mit einfachen, an den Speicherbedarf und die Rechenleistung geringe Anforderungen stellende Transformationen gute Korrekturergebnisse zu erzielen. Innerhalb der einzelnen Wertebereiche kann nämlich die tatsächliche Kennlinie jeder Bildzelle durch
eine mathematisch einfache Näherungskennlinie angenähert werden, was die Verwendung entsprechend einfacher und mit geringem Rechenaufwand durchführbarer Transformationen erlaubt. Die zugrundeliegenden Transformationsgleichungen benötigen dann nur wenige Koeffizienten, wodurch der Speicherbedarf gering gehalten wird.
Durch die getrennte Korrektur der Bildsignale in unterschiedlichen Wertebereichen ist es möglich, die relativ komplizierten Kennlinien der einzelnen Bildzellen abschnittsweise durch einfache Funktionen anzunähern, so daß mit einfachen Transformationsgleichungen und entsprechend wenigen Koeffizienten pro Bildzelle eine gute Korrektur des FPN erreicht wird.
Die Bestimmung des korrigierten Wertes für das Bildsignal kann beispielsweise derart erfolgen, daß für jeden Bildpunkt unter Verwendung der hierfür gültigen Transformationsgleichungen eine der Anzahl der Wertebereiche entsprechende Anzahl von korrigierten Werten ermittelt wird. Aus diesen korrigierten Werten wird dann in Abhängigkeit davon, in welchem Wertebereich der Wert des Bildsignals zu einem vorgegebenen Zeitpunkt tatsächlich liegt, ein bestimmter, diesem Wertebereich zugeordneter Korrekturwert ausgewählt. Für jede Bildzelle sind daher so viele Korrekturwerte zu ermitteln, wie Wertebereiche vorgesehen sind.
Bevorzugt ist es allerdings, wenn die Bestimmung des korrigierten Wertes nach Schritt b) die Schritte umfaßt:
bl) Auswählen von Korrekturkoeffizienten aus mehreren Sätzen von Korrekturkoeffizienten in Abhängigkeit von dem Ergebnis nach Schritt a); und
b2) Berechnen des korrigierten Wertes für das Bildsignal unter Verwendung der Korrekturkoeffizienten.
Dieses Vorgehen hat den Vorteil, daß jeweils nur die Berechnung eines einzigen korrigierten Wertes erforderlich ist, nämlich unter Verwendung derjenigen Korrekturkoeffizienten, die dem Wertebereich zugeordnet sind. Anstelle aus mehreren im voraus berechneten Korrekturwerten einen Korrekturwert auszuwählen, wird bei diesem Vorgehen nur ein Korrekturwert unter Verwendung von ausgewählten Korrekturkoeffizienten berechnet.
Grundsätzlich ist es möglich, daß die Korrekturkoeffizienten, die den wenigstens zwei Wertebereichen zugeordnet sind, für alle Bildzellen gleich sind. Gegenüber der FPN-Korrektur im Rahmen des Weißabgleichs wird dadurch bereits eine deutliche Verringerung des FPN erzielt.
Besonders bevorzugt ist es jedoch, wenn die Sätze von Korrekturkoeffizienten für mehrere Bildzellen und/oder für die verschiedenen Wertebereiche unterschiedlich sind.
Dabei lassen sich gegebenenfalls mehrere Bildzellen in Gruppen zusammenfassen. Vorzugsweise werden jedoch für jede Bildzelle individuelle Korrekturkoeffizienten verwendet.
Durch diese Maßnahme läßt sich eine weitere erhebliche Verbesserung der FPN-Korrektur erzielen, da nun für jede einzelne
Bildzelle Korrekturkoeffizienten zur Verfügung stehen, die an die individuelle Kennlinie der Bildzelle angepaßt sind. Dennoch läßt sich die Gesamtzahl der benötigten Koeffizienten in überschaubaren Grenzen halten, da die Transformationsgleichungen aufgrund der Unterteilung in mehrere Wertebereiche vereinfacht sind. Die Anzahl der erforderlichen Koeffizienten hängt von der Art der verwendeten Näherung ab. Bevorzugt ist, wenn die Kennlinienabschnitte durch lineare, quadratische oder kubische Gleichungen angenähert werden.
Grundsätzlich können die wenigstens zwei Wertebereiche für alle Bildzellen identisch sein. Der zur Durchführung des Verfahrens erforderliche schaltungstechnische Aufbau wird dadurch sehr einfach, da nicht für jede Bildzelle ein oder mehrere eigene Schwellenwerte aus einem Speicher ausgelesen und einem Diskriminator zugeführt werden müssen.
Vorzugsweise sind jedoch die wenigstens zwei Wertebereiche für mehrere Bildzellen unterschiedlich.
Zwar erfordert dies zusätzlich das Abspeichern von Schwellenwerten für jede Bildzelle. Dieser Nachteil wird jedoch dadurch aufgewogen, daß eine weitere erhebliche Verbesserung der FPN- Korrektur erzielt wird. Dies hängt damit zusammen, daß sich die Kennlinie einer Bildzelle dann innerhalb der wenigstens zwei Wertebereiche gut durch einfache Näherungskennlinien annähern läßt, wenn der Übergang zwischen den Wertebereichen, d.h. der oder die Schwellenwerte, individuell an die Kennlinien angepaßt sind.
Die Schwellenwerte für die Bildpunkte können dabei z.B. in einem Schwellenwertspeicher abgelegt sein. Ebenso ist es möglich, die Schwellenwerte aus gespeicherten Koeffizienten für die Transformationsgleichungen zu berechnen, so daß kein zusätzlicher Speicherbedarf für die Schwellenwerte vorzusehen ist. Einzelne Koeffizienten können gegebenenfalls auch unmittelbar als Schwellenwert verwendet werden.
Je nach Art der Kennlinien kann es erforderlich sein, innerhalb der wenigstens zwei Wertebereiche die entsprechenden Kennlinienabschnitte durch unterschiedliche Näherungskennlinien anzunähern. Besonders bevorzugt ist es, wenn die gesamte Kennlinie eines Bildpunktes in den ersten zwei Helligkeitsdekaden, d.h. bei geringer Lichtintensität, mit einer parabelabschnitts- förmigen Näherungskennlinie und darüber hinaus mit einer geraden Kennlinie angenähert wird. In diesem Fall kommt man nämlich mit nur drei Korrekturkoeffizienten für jeden Bildpunkt aus . Zudem ergibt sich ein stetiger und "weicher" Übergang zwischen den Kennlinienabschnitten der einzelnen Wertebereiche.
Vorteilhaft ist es, wenn die Korrektur für alle Bildzellen anhand von Transformationsgleichungen erfolgt, die sich nur durch unterschiedliche Koeffizienten unterscheiden.
Auf diese Weise lassen sich die Transformationen für alle Bildzellen mit Hilfe einer geeigneten Anordnung von Logikbausteinen durchführen, denen lediglich für jede Bildzelle unterschiedliche Koeffizienten zuzuführen sind.
Bei einer vorteilhaften Ausgestaltung der Erfindung sind die Transformationsgleichungen durch eine Anordnung von' Logikbau-
steinen, insbesondere von Addierern und Multiplizierern, festgelegt, denen die Koeffizienten aus einem Speicher zugeführt werden.
Ferner ist es bevorzugt, wenn für jede Bildzelle die Korrekturkoeffizienten aus einem Vergleich einer Ist-Kennlinie, die einen Zusammenhang zwischen einer auf die jeweilige Bildzelle auftreffenden optischen Intensität und dem erzeugten Bildsignal angibt, mit einer Soll-Kennlinie ermittelt sind.
Die Soll-Kennlinie kann grundsätzlich willkürlich festgelegt sein. Die Festlegung sollte aber unter dem Gesichtspunkt erfolgen, daß sich im Hinblick auf die Näherungsgleichungen für die Ist-Kennlinien möglichst einfache Transformationsgleichungen innerhalb der Wertebereiche ergeben.
Bevorzugt ist es dabei, wenn die Soll-Kennlinie durch Bildung des Mittelwertes aus den Ist-Kennlinien der Bildzellen ermittelt wird.
Durch diese Festlegung der Soll-Kennlinie werden die an den einzelnen Bildsignalen vorzunehmenden Korrekturen insgesamt minimal .
Bei bestimmten Bildsensoren, wie sie beispielsweise aus der EP 632 930 Bl bekannt sind, wird eine hohe Eingangssignaldynamik logarithmisch auf eine erheblich kleinere Ausgangssignaldynamik komprimiert. Jede Bildzelle dieser Bildsensoren erzeugt somit eine Ausgangsspannung, die dem Logarithmus der darauf auftreffenden optischen Intensität entspricht. Auf diese Weise läßt sich die extrem hohe Dynamik natürlicher Szenen, die in der
Größenordnung von 120 dB liegt, signaltechnisch gut erfassen. Die logarithmische Komprimierung wird von elektronischen Bauelementen bewirkt, die Bestandteil jeder einzelnen Bildzelle sind. Es hat sich gezeigt, daß bei derartigen Bildsensoren mit Hilfe des neuen FPN-Korrekturverfahrens besonders gute Ergebnisse erzielbar sind. Die Kennlinien derartiger Bildzellen lassen sich nämlich gut in zwei Wertebereiche unterteilen, innerhalb derer sie jeweils annähernd linear zum Logarithmus der Helligkeitsinformation sind.
Es ist deswegen bevorzugt, daß bei annähernd logarithmischen Ist-Kennlinien der Bildzellen die wenigstens zwei Wertebereiche derart festgelegt werden, daß innerhalb der Wertebereiche die Ist-Kennlinien und die Soll-Kennlinie jeweils annähernd linear zum Logarithmus der optischen Intensität sind.
Dabei ist es weiter bevorzugt, wenn für jede Bildzelle und für jeden der wenigstens zwei Wertebereiche der korrigierte Wert Vc für das Bildsignal aus einem von der Bildzelle erzeugten tatsächlichen Wert Vr nach einer Transformationsgleichung der Form
V„ = a • V + b
ermittelt wird, wobei a und b aus einem Vergleich der Ist-Kennlinie mit der Soll-Kennlinie ermittelte Korrekturkoeffizienten der Transformationsgleichung sind.
Eine derartige lineare Transformationsgleichung ergibt sich, wenn die einzelnen Kennlinienabschnitte durch Geraden angenähert werden. Schaltungstechnisch läßt sich eine derartige lineare Transformationsgleichung durch eine einfache Reihenschal-
tung aus einem Multiplizierer und einem Addierer umsetzen, wobei es auf die Reihenfolge dieser beiden Logikbausteine im Prinzip nicht ankommt.
In Weiterbildung dieser Ausgestaltung gilt für die Korrekturkoeffizienten a und b
= — und b = b, - a„ a.
wenn in dem entsprechenden Wertebereich die Soll-Kennlinie durch die Gleichung
V. = a_ • log E + bj.
und die Ist-Kennlinie durch die Gleichung
Vr = ar • log E + br
angenähert wird, wobei E ein Maß für die auf die betreffende Bildzelle auftreffende optische Intensität ist.
In jedem Wertebereich werden somit die bezüglich des Logarithmus der Helligkeitsinformation linearen Bildsignale der einzelnen Bildzellen durch lineare Näherungsgleichungen beschrieben, deren Koeffizienten durch die angegebene Beziehung die Koeffizienten der Transformationsgleichung ergeben. Diese Koeffizienten werden in einem Speicher gespeichert und jedesmal abgerufen, wenn das Bildsignal der betreffenden Bildzelle innerhalb des zugeordneten Wertebereichs liegt.
Vorzugsweise werden die Koeffizienten ar und br durch die Methode der kleinsten Abweichungsquadrate aus Ist-Kennlinien der Bildzellen ermittelt.
Da bei der werkseitigen Aufnahme der Ist-Kennlinien nur einzelne Meßpunkte zur Verfügung stehen, bietet diese Methode einen besonders einfachen und genauen Weg, um die Koeffizienten der linearen Näherungsgleichungen zu ermitteln.
Vorzugsweise werden die Koeffizienten a_ und b_ durch Mittelwertbildung aus den Koeffizienten ar und br über alle Bildzellen bestimmt.
Dadurch kann auf besonders einfache Weise in den einzelnen Wertebereichen eine Näherungsgleichung für die Soll-Kennlinie ermittelt werden.
Weitere Vorteile und Merkmale der Erfindung ergeben sich aus der Beschreibung der nachfolgenden Ausführungsbeispiele anhand der Zeichnung. Darin zeigen:
Fig. 1 eine stark schematisierte Darstellung einer erfindungsgemäßen digitalen Kamera mit einem darin eingebauten Bildsensor;
Fig. 2 ein Prinzipschaltbild einer Elektronikeinheit zur Weiterverarbeitung von Bildsignalen, die von dem in Fig. 1 dargestellten Bildsensor erzeugt werden;
Fig. 3 die Darstellung einer Kennlinie einer einzelnen logarithmisch komprimierenden Bildzelle, bei der
eine Ausgangsspannung über einer auf die Bildzelle auftreffenden optischen Intensität aufgetragen ist;
Fig. 4 eine Darstellung der Kennlinien mehrerer Bildzellen eines Bildsensors;
Fig. 5 eine Darstellung der Verteilung von AusgangsSpannungen, die für zwei unterschiedliche Helligkeitswerte von mehreren Bildzellen erzeugt werden;
Fig. 6 eine der Fig. 4 entsprechende Darstellung mehrerer Kennlinien, in der zusätzlich eine Soll-Kennlinie eingetragen ist;
Fig. 7 eine Darstellung einer Soll-Kennlinie und einer Ist- Kennlinie in einer Darstellung wie in Fig. 6, in der zusätzliche Näherungsgeraden für einzelne Wertebereiche gezeigt sind;
Fig. 8 eine Darstellung einer Ist-Kennlinie mit einer Unterteilung in drei Wertebereiche;
Fig. 9 eine der Fig. 5 entsprechende Darstellung der Verteilung der Ausgangsspannungen, die der erfindungsgemäßen FPN-Korrektur unterworfen worden sind;
Fig. lOa-lOf Ausführungsbeispiele für eine erfindungsgemäße Vorrichtung zur FPN-Korrektur in schematischer Darstellung.
Fig. 1 zeigt in einer stark vereinfachten schematischen Darstellung eine Digitalkamera 10, bei der es sich um eine Fotooder auch um eine Filmkamera handeln kann. Die Digitalkamera 10 weist einen elektronischen Bildsensor 12 auf, auf dessen lichtempfindlicher Oberfläche ein Motiv 14 mit Hilfe eines hier nur angedeuteten Linsensystems 16 abgebildet wird. In einer Elektronikeinheit 18 werden die von dem Bildsensor 12 aufgenommenen Bilder digital weiterverarbeitet, so daß sie schließlich über einen Kameraausgang 20 ausgelesen werden können. Der Elektronikeinheit 18 kann ein - in Fig. 1 nicht dargestellter - Bildspeicher zugeordnet sein, in dem die aufbereiteten Bilder gespeichert werden können. Außerdem ist es möglich, nur einen Teil der Elektronikeinheit 18 innerhalb der Digitalkamera 10 anzuordnen. Die übrigen Teile sind dann außerhalb der Digitalkamera 10 z.B. als eine auf einem Personalcomputer ausführbare Software realisiert.
In Fig. 2 sind der Bildsensor 12 sowie die Elektronikeinheit 18 mit weiteren Einzelheiten dargestellt. Der Bildsensor 12 weist eine regelmäßige Anordnung von Bildpunkten auf, die in an sich bekannter Weise aus jeweils drei lichtempfindlichen Bildzellen 22 bestehen. Jede Bildzelle 22 eines Bildpunktes wird von unterschiedlichen Farbfiltern abgedeckt, so daß die von der jeweiligen Bildzelle erzeugte Ausgangsspannung eine Funktion der Intensität des Lichtes derjenigen Spektralfarbe ist, die durch das betreffende Filter hindurchtreten kann. Bei nur für Schwarz-Weiß-Aufnahmen geeigneten Bildsensoren bestehen die Bildpunkte jeweils aus nur einer einzigen Bildzelle. Die im Bildsensor 12 verwendeten Bildzellen 22 sind als Schaltungen von Halbleiterbauelementen realisiert, die im dargestellten Ausführungsbeispiel eine Ausgangsspannung erzeugen, die annähernd dem Logarithmus der darauf auftreffenden optischen Inten-
sität entspricht. Die Bildzellen 22 erzeugen deswegen logarithmisch komprimierte Bildsignale. Einzelheiten zum Aufbau derartiger Bildzellen 22 sind der zuvor bereits erwähnten EP 632 930 Bl entneh bar.
Die von den Bildzellen 22 erzeugten Bildsignale werden zeilen- und spaltenweise ausgelesen und in einem Auslesemultiplexer 24 zu einem Gesamtsignal zusammengestellt. Das Gesamtsignal enthält somit in zeitlicher Abfolge die den einzelnen Bildzellen 22 zugeordneten Bildsignale. Im folgenden beziehen sich deswegen Ausführungen zu Bildsignalen immer auf das Bildsignal, das von einer ganz bestimmten Bildzelle 22 im Bildsensor 12 erzeugt wird.
Die Bildsignale werden in einem Analog/Digital-Wandler 25, der auch auf dem Bildsensor 12 selbst angeordnet sein kann, digitalisiert und anschließend in einer FPN-Korrektureinheit 26 derart korrigiert, daß die durch das FPN hervorgerufenen Verfälschungen des aufgenommenen Bildes weitgehend reduziert werden. Der Aufbau der FPN-Korrektureinheit 26 wird weiter unten noch anhand mehrerer Ausführungsbeispiele näher erläutert.
Das FPN-korrigierte Bildsignal wird anschließend in einer Verarbeitungsstufe 32 weiter aufbereitet, z.B. um die Helligkeit oder die Farbsättigung gezielt zu verändern und um eine γ- Korrektur durchzuführen.
Das derart aufbereitete Bildsignal kann schließlich über den Ausgang 20 ausgelesen und mit Hilfe eines Ausgabegerätes 34 in ein Bild zurückverwandelt werden.
Fig. 3 zeigt eine Kennlinie 36 einer einzelnen Bildzelle 22 in einer Darstellung, bei der eine von der Bildzelle 22 erzeugte Ausgangsspannung V über einer auf die Bildzelle 22 auftreffenden Helligkeit E aufgetragen ist. In der gewählten halb- logarithmischen Darstellung, bei der die Abszisse logarithmisch unterteilt ist, ist erkennbar, daß die Kennlinie 36 einen ersten und einen zweiten Abschnitt 38 bzw. 40 aufweist, in dem die Ausgangsspannung V annähernd linear zum Logarithmus der Helligkeit E ist. Bei höheren Helligkeiten (erster Abschnitt 38) nimmt das Ausgangssignal V der Bildzelle 22 logarithmisch mit der Helligkeit E zu. Für sehr kleine Helligkeiten (zweiter Abschnitt 40) ist die Ausgangsspannung V der Bildzelle 22 annähernd unabhängig von der Helligkeit E. Dieser annähernd horizontale Abschnitt der Kennlinie 36 repräsentiert einen Dunkelstrom der Bildzelle 22, der im wesentlichen auf die in der Bildzelle enthaltene Fotodiode zurückgeht. Der Dunkelstrom entsteht dort unter anderem aufgrund thermischer Generation und Rekombination freier Ladungsträger über Störstellen, die in der Raumladungszone der Fotodiode vorhanden sind. Zwischen dem ersten Abschnitt 38 und dem zweiten Abschnitt 40 befindet sich ein Übergangsabschnitt 42, in dem die Kennlinie 36 gekrümmt ist.
Mathematisch läßt sich die in Fig. 3 gezeigte Kennlinie 36 einer Bildzelle 22 durch eine Gleichung der Form
V = k • log (αE + ID) + c (1)
darstellen. Dabei bezeichnet ID den Dunkelstrom, während die Größe c eine von der Temperatur und der Transistorgeometrie abhängige Größe ist. Der Faktor α gibt den Zusammenhang zwischen
der von der Bildzelle 22 erzeugten Stromstärke und der Helligkeit E wieder.
Fig. 4 zeigt eine der Fig. 3 entsprechende Darstellung mehrerer Kennlinien 44, 46, 48, 50 und 52, die unterschiedlichen Bildzellen 22 des Bildsensors 12 zugeordnet sind. In dieser Darstellung ist erkennbar, daß sich die Kennlinien der einzelnen Bildzellen nicht nur hinsichtlich ihrer Dunkelströme, sondern auch hinsichtlich der Faktoren unterscheiden, die die Steigung der Kennlinien bei höheren Helligkeiten angeben. Aufgrund dieser relativ großen Unterschiede zwischen den einzelnen Kennlinien führt eine Addition oder Subtraktion konstanter Werte, wie dies bei dem herkömmlichen Weißabgleich der Fall ist, nicht zu weitgehend übereinstimmenden Kennlinien.
In Fig. 5 ist für zwei feste Helligkeiten E_ und E2 die Verteilung (Anzahl N) der Ausgangsspannungen V angedeutet, wenn in Fig. 4 nicht nur fünf, sondern mehrere hunderttausend Kennlinien aufgetragen werden, die den einzelnen Bildzellen des Bildsensors 12 entsprechen. Die Streuungen der für die einzelnen Bildzellen gemessenen Ausgangsspannungen um die Mittelwerte V_ bzw. V2 herum sind ein Maß für die Stärke des FPN. Je breiter diese Verteilungskurven sind, desto stärker ist das FPN und desto körniger erscheint eine an sich homogene Fläche auf einem Bildschirm oder einem Ausdruck. Aus Fig. 5 geht außerdem hervor, daß der FPN-Effekt selbst von der Helligkeit abhängt.
In Fig. 6 ist für die fünf Kennlinien 44 bis 52 aus Fig. 4 eine Soll-Kennlinie 54 eingetragen, die durch Mittelung der tatsächlichen Ist-Kennlinien 44 bis 52 ermittelt ist. Die Mittelwerte V_ und V2 aus Fig. 5 liegen somit auf der Soll-Kennlinie 54.
Das FPN würde vollständig verschwinden, wenn es gelänge, die tatsächlichen Kennlinien 44 bis 52 durch eine geeignete Transformation auf die Soll-Kennlinie 54 (oder eine anders willkürlich festgelegte Soll-Kennlinie) abzubilden. Eine Transformation der Gleichung ( 1 ) ist allerdings mathematisch sehr aufwendig und daher in Echtzeit nicht von einer FPN-Korrektureinheit zu bewältigen.
Zur Lösung dieses Problems wird nun, wie dies in Fig. 7 dargestellt ist, die Ordinate in einen ersten und einen zweiten Wertebereich 56 bzw. 58 unterteilt, indem ein geeigneter Schwellenwert Vth für die Ausgangsspannung festgelegt wird. In dem ersten Wertebereich 56 wird für die Ist-Kennlinie 52 der auf den Dunkelstrom zurückzuführende erste Abschnitt durch eine annähernd horizontale erste Näherungsgerade 60 angenähert. Im zweiten Wertebereich 58 wird die Kennlinie 52 durch eine zweite, nunmehr geneigte Näherungsgerade 62 angenähert. Der Schwellenwert Vth wird dabei so gewählt, daß die tatsächliche Kennlinie 52 insgesamt möglichst gut durch die beiden Näherungsgeraden 60 und 62 angenähert wird.
Für den zweiten Wertebereich 58 läßt sich die Näherungsgerade 62 durch eine Gleichung der Form
V = ar • log E + br ( 2 )
beschreiben, wobei Vr eine Ausgangsspannung auf der tatsächlichen Kennlinie und ar und br die Koeffizienten der linearen Gleichung (2) darstellen.
Die beiden Koeffizienten ar und br lassen sich in an sich bekannter Weise durch die Methode der kleinsten Abweichungsquadrate (Regressionsanalyse) ermitteln. Hierzu wird für jede Bildzelle einmalig beim Hersteller über den gesamten Helligkeitsbereich hinweg eine Vielzahl von Meßwerten aufgenommen, aus denen dann innerhalb des zweiten Wertebereichs 58 die beiden Koeffizienten ar und br nach der Methode der kleinsten Abweichungsquadrate ermittelt werden.
Genauso wie die Koeffizienten der zweiten Näherungsgerade 62 werden auch die Koeffizienten der ersten Näherungsgerade 60 für alle Bildzellen des Bildsensors 12 bestimmt. Die Kennlinie einer jeden Bildzelle wird somit jeweils durch insgesamt vier Koeffizienten näherungsweise dargestellt.
Um nun eine Transformation der tatsächlichen Bildsignale zu ermöglichen, wird zunächst eine Soll-Kennlinie 54 ermittelt. Dies kann beispielsweise dadurch geschehen, daß zunächst durch Mittelung der für jede Bildzelle bei einer bestimmten Helligkeit aufgenommenen Meßwerte ein Mittelwert für diese Helligkeit bestimmt wird. Durch diese Mittelwerte kann dann ebenfalls im Wege der Methode der kleinsten Abweichungsquadrate eine Näherung durch eine erste und eine zweite Soll-Näherungsgerade 64 bzw. 66 durchgeführt werden. Vorzugsweise werden jedoch aus dem für jede einzelne Bildzelle ermittelten Koeffizienten unmittelbar durch Mittelung die vier Koeffizienten der beiden Soll- Näherungsgeraden 64 und 66 bestimmt, d.h. es gilt z.B. für die zweite Näherungsgerade 66
Vt = a_ • log E + bi (3)
mit
i ~ _ 2-ι a kr "i ~ -1 °rk' ( 4 ) n k=ι n k=ι
wobei V± die Ausgangsspannung der Soll-Kennlinie 54, a_ und b± die Koeffizienten der zweiten Soll-Näherungsgeraden 66 und ark und brk die für jeden Bildpunkt aufgenommenen Meßwerte im zweiten Wertebereich 58 sind. Mit n ist die Anzahl der Bildzellen bezeichnet, für die Kennlinien aufgenommen sind. Entsprechende Gleichungen gelten ebenso für die erste Soll-Näherungsgerade 64 des ersten Wertebereichs 56.
Der Schwellenwert Vth, der die beiden Wertebereiche 56 und 58 voneinander trennt, ist vorzugsweise für jede der Bildzellen 22 unabhängig festlegbar. Ansonsten würden nämlich, wie sich anhand der Fig. 6 leicht erkennen läßt, die annähernd waagerechten Abschnitte der Kennlinien teilweise noch durch die Gleichungen für die geneigten Abschnitte angenähert und umgekehrt.
Eine weitere Verbesserung der Näherung kann dadurch erzielt werden, daß die Ordinate nicht in zwei, sondern in drei oder noch mehr Wertebereiche aufgeteilt wird. In Fig. 8 ist zwischen dem ersten Wertebereich 56 und dem zweiten Wertebereich 58 für die Kennlinie 52 ein dritter Wertebereich 67 eingefügt, der den Übergangsabschnitt 42 der Kennlinie 52 durch eine quadratische Funktion der Form
V. p (log E - E0)2 + pc (5)
annähert, wobei p, E0 und p0 Koeffizienten der Parabelgleichung (5) sind. Pro Bildzelle sind dann allerdings nicht nur vier, sondern insgesamt sieben Koeffizienten in der FPN-Korrektureinheit 26 zu speichern.
In einem besonders bevorzugten Ausführungsbeispiel wird die gewünschte Sollkennlinie in einem ersten Wertebereich durch eine parabelabschnittsförmige Näherungskennlinie und in einem zweiten Wertebereich durch eine Gerade angenähert. Wenn der erste Wertebereich genau die ersten beiden Helligkeitsdekaden abdeckt, ergibt sich ein stetiger und besonders "weicher" Übergang zwischen den Kennlinienabschnitteή. Darüber hinaus läßt sich in diesem Fall die Zahl der erforderlichen Korrekturkoeffizienten auf insgesamt drei pro Bildzelle reduzieren und die Transformation der realen Werte der Bildpunkte auf die Näherungskennlinie ist einfach und in Echtzeit durch ührbar.
Durch Elimination des Terms log E aus den Gleichungen (2) und (3) läßt sich für das in Fig. 7 gezeigte Beispiel die lineare Transformationsgleichung
V0 = a • Vr + b (6)
ableiten, wobei Vc die korrigierte Ausgangsspannung und a und b die Koeffizienten der Transformationsgleichung (6) bezeichnen. Die Koeffizienten a und b leiten sich aus den Koeffizienten ar, br, a_ und b_ der Näherungsgleichungen (2) und (3) durch die Beziehung
a = — und b = b, - — • b (7)
her. Entsprechende Gleichungen (6) und (7) gelten auch für den ersten Wertebereich 56.
Es sind somit für jede Bildzelle zwei Transformationsgleichungen (6) mit jeweils zwei Koeffizienten erforderlich, um tatsächliche Ausgangsspannungen Vr derart in korrigierte Spannungswerte Vc zu transformieren, daß bei einer gegebenen Helligkeit Ex für alle Bildzellen die korrigierten Ausgangsspannungen Vc annähernd übereinstimmen.
Es versteht sich, daß die vorstehend beschriebene FPN-Korrektur gegebenenfalls auch nur für einen Teil der Bildzellen eines Bildsensors durchgeführt werden kann.
Fig. 9 zeigt die Verteilung der korrigierten Ausgangsspannungen Vc für die beiden Helligkeiten Ex und E2. Wie aus einem Vergleich mit Fig. 5 deutlich wird, ist die Streuung der korrigierten AusgangsSpannungen um die Mittelwerte Vx bzw. V2 herum erheblich geringer als bei unkorrigierten Ausgangsspannungen V. Dementsprechend gering ist damit auch das FPN, so daß die Körnigkeit an sich homogener Flächen erheblich und unter Umständen bis unterhalb der Wahrnehmungsschwelle verringert wird.
Fig. 10a zeigt in einer schematischen Darstellung ein erstes Ausführungsbeispiel 26a für den Aufbau einer FPN-Korrektureinheit 26. Das an einem Eingang 68a zugeführte Bildsignal einer bestimmten Bildzelle wird einem Diskriminator 70a zugeführt, der überprüft, ob das Bildsignal oberhalb oder unterhalb des in einem Schwellenwertspeicher 71a gespeicherten Schwellenwertes Vth liegt. Der Schwellenwert Vth ist bei diesem Ausführungsbeispiel für alle Bildzellen identisch. Das Ergebnis die-
ser Überprüfung wird an einen Multiplexer 72a übergeben. Durch den Multiplexer 72a lassen sich Werte aus einem ersten Speicher 74a und einem zweiten Speicher 76a auslesen, denen jeweils die Adresse derjenigen Bildzelle zuführbar ist, deren Ausgangsspannung gerade an dem Eingang 68a in digitaler Form anliegt. In dem ersten Speicher 74a sind Koeffizienten a_ und bx der Transformationsgleichung (6) für den ersten Wertebereich 56 aller Bildzellen des Bildsensors 12 gespeichert. In dem zweiten Speicher 76 sind Koeffizienten a2 und b2 der Transformationsgleichung (6) für den zweiten Wertebereich 58 gespeichert.
Der Multiplexer 72a liest nun in Abhängigkeit des von dem Diskriminator 70a übergebenen Ergebnisses aus einem der beiden Speicher 74a oder 76a die Koeffizienten der zu dem ausgewählten Wertebereich gehörenden Transformationsgleichung aus. Die Koeffizienten a_ oder a2 werden einem Multiplizierer 78a zugeführt, in dem das am Eingang 68a anliegende Bildsignal mit dem zugeführten Faktor a_ oder a2 multipliziert wird. Die Koeffizienten b_ oder b2 werden in Abhängigkeit vom ausgewählten Wertebereich einem Addierer 80a zugeführt und zu dem im Multiplizierer 78a veränderten Bildsignal hinzugefügt. An einem Ausgang 82a der FPN-Korrektureinheit 26a kann das korrigierte Bildsignal abgegriffen werden.
Die beiden Speicher 74a und 76a sowie der Schwellenwertspeicher 71a können natürlich auch als getrennte Speicherbereiche in einem gemeinsamen Speicherelement realisiert sein.
Je nach der eingesetzten Chiptechnologie, der Zugriffszeit für die beiden Speicher 74a und 76a und der Auslesefrequenz kann es außerdem zweckmäßig sein, die FPN-Korrektureinheit 26a als
Pipeline-Struktur zu realisieren, in deren Datenwege Register eingefügt sind.
Falls mehr als zwei Wertebereiche vorgesehen sind, so ist die Anzahl der vom Diskriminator 70a unterscheidbaren Wertebereiche durch Vorgabe weiterer Schwellenwerte entsprechend anzupassen. Außerdem sind zusätzliche Speicher vorzusehen, aus denen Koeffizienten vom Multiplexer 72a ausgelesen werden können. Falls die Transformationsgleichung (6) keine lineare Gleichung ist, sondern eine andere Form aufweist, so kann dem durch eine andere Anordnung der Logikbausteine (Multiplizierer 78a und Addierer 80a) Rechnung getragen werden.
Bei der in Fig. 10b dargestellten FPN-Korrektureinheit 26b ist nicht für alle Bildzellen ein gemeinsamer Schwellenwert Vth vorgesehen, wie dies bei der FPN-Korrektureinheit 26a aus Fig. 10a der Fall ist. Vielmehr ist dort für jede Bildzelle ein eigener Schwellenwert Vth in einem SchwellenwertSpeicher 71b gespeichert. Wie oben bereits erwähnt, wird dadurch die Genauigkeit der FPN-Korrektur erheblich verbessert. Der Schwellenwertspeicher 71b ist zu diesem Zweck mit einem Eingang 68b der FPN- Korrektureinheit 26b verbunden, so daß ihm die Adresse derjenigen Bildzelle zuführbar ist, deren Ausgangsspannung gerade an dem Eingang 68b anliegt.
Die in Fig. 10b dargestellte FPN-Korrektureinheit 26b unterscheidet sich von der in Fig. 10a dargestellten FPN-Korrektureinheit 26a ferner dadurch, daß dort ein Addierer 80b und ein Multiplizierer 78b in umgekehrter Reihenfolge miteinander verschaltet sind. Auf diese Weise erfolgt keine Berechnung nach Gleichung (6), sondern nach einer Gleichung der Form
vc = a'(Vr + b') (8)
wobei die Koeffizienten a' und b' aus a und b ableitbar sind.
Bei der in Fig. 10c gezeigten FPN-Korrektureinheit 26c ist anstelle eines Schwellenwertspeichers eine Schwellenwertberechnungseinheit 84c vorgesehen, die unter Verwendung der aus Speichern 74c und 76c zugeführten Koeffizienten für jede Bildzelle unabhängig einen Schwellenwert ermittelt und einem Diskriminator 70c zur Verfügung stellt. Eine derartige Berechnung ist z.B. dann sinnvoll, wenn die Kosten für den für einen Schwellenwertspeicher vorzuhaltenden Speicherplatz höher sind als die Kosten für die Schwellenwertberechnungseinheit 84c.
Die in Fig. lOd gezeigte FPN-Korrektureinheit 26d unterscheidet sich von der in Fig. 10b gezeigten FPN-Korrektureinheit 26b dadurch, daß der Koeffizient aλ ' , der sich aus der Steigung der annähernd horizontalen (Soll-) äherungsgeraden 60 bzw. 64 errechnet, im ersten Wertebereich für alle Bildzellen gleich ist und deswegen nicht aus einem Speicher 74d, sondern aus einem Festwertspeicher 86d geladen wird, der gegebenenfalls auch in einem Multiplexer 72d enthalten oder durch eine schaltungstechnische Verdrahtung ersetzt sein kann. Außerdem wird als Schwellenwert der Koeffizient b_ ' einem Diskriminator 70d zugeführt, so daß hier ebenfalls ein Schwellenwertspeicher entfällt.
Bei der in Fig. lOe gezeigten FPN-Korrektureinheit 26e erfolgt nicht zunächst eine Auswahl von Koeffizienten für die einzelnen Wertebereiche und eine anschließende Berechnung der Korrekturwerte Vc, wie dies bei den vorstehend beschriebenen Ausführungsbeispielen der Fall ist. Vielmehr werden bei der FPN-
Korrektureinheit 26e parallel für beide Wertebereiche Korrekturwerte berechnet, die hinter den Addierern 78e abgreifbar sind. Aus den beiden berechneten Korrekturwerten wird dann in einem Multiplexer 2e ein Korrekturwert ausgewählt und einem Ausgang 82e zur Verfügung gestellt. Der Multiplexer 72e wird auch hier von einem Diskriminator 70e angesteuert, der überprüft, ob das Bildsignal oberhalb oder unterhalb des in einem Schwellenwertspeicher 71e gespeicherten Schwellenwertes Vth liegt.
Die in Fig. lOf gezeigte FPN-Korrektureinheit 26f unterscheidet sich von der vorstehend beschriebenen FPN-Korrektureinheit 26e lediglich dadurch, daß der Koeffizient a_ für alle Bildzellen gleich Null ist, was horizontalen (Soll-)Näherungsgeraden im ersten Wertebereich entspricht. Dadurch entfällt einer der bei der FPN-Korrektureinheit 26e nach Fig. lOe erforderlichen Multiplizierer. Selbstverständlich können auch bei den FPN- Korrektureinheiten 26e und 26f die Schwellenwerte auch aus den gespeicherten Koeffizienten ermittelt werden, wie dies weiter oben zu der FPN-Korrektureinheit 26c beschrieben wurde.
Die einzelnen Komponenten der vorstehend beschriebenen FPN- Korrektureinheiten 26a bis 26f können aus digitalen oder auch aus analogen Bauelementen (Multiplizierern 78, Addierer 80 und Multiplexer 72) aufgebaut werden. Bei einem analogen Aufbau entfällt natürlich der eingangsseitige Analog/Digital-Wandler 25. Zusätzlich sind dann die in den Speichern 74 und 76 gespeicherten Koeffizienten mit Hilfe von Digital/Analog-Wandlern in Analogsignale umzuwandeln.