Bildsensorelement und Anordnung von Bildsensorelementen
Die vorliegende Erfindung betrifft ein verbessertes Bildsensorelement mit den Merkmalen des Oberbegriffs von Anspruch 1 sowie eine verbesserte Anordnung von Bildsensorelementen mit den Merkmalen des Oberbegriffs von Anspruch 6
Zur Aufnahme von Stand- oder Bewegtbildern in der Videotechnik haben sich in den letzten Jahren im wesentlichen zwei Techniken etabliert, die Photodiodenarrays und die CCD-Sensoren Zur Zeit sind über 90% aller verwendeten Sensoren in CCD- Technik realisiert
Das Photodiodenarray ist die altere Technik, hat aber in seiner ursprunglichen Form einige technologisch bedingte Nachteile, die zu geringerer Empfindlichkeit, höherem Rauschen, niedrigerer Geschwindigkeit etc führten, weshalb es von den CCD- Sensoren weitgehend verdrangt worden ist
CCD-Sensoren haben hingegen den Nachteil, daß sie aufgrund der zusätzlichen Komplexität des Herstellungsverfahrens und der erhöhten Herstellungskosten nicht leicht mit CMOS-Schaltkreisen integriert werden können Auch sind CCD-Sensoren Vorrichtungen mit einer hohen Kapazität, so daß eine on-chip CMOS-
Ansteuerelektronik für Anordnungen mit großer Flache eine sehr hohe Leistung verbrauchen wurde (2 bis 3 W) Darüber hinaus sind für CCD-Sensoren viele verschiedene Spannungsniveaus notwendig, um eine hohe Effizienz der Ladungsubertragung sicherzustellen
Dagegen haben die Fortschritte in der Siliziumtechnologie es ermöglicht, bei einem Photodiodenarray jedem Bildaufnahmeelement eine eigene aktive Verarbeitungseinheit (z B Verstarker etc ) hinzuzufügen und so die bestehenden Nachteile der Photodiodenarrays zu beseitigen und insbesondere sogar neue Möglichkeiten der Bildaufnahme zu schaffen Diese Technik ist unter dem Begriff „APS" („Active Pixel Sensor") bekannt Die APS-Technik wird derzeit als für die Zukunft technologisch sehr bedeutsam angesehen
Verbesserungen der bekannten Systeme sind gemacht worden, um die Bildschärfe und die Auflosung zu erhöhen, damit ein scharfes, gut aufgelöstes und kontrastreiches Bild bei einer vorgegebenen Anzahl von Bildelementen dargestellt werden kann In diesem Zusammenhang ist beispielsweise festgestellt worden, daß eine hexagonale Anordnung sechseckiger Elemente, wie sie auch in der Retina von Mensch und Tier vorhanden ist, sehr vorteilhaft ist Mit einer solchen Anordnung ist aber das Problem verbunden, daß eine numerische Bildverarbeitung deutlich erschwert ist, da die einzelnen Bildsensorelemente nicht in einer Anordnung von Spalten und Reihen angeordnet sind
In Hinblick auf eine Optimierung der Anordnung von Bildsensorelementen haben die bekannten CCD-Sensoren jedoch den Nachteil, daß die CCD-Technik hinsichtlich der Formgebung und Anordnung der Bildpunkte wenig Freiheitsgrade bietet In der Praxis sind nur rechteckige Formen von Bildsensorelementen, die zu einer regulären kartesischen Matrix zusammengefugt werden, von Bedeutung
In der US-Patentschrift Nr 3 971 065 wird ein Bildsensor beschrieben, bei dem drei verschiedene Typen von Bildsensorelementen, die jeweils aus CCD-Sensoren bestehen, dergestalt angeordnet sind, daß gleiche Typen von Bildsensorelementen jeweils in der Form von Gittern angeordnet sind Genauer gesagt stellen die verschiedenen Typen von Bildsensorelementen jeweils eine erste Farbe, beispielsweise grün, eine zweite Farbe, beispielsweise rot, sowie die allgemeine Helligkeit dar Die Bildsensorelemente für die allgemeine Helligkeit sind dabei in der Form eines Schachbrettmusters angeordnet, wahrend die Bildsensorelemente für die erste Farbe die Zwischenräume in einer ersten Schachbrettmusterreihe, die Bildsensorelemente für die zweite Farbe die Zwischenräume in der zweiten Schachbrettmusterreihe und so weiter auffüllen Dadurch sollen einerseits die hohe Komplexität der optischen Konstruktion und andererseits die mit den herkömmlichen Verfahren verbundenen Probleme der Bild-Lagegenauigkeit bei hintereinander angeordneten Filtern für verschiedene Farben vermieden werden
Im Vergleich zu den CCD-Sensoren ist bei APS-CMOS-Sensoren dagegen prinzipiell fast jede beliebige Form mit beliebiger Gesamtanordnung realisierbar.
Bei einem bekannten AP-Sensor, wie er beispielsweise aus „CMOS Active Pixel Image Sensors for Highly Integrated Imaging Systems", Sunetra K. Mendis et al., IEEE Journal of Solid-State Circuits, Vol. 32, No. 2, February 1997, oder „Smar Image Sensors for Optical Microsystems", Peter Seitz et al., Laser und Optoelektronik 28(6)/1996, bekannt ist, besteht ein einzelnes Sensorelement im wesentlichen aus drei Komponenten, die wie in Fig. 4a gezeigt angeordnet sind: 1 . aus einer lichtempfindlichen Fläche 101 in Form einer Photodiode oder eines Phototransistors;
2. aus einem Schaltungsteil 100, der beispielsweise mehrere CMOS-Transistoren umfaßt und im allgemeinen für den Lichtnachweis nicht verwendbar ist, zum Erzeugen eines dem einfallenden Licht entsprechenden Signals und Verarbeiten des Signals;
3. aus einem Verdrahtungteil 102, der die einzelnen Sensorbildelemente zu einem Gesamtsensor verbindet.
Die Anordnung der Komponenten der einzelnen Sensorelemente erfolgt nach schaltungs- und layouttechnischer Notwendigkeit und ist für eine spätere
Weiterverarbeitung der Bildinformation nicht unbedingt optimal. Die Sensorelemente werden dann gemäß Fig. 4b zu einer Matrix oder zu anderen Strukturen angeordnet.
Bei der Optimierung der bekannten Bildsensorelemente und Bildsensoren findet sich der Fachmann im Spannungsfeld der folgenden gegenläufigen Tendenzen wieder.
1 . Einerseits lassen sich Bildschärfe und Auflösung erhöhen, indem man die Anzahl der Bildsensoren erhöht und das Verhältnis lichtempfindliche Fläche zu Bildsensoroberfläche vergrößert.
2. Andererseits hängen Kosten und Schnelligkeit des sich ergebenden Bildsensors von der Anzahl der Sensorelemente ab. D.h. je mehr Sensorelemente, desto langsamer und teurer wird der sich ergebende Bildsensor.
Der vorliegenden Erfindung liegt somit die Aufgabe zugrunde, das bekannte Bildsensorelement sowie die bekannte Anordnung von Bildsensorelementen dahingehend zu verbessern, daß die Kosten des sich aus den Bildsensorelementen ergebenden Bildsensors verringert werden, seine Schnelligkeit erhöht wird und daß gleichzeitig die Bildschärfe und Auflösung des Bildsensors nicht beeinträchtigt werden.
Gemäß der vorliegenden Erfindung wird die Aufgabe durch die kennzeichnenden Merkmale von Patentanspruch 1 gelöst. Gemäß der vorliegenden Erfindung wird darüber hinaus auch noch eine Anordnung von Bildsensorelementen nach Anspruch 6, ein Bildsensor nach Anspruch 9 sowie dessen Verwendung nach Anspruch 10 bereitgestellt.
Die vorliegende Erfindung beruht im wesentlichen auf der Erkenntnis, daß die Leistungsfähigkeit eines Bildsensors dadurch erhöht werden kann, daß die Schwerpunkte der lichtempfindlichen Flächen der einzelnen Bildsensorelemente in Form von zwei oder mehr zueinander versetzt angeordneten quadratischen Gittern angeordnet sind, wobei die Gitterlinien jeweils parallel zu den Zeilen bzw. Spalten des aufzunehmenden Bildes sind.
Dabei sind die Schwerpunkte der lichtempfindlichen Flächen der einzelnen
Bildsensorelemente in einer Gitterlinie vorzugsweise derart angeordnet, daß sie auf die Hälfte des Abstands zwischen zwei Schwerpunkten von lichtempfindlichen Flächen der einzelnen Bildsensorelementen der vorangehenden Gitterlinie fallen, wie in Fig. 5 gezeigt. Gemäß einer besonders bevorzugten Ausführungsform wird eine Art Schachbrettmuster, wie in Fig. 2 gezeigt, realisiert. Die Bildinformation der zwischen den lichtempfindlichen Flächen liegenden Bereiche der jeweiligen Bildsensorelemente kann dann durch bekannte Interpolationsverfahren, wie sie
beispielsweise aus dem Beitrag von Kris S. Balch „Replacing 16 mm Film Calmeras with High Definition Digital Cameras" in „Ultrahigh- and High-Speed Photography, Videography, and Photonics '94", Proceedings of SPIE - The International Society for Optcial Engineering, 27-28 July 1994, Vol. 2273, bekannt sind, gewonnen werden
Dabei kann solch ein Gitter zweckmäßigerweise realisiert werden, indem man einzelne Bildsensorelemente, die wie in Patentanspruch 1 definiert ausgestaltet sind, zu einem beliebig großen Sensor anordnet
Somit wird die Tatsache, daß bei einem bekannten CMOS-Sensor in APS-Technik nur ein Teil der Sensorflache für den Lichtnachweis zur Verfugung steht, gemäß der vorliegenden Erfindung gezielt ausgenutzt, indem lichtempfindliche und nicht- lichtempfindliche Teile so angeordnet werden, daß mit Hilfe von Interpolationsverfahren ein Bild rekonstruiert werden kann, das qualitativ hochwertiger als ein Bild mit gleicher Anzahl von Bildsensorelementen aber anderer Form und Anordnung der Bildsensorelemente ist Gemäß der vorliegenden Erfindung können für die Interpolation bekannte Interpolationsverfahren verwendet werden
Das Interpolationsverfahren kann direkt in die Hardware implementiert werden, so daß das Interpolationsverfahren nicht zeitkritisch ist, d h zu einer Verzögerung des Bildaufnahmeverfahrens fuhrt Darüber hinaus kann das Interpolationsverfahren zeitlich nach hinten verschoben werden, so daß es nicht wahrend der Bildaufnahme sondern erst wahrend der Bildverarbeitung ablauft
Die Recheneinheit zur Interpolation der gewonnenen Daten kann auch in dem Schaltungstell von jedem einzelnen Bildsensorelement enthalten sein
Gemäß der vorliegenden Erfindung werden die folgenden Vorteile erzielt
1 Die technologische Randbedingung, daß nicht die ganze
Bildsensorelementoberflache für die lichtempfindlichen Elemente bzw Flachen zur Verfugung stehen (Fullfaktor « 100%, da die Schaltung in jedem Bildsensorelement
Platz benötigt), wird gezielt ausgenutzt Es werden Strukturen realisiert, welche die Anwendung einfacher, sehr wirkungsvoller Interpolationsverfahren ermöglichen Die Effektivität dieser Interpolationsverfahren beruht darauf, daß nicht die vollständige Sensorflache bzw Bildsensorelementflache mit lichtempfindlichen Elementen belegt ist, sondern lichtempfindliche und lichtunempfindliche Regionen entsprechend angeordnet sind
2 Einfachste Umrechnung der gewonnenen Bildpunkte in ein Bildformat in Form einer regulären kartesischen Matrix zur Weiterverwendung in der Bildverarbeitung Die „blinden Felder" der Schachbrettstruktur können leicht durch Interpolation gewonnen werden, und man erhalt somit ein Bild mit quadratischen Bildpunkten
3 Da für ein qualitativ gleichwertiges Bild durch die erfindungsgemaße Vorrichtung effektiv weniger Bildpunkte im Bildsensor erforderlich sind, können schnellere und kostengünstigere Kameras realisiert werden
Die vorliegende Erfindung wird nun unter Bezugnahme auf die begleitenden Zeichnungen detaillierter beschrieben
Fig 1 zeigt eine beispielhafte Ausfuhrungsform eines erfindungsgemaßen Bildsensorelements
Fig 2 zeigt eine beispielhafte Anordnung von erfindungsgemaßen Bildsensorelementen, wie sie beispielsweise in Fig 1 gezeigt sind
Fig 3 zeigt einen erfindungsgemaßen Bildsensor mit der in Fig 2 gezeigten Anordnung von Bildsensorelementen
Fig 4a zeigt ein herkömmliches Bildsensorelement, und Fig 4b zeigt einen herkömmlichen Bildsensor
Fig 5 zeigt eine beispielhafte Anordnung der Schwerpunkte der lichtempfindlichen Flachen der einzelnen Bildsensorelemente gemäß einer bevorzugten Ausfuhrungsform der vorliegenden Erfindung
Fig 6a zeigt ein weiteres, nicht erfindungsgemaßes Bildsensorelement, das gemäß Fig 6b zu einer erfindungsgemaßen Anordnung angeordnet werden kann
Fig 6c zeigt eine erfindungsgemaße Anordnung der in Fig 4a gezeigten Bildsensorelemente
Ein wie in Fig 1 a gezeigtes Bildsensorelement gemäß der vorliegenden Erfindung ist rechteckig ausgebildet und weist eine vorbestimmte Lange und eine vorbestimmte Breite auf Gemäß einer bevorzugten Ausfuhrungsform betragt das Verhältnis zwischen Lange und Breite 2 zu 1 , aber es sind auch andere geeignet ausgewählte Verhaltnisse denkbar Ein Teil (201 ) des Bildsensorelements ist dabei für das lichtempfindliche Element, beispielsweise eine Photodiode oder einen Phototransistor vorgesehen, wahrend ein weiterer Teil (200) für den lichtunempfindlichen Schaltungsteil vorgesehen ist
Wie in Fig 1 b gezeigt, wird gemäß der vorliegenden Erfindung vorzugsweise die lichtempfindliche quadratische Flache an den Ecken beschnitten, um Platz für die Verdrahtung zu schaffen Dadurch entsteht eine achteckige Form der Photodiode bzw des Phototransistors 202 Somit ist, wie in Fig 1 b gezeigt, das lichtempfindliche Element so angeordnet, daß die lichtempfindliche Flache einen Abschnitt des Bildsensorelements im wesentlichen auf seiner ganzen Breite bedeckt Dabei kann jedoch gemäß der vorliegenden Erfindung die lichtempfindliche Flache jede beliebige Form aufweisen, beispielsweise eine sechseckige, viereckige oder Kreisform oder aber auch eine beliebige unregelmäßige Form Für die vorliegende Erfindung ist lediglich wichtig, daß sie einen Abschnitt des Bildsensorelements im wesentlichen auf seiner ganzen Breite bedeckt Dabei heißt „im wesentlichen auf seiner ganzen Breite" vollständig bis auf kleinere Bereiche, die zum Bereitstellen von Verdrahtungstellen ausgespart worden sind
Gemäß der vorliegenden Erfindung werden die bekannten oder erfindungsgemaßen Bildsensorelemente so angeordnet, daß die Schwerpunkte der lichtempfindlichen Flachen der einzelnen Bildsensorelemente in Form von zwei oder mehr zueinander versetzt angeordneten quadratischen Gittern angeordnet sind, wobei die Gitterlinien jeweils parallel zu den Zeilen bzw Spalten des aufzunehmenden Bildes sind Das heißt, je nachdem, in welcher Orientierung man den Bildsensor betrachtet, stellen die einzelnen Gitterlinien entweder die Reihen oder die Spalten des aufzunehmenden Bildes dar
Dabei sind die Schwerpunkte der lichtempfindlichen Flachen der einzelnen Bildsensorelemente in einer Gitter nie vorzugsweise derart angeordnet, daß sie auf die Hälfte des Abstands zwischen zwei Schwerpunkten von lichtempfindlichen Flachen der einzelnen Bildsensorelementen der vorangehenden Gitterhnie fallen, wie in Fig 5 gezeigt Gemäß einer besonders bevorzugten Ausfuhrungsform der vorliegenden Erfindung wird eine Art Schachbrettmuster, wie in Fig 2 gezeigt, realisiert
Die Verdrahtung der Bildsensorelemente erfolgt dabei gemäß Fig 3 Die Große der abgeschnittenen Ecken wird dabei gerade so groß ausgewählt, wie es für die Verdrahtung (400) erforderlich ist
Obwohl für die erfindungsgemaße Anordnung von Bildsensorelemente die Ausgestaltung der einzelnen Bildsensorelement gemäß Anspruch 1 zweckmäßig ist, ist die vorliegende Erfindung keineswegs darauf beschrankt, daß nur derartige Bildsensorelemente für die erfindungsgemaße Anordnung verwendet werden können Bei einer erfindungsgemaßen Anordnung gemäß Anspruch 6 können die einzelnen Bildsensorelemente auch wie in Fig 6a oder auch Fig 4a gezeigt aufgebaut sein Die Fig 6b und 6c zeigen Anordnungen von Bildsensorelementen, die jeweils wie in Fig 4a oder 6a aufgebaut sind
Bei Betrieb des Bildsensors wird in den lichtempfindlichen Flächen der einzelnen Bildsensorelementen durch das einfallende Licht ein Photostrom erzeugt, der räumlich über die Größe des Bildsensorelements und zeitlich über die Belichtungszeit in einer nicht gezeigten Verarbeitungseinrichtung aufintegriert wird, so daß sich ein der jeweiligen Graustufe ergebendes Bildsignal ergibt. Die Bildsignale der lichtunempfindlichen Teile der Bildsensorelemente werden in der nicht gezeigten Recheneinheit durch bekannte Interpolationsverfahren gewonnen. Durch diese Technik läßt sich bei einer festliegenden Anzahl von Bildsensorelementen die Auflösung erhöhen, d.h. wenn die lichtempfindliche Fläche jeweils die Hälfte des Bildsensorelements einnimmt, verdoppeln, beziehungsweise bei einer festgelegten Auflösung die Anzahl an Bildsensorelementen verringern, d.h. wenn die lichtempfindliche Fläche jeweils die Hälfte des Bildsensorelements einnimmt, halbieren, wodurch die Kosten verringert und die Schnelligkeit des Bildsensors erhöht wird.
Das erfindungsgemäße Bildsensorelement kann auch ein Längen-Breiten-Verhältnis von 3:1 oder mehr aufweisen, wobei die lichtempfindliche Fläche auf einem Drittel oder weniger des Bildsensorelements angeordnet ist. Ebenso ist denkbar, daß das erfindungsgemäße Bildsensorelement ein Längen-Breiten-Verhältnis von 4: 1 aufweist, wobei die lichtempfindliche Fläche die Hälfte des Bildsensorelements ausfüllt und mittig auf dem Bildsensorelement angeordnet ist.
Der erfindungsgemäße Bildsensor kann aufgrund seiner erhöhten Schnelligkeit vorteilhafterweise in Hochgeschwindigkeitskameras, beispielsweise für Hochgeschwindigkeitsvideoauf nahmen, verwendet werden. Beispielsweise kann für eine Kamera mit 1000 Bildern/Sekunde ein Bildsensor mit 5122 herkömmlichen Sensorelementen verwendet werden. Gemäß der vorliegenden Erfindung liefert ein Bildsensor mit 256 x 512 erfindungsgemäßen Sensorelementen 5122 Bildpunkte bei vergleichbarer Bildqualität in einer Kamera mit 2000 Bildern/Sekunde.