WO2014198248A2

WO2014198248A2 - Plenoptisches bildgebungsverfahren

Info

Publication number: WO2014198248A2
Application number: PCT/DE2014/000272
Authority: WO
Inventors: Holger Sommer
Original assignee: Technische Universität Dortmund
Priority date: 2013-06-10
Filing date: 2014-06-03
Publication date: 2014-12-18
Also published as: DE102013009634A1; WO2014198248A3; DE102013009634B4

Abstract

Plenoptisches Bildgebungsverfahren zur Erzeugung einer 2D- oder 3D-Bilddarstellung von Objekten, aufweisend zumindest eine Mikrolinsen-Anordnung und zumindest einen Pixelsensor, wobei Strahlung, die aus einer Mikrolinsen-Anordnung auf einen Pixelsensor trifft, in den Gegenstandsraum rückberechnet wird.

Description

Plenoptisches Bildgebungsverfahren

Die Erfindung betrifft ein plenoptisches Bildgebungsverfahren und die Verwendung eines solchen Verfahrens zur Erzeugung einer 2D- oder 3D- Bilddarstellung von Objekten durch Aufnehmen eines plenoptischen Bildes mittels einer plenoptischen Kamera, die zumindest ein Objektiv, zumindest eine Mikrolinsen-Anordnung und zumindest einen Pixelsensor aufweist, wobei das plenoptische Bild aus einer Mehrzahl von Mikrolinsenbildern besteht und ein Bildmerkmal in mehreren benachbarten Mikrolinsenbildern identifiziert wird.

Bei handelsüblichen Kameras besteht der Lichtweg im Wesentlichen aus einem Objektiv und einer Bildebene - im Falle einer digitalen Kamera befindet sich dort der Bildsensor. Lichtstrahlen fallen aus der Umgebung in das Objektiv ein, werden dort gebrochen und auf einen Bildsensor geleitet. Die einzelnen Pixel repräsentieren anschließend das eingefallene Licht. Welchen Weg einzelne Lichtstrahlen genommen haben lässt sich aber mit einer konventionellen Kamera nicht bestimmen. Es wird lediglich ein 2D-Foto aufgenommen.

Bildgebungsverfahren wie sie in plenoptischen Kameras verwendet werden, nehmen aus einer Szene das volle 4D-Lichtfeld auf. Das Lichtfeld beschreibt die Menge des Lichtes, welche an jedem beliebigen Punkt im dreidimensionalen Raum in alle Richtungen fällt. Um sich Lichtfelder einfacher vorstellen zu können, gibt es die sog. plenoptische Funktion. Diese Funktion ist eine idealisierte Funktion, welche das Bild aus jeder beliebigen Position zu jeder beliebigen Zeit beschreibt.

Plenoptische Kameras sind aus diesem Grund herkömmlichen Kameras überlegen. Neben dem Verschieben des Betrachtungswinkels der aktuellen Szene, dem Erstellen stereoskopischer Fotos oder der Refokussierung eines falsch fokussierten Gegenstandes im Nachhinein besteht auch die Möglichkeit einen sehr großen Tiefenbereich eines Fotos scharf abzubilden. Mit dem Gewinn dieser Möglichkeit geht aber auch ein großer Auflösungsverlust einher, welcher - wenn gewünscht - nur durch enorme Vergrößerungen der Apparatur ausgeglichen werden kann.

|Bestätigungskopie| So ist ein Verfahren zur plenoptischen Bilddarstellung von Todor Georgiev et al. „Spatio-Angular Resolution Tradeoff in Integral Photography" bzw. "Focused Plenoptic Camera and Rendering" in Journal of Electronic Imaging 2010, 19 beschrieben. Darin wird ein plenoptisches Bildgebungsverfahren offenbart, wobei eine Linsenanordnung bereits vor dem Objektiv einer unmodifizierten Kamera ein plenoptisches Bild erzeugt, welches durch eine Lineartransformation wieder korrigierbar ist. Vorteil dieser Methode ist der relativ einfache und kostengünstige Aufbau und der direkte Erhalt eines 2D-Bildes. Nachteilig ist die nur geringe Schärfe in bestimmten Bereichen der durch die Refokussierung gewonnenen Bilder. Auch Zwischenbilder weisen durch das angewendete Tri-View-Morphing nur eine geringe Schärfe auf, da die Bildqualität umso schlechter ist je weiter entfernt Objekte von der optischen Achse eines Systems abgebildet werden sollen.

Des Weiteren gibt es plenoptische Kameras bei denen Bilder durch Projektion generiert werden. So ist aus der Dissertation von Ren Ng „Digital Light Field Photography" Department of Computer Science of Stanford University, 2006 bekannt, Bilder durch Projektion zu erhalten. Anschließend werden dann die Bilder konventionell gerendert. Bei diesem Verfahren können plenoptische Bilder von den Verzeichnungen des Objektivs korrigiert werden. Dabei wird ein im Computer modelliertes Objektiv der plenoptischen Kamera genutzt, um Aberrationen zu korrigieren. Lichtstrahlen werden in einer Computersimulation vom Pixelsensor durch dieses modellierte Objektiv gerechnet, daraufhin werden die Lichtstrahlen durch ein theoretisches, vollkommen verzeichnungsfreies Objektiv wieder auf den simulierten Sensor gerechnet. Anschließend werden dann die Bilder konventionell gerendert. Dieses Aufnahmeverfahren hat jedoch den Nachteil, dass eine solche Darstellung nicht zu einer Abbildung der realen Größe der photographierten Objekte führt.

Die Druckschrift US 2007/0252074 A1 offenbart eine Methode Licht zu detektieren und dabei die Richtungsinformation des Lichts zu erhalten. Die Aufnahme dieser Information beruht auf dem Prinzip der plenoptischen Kamera, in der Druckschrift "light ray sensor" bezeichnet. Diese Informationen werden genutzt um Bilder zu berechnen, die bestimmte Ebenen der fotografierten Szene scharf darstellen und/oder um Aberrationen des Linsensystems im Bild zu korrigieren. Eine Methode und einen Apparat zur Bildaufnahme mittels einer plenoptischen Kamera beschreibt die Druckschrift US 8,345,144 B1. Insbesondere zur einfachen Aufnahme der Richtungen der eintreffenden Lichtstrahlen erweiternde Verfahren werden beschrieben. Dadurch werden HDR Bilder erzeugt oder Polarisations- Informationen mit der Aufnahme aufgezeichnet. Dazu werden verschiedene

Filterelemente beschrieben, welche jeweils ein Mikrolinsenbild abdecken.

Ein weiteres System zur Aufnahme und Verarbeitung von Bildern mit Hilfe einer plenoptischen Kamera offenbart die Druckschrift US 1012/0050562 A1. Dieses Verfahren nutzt Mikrolinsen verschiedener Brennweiten, um das abzubildende Objekt mit einer gleichbleibend hohen Auflösung entlang der Tiefe des Objekts aufzunehmen. Das Bild wird aus den Aufnahmen der Kamera dreidimensional rekonstruiert indem auf die im Vorhinein bekannte Oberfläche, zum Beispiel bei der Industriellen Inspektion von gleichförmigen Objekten, Pixel vom Sensor auf diese bekannte Oberfläche durch diejenigen Mikrolinsen projiziert werden, welche die höchste Auflösung für diesen Objektpunkt liefern.

Nachteilig am Stand der Technik ist, dass keine Rückberechnung von Strahlen, die von Pixeln identifizierter Bildmerkmale aus verschiedenen Mikrolinsen ausgehen, durch das gesamte optische System in den Gegenstandsraum durchgeführt werden können.

Aufgabe der Erfindung ist es ein Verfahren zu entwickeln, bei der 2D- oder SD- Bilddarstellungen einer plenoptischen Kamera größenkalibriert und verzerrungsfrei widergegeben werden können.

Die Aufgabe wird erfindungsgemäß dadurch gelöst, dass eine Rückberechnen der Ausbreitung der von den Pixeln des identifizierten Bildmerkmals aus den verschiedenen Mikrolinsenbildern ausgehenden Strahlen durch den optischen Aufbau der plenoptischen Kamera, entsprechend der Mikrolinsen-Anordnung und dem Objektiv in den Gegenstandsraum mittels einer Computersimulation erfolgt, wobei die Bestimmung des Ortes im Gegenstandsraum an dem die Strahlen zueinander den geringsten Abstand besitzen als Ursprung des Bildmerkmals im Gegenstandsraum gelten und für viele Bildmerkmale wiederholt werden, sodass möglichst viele Bildpunkte im Gegenstandsraum bestimmt werden.

Bei der Aufnahme einer Landschaft durch einen klassischen, analogen Photoapparat wird die Aufnahme einer Landschaft durch das Objektiv verzeichnet. Dadurch erscheinen gerade Linien als gekrümmt und Bildbereiche gleicher Größe werden verschieden groß dargestellt. Stellt man das aufgenommene Negativ mit einem Dia- Projektor dar, so kommen zu den Verzeichnungen während der Aufnahme noch die Verzeichnungen des Objektivs des Dia-Projektors hinzu.

Diese Verzeichnungen können durch das erfindungsgemäße Vorgehen vollständig eliminiert werden: Benutzt man für die Projektion das gleiche Objektiv wie für die Aufnahme, so wird das Bild von seinen Verzeichnungen vollständig korrigiert, da sich Lichtstrahlen T-symmetrisch ausbreiten. Erfindungsgemäß sind unter Objektiven Bauteile zu verstehen, welche Strahlung modifizieren, d.h. an ihnen erfolgt eine Brechung, Beugung, (Teil-)Absorption, Reflexion oder Selektion von Strahlung. Erfolgt die Abbildung in einen Gegenstandsraum, der sich in gleicher Entfernung zum Projektor befindet wie vorher das Motiv zur Kamera, so entsprechen die Maße der Projektion genau den Maßen der Aufnahme in natura: Die Maßtreue gilt nur für die Ebene des Motivs, welche bei der Aufnahme genau so weit von der Kamera entfernt war wie nun der Projektor von der Leinwand. Eine analoge Überlegung gilt für einen digitalen Projektor oder für eine digitale Kamera und die Simulation der Projektion mit Hilfe einer geeigneten Software. Überträgt man ein solches Verfahren der realen Projektion durch dasselbe Objektiv, durch welches die Aufnahme entstand, auf die plenoptische Kamera, so werden Bilder erzeugt, indem Licht der Pixel des Pixelsensors, die Mikrolinsenanordnung sowie das Objektiv der Kamera in den Gegenstandsraum zurückberechnet werden, wobei dann im Gegenstandsraum eine virtuelle Leinwand die Lichtstrahlen detektiert und aus ihnen eine Bilddatei formt. Diese Rückberechnung der Strahlen meint die physikalisch korrekte Wegberechnung eines Lichtstrahls vom Pixelsensor durch optische Elemente in den Gegenstandsraum mit Hilfe eines Computers. Die in dem erfindungsgemäßen Verfahren verwendete Mikrolinsen-Anordnung kann einen Bereich von 1 bis 100 000 000 Mikrolinsen in einer 1-, 2- oder 3-dimensionalen Anordnung umfassen. Diese Anordnung kann eine eindimensionale lineare, zweidimensional quadratische oder hexagonale Anordnung oder eine dreidimensionalen Anordnung von Mikrolinsen darstellen. Ein Beispiel für die dreidimensionale Anordnung sind Mikrolinsen auf der gekrümmten Fläche einer Kugelhalbschale.

Allgemein sind Mikrolinsen Elemente, welche geeignet sind Strahlung zu

manipulieren, zum Beispiel zu fokussieren zu selektieren und/oder zu reflektieren. Beispiele solcher Linsen sind Glaslinsen für optisches Licht, aber auch einfache (Loch)-Blenden, Zonenplatten für Röntgenstrahlung, Kristalle als akustische Linsen für Schall aber auch elektrische oder magnetische Felder die zum Beispiel

Strahlungsteilchen ablenken können. Gattungsgemäße Mikrolinsen haben einen Durchmesser in einem Bereich von 0,1 Mikrometer bis zu einem Meter und können mit einer Blende fest verbunden sein, welche die Menge der Strahlung, welche durch eine Mikrolinse gelangt vermindert. Einzelne oder alle Mikrolinsen können mit verschiedenen Filtern versehen sein, welche nur die Strahlung einer bestimmten Frequenz oder einer bestimmten Polarisation durchlassen. Für Röntgenstrahlung werden Linsen verwendet, die Röntgenstrahlung fokussieren. Neben

Röntgenoptiken, wie auf der Braggreflexion basierenden Röntgenspiegeln,

Vielschichtsystemen und Fresnel-Zonenplatten, werden refraktive Röntgenlinsen benutzt.

Im Gegensatz zu einer Linse für sichtbares Licht sind die refraktiven Röntgenlinsen (CRL^'s) konkav, weil die Brechzahl kleiner als eins ist. Man kann, wenn man viele einzelne Linsen hintereinander stapelt, die schwache Brechkraft einer Einzellinse kompensieren und so eine kurze Brennweite erreichen. In refraktiven Röntgenoptiken wird die Richtung der Röntgenstrahlung durch Brechung an den Grenzschichten zwischen Materialien mit unterschiedlichen Brechungsindizes geändert. Die

Brechung wird durch das Snellsche Gesetz beschrieben. Da der Brechungsindex für Röntgenlicht kleiner als eins ist, sind Röntgensammellinsen in der Mitte dünner als an ihren Rändern, haben also eine bikonkave Form. Eine parabolische Form der brechenden Flächen ist gut geeignet, parallel zur optischen Achse einfallendes Röntgenlicht zu fokussieren. Die Mikrolinsen innerhalb einer Mikrolinsenanordnung können dieselben optischen Eigenschaften besitzen oder auch verschiedene optische Eigenschaften (zum Beispiel Brennweiten oder Durchmesser). Die verschiedenen optischen Eigenschaften können zum Beispiel so über die Anordnung verteilt sein, dass sie auf das abzubildende Objekt abgestimmt sind und es so in seiner Gänze mit hohem Informationsgehalt abbilden können, wobei mit zunehmenden Abstand vom Mittelpunkt der Mikrolinsen-Anordnung eine optische Eigenschaft wie zum Beispiel die Brennweite kontinuierlich sinken kann. Auch eine alternierende Anordnung der Mikrolinsen mit verschiedenen optischen Eigenschaften ist denkbar. Die Mikrolinsen innerhalb einer Mikrolinsenanordnung können insofern dieselbe Brennweite besitzen oder auch verschiedene Brennweiten. Die verschiedenen Brennweiten können zum Beispiel so über die Anordnung verteilt sein, dass sie auf das abzubildende Objekt abgestimmt sind und es so in seiner Gänze mit hohem Informationsgehalt abbilden können, wobei mit zunehmenden Abstand vom Mittelpunkt der Mikrolinsen- Anordnung die Brennweite sinkt. Die Brennweite der Mikrolinsen kann dabei wenige Mikrometer ausmachen, sie kann jedoch auch von einigen Millimeter bis hin zu einem Meter betragen. Bei Röntgenstrahlung müssen beispielsweise hunderte Einzellinsen mit sehr kleinen Krümmungsradien präzise in einer Reihe ausgerichtet werden, um eine Brennweite von etwa einem Meter zu erhalten.

Die im erfindungsgemäßen Verfahren verwendeten Pixelsensoren können eine 1-, 2- oder 3-dimensionale Anordnung von Sensoren aufweisen, welche empfindlich für Strahlung sind. Die Anordnung kann sowohl eindimensional linear als auch zweidimensional quadratisch als auch beliebig dreidimensional sein. Ein Sensor kann dabei eine Größe in einem Bereich von 1 Nanometer bis zu einigen Metern haben.

Strahlung im Sinne der Erfindung soll elektromagnetische Strahlung im Spektrum von 0,1 Hertz bis 10²⁵ Hertz, insbesondere Röntgenstrahlung, Gammastrahlung, Infrarotstrahlung, UV-Strahlung, Strahlung des sichtbaren Spektrums, Radiowellen, mechanische Wellen, insbesondere Schallwellen in einem Frequenzbereich von 1/100 Hertz bis 100 Terraherz sowohl in liquiden, als auch in festen und gasförmigen Medien, sowie Teilchenstrahlung wie zum Beispiel Alphastrahlung, Betastrahlung, Protonenstrahlung im Bereich von 1 eV bis 100 TeV. Bei der Verwendung von mechanischen Wellen, Teilchen- und von Röntgenstrahlung ist die Anordnung eines Objektivs zur Bilddarstellung innerhalb der plenoptischen Kamera nicht erforderlich. Mit Hilfe der Röntgenstrahlung können mit dem erfindungsgemäßen Verfahren zum Beispiel die dreidimensionale Struktur des Skeletts beziehungsweise Strukturen einzelner Knochen untersucht werden. Die Bildgebung mit Hilfe von Ultraschall kann zum Beispiel zum Vermessen von Föten, Organen oder Tumoren dienen. So ist insbesondere die akustische Mikroskopie dazu geeignet Bilder mit Hilfe eines zerstörungsfreiem, bildgebenden Verfahren zu erzeugen, das Ultraschall sehr hoher Frequenz verwendet. Diese Technik ist geeignet, um Defekte zu erkennen und Materialeigenschaften oder -Veränderungen zu analysieren. Da das Verfahren besonders effizient auf Grenzflächen zwischen fester bzw. flüssiger Materie und Gas reagiert, kann es insbesondere auch im Bereich der Elektronik und Halbleitertechnik zur Fehleranalyse eingesetzt werden, beispielsweise um Ablösungen, Risse und Hohlräume zu finden. Aber auch in den Materialwissenschaften kann die akustische Mikroskopie zur Untersuchung von Metallgefügen oder von Keramiken eingesetzt werden. In der biologischen und medizinischen Forschung können mit Hilfe dieser Technik Lebewesen, lebende Zellen ohne Einbettung, Trocknung oder Färbung untersucht werden

Um die „virtuelle Leinwand" an die richtige Stelle zu setzen bzw. um Tiefeninformationen aus einer plenoptischen Aufnahme durch diesen Ansatz zu generieren, geht man wie folgt vor: Man identifiziert ein Bildmerkmal in mehreren benachbarten Mikrolinsenbildern, wobei ein Bilddetail mit hohem Färb- oder Helligkeitskontrast genommen werden kann, welches sich in mehreren Mikrolinsenbildern identifizieren lässt zum Beispiel wie in der Augenheilkunde die Kreuzung zweier Venen einer Fundusaufnahme. Unter Mikrolinsenbild ist dabei die Verteilung von Informationen über die Intensität oder die eingestrahlte Wellenlänge zu verstehen, welche sich auf dem Pixelsensor unterhalb einer einzelnen Mikrolinse befindet. Im Allgemeinen ist ein Bereich des Pixelsensors einer Mikrolinse durch den Aufbau fest zugeordnet, so dass dieser Bereich des Pixelsensors nur Strahlung detektieren kann, welche durch die über ihm gelegene Mikrolinsen gelangt ist. Rechnet man in einer Computersimulation des optischen Aufbaus von diesen gleichen Mikrolinsenbilddetails aus den verschiedenen Mikrolinsenbildern jeweils das Pixel des Pixelsensors durch die Mikrolinsenanordnung und das Objektiv in den Gegenstandsraum und macht man dies zum Beispiel für mindestens zwei benachbarte Mikrolinsenbilder, also mindestens zwei Pixel pro Bilddetail, so kann man die Stelle im Gegenstandsraum bestimmen, bei dem die Strahlen zueinander den geringsten Abstand besitzen. Diese Stelle ist der Ursprungsort des Bildpunktes im Gegenstandsraum. Da es sich bei den einzelnen Bildmerkmalen unter den verschiedenen Mikrolinsenbildern um ein und denselben Punkt im Gegenstandsraum handelt, treffen sich die Strahlen an diesem Punkt.

Diesen Vorgang wiederholt man nun für möglichst viele Bilddetails und erhält so viele Punkte im Gegenstandsraum. Ist bekannt, dass es sich bei dem aufgenommenen Objekt um eine Fläche ohne Sprungstellen handelt, so können diese Punkte durch einen geeigneten Algorithmus, beispielsweise durch zweidimensionale Splines zu einer Oberfläche verbunden werden.

Als letzten Schritt kann man nun Pixel für Pixel auf die so erhaltene dreidimensionale Oberfläche im Gegenstandsraum rückrechnen und erhält so zu der topographischen Information auch die Bildinformation also die Färb und Intensitätsinformation. Diese Bildinformation sowie die Topographie entsprechen dann den gleichen Abmessungen wie der photographierte Gegenstand, ohne dass eine Kalibrierung erforderlich ist. Die genaue Kenntnis des Aufbaus des optischen Systems ersetzt die Kalibrierung. Jeder Pixel des Pixelsensors hinter den Mikrolinsen der Mikrolinsenanordnung der plenoptischen Kamera detektiert nur Strahlung, welche aus einem bestimmten Bereich des Objektivs gelangt ist. Bei der klassischen Kamera summiert ein Pixel Strahlen, die durch jeden Bereich des Objektivs gelangt sind, auf. Beim Backtracing der plenoptischen Kamera wird jedoch nur durch den Bereich der optischen Bauteile rückgerechnet, aus dem Strahlen für die Aufnahme gelangen konnten. Dies ist, je nach Art des optischen Aufbaus und der Mikrolinsenanordnung, ein sehr kleiner Bereich. Der Grenzfall macht klar, was passiert: Würde man von jedem Lichtstrahl seinen genauen Weg in die Kamera kennen, könnte man ihn durch genau den gleichen Weg zurückrechnen. Wenn dabei die Form der optischen Elemente bekannt ist, wird er genau dort den Gegenstandsraum durchziehen, von wo er ursprünglich ausgegangen ist. Die klassische Kamera ermittelt aber nicht die Richtung, aus der der Lichtstrahl gekommen ist. Würde man ein Bild aus einer klassischen Kamera ebenfalls zurückrechnen, so müsste man Strahlen durch alle Bereiche des Objektivs zurückrechnen, was bei einer unsymmetrischen Oberflächen die Abbildungsfehler nur noch weiter verstärkt, anstatt sie zu korrigieren.

Ein Beispiel für ein optisches System mit möglicherweise unsymmetrischen Linsen, welches durch die Bildgebung mit dem erfindungsgemäßen Verfahren profitieren kann, ist das Auge des Menschen. Möchte man die Netzhaut Abbilden, so ist man auf die Qualität des optischen Systems des Auges angewiesen. Das heißt, man kann im Allgemeinen nur mit der Qualität aus dem Auge abbilden, mit der auch das Auge seine Umgebung abbildet. In diesem Szenario kann man mit dem erfindungsgemäßen Vorgehen das Auge des Patienten detailliert als optisches Modell in Software nachbilden. Der erfindungsgemäße Vorgang rechnet dann nach der Aufnahme mit einer plenoptischen Kamera die Lichtstrahlen auf dem gleichen Weg in das Auge hinein, wie sie aus dem Auge hinausgelangt sind. Dies führt dann zu einer Korrektion der durch die Aufnahme entstandenen Unschärfen sowie Verzeichnungen und zu einem Abbild der Netzhaut in ihrer ursprünglichen Größe. Die nötigen Informationen für die korrekte Simulation des Patientenauges bieten in der Klinik vorhandene Messgeräte wie zum Beispiel Hornhauttopographen oder Ultraschallvermessungen der Linse des Auges.

Die Vorteile des erfindungsgemäßen Verfahrens liegen insbesondere in der Kalibriertheit, also der Ausmessbarkeit der Aufnahmen. Dies ist wichtig für quantitative Vergleiche zwischen zwei Aufnahmen. So kann zum Beispiel die Netzhaut von Patienten, welche von einer normalen Funduskamera nicht scharf dargestellt werden, weil ihre Hornhautverkrümmung zu stark ist, scharf dargestellt werden. Ein weiterer Vorteil bezieht sich auf die periphere Bildgebung der Retina. Dieser Bereich kann durch das erfindungsgemäße verzeichnungsfrei dargestellt werden.

Das erfindungsgemäße Verfahren kann je nach zu untersuchendem Objekt und je nach Untersuchungsart auf alle Bildgebungsverfahren unterschiedlicher Wellenlängen angewendet werden. So ist es möglich auch Strukturen im Ultraschall, Radiowellen-, IR, VIS und UV Bereich und auch im Röntgenwellenbereich zu untersuchen, wenn Objektiv, Mikrolinsenanordnung, Pixelsensor und der Gegenstandsraum entsprechend ausgestaltet sind. Das erfindungsgemäße Verfahren lässt sich damit auch vorteilhaft in der Industriellen Inspektion einsetzen, beispielsweise um Bauteile auf ihre korrekte Größe und Form zu beurteilen. Dabei ist weder der Einsatz teurer verzeichnungskorrigierter Objektive noch die Projektion von Netzgittern und die Kalibration der Kamera nötig. In der Mikroskopie wird mit Hilfe von Mikrometerskalen auf Objektträgern versucht, die Größe der mikroskopierten Objekte zu bestimmen. Dies wird durch das erfindungsgemäße Verfahren vereinfacht. Der Einsatz des erfindungsgemäßen Verfahrens im Bereich der Endoskopie kann zur größenerhaltenden Abbildung von zum Beispiel Blutgefäßen führen. Das erfindungsgemäße Verfahren wird nun anhand der Figuren 1 bis 3 näher erläutert:

Figur 1 zeigt das Prinzip einer plenoptischen Kamera. Von einem Objektpunkt 1 wird Strahlung 4 auf ein Objektiv 2 ausgesendet und dort abgelenkt. An dem Kollimationspunkt 3 kollimiert die vom Objektpunkt 1 ausgesendete und am Objektiv 2 abgelenkten Strahlung 4. Erst dahinter befindet sich eine Mikrolinsenanordnung 5, welche ein am Kollimationspunkt 3 erzeugtes Zwischenbild des Objektpunktes 1 auf dem Pixelsensor 6 abbildet. Die Mikrolinsenanordnung 5 kann jedoch auch vor dem Kollimationspunkt 3 liegen, was hier jedoch aus Anschauungsgründen nicht dargestellt ist. Man kann sich die Mikrolinsenanordnung 5 mit dem dahinterliegenden Pixelsensor 6 wie eine Anordnung von Kameras vorstellen, welches am Kollimationspunkt 3 das Mikrolinsenbild, aus verschiedenen Blickwinkeln aufnimmt. Jede Mikrolinse 7 der Mikrolinsenanordnung 5 projiziert das Abbild eines Ausschnittes des Mikrolinsenbildes auf den Pixelsensor 6. Im Gegensatz zu einer klassischen Kamera wird die Strahlung 4, die von dem Objektpunkt 1 ausgeht je nach Richtung auf verschiedene Bereiche des Pixelsensors 6, welcher sich hinter der Mikrolinsenanordnung 5 befindet, abgebildet. Durch diese Anordnung bietet die plenoptische Kamera eine erweiterte Tiefenschärfe gegenüber einer klassischen Kamera, wobei die Tiefenschärfe der Aufnahme von der Blendenöffnung eines Objektivs 2 entkoppelt ist.

Figur 2 zeigt das Prinzip des erfindungsgemäßen Verfahrens. Zu benachbarten Mikrolinsenbildern werden mit geeigneten Korrelationsverfahren gleiche Bildmerkmale gesucht, wobei benachbart nicht bedeutet, dass die Mikrolinsenbilder direkt aneinandergrenzen müssen. Die drei Bildmerkmale 8, 9, 10 auf dem Pixelsensor 6 wurden als zum gleichen rekonstruierten Objektpunkt 12 gehörend identifiziert. Die Bildmerkmale 8, 9, 10 werden nun durch das gesamte optische System in den Gegenstandsraum 1 1 links vom Objektiv gerechnet. Man beachte, dass jedes Bildmerkmal 8, 9, 10 verschiedener Mikrolinsen 7 durch verschiedene Bereiche des Objektivs 2 gerechnet wird. Dies ermöglicht die Korrektur von Abbildungsfehlern. Dieser Vorgang muss für viele korrespondierende Bildmerkmale durchgeführt werden, um die Oberfläche des abgebildeten Objektpunkts 12 im Gegenstandsraum 1 1 zu erhalten. Dabei sind die genaue Kenntnis der Größe sowie die genaue Form aller brechenden Flächen und der genauen Brechungsindizes erforderlich. Ebenso muss der genaue Abstand der optischen Elemente zueinander bekannt sein sowie die Dimension aller Aperturen im Lichtweg.

Dort wo die zurückberechnete Strahlung 4 den geringsten Abstand zueinander hat, ist der Ursprung der Bildmerkmale 8, 9, 10. Diese 3D-Koordinate wird im Computer gespeichert.

Die so erhaltenen Koordinaten werden anschließend zu einer dreidimensionalen Fläche verbunden. Nun wird Strahlung 4 aus jedem Pixel auf die dreidimensionale Fläche durch das komplette simulierte optische System gerechnet. Ähnlich der Leinwand eines Dia-Projektors entsteht so ein Bild auf der 3D-Fläche. Bei dieser Rückberechnung wird jeweils der Färb- und/oder Intensitätswert des Pixels dem Punkt auf der 3D-Oberfläche zugeordnet, bei dem die von ihm ausgehende Strahlung 4 die erzeugte 3D-Oberfläche schneidet. Sie hat nun den Färb- und/oder Intensitätswert des ursprünglichen Objekts, wobei so auch die Abmessungen des ursprünglichen Objekts erhalten werden.

Figur 3 zeigt den Abbildungsvorgang der Netzhaut mit Hilfe einer plenoptischen Kamera, wobei der Abbildungsvorgang einer Netzhaut schematisch dargestellt ist. Man erkennt in der horizontalen Schnittzeichnung Objektpunkt 1 in einem schematisch dargestellten Auge 13. Die von dem Objektpunkt ausgehende Strahlung 4 trifft innerhalb des Auges 13 auf die Linse des Auges 14 und anschließend auf die Hornhaut des Auges 15. Dort erfährt die Strahlung 4 eine Ablenkung und triff darauf folgend auf eine zum Beispiel asphärische Linse 16 und wird beim Austritt aus der asphärischen Linse 16 erneut abgelenkt. Hinter dem Kollimationspunkt 3 trifft die Strahlung 4 auf eine Mikrolinsenanordnung 5 und einen Pixelsensor 6. Von dem Pixelsensor 6 ausgehend wird der Objektpunkt analog dem Verfahren unter Figur 2 erläutert wieder in Richtung Auge 13 zurückgerechnet, so dass ein rekonstruierter Objektpunkt 12 der Netzhaut erhalten wird.

Bezugszeichenliste

1 — Objektpunkt

2 - Objektiv

3 - Kollimationspunkt

4 - Strahlung

5 - Mikrolinsenanordnung

6 - Pixelsensor

7 - Mikrolinse

8 - Bildmerkmal

9 - Bildmerkmal

10 - Bildmerkmal

11 - Gegenstandsraum

12 - rekonstruierter Objektpunkt

13 - Auge

14 - Linse des Auges

15 - Hornhaut des Auges

16 — asphärische Linse

Claims

Patentansprüche

1. Plenoptisches Bildgebungsverfahren zur Erzeugung einer 2D- oder 3D- Bilddarstellung von Objekten mit den Schritten i. Aufnehmen eines plenoptischen Bildes mittels einer plenoptischen Kamera, die zumindest ein Objektiv, zumindest eine Mikrolinsen- Anordnung (5) und zumindest einen Pixelsensor (6) aufweist, wobei das plenoptische Bild aus einer Mehrzahl von Mikrolinsebildern besteht; ii. Identifizieren eines Bildmerkmals (8, 9, 10) in mehreren benachbarten Mikrolinsenbildern;

iii. Rückberechnen der Ausbreitung der von den Pixeln des identifizierten Bildmerkmals (8, 9, 10) aus den verschiedenen Mikrolinsenbildern ausgehenden Strahlen durch den optischen Aufbau der plenoptischen Kamera, entsprechend der Mikrolinsen-Anordnung (5) und dem Objektiv (2), in den Gegenstandsraum (11 ), mittels einer Computersimulation.

iv. Bestimmen des Ortes im Gegenstandsraum (11 ), an dem die Strahlen zueinander den geringsten Abstand besitzen, als Ursprung des Bildmerkmals (8, 9, 10) im Gegenstandsraum (11);

v. Wiederholen der Schritte i) bis iv) für viele Bildmerkmale (8, 9, 10), sodass möglichst viele Bildpunkte im Gegenstandsraum (11) bestimmt werden.

2. Plenoptisches Bildgebungsverfahren nach dem Anspruch 1 , wobei eine Aufnahme einzelner Bildmerkmale (8, 9, 10) auf dem Pixelsensor (6) durch mindestens zwei Pixel pro Bildmerkmal (8, 9, 10) erfolgt.

3. Plenoptisches Bildgebungsverfahren nach einem der Ansprüche 1 oder 2, wobei in Schritt iii) bei dem Rückberechnen und der Computersimulation die Größe und Form aller brechenden Flächen der Bildmerkmale (8, 9, 10), die genauen Brechungsindizes sowie die genauen Abstände der Bildmerkmale (8, 9, 10) zueinander berücksichtigt werden, sodass die 3D-Bilddarstellung im Gegenstandsraum (11 ) die realen Größenverhältnisse abgebildeter Objektpunkte (1) ohne Kalibrierung widergibt.

4. Plenoptisches Bildgebungsverfahren nach den Ansprüchen 1 bis 3, wobei die Bildmerkmale (8, 9, 10) im Gegenstandsraum (11) zu einer Oberfläche verbunden werden.

5. Plenoptisches Bildgebungsverfahren nach einem der Ansprüche 1 bis 4, wobei auf die Oberfläche der Bildmerkmale (8, 9, 10) im Gegenstandsraum (11) von ausgewählten oder von allen Pixeln der plenoptischen Aufnahme Strahlen auf die Oberfläche der Bildmerkmale (8, 9, 10) zurückberechnet werden, welche den Färb- und Intensitätswerten der Pixel entsprechen und eine Zuordnung der Werte zur Oberfläche der Bildmerkmale (8, 9, 10) erfolgt.

6. Plenoptisches Bildgebungsverfahren nach einem der Ansprüche 1 bis 5, wobei in Schritt iii) bei dem Rückberechnen und der Computersimulation auch Abbildungsfehler bei der Aufnahme eines Objektpunkts (1) berücksichtig und korrigiert werden, insbesondere Abbildungsfehler des Auges (13) bei der Aufnahme der Netzhaut.

7. Plenoptisches Bildgebungsverfahren nach einem der Ansprüche 1 bis 6, wobei zur plenoptischen Bildaufnahme Strahlung aus dem infraroten, sichtbaren, ultravioletten, Bereich eingesetzt wird.

8. Verwendung eines Bildgebungsverfahrens nach den Ansprüchen 1 bis 7

zur akustischen Mikroskopie und Röntgenmikroskopie, insbesondere zur Erkennung von Defekten zur Analyse von Materialeigenschaften oder - Veränderungen, sowie zur Darstellung von Organen und Tumoren.

9. Verwendung eines Bildgebungsverfahrens nach einem der Ansprüche 1 bis 8 zur Aufnahme der Netzhaut und/oder der Korrektur von Abbildungsfehlern des Auges (13) im Rahmen der Aufnahme der Netzhaut.

10. Verwendung eines Bildgebungsverfahrens nach den Ansprüchen 1 bis 8 zur Anwendung in der Endoskopie und/oder Industriellen Inspektion.