LU102086B1 - Verfahren zur Erstellung einer Bildaufzeichnung - Google Patents

Abstract

Die Erfindung betrifft ein Verfahren zur Erstellung einer plenoptischen Bildaufzeichnung, bei dem mehrere Abbildungen eines Objektbereichs, die mittels einer optischen Einrichtung gleichzeitig nebeneinander auf einer Empfängerfläche erzeugt und digital gespeichert werden, zu Bildaufnahmen weiterarbeitet werden. Erfindungsgemäß erfolgt bei der Weiterverarbeitung automatisch eine Bildkorrektur, bei der zumindest eine der Bildaufnahmen gegenüber der jeweiligen Abbildung geändert wird. Zweckmäßigerweise wird für jede der Abbildungen eine für die jeweilige Abbildung spezifische Bildkorrektur durchgeführt, wobei sich die jeweiligen spezifischen Bildkorrekturen für die einzelnen Abbildungen vorzugsweise voneinander unterscheiden. In einer Ausgestaltung der Erfindung erfolgt bei der Weiterverarbeitung zumindest einzelner der Abbildungen automatisch eine die Bildaufnahme gegenüber der jeweiligen Abbildung ändernde Bildkorrektur derart, dass die Bildaufnahmen aneinander angeglichen werden. Die Erfindung betrifft ferner ein Computerprogrammprodukt, eine Vorrichtung zur Datenverarbeitung und ein Datenträgersignal.

Description

-1- = LU102086 PATENTANWALTE BERNHARDT | WOLFF Beschreibung: K| Lens GmbH, D-66111 Saarbrücken (Deutschland) Verfahren zur Erstellung einer Bildaufzeichnung Die Erfindung betrifft ein Verfahren zur Erstellung einer plenoptischen Bild- aufzeichnung, bei dem mehrere Abbildungen eines Objektbereichs, die mittels einer optischen Einrichtung gleichzeitig nebeneinander auf einer Empfängerfläche erzeugt und digital gespeichert werden, zu Bildaufnahmen weiterarbeitet werden.

Die Erfindung betrifft ferner ein Computerprogrammprodukt, eine Vorrichtung zur Datenverarbeitung und ein Datenträgersignal.

Die WO 2014/124982 A1 beschreibt eine plenoptische Kamera, die ein Objektiv um- fasst, das mehrere Spiegel enthält, die ein Kaleidoskop bilden.

Bei Erstellung einer Bildaufnahme treten Lichtstrahlen durch eine Hauptlinsengruppe in das Objektiv ein, werden durch die Hauptlinsengruppe in das Kaleidoskop gegeben und hinter dem Kaleidoskop von einer weiteren Linsengruppe auf einen Sensor geführt.

Das Kaleidoskop ist derart aufgebaut, dass die genannten Abbildungen, die aufgrund der Wirkung des Kaleidoskops den Objektbereich aus geringfügig unterschiedlichen Blickwinkeln erfassen, aber dennoch einen identischen Objektbereich darstellen, auf dem Sensor nebeneinander in einem 3 x 3 - Raster erzeugt werden.

Dank der Erfassung der Abbildungen aus den unterschiedlichen Blickwinkeln, können u.a. aus den Abbildungen Informationen über die räumliche Position von in den Abbildungen abgebildeten Punkten erlangt werden.

Der Erfindung liegt die Aufgabe zugrunde, die Erstellung einer plenoptischen Bildauf- zeichnung zu vereinfachen.

© -2- LU102086 : Erfindungsgemäß wird diese Aufgabe dadurch gelöst, dass bei der Weiterver-

arbeitung automatisch eine Bildkorrektur erfolgt, bei der zumindest eine der Bild- aufnahmen gegenüber der jeweiligen Abbildung geändert wird.

Schon eine geringe Abweichung von der vorgesehenen Position oder Form von Bau- elementen der optischen Einrichtung kann dazu führen, dass in den Bildern unerwünscht unterschiedliche Abbildungsbereiche erfasst werden oder dass von Abbildung zu Abbildung individuelle Abbildungsfehler wie beispielsweise Ver- zerrungen oder Vignettierungen auftreten.

Dank der erfindungsgemäßen Weiterverarbeitung wird es möglich, die einzelnen den Objektbereich mehrfach auf der Empfängerfläche wiedergebenden Abbildungen automatisch individuell zu korrigieren.

ZweckmäBigerweise wird für jede der Abbildungen eine für die jeweilige Abbildung spezifische Bildkorrektur durchgeführt, wobei sich die jeweiligen spezifischen Bildkorrekturen für die einzelnen Abbildungen vorzugsweise voneinander unterscheiden.

Die abbildungsspezifische Bildkorrektur ist vorteilhaft, weil jede der Abbildungen mittels der optischen Einrichtung über unterschiedliche Strahlengänge neben- einander auf der Empfängerfläche erzeugt werden und die Abbildungen folglich separater Korrekturen bedürfen.

Aufgrund der komplizierten Strahlengänge in der optischen Einrichtung, die Mehrfachreflexionen umfassen, können schon geringe toleranzbedingte Abweichungen der vorgesehenen Anordnungen oder Formen einzelner optischer Bauteile der optischen Einrichtung zu Abbildungsfehlern führen, die sich für jede der Abbildungen unterscheiden und darüber hinaus für die jeweilig verwendete optische Einrichtung charakteristisch sind.

Solche Abbildungsfehler können zur Folge haben, dass in den Bildern unerwünscht unterschiedliche Abbildungsbereiche erfasst werden oder dass von Abbildung zu Abbildung individuelle Abbildungsfehler wie beispielsweise Verzerrungen oder Vignettierungen auftreten.

Das erfindungsgemäße Verfahren wird in der bevorzugten Ausführungsform der Erfindung von einem Computer ausgeführt.

In einer Ausgestaltung der Erfindung erflogt bei der Weiterverarbeitung zumindest einzelner der Abbildungen automatisch eine die Bildaufnahme gegenüber der jeweiligen Abbildung ändernde Bildkorrektur derart, dass die Bildaufnahmen aneinander angeglichen werden.

Durch eine Angleichung der aus den einzelnen Abbildungen gebildeten Bild- aufnahmen welche insbesondere die Anordnung, die Intensität und/oder die Farbe

_3- LU102086 : der Bildpunkte in den zwei Dimensionen betrifft, geben die Bildaufnahmen den Objektbereich einheitlich wieder. Deshalb können vergleichsweise einfach aus den Bildaufnahmen einheitliche Bildinformationen fir eine plenoptischen Bild- aufzeichnung generiert werden, die zusätzlich zu den herkömmlichen Bild- informationen in zwei Dimensionen senkrecht zur optischen Achse der optischen Ein- richtung Informationen Uber die räumliche Anordnung und ggf. der Form von Gegenständen im Objektbereich in Richtung parallel zur optischen Achse enthält.

Darüber hinaus wird es durch die Angleichung möglich, jede der Bildaufnahmen zur Erstellung einer Bildwiedergabe zu verwenden. Als besonders vorteilhaft hat es sich erwiesen, dass bei der Bildwiedergabe ein in der Darstellung übergangloser Wechsel zwischen den Bildaufnahmen aus den verschiedenen Blickwinkeln möglich wird.

Als besonders vorteilhaft hat es sich erwiesen, die Bildaufnahmen, insbesondere unter Angleichung, derart zu korrigieren, dass - eine einzelne oder jede der Bildaufnahmen so geändert wird bzw. werden, dass sämtliche der Bildaufnahmen denselben Objektbereich abbilden, - Positionen der Bildpunkte in einer einzelnen oder jeder der Bildaufnahmen, insbe- sondere zur Entzerrung, versetzt werden, - Intensitäten von Bildpunkten in einer einzelnen oder jeder der Bildaufnahmen, ins- besondere zur Behebung einer Verzerrung oder/und von Vignettierung und/oder zum Ausgleich von Intensitätsverlusten beim Strahlengang durch die optische Einrichtung, verändert werden, - Helligkeiten von Bildpunkten in einzelnen Farbkanälen eines Bildsignals, vorzugs- weise eines RGB-Signals, in einzelnen oder jeder der Bildaufnahmen verändert werden, insbesondere zur Behebung einer Verzerrung oder/und Vignettierung der jeweiligen Bildaufnahme, - Farben von Bildpunkten in einzelnen Farbkanälen eines Bildsignals, vorzugsweise eines RGB-Signals, in einzelnen oder jeder der Bildaufnahmen geändert werden, oder/und - eine oder mehrere Zwei- oder Mehrfachdarstellungen eines Punktes oder/und eines Abschnittes des Objektbereichs in einzelnen oder jeder der Bildaufnahmen, vorzugsweise durch Versatz von einem oder mehreren Teilbereichen der Aufzeich- nung bzw. der Aufzeichnungen, in eine lediglich einfache Darstellung der Punkte oder Abschnitte geändert wird.

In einer Ausgestaltung der Erfindung ist die Bildkorrektur derart vorgesehen, dass bei der Weiterverarbeitung die Bildpunkte, die denselben Abschnitt des Objektbereichs

; _4- LU102086

: wiedergeben, in den verschiedenen Bildaufnahmen aus den verschiedenen Blick- winkeln an Bildpunktpositionen angeordnet werden, die von Bildaufnahme zu Bild- aufnahme in vordefinierten Bildpunktpositionen zueinander angeordnet sind.

Die Bildpunktpositionen sind vorzugsweise blickwinkelabhängig, insbesondere unter Berücksichtigung eines sich aus dem jeweiligen unterschiedlichen Blickwinkel ergebenden Parallaxenfehler, vordefiniert.

Insbesondere kann die Bildkorrektur derart vorgesehen sein, dass bei der Weiter- verarbeitung die Bildpunkte, die denselben Abschnitt des Objektbereichs wieder- geben, in den verschiedenen Bildaufnahmen dieselbe Intensität und/oder Farbe auf- weisen.

In einer Ausgestaltung der Erfindung weist die optische Einrichtung zumindest einen Spiegel, vorzugsweise mehrere Spiegel, und/oder zumindest ein Prisma, vorzugsweise mehrere Prismen, zur Erzeugung der Abbildungen auf der Empfängerfläche auf.

Der bzw. die Spiegel und/oder das Prisma bzw. die Prismen sind in der optischen Ein- richtung derart angeordnet, dass auf der Empfängerfläche mehrere Abbildungen des Objektbereichs erzeugbar sind.

Dazu sind im Prinzip diverse unterschiedliche An- ordnungen von Spiegeln und/oder Prismen möglich.

Als besonders vorteilhaft hat es sich erwiesen, die optische Einrichtung derart vorzusehen, dass mehrere Spiegel vor- gesehen und derart angeordnet sind, dass die verschiedenen in einer Eintrittsöffnung eintreffenden Lichtstrahlen beim Durchgang durch die optische Einrichtung je nach Strahlengang ohne Reflexion durch die optische Einrichtung hindurchdringen oder an einer oder mehreren der Spiegelflächen, ggf. mehrfach, reflektiert werden, bevor sie die optische Einrichtung wieder verlassen.

In einer besonders bevorzugten Ausführungsform der Erfindung umfasst die optische Einrichtung ein Kaleidoskop.

Ein solches Kaleidoskop umfasst zweckmäßigerweise zumindest ein Paar ebener Spiegelflächen, wobei die Spiegelflächen einander zu- gewandt und im Abstand voneinander angeordnet sind.

Zumindest ein Teil, vor- zugsweise sämtliche, Strahlengänge verlaufen durch den Raum zwischen den Spiegelflächen.

Vorzugsweise sind Spiegelflächen parallel zueinander angeordnet.

Das Kaleidoskop kann zwei oder mehrere Spiegelpaare aufweisen.

Aus den Spiegel paaren kann ein Rohr gebildet sein, das im Querschnitt polygonal, vorzugsweise rechteckig, ist.

Das Kaleidoskop könnte alternativ durch einen zylindrischen, im Querschnitt polygonalen Glasstab gebildet sein, der verspiegelte Seitenflächen und Stirnflächen zum Ein- und Austritt der Lichtstrahlen aufweist.

Der Glasstab weist im

; _5- LU102086 © Querschnitt vorzugsweise die Form eines gleichschenkligen Dreiecks, eines Rechtecks, insbesondere Quadrats, eines regelmäßigen Fünf-, Sechs-, Sieben- oder Achtecks auf. Zweckmäßigerweise sind die Spiegel und/oder Prismen derart vorgesehen, dass die verschiedenen Abbildungen den Objektbereich von unterschiedlichen Blickwinkeln aus aufgenommen darstellen, Somit wird es möglich, mittels der optischen Ein- richtung eine plenoptische Kamera zu bilden. In einer besonders bevorzugten Ausführungsform der Erfindung ist die optische Ein- richtung in einem Objektiv angeordnet, das zumindest eine Linse aufweist. In einer bevorzugten Ausführungsform der Erfindung ist zumindest eine Lichteintritts- linse, vorzugsweise mehrere ein Lichteintrittslinsensystem bildende Lichteintrittslinsen, in Strahlengangrichtung vor der optischen Einrichtung angeordnet. Die optische Einrichtung ist zweckmäßigerweise derart gebildet, dass die in die optische Einrichtung eintretenden Lichtstrahlen entsprechend ihrer Richtung derart aufgespaltet werden, dass sie den Objektbereich aus geringfügig unterschiedlichen Blickwinkeln erfassen, aber dennoch denselben Objektbereich darstellen. Die Lichteintrittslinse ist zweckmdaBigerweise vorgesehen derart, dass sie den Objekt- bereich auf eine Eingangsebene an einem der Lichteintrittslinse zugewandten Ende der optischen Einrichtung abbildet. In einer Ausführungsform der Erfindung ist in Strahlengangrichtung gesehen hinter der optischen Einrichtung zumindest eine Lichtaustrittslinse, vorzugsweise mehrere gemeinsam ein Lichtaustrittslinsensystem bildende Lichtaustrittsiinsen, angeordnet, mittels derer die Strahlengänge derart gebildet werden, dass die Abbildungen in der erfindungsgemäßen Weise auf die Empfängerfläche erzeugt werden. Zweckmäßigerweise ist das Lichtaustrittslinsensystem gebildet derart, dass seine Schärfeebene mit der Eingangsebene der optischen Einrichtung, insbesondere des | Kaleidoskops, identisch ist.

Es versteht sich, dass die Anordnung der Linsen und der Spiegel oder Prismen hinter- | einander in den Abbildungen zu, ggf. komplexen, Bildfehiern führen kann, die sich | mit konventionellen Bildkorrekturverfahren nur schwer oder nicht korrigieren lassen.

Schon eine geringe Abweichung von der vorgesehenen Position oder Form einer der | Linsen, der Spiegel oder der Prismen kann dazu führen, dass in den Abbildungen un- | erwünscht unterschiedliche Teile des Objektbereichs erfasst werden oder dass von Abbildung zu Abbildung unterschiedliche Abbildungsfehler wie bspw. Verzerrungen auftreten.

Yes

; _6- LU102086 : Ausführungsformen der optischen Einrichtung, insbesondere des Objektivs, sind in der WO 2014/124982 Al beschrieben. Der Inhalt der WO 2014/124982 A1 wird in die vor- liegende Anmeldung durch Bezugnahme aufgenommen. Im Einzelnen wird auf den Text auf. S. 7, 1. Absatz bis S. 11, 2. Absatz und die Fig. 1 bis 3 Bezug genommen. Dort sind geeignete optische Einrichtungen beschrieben und ihre Funktionsweise erläutert. Das Objektiv umfasst zweckmäßigerweise Gehäuse, in dem die zumindest eine Linse und die optische Einrichtung angeordnet sind. Das Objektiv ist vorzugsweise mit einer Einrichtung zur mechanischen Befestigung an einem Kameragehäuse, bspw. einem Objektivgewinde oder einem Objektivbajonett, versehen. Es kann ferner mit einer Einrichtung zur elektrischen oder elektronischen Verbindung und/oder zur Daten- Übertragung mit dem Kameragehäuse vorgesehen sein.

Zweckmäßigerweise weist die Empfängerfläche zumindest einen Bildaufnahmesensor | auf oder ist durch zumindest einen Bildaufnahmesensor gebildet. In der bevorzugten Ausführungsform der Erfindung ist die Empfängerfläche durch einen einzigen Bild- aufnahmesensor gebildet. Der Bildaufnahmesensor ist vorzugsweise ein CCD-Sensor oder ein CMOS-Sensor. In einer Ausgestaltung der Erfindung werden zur Durchführung der Bildkorrektur in zumindest einzelnen der Bildaufzeichnungen, vorzugsweise in jeder der Bildaufzeich- nungen, Positionen zumindest einzelner der Bildpunkte und/oder Intensitäten und/oder Farben zumindest einzelner der Bildpunkte geändert. Die Bildkorrektur erfolgt vorzugsweise automatisch mittels eines Computerprogramms. In einer Ausgestaltung der Erfindung erfolgt die Bildkorrektur derart, dass die Positionen, die Intensitäten und/oder die Farben der Bildpunkte derart geändert werden, dass die jeweilig im selben Abschnitt des Objektbereichs abbildenden Bild- punkte in den verschiedenen Aufzeichnungen in derselben Position angeordnet werden und/oder dieselbe Intensität und/oder dieselbe Farbe aufweisen. In einer besonders bevorzugten Ausführungsform der Erfindung werden die Bild- punkte unter Anwendung von für jede der Abbildungen vorgesehenen Bildpunkt- korrekturregeln verändert, wobei vorzugsweise die Bildpunktpositionen unter | Anwendung von für jede der Bildaufnahmen vorgesehenen Bildpunktanordnungs- regeln, die zumindest eine Bildpunktversetzung umfassen kann, und/oder die Intensitäten und/oder die Farben der Bildpunkte unter Anwendung von für jede der

. _7- LU102086

: Bildaufnahmen vorgesehenen Bildpunktintensitäts- und/oder Bildounkt- faroänderungsregeln geändert werden.

Die Bildkorrekturregeln für die einzelnen Abbildungen unterscheiden sich zweckmäBigerweise voneinander.

Vorteilhaft können somit die einzelnen Abbildungen separat und individuell für die Aufnahmen aus den verschiedenen Blickwinkeln korrigiert werden.

In einer Ausgestaltung der Erfindung werden die Bildkorrekturregeln, insbesondere die Bildpunktanordnungsregeln und/oder die Bildpunktintensitäts- und/oder Bild- punktfarbänderungsregeln, durch ein Verfahren zur Bestimmung von Bildkorrektur- regeln ermittelt, bei dem aus einer Bildaufzeichnung zumindest eines Referenzobjekts die Bildpunkte und/oder die erfassten Intensitäten und/oder Farben in jeder der Bild- aufnahmen zweckmäßigerweise mit jeweiligen Referenzabbildungspositionen und/oder Referenzintensitäten und/oder -farben, mit welchen das Referenzobjekt zur korrekten Darstellung des aufgenommenen Bereichs zu bilden ist, verglichen werden.

Die Bildkorrekturregeln, insbesondere die Bildpunktanordnungsregeln und/oder Bildpunktintensitätsänderungs- und/oder Bildfarbänderungsregeln werden, vorzugsweise durch Ermittlung der Differenzen der Positionen, der Intensitäten und/oder der Farben der Bildaufzeichnungen mit den Referenzabbildungspositionen und/oder Referenzintensitäten und/oder —farben bestimmt.

In einer Ausführungsform der Erfindung wird das Referenzobjekt mittels eines Anzeigemittels, vorzugsweise eines Bildschirms oder eines Projektors, dargestellt.

Vorteilhaft können besonders einfach Referenzobjekte unterschiedlicher Eigenschaften zur Kalibrierung verwendet werden.

Darüber hinaus wird es möglich, die Bildkorrekturregeln einfach und schnell anhand zumindest zweier unterschiedlicher Referenzobjekte zu erstellen.

Es könnten eine Vielzahl von Referenzobjekten, ggf. in kurzen zeitlichen Abständen nacheinander, dargestellt werden.

Vorstellbar wäre ferner, ein Referenzobjektvideo vorzusehen, in welchem die verschiedenen Referenzobjekte nacheinander dargestellt werden.

Es versteht sich, dass für jedes der mittels des Anzeigemittels dargestellten Referenzobjekte wie oben beschrieben Referenzabbildungspositionen und/oder Referenzintensitäten und/oder —farben, mit welchen das Referenzobjekt zur korrekten Darstellung des aufgenommenen Bereichs zu bilden ist, vorgesehen sind.

Vorgesehen sein könnte ein zu dem Referenzobjektvideo korrespondierendes Referenzvideo, das die jeweiligen Referenzabbildungspositionen und/oder Referenzintensitäten und/oder -farben zeigt.

| . -8- LU102086 ; Es versteht sich, dass das Verfahren zur Bestimmung von Bildkorrekturregeln, das ein auf einem Computer ausgeführtes Verfahren sein kann, unabhängig von dem Ver- fahren zur Erstellung einer plenoptischen Bildaufzeichnung durchgeführt werden kann.

Es stellt eine eigene Erfindung dar.

IweckmäBigerweise wird zur Bestimmung der Korrekturregeln das Referenzobjekt, das bei der Bildaufnahme in einer Referenzposition zu der optischen Einrichtung an- geordnet ist, mit einer Referenzbeleuchtung beleuchtet und/oder weist eine Referenzfärbung auf.

Es hat sich als besonders vorteilhaft erwiesen, als das Referenzobjekt ein in einer Ebene gebildetes Referenzmuster vorzusehen, wobei die Ebene senkrecht zur optischen Achse und/oder parallel zur Sensorebene vor der optischen Einrichtung angeordnet wird.

Das Referenzmuster umfasst zweckmäBigerweise Linien oder Flächen, die geradlinige Ränder aufweisen.

Vorzugsweise ist das Referenzmuster durch mehrere gerade Linien, die rasterartig parallel und/oder senkrecht zueinander angeordnet sind, gebildet.

Alternativ oder ergänzend dazu könnte als das Muster beispielsweise ein Schachbrettmuster oder zumindest eine andere regelmäßige Formung oder Struktur, die einen Vergleich der Informationen aus den verschiedenen Abbildungen und eine Ermittlung der Bildpunktanordnungsregeln und/oder der Bildpunktintensitäts- und/oder Bildpunktfarbänderungsregeln erlaubt.

In einer Ausgestaltung der Erfindung ist die Bildkorrektur derart vorgesehen, dass bei der Weiterverarbeitung die Bildpunkte, die denselben Abschnitt des Referenzmusters wiedergeben, in den verschiedenen Bildaufnahmen an derselben Stelle angeordnet sind.

In einer Ausführungsform der Erfindung werden Bildkorrekturregeln, die Bildpunkt- bereiche betreffen, die sich nicht unmittelbar in dem Referenzmuster finden, erzeugt, beispielsweise durch Interpolation.

Zweckmäßigerweise werden Bildkorrekturregeln, insbesondere die Bildpunkt- ersetzungsregeln und/oder die Bildpunktintensitäts- und/oder Bildpunkt- farbänderungsregeln gespeichert, vorzugsweise als ein Datensatz zur Nutzung in einem Computerprogramm zur Durchführung der Bildkorrektur.

Der Datensatz kann Metadaten für mittels der optischen Einrichtung erzeugten plenoptischen Bild- aufzeichnung umfassen.

Zweckmäßigerweise wird sie gemeinsam mit der optischen Einrichtung, insbesondere dem Objektiv, bereitgestellt, beispielsweise als Datei auf einem Datenspeichermedium, das physikalisch mit der optischen Einrichtung ver- bunden sein kann, oder als Über ein Rechnernetzwerk, bspw. das Internet abrufbare,

’ -9- LU102086

: den Datensatz darstellende Signalfolge.

Vorstelloar ware, an der optischen Ein- richtung, z.B. an dem Gehäuse des Objektivs, einen Link zu einer in dem Rechner- netzwerk, insbesondere dem Internet, hinterlegten Datei vorzusehen.

Der Link könnte beispielsweise ein QR-Link o. dgl. sein.

Ferner können sich die Bildkorrekturregeln, insbesondere die Bildpunktanordnungs- regeln und/oder die Bildpunktintensitäts- und/oder Bildpunktfarbänderungsregeln in Abhängigkeit von der Fokuseinstellung der optischen Einrichtung voneinander unter- scheiden.

ZweckmdaBigerweise werden zu deren Bestimmung zumindest zwei, vor- zugsweise mehrere Bildaufzeichnungen zumindest eines Referenzobjektes in unter- schiedlichen, im Abstand voneinander angeordneten Schärfeebenen erzeugt.

Für Fokuseinstellungen, die außerhalb dieser Schärfeebene liegen, können die Bildpunkt- anordnungsregeln und/oder die Bildpunktintensitäts- und/oder Bildpunkt- farbänderungsregeln aus den Regeln, die mittels der Bildaufzeichnungen in den Schärfeebenen bestimmt worden sind, ermittelt werden, beispielsweise durch Inter- polation.

Ist die optische Einrichtung, insbesondere das Objektiv, wie nach einer Ausführungs- form der Erfindung vorgesehen, zur Verstellung seiner Schärfeebene eingerichtet, wird die Bildkorrektur vorzugsweise in Abhängigkeit von der Einstellung der Schärfe- ebene der optischen Einrichtung durchgeführt.

Zweckmäßigerweise wird der Versatz konkret lediglich für einzelne Punkte in den Bild- aufnahmen bestimmt und der jeweilig notwendige Versatz in den Bereichen zwischen den Punkten durch Interpolation ermittelt.

In analoger Weise kann auch die notwendige Änderung der Intensität und/oder der Farbe lediglich für einzelne Punkte bestimmt und die jeweilig notwendige Intensitäts- bzw.

Farbänderung in den Bereichen zwischen den Punkten durch Interpolation ermittelt werden.

Die Erfindung erweist sich als besonders vorteilhaft, da sich mittels des Verfahrens optische Einrichtungen, insbesondere Objektive, der obengenannten Art, auch wenn sie in einer Massenfertigung hergestellt werden und toleranzbedingte Unterschiede in der Anordnung und Form ihrer jeweiligen optischen Elemente wie die Linsen, Spiegel, Prismen u. dgl. aufweisen, einfach für die Benutzung vorbereiten lassen.

So kann das Verfahren innerhalb eines Prozesses zur Vorbereitung der optischen Einrichtung zur

. -10- LU102086

* Abgabe an einen Benutzer durchgeführt werden und die dabei gewonnenen Infor- mationen, insbesondere die Bildkorrekturregein, in einem Datensatz zur Nutzung mittels eines Computerprogramms gespeichert werden, das zusammen mit der optischen Einrichtung ausgegeben wird.

ZweckmdaBigerweise werden die Bild- korrekturregeln für jede optische Einrichtung, insbesondere jedes Objektiv, individuell ermittelt.

Zur Erzeugung der plenoptischen Bildaufzeichnung werden in einer Ausführungsform der Erfindung mittels der Empfängerfläche, insbesondere des Sensors, ermittelte Informationen zu den Abbildungen gemeinsam mit dem Datensatz gespeichert, wobei der Datensatz als Metadaten vorliegen kann.

Die plenoptischen Bild- aufzeichnungen können anschließend mittels eines Computerprogramms, das die Abbildungsinformationen mittels der in dem Datensatz hinterlegten Bildkorrektur- regeln und der Durchführung der Bildkorrektur weiterverarbeitet, erzeugt werden.

Die Erfindung betrifft ferner ein Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, zumindest einzelne Schritte des oben erläuterten Verfahrens durchzuführen.

Insbesondere umfasst das Computerprogrammprodukt Befehle, die bei der Aus- führung des Programms durch einen Computer diesen veranlassen, die Schritte eines Verfahrens zur Erstellung einer plenoptischen Bildaufzeichnung, bei dem mehrere Abbildgen eines Objektbereichs, die mittels einer optischen Einrichtung gleichzeitig nebeneinander auf einer Empfängerfläche erzeugt und digital gespeichert werden, zu Bildaufnahmen weiterarbeitet werden, wobei bei der Weiterverarbeitung automatisch eine Bildkorrektur erfolgt, bei der zumindest eine der Bildaufnahmen gegenüber der jeweiligen Abbildung geändert wird.

Zweckmäßigerweise kann das Computerprogrammprodukt direkt in den internen Speicher eines digitalen Computers, insbesondere einem Computer einer Vorrichtung zur Erstellung einer Bildaufzeichnung, geladen werden und umfasst Softwareabschnitte, die die Verfahrensschritte durchführen, wenn das Computerprogrammprodukt auf dem Computer abläuft.

Zweckmäßigerweise ist das Computerprogrammprodukt ein auf einem Datenträger, vorzugsweise RAM, ROM, CD oder dergleichen, oder einem Gerät, insbesondere einem Personalcomputer, einem Smartphone, einem Computer einer Vorrichtung zur Erstellung einer Bildaufzeichnung, insbesondere einer Foto- und/oder Videokamera, gespeichertes Computerprogramm oder eine für die Übersendung über ein

Us

’ -11- LU102086 : Rechnernetzwerk, insbesondere das Internet, geeignete, Daten darstellende Signal-

folge.

Die Erfindung betrifft ferner eine Vorrichtung zur Datenverarbeitung, die Mittel zur DurchfUhrung des Verfahrens umfasst.

In einer Ausführungsform der Erfindung ist die Vorrichtung Teil einer optischen Ein- richtung, die zur gleichzeitigen Erzeugung mehrerer Abbildungen eines Objekt- bereichs nebeneinander auf einer Empfängerfläche eingerichtet ist, wobei die | optische Einrichtung vorzugsweise ein Kaleidoskop umfasst.

Zweckmäßigerweise ist die Vorrichtung Teil einer Kamera, insbesondere einer Foto- und/oder Videokamera.

In einer besonders bevorzugten Ausführungsform der Erfindung ist die Datenverarbei- tungsvorrichtung zum Betrieb der Kamera, insbesondere Foto- und/oder Video- kamera, bei der Erstellung einer Bildaufzeichnung mittels der Kamera vorgesehen.

Zweckmäßigerweise ist die Datenverarbeitungsvorrichtung Teil der optischen Ein- richtung, insbesondere der Kamera, und ist dort bspw. durch einen Prozessor und einen Speicher, auf den der Prozessor zugreifen kann, gebildet.

Die Erfindung betrifft ferner eine Kamera, insbesondere Foto- und/oder Video- kamera, die die genannte Datenverarbeitungsvorrichtung umfasst.

Die Kamera weist zweckmäßigerweise die genannte optische Einrichtung sowie die genannte

| Empfängerfläche auf und ist zur Erzeugung der neun optischen Bildaufzeichnungen

| geeignet.

In einer Ausführungsform der Erfindung umfasst die Kamera das genannte

| Objektiv, in dem die optische Einrichtung angeordnet ist.

Die Erfindung betrifft ferner einen Datensatz von Bildkorrekturregeln, der zur Ver- wendung in einem Verfahren zur Erstellung einer plenoptischen Bildaufzeichnung, bei der mittels einer optischen Einrichtung von einem Objektbereich gleichzeitig mehrere Abbildungen nebeneinander auf einer Empfangerfldche erzeugt werden und die Abbildungen zu Bildaufnahmen, die Bildpunkte aufweisen, weiterverarbeitet werden, wobei bei der Weiterverarbeitung der Abbildungen unter automatischer An- wendung der Bildkorrekturregeln eine Bildkorrektur erfolgt, bei der zumindest eine der Bildaufnahmen gegenüber der jeweiligen Abbildung geändert wird Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen und den beige- fügten Zeichnungen, die sich auf die Ausführungsbeispiele beziehen, näher erläutert.

: -12- LU102086 : Es zeigen: Fig. 1 eine optische Einrichtung zur erfindungsgemäBen Bildaufzeichnung, Fig. 2 einen Strahlengang in der optischen Einrichtung nach Fig. 1, Fig. 3 weitere Strahlengänge in der optischen Einrichtung nach Fig. 1, Fig. 4 eine mit einer Empfangsfläche aufgenommene Abbildung, Fig. 5 verschiedene Referenzmuster zur Verwendung in einem erfindungsgemäBen Verfahren, Fig. 6 verschiedene mit der optischen Einrichtung aufgenommen Bild- aufzeichnungen vor und nach der Bildkorrektur, Fig. 7 aufgenommene Intensitäten entlang einer Bildachse, Fig.8 eine Wiedergabe von Abbildungen eines Referenzmusters, und Fig. 9 ein weiteres Referenzmuster zur Verwendung in einem erfindungsgemäBen Verfahren.

In Fig. 1 ist schematisch dargestellt, wie in erfindungsgemäBer Weise eine plenoptische Bildaufzeichnung unter Verwendung einer optischen Einrichtung 1 erstellt wird, die neben einer Eintrittslinse 7 und einer Austrittsiinse 8 einen Spiegel- kasten mit Spiegeln 3,4.5,6 aufweist, der ein Kaleidoskop bildet. Die Spiegel 3,4,5,6 sind, wie Fig. 2 zeigt, in dem Spiegelkasten im Querschnitt rechteckig angeordnet, wobei die Spiegelflächen der Spiegel auf der Spiegelkasteninnenseite angeordnet sind. Lichtstrahlen 10, die von einem Objektbereich 9, der einen Gegenstand abbildet, ausgehen, treten in die Eintrittslinse 7 ein und werden durch die Eintrittslinse in das Innere eines Spiegelkastens gelenkt. Einige der Lichtstrahlen 10 gelangen durch den Spiegelkasten hindurch bis auf die Austrittslinse 8, ohne auf einen der Spiegel 3,4,5,6 zu treffen, andere Lichtstrahlen werden lediglich ein einziges Mal an einem der Spiegel 3,4,5,6 gespiegelt, bevor sie auf die Austrittslinse 8 treffen. Weitere Lichtstrahlen wiederum werden innerhalb des Spiegelkastens an den Spiegeln 3,4,5,6 mehrfach reflektiert, wobei die Reflexion sowohl an gegenüberlegenden als auch an benachbart zueinander angeordneten Spiegeln 3,4,5,6, erfolgen kann. Die Aus- trittslinse 8 ist derart angeordnet, dass die aus dem Spiegelkasten austretenden Licht- strahlen auf deine Empfängerflâche 2, die durch einen Sensor, insbesondere einen CCD- oder CMOS-Sensor gebildet ist, geleitet werden.

Die Einftrittslinse 7, die Spiegel 3,4,5,6, und die Austrittslinse 8 sind derart angeordnet, dass auf der Empfängerflôche 2 neun Abbildungen des Objektbereichs gebildet werden, die in einem 3 x 3 - Raster nebeneinander erzeugt werden. Die Abbildungen Ww

’ -13- LU102086 : werden derart erzeugt, dass sie den Objektbereich ausgehend von der Eintrittsiinse 7 aus neun verschiedenen Blickwinkeln bilden. Alternativ könnten die Eintrittslinse 7, die Spiegel 3,4,5,6 und die Austrittlinse 8 derart angeordnet sein, dass auf der Empfängerfläche N x N Abbildungen des Objektbereichs gebildet und in einem N x N-Raster nebeneinander erzeugt werden, wobei N eine ungerade Zahl repräsentiert. Neben dem obengenannten Raster kommen bspw. 25 Abbildungen des Objektbereichs in einem 5 x 5-Raster oder 49 Abbildungen in einem 7 x 7-Raster infrage. Es versteht sich, dass zur Erhöhung der Anzahl der erreichbaren Blickwinkel auch größere Anzahlen von Abbildungen und entsprechender Rasteranordnungen vorgesehen werden können. Fig. 4 zeigt beispielhaft Abbildungen eines Objektbereichs in der Form wie sie bei einer Aufnahme mit der optischen Einrichtung 1 auf der Empfängerfläche 2 aufge- nommen werden. Die Abbildungen treffen wie oben erläutert in einem 3 x 3 - Raster auf der Empfängerfläche 2 auf. Die einzelnen Abbildungen stellen den Objekt- i bereich jedoch unterschiedlich dar, beispielsweise aufgrund von Verzerrungen, Unterschieden in der Intensität der einzelnen einander entsprechenden Bildpunkte sowie der (hier nicht wiedergegebenen) Farbgebung.

Die unterschiedlichen Darstellungen ergeben sich zum einen aus der Aufnahme aus den genannten unterschiedlichen Blickwinkeln. Darüber hinaus ergeben sich auf- grund der Anordnung der Spiegel und der sich daraus ergebenden recht komplizierten Strahlengänge Abbildungsfehler und Intensitätsunterschiede.

Solche Intensitätsunterschiede ergeben sich, u.a. weil die Lichtstrahlen je nach Perspektive unterschiedliche Bereiche der Linsensysteme durchlaufen. Infolgedessen wirken sich spezifische Vignettierungs- und/oder Verzerrungseigenschaften der Linsengruppen auf die einzelnen Bilder unterschiedlich stark aus. In der beispielhaft in Fig. 7 dargestellte Helligkeitsverteilung ist das deutlich zu erkennen. Hier ist auch die Helligkeitsdämpfung infolge der Spiegelung erkennbar.

Da es zur Erstellung einer plenoptischen Bildaufzeichnung, insbesondere zur Erlangung der Information über den Abstand von Gegenständen im Objektbereich von der optischen Einrichtung 1 notwendig ist, dass die einzelnen Bildpunkte in der herkömmlichen zweidimensionalen Darstellung kongruent sind, ist eine Bildkorrektur der Bildaufnahmen notwendig. Insbesondere können die Positionen der Bildpunkte und/oder deren Intensität und/oder Farbe derart verändert werden, dass sie

. -]4- LU102086

: zueinander passen.

Ein Vorteil der Anpassung ist, dass auch die Möglichkeit geschaffen, wird innerhalb der plenoptischen Aufzeichnung den Blickwinkel zu wechseln, ohne das optische Inhomogenit&ten erscheinen.

Um festzustellen, wie eine entsprechende Bildkorrektur vorgenommen werden kann, wird ein Referenzmuster senkrecht zur optischen Achse und parallel zu der Ebene an- geordnet, in der die Empfangsfläche angeordnet ist und eine Aufzeichnung der Abbildungsinformationen auf Empfängerflâche 2 erstellt.

Geeignete Referenzmuster sind beispielhaft in Fig. 5 gezeigt.

Anhand der Bildaufnahme und eines Referenzmusters, ggf. einer Referenz- aufzeichnung, die das Referenzmuster optimal wiedergibt, lassen sich Differenzen der Positionen der mit der Aufnahme erfassten Bildpunkte der Bildaufnahme mit den Positionen, in denen die Bildpunkte bei korrekter Darstellung angeordnet sein müssten ermitteln und sich daraus Bildpunktanordnungsregeln bestimmen.

Für Bereiche, die zwischen den mittels der Referenzmuster unmittelbar ermittelbaren Bild- punkten liegen, lassen sich die Bildpunktanordnungsregeln z.B. durch Interpolation bestimmen.

Ein Beispiel für eine Aufzeichnung der Abbildungsinformationen des Referenzmusters nach Fig. 5 b) ist in Fig. 8 dargestellt.

Abbildungsfehler sind dort deutlich erkennbar.

Bei der Bestimmung der Bildpunktanordnungsregeln wird ermittelt, an welcher Stelle der jeweilige in der Abbildung erzeugte Bildpunkte zur Bildung einer korrekten Bild- aufnahme in der Bildaufnahme anzuordnen ist und ausgehend davon eine Anordnungsregel, die eine Versetzung des Bildpunkts umfassen kann, erstellt.

Es ver- steht sich, dass eine Anordnungsregel für jeden der Bildpunkte vorgesehen ist.

Zur Korrektur der Intensität der Bildpunkte werden Abtastwerte aus dem Bildfeld eines gleichmäßig beleuchteten weißen Objekts ermittelt.

Die Korrekturwert für jeden einzelnen Bildpunkt werden durch eine geeignete Interpolation aus den ermittelten Korrekturabtastwerten berechnet.

Fig. 7 zeigt beispielhaft eine Intensitätsverteilung, die eine typische Intensitätsreduzierung infolge einer mehrfachen Spiegelung erkennen lässt.

Zur Korrektur werden Intensitätswerte aus dem Bildfeld eines homogen beleuchteten weißen Objekts ermittelt.

Die Korrekturwert für jeden einzelnen Bildpunkte werden durch eine geeignete Interpolation aus den ermittelten Korrekturabtastwerten berechnet.

Eine lichtwellenlängenabhängige Intensitätsschwankung die z.B. aufgrund von Inhomogenitäten der Beschichtung der Spiegeloberflächen auftreten kann, wird

: -15- LU102086 - optional durch eine wellenlängenabhängige Anderung der jeweiligen Intensitäten korrigiert. Vorgesehen sein kann, dass die Intensitäten faroabhängig, vorzugsweise abhängig vom Farbkanal, insbesondere vom RGB-Farbkanal, geändert werden. individuell für jede Farbe, insbesondere jeden Farbkanal, korrigiert werden. Um die Farben der einzelnen Bildpunkte korrigieren zu können, wird zumindest ein Farbreferenzmuster aufgenommen, das eine Vielzahl von Farben aufweist, oder es werden mehrere Aufnahmen verschiedener einfarbiger Farbreferenzmuster aufgenommen. Ein Farbreferenzmuster mit einer Vielzahl von Farben ist - hier lediglich in schwarz/weiß ~ in Fig. 9 gezeigt. Es weist mehrere rechteckige Fläche unter- schiedlicher Färbung auf. Anhand der Bildaufnahme und einer Farbreferenzaufzeichnung, die das Farb- referenzmuster optimal wiedergibt, lassen sich Differenzen der Farben der mit der Aufnahme erfassten Bildpunkte der Bildaufnahme mit den Farben, in denen die Bild- punkte bei korrekter Darstellung aufweisen müssten, ermitteln und sich daraus Bild- punktfarbänderungsregeln bestimmen. Für Bereiche, die zwischen den mittels der Referenzmuster unmittelbar ermittelbaren Bildpunkten liegen, lassen sich die Bild- punktfarbänderungsregeln z.B. durch Interpolation bestimmen. In Fig. 6 sind die Abbildungen in der oberen Bildzeile in der Mitte und der mittleren Bildzeile rechts aus dem 3 x 3 - Rasters aus Fig. 4 einzeln vor und nach der Bildkorrektur gezeigt.

AS

Claims (1)

1. ) -16- LU102086 : Patentansprüche:

   1. Verfahren zur Erstellung einer plenoptischen Bildaufzeichnung, bei dem mehrere Abbildungen eines Objektbereichs, die mittels einer optischen Ein- richtung gleichzeitig nebeneinander auf einer Empfängerfläche erzeugt und digital gespeichert werden, zu Bildaufnahmen weiterarbeitet werden, dadurch gekennzeichnet, dass bei der Weiterverarbeitung automatisch eine Bildkorrektur erfolgt, bei der zumindest eine der Bildaufnahmen gegenüber der jeweiligen Abbildung geändert wird.

   2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass für jede der Abbildungen eine für die jeweilige Abbildung spezifische Bild- korrektur durchgeführt wird, wobei sich die jeweiligen spezifischen Bild- korrekturen für die einzelnen Abbildungen vorzugsweise voneinander unter- scheiden.

   3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass bei der Weiterverarbeitung zumindest einzelner der Abbildungen automatisch eine die Bildaufnahme gegenüber der jeweiligen Abbildung ändernde Bildkorrektur erfolgt derart, dass die Bildaufnahmen aneinander an- geglichen werden.

   4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass zur Durchführung der Bildkorrektur in zumindest einzelnen der Bild- aufnahmen, vorzugsweise in jeder der Bildaufnahmen, Positionen zumindest einzelner Bildpunkte und/oder Intensitäten der Darstellung zumindest einzelner der Bildpunkte geändert werden.

   5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Bildpunktpositionen unter Anwendung von für jede der Bild- aufnahmen vorgesehenen Bildpunktanordnungsregeln und/oder die Intensitäten und/oder die Farben der Darstellung der Bildpunkte unter

   TU

   ’ -17- LU102086 : Anwendung von für jede der Bildaufnahmen vorgesehenen Bildpunkt- intensitäts- und/oder Bildpunktfarb&nderungsregeln geändert werden, wobei sich die Bildpunktanordnungsregeln und/oder die Bildpunktintensitäts- und/oder Bildpunktfarbänderungsregeln für die einzelnen Bildaufnahmen vor- Zugsweise voneinander unterscheiden.

   6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass Bildpunktanordnungsregeln und/oder die Bildpunktintensitäts- und/oder Bildpunktfarbänderungsregeln in einem Kalibrierverfahren ermittelt werden, bei dem eine Bildaufnahme von einem Referenzobjekt, das in einer Referenz- position zu der optischen Einrichtung angeordnet ist, mit einer Referenz- beleuchtung beleuchtet wird und/oder eine Referenzfärbung aufweist, erstellt wird und die Bildpunkte und/oder die erfassten Intensitäten und/oder Farben in jeder der Bildaufnahmen mit jeweiligen Referenzabbildungspositionen und/oder Referenzintensitäten und/oder -farben, mit welchen das Referenz- objekt zur korrekten Darstellung des aufgenommenen Bereiches abzubilden ist, verglichen wird, wobei die Bildpunktanordnungsregeln und/oder die Bild- punktintensitätsänderungsregeln vorzugsweise durch Ermittlung der Differenzen der Positionen, der Intensitäten und/oder der Farben der Bild- aufzeichnungen mit den Referenzabbildungspositionen und/oder Referenz- intensitäten und/oder -farben bestimmt werden.

   7. Verfahren nach einem der Ansprüche 5 oder 6, dadurch gekennzeichnet, dass die Bildkorrektur derart erfolgt, dass die Positionen, die Intensitäten und/oder die Farben der Bildpunkte derart geändert werden, dass die jeweilig denselben Abschnitt des Objektbereichs abbildenden Bildpunkte in den ver- schiedenen Bildaufnahmen in derselben Position und/oder in sich blickwinkel- abhängig, insbesondere unter Berücksichtigung eines sich aus dem jeweiligen unterschiedlichen Blickwinkel ergebenden Parallaxenfehler, ergebenden Positionen angeordnet werden und/oder dieselbe Intensität und/oder dieselbe Farbe aufweisen wie in der Referenzposition.

   9. Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1 bis 8 auszuführen.

   2277

   ) -18- LU102086

   10. Computerprogrammprodukt nach Anspruch 9, dadurch gekennzeichnet, dass das Computerprogrammprodukt ein auf einem Datenträger, vorzugs- weise RAM, ROM, CD oder dergleichen, oder einem Gerät, insbesondere einem Personalcomputer, einem Smartphone, einem Computer einer Vor- richtung zur Erstellung einer Bildaufzeichnung, insbesondere einer Foto- und/oder Videokamera, gespeichertes Computerprogramm ist oder eine für die Übersendung Über ein Rechnernetzwerk, insbesondere das Internet, geeignete, Daten darstellende Signalfolge ist.

   | 10. Vorrichtung zur Datenverarbeitung, umfassend Mittel zur Ausführung des Ver- fahrens nach einem der Ansprüche 1 bis 8.

   17. Vorrichtung nach Anspruch 10, dadurch gekennzeichnet, dass die Vorrichtung Teil einer optischen Einrichtung, die zur gleichzeitigen Erzeugung mehrerer Abbildungen eines Objektbereichs nebeneinander auf einer Empfängerfläche eingerichtet ist, wobei die optische Einrichtung vor- zugsweise ein Kaleidoskop umfasst.

   12. Vorrichtung nach Anspruch 11, dadurch gekennzeichnet, dass die Vorrichtung Teil einer Kamera, insbesondere einer Foto- und/oder Videokamera ist.

   13. Datenträgersignal, das das Computerprogrammprodukt nach Anspruch 9 überträgt.

   |