WO2021160648A1 - Verfahren zum anpassen einer optischen abbildung - Google Patents

Verfahren zum anpassen einer optischen abbildung Download PDF

Info

Publication number
WO2021160648A1
WO2021160648A1 PCT/EP2021/053157 EP2021053157W WO2021160648A1 WO 2021160648 A1 WO2021160648 A1 WO 2021160648A1 EP 2021053157 W EP2021053157 W EP 2021053157W WO 2021160648 A1 WO2021160648 A1 WO 2021160648A1
Authority
WO
WIPO (PCT)
Prior art keywords
optical
point spread
output
target
spread function
Prior art date
Application number
PCT/EP2021/053157
Other languages
English (en)
French (fr)
Inventor
Alexander Braun
Original Assignee
Hochschule Düsseldorf
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hochschule Düsseldorf filed Critical Hochschule Düsseldorf
Publication of WO2021160648A1 publication Critical patent/WO2021160648A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the invention relates to a method for adapting an optical image of an optical output system to an optical target system.
  • the invention also relates to a device for carrying out the above method.
  • Optical systems such as camera systems, generate an image point by combining light from an object point.
  • An optical image is the totality of all individual image points that represent all object points.
  • real image and film recordings have the peculiarity that the recordings have already been made with a specific lens with defined and unique properties.
  • the “fingerprint” of the recording optical system is already imprinted in the optical images.
  • the “fingerprint” corresponds to the entirety of all imaging errors caused by the optical system, with imaging errors or aberration being understood as the deviations from the ideal geometric optical imaging by the optical system.
  • the imaging errors generated by the optical system are used artistically and create a “look and feel” of the image or film that is typical for the optical system.
  • directors and cameramen use complex and expensive camera systems to create a certain “look and feel”.
  • Gaussian soft focus is used to render an image blurred.
  • This problem is also known as the inverse convolution problem. Accordingly, it is the object of the invention to provide a method for applying physically correct aberrations in which a simulated aberration-free optical image does not have to be assumed and in which the process of image restoration can be bypassed.
  • a method for adapting an optical image of an output optical system to a target optical system comprising the steps of a) determining an output point spreading function of the output optical system and a target point spreading function of the target optical system, b ) Determining a delta point spread function from the output point spread function and the target point spread function by means of a calculation device, c) providing the optical image of the output optical system on the calculation device and d) applying the delta point spread function to the optical image.
  • the essence of the invention is therefore that no attempt is made, as in the prior art, to calculate the aberrated optical image of the output optical system by means of image restoration without aberrations, but rather that only the difference between the aberrations of the output optical system and the aiming optical system.
  • An optical system within the meaning of the invention is any optical system with which an optical image can be generated.
  • the optical system is preferably a linear optical system whose imaging properties, in particular the way in which the intensity of the light is imaged in the image space, can be described by linear functions (linear images).
  • it is preferably an optical system whose properties can be described by means of linear system theory.
  • the optical system it can be, for example, a be a refractive or reflective system (lenses or mirrors), a plenoptic system, a computer-aided imaging system or a diffractive optical element.
  • the optical output system refers to the optical system that generates the optical image.
  • the aberrations of the optical output system are imprinted as “fingerprints” in the optical image.
  • the optical target system is the optical system whose aberrations are to be reproduced physically correctly in the adapted optical image.
  • the method according to the invention proposes to determine the output point spread function and the target point spread function, that is to say the point spread functions of the output optical system and the target optical system.
  • the point spread function abbreviated to PSF, describes according to linear system theory how an idealized, point-shaped object is mapped by the optical system or, in other words, the impulse response of the optical system to a Dirac impulse.
  • the PSF can be imagined figuratively as the blurring around an image point when a single point-shaped object is represented in the optical image.
  • the PSF is the spatial version of the optical transfer function of the optical system.
  • the PSF can be different for each location of the ideal, point-like object, the degree of blurring being a measure of the quality of the optical system.
  • step d) applying the delta PSF to the optical image comprises folding the optical image with the delta PSF.
  • the procedure can be expressed as follows. Let f be the original aberration-free scene and ho be the output PSF of the output optical system.
  • the method suggests using the optical image go including its aberrations in order to apply the specially calculated delta PSF h ⁇ to it.
  • the crucial part is avoiding the reconstruction of f by determining h ⁇ from the determined PSFs ho and h z .
  • h ⁇ * h 0 h z
  • the method thus enables an optical image to be processed retrospectively in such a way that the resulting optical image reproduces the aberrations of the optical target system in a physically correct manner, the process of image restoration being bypassed.
  • the method is therefore particularly suitable for adapting driving scenes recorded with the optical output system to the optical target system in order to do so Introduce imaging errors of the target system into the optical image.
  • detection algorithms can be made more robust against image errors.
  • the method is particularly suitable for imprinting a certain “look and feel” of an optical target system in film and image sequences recorded with the optical output system in the film industry. In this way, costly productions can be reduced.
  • Bokeh is a term used in photography to designate a focus area of the optical image and its subjective quality. Sharp areas in the optical image are generated by the optical system by projection onto an image plane, the eye not seeing this sharpness or seeing it differently when looking at reality. Bokeh tries to characterize the mostly subjective aesthetic quality of the sharpness, which depends on the optical system used; It is not a question of the strength of the sharpening, but of what the sharpening areas look like, such as rings or circles.
  • the PSFs of the output optical system and the target optical system are determined in the first step of the method.
  • a preferred development of the invention provides that step a) determining the output point spreading function of the output optical system and the target point spreading function of the target optical system
  • the PSFs of the optical output system and the optical target system can be determined by means of a point spread function measuring device. For this purpose, an optical image of a point light source is created with the optical system and this optical image is evaluated.
  • the determined PSFs are preferably stored in a database so that the PSFs for a specific optical system do not have to be determined several times.
  • the PSFs of the optical output system and the optical target system are three-dimensional PSFs.
  • an optical image is typically imagined as flat and two-dimensional, an optical system basically generates a three-dimensional intensity distribution in the image space.
  • the optical image of a point light source thus corresponds to a three-dimensional intensity distribution, which can be represented by a 3-dimensional point spread puncture.
  • the optical image is generated by a two-dimensional, preferably flat image sensor. In these cases it is sufficient for the method if a two-dimensional PSF is determined.
  • step a) determining the output point spreading function of the output optical system and the target point spreading function of the target optical system includes determining a two-dimensional point spreading function. Computing power can be saved in this way, since the PSF has fewer dimensions and thus fewer free parameters.
  • the point spread puncture need not have any rotational symmetry with regard to the optical system.
  • the steps a) determining the output point spreading function of the optical output system and the target point spreading function of the optical target system and / or b) determining the delta point spreading function from the output -Point spread function and the target point spread function by means of the calculation device, a determination of the output point spread function and the target point spread function by means of an artificial neural network and / or a determination of the delta point spread function by means of an artificial neural network.
  • Determining the PSFs of the optical output system and the optical target system can be very complex, since the PSF is a highly non-linear function without recognizable parameterization for manufacturing tolerances in the series production of the optical output or optical target system. System is. Thus, there is also no error model - neither an analytical nor a numerical one - for the series production of the optical starting or target system.
  • the preferred development provides for an approximation to the PSFs of the output optical system and the target optical system to be used.
  • An approximation based on an artificial neural network is preferably used.
  • the artificial neural network can be trained by means of the optical images of the point light source that were recorded by means of the point spread function measuring device.
  • the artificial neural network can then output the PSF as a function of these input parameters on the basis of a limited number of input parameters.
  • the input parameters can depend on the actual simulation goal. For example, a defocusing Dz, an image height R and an azimuth angle f can be used as input parameters for the artificial neural network.
  • the artificial neural network can also be used to determine the delta point spread function.
  • step b) determining the delta point spread function from the output point spread function and the target point spread function by means of the calculation device is a Fourier transform of the output point spread function and the target -Point spread function includes.
  • the starting PSF and the target PSF are transformed into the frequency space by means of the calculation device.
  • the Convolution theorem which states that the Fourier transform of a convolution of two functions is equal to the product of the Fourier transform of the two functions, the determination of the delta point spread function in the frequency domain is considerably simplified.
  • step b) determining the delta point spread function from the initial point spread function and the target point spread function by means of the calculation device includes steps bl) determining an output transfer function and a Target transfer function from the output point spread function and the target point spread function, b2) determining a delta transfer function from the output transfer function and the target transfer function, and b3) determining the delta point spread function from the delta Includes transmission function.
  • a Fourier transform is carried out on the output PSF and the target PSF.
  • the Fourier transform of the PSF is called the optical transfer function and indicates how different frequencies are processed by the optical system.
  • the optical transfer function thus states how a periodic sine wave pattern that runs through the optical system is changed by the optical system as a function of its frequency or period and its alignment.
  • step b2) determining the delta transfer function from the output transfer function and the target transfer function includes forming an inverse of the output transfer function.
  • the optical output system has a higher optical quality than the optical target system. Since, as just mentioned, the inverse of Ho is preferably formed, the method is linked to certain numerical boundary conditions. Provision is preferably made for the values in Ho to be sufficiently greater than zero so that the matrix has good conditioning. Furthermore, it is preferably provided that H 0 H z and thus H ⁇ 1. In clear terms, this is synonymous with the fact that the output optical system has a higher optical quality than the target optical system.
  • the output optical system and the target optical system can be two different optical systems which, for example, do not have the same number of lenses or mirrors.
  • the method can also be used to reproduce changes within an optical system in the optical image.
  • the optical target system corresponds to the optical output system in a different state. It is further preferably provided that the optical target system corresponds to the optical output system in a different focus position.
  • the blurring that is caused by defocusing within an optical system can be introduced into the optical image. For example, defocusing effects often occur due to thermal influences on the optical system. These can be reproduced physically correctly in the optical image by the method.
  • step c) providing the optical image of the optical output system on the computing device comprises providing image data or video data from an output camera system on the computing device.
  • the method is suitable for adapting image or video data from the output camera system to a target camera system.
  • the camera system preferably supplies two or three-dimensional image data, with three-dimensional image data, the individual image points having a further dimension in terms of image depth in addition to the usual two image dimensions.
  • the invention also relates to a device for carrying out the above method, comprising an optical output system for providing an optical image and a computing device designed to adapt the optical image to an optical target system.
  • the calculation device comprises a database on which the point spreading functions of the output optical system and the target optical system are stored.
  • the computing device can be connected or connected in terms of communication technology to a point spread function measuring device, by means of which the point spread functions of the optical output system and the optical target system can be determined.
  • the optical output system is preferably connectable or connected to the computing device, so that the optical image that can be generated by means of the optical output system can be provided on the computing device.
  • FIG. 1 shows a schematic representation of a device for performing a method for adapting an optical image of an optical output system to an optical target system according to a preferred embodiment of the invention
  • Fig. 2 is a schematic representation of a PSF of an optical output
  • FIG. 1 shows a schematic representation of a device 10 for performing a method for adapting an optical image 12a of an optical output system 14 to an optical target system 16 according to a preferred embodiment of the invention.
  • a point spread function measuring device 18 is used to determine an output point spread function 20 of the output optical system 14 and a target point spread function 22 of the target optical system 16.
  • the point spread functions 20, 22 of the optical output system 14 and the optical target system 16 are determined by means of the point spread function measuring device 18 ImageMaster HR from trioptics and stored in a database 24.
  • a delta point spread function 28 is determined on the basis of the output point spread function 20 and the target point spread function 22 by means of a calculation device 26.
  • the computing device 26 comprises an artificial neural network.
  • the optical image 12a of the output optical system 14 is provided on the computing device 26.
  • the optical image 12a is folded with the delta-point spread function 28.
  • the adapted optical image 12b now looks as if it had been recorded with the optical target system 16.
  • Computational bokeh is an image processing filter that artificially blurs the background of portrait recordings that were created with the smartphone 14. This should correspond to the image impression of higher quality single lens reflex cameras 16 when, with a large aperture of the single reflex camera 16, the background of portraits is depicted out of focus, and the subject is thus emphasized more strongly.
  • the smartphone 14 cannot physically generate pronounced bokeh. Instead, the foreground of the optical image 12a is separated from the background via person and face recognition, and the background is adapted to the bokeh of the reflex camera 16 by means of the method for adapting the optical image 12a.
  • the background is not washed out with any soft focus, but the target point spreading function 22 of the single-lens reflex camera 16 is used in order to impress the real blurring of the high-quality single-lens reflex camera 16 on the background.
  • a further preferred exemplary embodiment of the invention is described below with reference to FIG. 1 and FIG.
  • a known problem in the automotive industry in the development of camera systems for (partially) autonomous vehicles is the thermal expansion of the camera system during operation and the associated blurring because the lens of the camera system becomes the sensor is defocused. This thermal defocusing occurs with all lenses, but cannot be accurately reproduced in test drives.
  • the exact same test route would have to be driven through several times, each with different camera system temperatures.
  • FIG. 2 shows schematically the PSFs 20, 22 of the camera system at different focus positions ⁇ z.
  • the output point spreading function 20, shown in the middle in FIG. 2 represents the camera system 14 in the optimal focus state zo, which is set for the test drive.
  • the recorded driving sequence 12a is therefore recorded in the optimal sharpness state zo of the camera system 14.
  • Each other defocus position ⁇ z then represents its own target point spread function 22 of the camera system in the unsharp state 16, shown in FIG. 2 on the defocus axis z, to the right and left of the optimal sharpness state zo.
  • a whole parameterized series of adapted driving sequences 12b can be generated, which become more and more blurred with increasing distance .DELTA.z from the optimal focus position zo in both positive and negative directions.
  • the detection algorithm can be parameterized with this set of custom Fahrse- frequencies 12b, the defocus limit Az are determined boundary, wherein the detection algorithm proceeds through Einkitrfe of defocusing a certain limit of the required disassembly tektionsgenautechnik D Grenz.
  • Optical output system 16
  • Optical target system 18
  • Point spread function measuring device 20
  • Output point spread function 22
  • Target point spread function 24
  • Database 26
  • Calculation device 28

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Anpassen einer optischen Abbildung (12a) eines optischen Ausgangs-Systems (14) an ein optisches Ziel-System (16), umfassend die Schritte a) Bestimmen einer Ausgangs-Punktspreizfunktion (20) des optischen AusgangsSystems (14) und einer Ziel-Punktspreizfunktion (22) des optischen Ziel-Systems (16), b) Bestimmen einer Delta-Punktspreizfunktion (28) aus der Ausgangs-Punktspreizfunktion (20) und der Ziel-Punktspreizfunktion (22) mittels einer Berechnungsvorrichtung (26), c) Bereitstellen der optischen Abbildung (12a) des optischen Ausgangs-Systems (14) auf der Berechnungsvorrichtung (26) und d) Anwenden der Delta-Punktspreizfunktion (28) auf die optische Abbildung (12a). Weiterhin betrifft die Erfindung eine Vorrichtung (10) zur Durchführung des obigen Verfahrens. Damit wir ein Verfahren zum Aufbringen physikalisch korrekter Aberrationen bereitgestellt, bei dem nicht von einer simulierten aberrationsfreien optischen Abbildung ausgegangen werden muss und bei dem der Vorgang der Bildrestauration umgangen werden kann.

Description

Verfahren zum Anpassen einer optischen Abbildung
Die Erfindung betrifft ein Verfahren zum Anpassen einer optischen Abbildung eines opti- schen Ausgangs-Systems an ein optisches Ziel-System.
Weiterhin betrifft die Erfindung eine Vorrichtung zur Durchführung des obigen Verfah- rens.
Optische Systeme, wie Kamerasysteme, erzeugen durch Vereinigung von Licht aus einem Gegenstandspunkt ein Bildpunkt. Eine optische Abbildung ist die Gesamtheit aller einzel- ner Bildpunkte, die alle Gegenstandspunkte repräsentieren. Echte Bild- und Filmaufzeich- nungen haben im Gegensatz zu Simulationen die Eigenheit, dass die Aufzeichnungen be- reits mit einem konkreten Objektiv mit definierten und einzigartigen Eigenschaften durchgeführt wurden. Mit anderen Worten ist in den optischen Abbildungen bereits der „Fingerabdruck“ des aufzeichnenden optischen Systems eingeprägt. Der „Fingerabdruck“ entspricht der Gesamtheit aller vom optischen System verursachten Abbildungsfehler, wo- bei unter Abbildungsfehler oder Aberration die Abweichungen von der idealen geometri- schen optischen Abbildung durch das optische System verstanden wird.
In der Foto- und Filmindustrie werden die von dem optischen System erzeugten Abbil- dungsfehler künstlerisch eingesetzt und erzeugen einen für das optische System typischen „Look-and-Feel“ des Bildes oder Filmes. Dafür greifen Regisseure und Kameraleute zu aufwendigen und kostspieligen Kamerasystemen, um einen bestimmten „Look-and-Feel“ zu erzeugen.
Weiterhin wird versucht, mittels Bildbearbeitung Bilder und Filme nachträglich zu bear- beiten, um einen anderen „Look-and-Feel“ zu erhalten. So werden beispielsweise Gauß- Weichzeichner verwendet, um ein Bild unscharf zu rechnen.
Ebenso wird in der Automobilindustrie im Kontext des (teil-)autonomen Fahrens versucht, bereits aufgezeichnete Fahrszenen wiederzuverwenden und dabei zu modifizieren, um die Detektionsalgorithmen robuster gegenüber Abbildungsfehlern zu machen. So wird beispielsweise Rauschen hinzugefügt oder einzelne Störstellen (Dreck, Staub etc.) werden exemplarisch in die bereits aufgezeichneten Abbildungen eingebracht.
Dennoch sind alle nachträglichen Modifikationen nur kosmetischer Natur, so dass sie das tatsächliche optische System nicht physikalisch korrekt widerspiegeln. Es sind also nur aufgepfropfte Effekte, die so ähnlich wie eine echte Aberration aussehen. Für die genann- ten Anwendungsfälle sind die echten Aberrationen jedoch entscheidend für das Ergebnis. Wenn ein Detektionsalgorithmen für Verkehrszeichen entwickelt werden soll, der robust gegenüber der im echten Leben auftretenden Einschärfe des optischen Systems ist, dann geht ein Training der Algorithmen mit Gauß-Weichzeichnern an der Realität vorbei.
Hinsichtlich des Aufbringens von physikalisch korrekten Aberrationen in optische Abbil- dungen ist es im Stand der Technik bekannt, eine simulierte optische Abbildung derart zu verändern, dass sie Aberrationen eines optischen Systems physikalisch korrekt wiedergibt. Voraussetzung für dieses Verfahren ist allerdings eine simulierte und somit aberrations- freie optische Abbildung.
Da optische Abbildungen, die mit realen optischen Systemen erzeugt worden sind, diese Vorrausetzung nicht erfüllen, wurde bisher versucht, mittels Bildrestauration aus einer ge- gebenen optischen Abbildung mit Aberrationen eine aberrationsfreie optische Abbildung zu rekonstruieren. Allerdings ist im Stand der Technik ebenfalls etabliert, dass es sich bei der Bildrestauration um ein mathematisch inkorrekt gestelltes Problem handelt („ill-posed problem“), das heißt die Lösung hängt nicht stetig von den Eingangsdaten ab. Dies hat zur Konsequenz, dass in beliebiger „Nähe“ eines lösbaren Problems unendlich viele Probleme ohne Lösung liegen. Allgemein dargestellt, entspricht die Bildrekonstruktion dem Ver- such, aus dem Ergebnis go der Faltung zweier Funktionen ho und f, wobei f die aberrati- onsfreie Szene darstellt, ho die Übertragungsfunktion des optischen Systems und go die aberrationsbehaftete optische Abbildung, g0 = h0 * f die unbekannte Funktion f bei bekanntem go und ho zu bestimmen. Dieses Problem wird auch als inverses Faltungsproblem bezeichnet. Demnach ist es die Aufgabe der Erfindung, ein Verfahren zum Aufbringen physikalisch korrekter Aberrationen bereitzustellen, bei dem nicht von einer simulierten aberrations- freien optischen Abbildung ausgegangen werden muss und bei dem der Vorgang der Bild- restauration umgangen werden kann.
Diese Aufgabe wird durch die Merkmale der unabhängigen Patentansprüche gelöst. Be- vorzugte Weiterbildungen finden sich in den Unteransprüchen.
Erfmdungsgemäß wird also ein Verfahren zum Anpassen einer optischen Abbildung eines optischen Ausgangs-Systems an ein optisches Ziel-System bereitgestellt, umfassend die Schritte a) Bestimmen einer Ausgangs-Punktspreizfunktion des optischen Ausgangs-Systems und einer Ziel-Punktspreizfunktion des optischen Ziel-Systems, b) Bestimmen einer Delta-Punktspreizfunktion aus der Ausgangs-Punktspreizfunktion und der Ziel-Punktspreizfunktion mittels einer Berechnungsvorrichtung, c) Bereitstellen der optischen Abbildung des optischen Ausgangs-Systems auf der Be- rechnungsvorrichtung und d) Anwenden der Delta-Punktspreizfunktion auf die optische Abbildung.
Der Kern der Erfindung liegt somit darin, dass nicht wie im Stand der Technik versucht wird, die aberrationsbehaftete optische Abbildung des optischen Ausgangs-Systems mit- tels Bildrestauration aberrationsfrei zu rechnen, sondern dass nur der Unterschied zwi- schen den Aberrationen des optischen Ausgangs-Systems und des optischen Ziel-Systems betrachtet wird.
Ein optisches System im Sinne der Erfindung ist jedes optische System, mit dem eine op- tische Abbildung erzeugt werden kann. Vorzugsweise handelt es sich beim optischen Sys- tem um ein lineares optisches System, dessen Abbildungseigenschaften, insbesondere die Art wie die Intensität des Lichtes im Bildraum abgebildet wird, durch lineare Funktionen (lineare Abbildungen) beschrieben werden können. In anderen Worten handelt es sich be- vorzugt um ein optisches System, dessen Eigenschaften mittels linearer Systemtheorie be- schrieben werden können. Es kann sich beim optischen System also beispielsweise um ein refraktives oder reflektives System (Linsen oder Spiegel), ein plenoptisches System, ein computerunterstütztes bildgebendes System oder ein diffraktives optisches Element han- deln. Das optische Ausgangs-System bezeichnet dabei dasjenige optische System, das die optische Abbildung erzeugt. Somit sind in die optische Abbildung die Aberrationen des optischen Ausgangs-Systems als „Fingerabdruck“ eingeprägt. Das optische Ziel-System ist jenes optische System, dessen Aberrationen in der angepassten optischen Abbildung physikalisch korrekt wiedergegeben werden sollen. Unter Anpassen der optischen Abbil- dung des optischen Ausgangs-Systems an das optisches Ziel-System ist im Sinne der Er- findung also das Verändern der optischen Abbildung des optischen Ausgangssystems der- art, dass die optische Abbildung aussieht, als wäre sie mit dem optischen Ziel-System aufgezeichnet worden, zu verstehen. Insbesondere werden die Aberrationen des optischen Ziel-Systems in die optische Abbildung physikalisch korrekt eingebracht.
Das erfindungsgemäße Verfahren schlägt in einem ersten Schritt vor, die Ausgangs- Punktspreizfunktion und die Ziel-Punktspreizfunktion, also die Punktspreizfunktionen des optischen Ausgangs-Systems und des optischen Ziel-Systems zu bestimmen. Die Punktspreizfunktion, abgekürzt PSF, beschreibt gemäß linearer Systemtheorie wie ein ide- alisiertes, punktförmiges Objekt durch das optische System abgebildet wird oder in ande- ren Worten die Impulsantwort des optischen Systems auf einen Dirac-Impuls. Die PSF kann man sich bildlich als die Unschärfe um einen Bildpunkt herum vorstellen, wenn ein einzelnes punktförmiges Objekt in der optischen Abbildung dargestellt wird. Funktional handelt es sich bei der PSF um die räumliche Version der optischen Übertragungsfunktion des optischen Systems. Die PSF kann für jeden Ort des idealen, punktförmigen Objekts unterschiedlich sein, wobei der Grad der Unschärfe ein Maß für die Qualität des optischen Systems ist.
In einem weiteren Schritt des Verfahrens werden die beiden PSFen verwendet, um daraus die Delta-Punktspreizfunktion zu bestimmen. Die Delta-PSF wird derart bestimmt, dass sie genau den Unterschied an Aberrationen zwischen der Ausgangs-PSF und der Ziel-PSF darstellt. Diese Delta-PSF wird dann in einem weiteren Schritt auf die optische Abbildung angewendet. Bevorzugt ist in dieser Hinsicht vorgesehen, dass der Schritt d) Anwenden der Delta-PSF auf die optische Abbildung ein Falten der optischen Abbildung mit der Delta-PSF umfasst. Die Probleme aus dem Stand der Technik bei der Bildrestauration werden also umgangen, indem statt einer Bildrestauration und anschließender Neu-Faltung zwei Faltungen nacheinander angewendet werden.
Mathematisch lässt sich das Verfahren wie folgt ausdrücken. Sei f die ursprüngliche aber- rationsfreie Szene und ho die Ausgangs-PSF des optischen Ausgangs-Systems. Die opti- sche Abbildung go lässt sich mathematisch durch Faltung von f mit der Ausgang-PSF ho beschreiben. g0 = h0 * f
Das Verfahren schlägt vor, die optische Abbildung go inklusive ihrer Aberrationen zu ver- wenden, um darauf die speziell berechnete Delta-PSF hΔ anzuwenden. hΔ * g0 = hΔ * (h0 * ƒ) = (hΔ * h0) * ƒ
Daraus resultiert die angepasste optische Abbildung gz mit Aberrationen als wäre sie vom optischen Ziel-System mit der Ziel-PSF hz aufgezeichnet worden.
( hΔ * h0) * ƒ = hz * ƒ = gz
Mit anderen Worten bedeutet dies, dass der Faltungskem der Ziel-PSF hz in zwei Teile ho und hΔ zerlegt wird. Der entscheidende Teil ist also die Vermeidung der Rekonstruktion von f, indem hΔ aus den ermittelten PSFen ho und hz bestimmt wird. hΔ * h0 = hz
Das Verfahren ermöglicht also eine optische Abbildung im Nachhinein derart zu bearbei- ten, dass die resultierende optische Abbildung physikalisch korrekt die Aberrationen des optischen Ziel-Systems wiedergibt, wobei der Vorgang der Bildrestauration umgangen wird.
Damit eignet sich das Verfahren besonders, um mit dem optischen Ausgangs-System auf- gezeichnete Fahrszenen an das optisches Ziel-System anzupassen, um derart Abbildungsfehler des Ziel-Systems in die optische Abbildung einzubringen. Mit den an- gepassten optischen Abbildungen lassen sich Detektionsalgorithmen robuster gegenüber Abbildungsfehlern machen.
Weiterhin eignet sich das Verfahren besonders, um in der Filmindustrie mit dem optischen Ausgangs-System aufgezeichnete Film- und Bildsequenzen einen bestimmten „Look-and- Feel“ eines optischen Ziel-Systems einzuprägen. Derart lassen sich kostspielige Produkti- onen verringern.
Ebenfalls ermöglicht das Verfahren neuartige Bildbearbeitungsfilter für den Endverbrau- cher. So können beispielsweise mit einem Smartphone aufgezeichnete Bilder mit einem Bokeh eines optischen Ziel-Systems versehen werden. Bokeh ist ein in der Fotografie ver- wendeter Begriff, um einen Einschärfebereich der optischen Abbildung und seine subjek- tive Qualität zu bezeichnen. Einscharfe Gebiete in der optischen Abbildung werden von dem optischen System durch Projektion auf eine Abbildungsebene erzeugt, wobei das Auge bei Betrachten der Realität diese Einschärfe nicht oder anders sieht. Bokeh versucht, die meist subjektive ästhetische Qualität der Einschärfe, die vom verwendeten optischen System abhängt, zu kennzeichnen; dabei geht es nicht um die Stärke der Einschärfe, son- dern darum, wie die Einschärfebereiche aussehen, etwa wie Ringe oder Kreise.
Wie bereits erwähnt, werden im ersten Schritt des Verfahrens die PSFen des optischen Ausgangs-Systems und des optischen Ziel-Systems bestimmt. In diesem Zusammenhang ist gemäß einer bevorzugten Weiterbildung der Erfindung vorgesehen, dass der Schritt a) Bestimmen der Ausgangs-Punktspreizfunktion des optischen Ausgangs-Systems und der Ziel-Punktspreizfunktion des optischen Ziel-Systems ein
- Erstellen einer optischen Abbildung einer punktförmigen Lichtquelle durch das optischen Ausgangs-System und/oder durch das optische Ziel-System mittels eines Punktspreizfunktions-Messgerätes und/oder ein
- Nachschlagen der Ausgangs-Punktspreizfunktion und/oder der Ziel-Punktspreiz- funktion in einer Datenbank umfasst. Die PSFen des optischen Ausgangs-Systems und des optischen Ziel-Systems lassen sich mittels eines Punktspreizfunktions-Messgerätes ermitteln. Dafür wird mit dem optischen System jeweils eine optische Abbildung einer punktförmigen Lichtquelle erstellt und diese optische Abbildung ausgewertet. Bevorzugt werden die ermittelten PSFen in einer Daten- bank abgelegt, so dass das Ermitteln der PSFen für ein bestimmtes optisches System nicht mehrfach durchgeführt werden muss.
Grundsätzlich ist es möglich, dass es sich bei den PSFen des optischen Ausgangs-Systems und des optischen Ziel-Systems um drei-dimensionale PSFen handelt. Obwohl man sich eine optische Abbildung typischerweise als eben und zweidimensional vorstellt, erzeugt ein optisches System grundsätzlich eine dreidimensionale Intensitätsverteilung im Bild- raum. Die optische Abbildung einer punktförmigen Lichtquelle entspricht somit einer drei- dimensionale Intensitätsverteilung, die durch eine 3 -dimensionalen Punktspreizpunktion dargestellt werden kann. Allerdings wird bei den meisten optischen Systemen die optische Abbildung durch einen zwei-dimensionalen, bevorzugt ebenen Bildsensor erzeugt. In die- sen Fällen ist es für das Verfahren ausreichend, wenn eine zwei-dimensionale PSF be- stimmt wird. In diesem Zusammenhang ist gemäß einer bevorzugten Weiterbildung vor- gesehen, dass der Schritt a) Bestimmen der Ausgangs-Punktspreizfunktion des optischen Ausgangs-Systems und der Ziel-Punktspreizfunktion des optischen Ziel-Systems ein Be- stimmen einer zwei-dimensionalen Punktspreizfunktion umfasst. Derart kann Rechenleis- tung eingespart werden, da die PSF weniger Dimensionen und somit weniger freie Para- meter aufweist. In dieser Hinsicht ist weiter bevorzugt vorgesehen, dass die Punktspreizpunktion keine Rotationssymmetrie hinsichtlich des optischen Systems auf- weisen muss.
Gemäß einer weiteren bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass die Schritte a) Bestimmen der Ausgangs-Punktspreizfunktion des optischen Ausgangs-Sys- tems und der Ziel-Punktspreizfunktion des optischen Ziel-Systems und/oder b) Bestimmen der Delta-Punktspreizfunktion aus der Ausgangs-Punktspreiz- funktion und der Ziel-Punktspreizfunktion mittels der Berechnungsvorrichtung ein Bestimmen der Ausgangs-Punktspreizfunktion und der Ziel-Punktspreiz- funktion mittels eines künstlichen neuronalen Netzwerkes und/oder ein Bestimmen der Delta-Punktspreizfunktion mittels eines künstlichen neuro- nalen Netzwerkes umfasst.
Das Bestimmen der PSFen des optischen Ausgangs-Systems und des optischen Ziel-Sys- tems kann sehr aufwändig sein, da die PSF eine höchst nichtlineare Funktion ohne erkenn- bare Parametrisierung für Fertigungstoleranzen in der Serienfertigung des optischen Aus- gangs- bzw. optischen Ziel-Systems ist. Somit existiert auch kein Fehlermodell - weder ein analytisches noch ein numerisches - für die Serienfertigung des optischen Ausgans- bzw. Ziel-Systems. Um den Schritt des Bestimmens der Ausgangs-PSF und der Ziel-PSF zu vereinfachen, ist gemäß der bevorzugten Weiterbildung vorgesehen, dass eine Appro- ximation an die PSFen des optischen Ausgangs-Systems und des optischen Ziel-Systems verwendet wird. Bevorzugt wird dabei eine Approximation verwendet, die auf einem künstlichen neuronalen Netzwerk basiert. Beispielsweise kann das künstliche neuronale Netzwerk mittels der optischen Abbildungen der punktförmigen Lichtquelle, die mittels des Punktspreizfunktions-Messgerätes aufgezeichnet wurden, trainiert werden. Das künst- liche neuronale Netzwerk kann anschließend aufgrund von einer begrenzten Anzahl von Eingabeparametern die PSF als Funktion dieser Eingabeparametern ausgeben. Die Einga- beparameter können vom tatsächlichen Simulationsziel abhängen. Beispielsweise können als Eingabeparameter für das künstliche neuronale Netzwerk, eine Defokussierung Dz, eine Bildhöhe R und ein Azimutwinkel f verwendet werden. Das künstliche neuronale Netzwerk kann auch verwendet werden, um die Delta-Punktspreizfunktion zu ermitteln.
Wie bereits erwähnt wird die Rekonstruktion von f vermieden, indem der Faltungskem der Ziel-PSF hz in zwei Teile ho und hΔ zerlegt wird. In anderen Worten wird die Delta- Punktspreizfunktion hΔ aus den ermittelten PSFen ho und hz bestimmt. In diesem Zusam- menhang ist gemäß einer bevorzugten Weiterbildung der Erfindung vorgesehen, dass der Schritt b) Bestimmen der Delta-Punktspreizfunktion aus der Ausgangs-Punktspreizfunk- tion und der Ziel-Punktspreizfunktion mittels der Berechnungsvorrichtung eine Fourier- transformation der Ausgangs-Punktspreizfunktion und der Ziel-Punktspreizfunktion um- fasst. Auch wenn das Verfahren eine Rekonstruktion von f und somit das Bilden einer Inversen von ho vermeidet, muss beim Zerlegen von hz in ho und hΔ immer noch ein Teil invertiert werden. Um dies durchzuführen, werden die Ausgangs-PSF und die Ziel-PSF mittels der Berechnungsvorrichtung in den Frequenzraum transformiert. Aufgrund des Faltungssatzes, welcher besagt, dass die Fourier-Transformierte einer Faltung zweier Funktionen gleich dem Produkt der Fourier-Transformierten der beiden Funktionen ist, vereinfacht sich die Bestimmung der Delta-Punktspreizfunktion im Frequenzraum erheb- lich. hΔ * h0 — hz HΔ • H0 = HZ
In diesem Zusammenhang ist gemäß einer bevorzugten Weiterbildung der Erfindung vor- gesehen, dass der Schritt b) Bestimmen der Delta-Punktspreizfunktion aus der Ausgangs- Punktspreizfunktion und der Ziel-Punktspreizfunktion mittels der Berechnungsvorrich- tung die Schritte bl) Bestimmen einer Ausgangs-Übertragungsfunktion und einer Ziel-Übertra- gungsfunktion aus der Ausgangs-Punktspreizfunktion und der Ziel-Punktspreiz- funktion, b2) Bestimmen einer Delta-Übertragungsfunktion aus der Ausgangs-Übertra- gungsfunktion und der Ziel-Übertragungsfunktion, und b3) Bestimmen der Delta-Punktspreizfunktion aus der Delta-Übertragungs- funktion umfasst.
Wie bereits erwähnt wird eine Fouriertransformation der Ausgangs-PSF und der Ziel-PSF durchgeführt. Die Fourier-Transformierte der PSF heißt optische Übertragungsfunktion und gibt an wie unterschiedliche Frequenzen vom optischen System verarbeitet werden. Die optische Übertragungsfunktion sagt somit aus, wie ein periodisches Sinuswellenmus- ter, das durch das optische System läuft, als Funktion seiner Frequenz oder Periode und seiner Ausrichtung vom optischen System verändert wird. Nachdem die Ausgangs-PSF h0 und die Ziel-PSF hz mittels Fouriertransformation in die Ausgangs-Übertragungsfunktion Ho und in die Ziel-Übertragungsfunktion Hz überführt wurden, kann die Delta-Übertra- gungsfunktion HΔ bestimmt werden:
Figure imgf000011_0001
Bevorzugterweise wird aus der Delta-Übertragungsfunktion HΔ anschließend durch in- verse Fouriertransformation die Delta-Punktspreizfunktion hΔ ermittelt.
Gemäß einer bevorzugten Weiterbildung ist in diesem Zusammenhang vorgesehen, dass der Schritt b2) Bestimmen der Delta-Übertragungsfunktion aus der Ausgangs-Übertra- gungsfunktion und der Ziel-Übertragungsfunktion, ein Bilden einer Inversen der Aus- gangs-Übertragungsfunktion umfasst. Beim Lösen von
Figure imgf000012_0001
Wird bevorzugt die Inverse von Ho gebildet. Jedoch ist das Bestimmen der Delta-Übertra- gungsfunktion HΔ eindeutig, so dass die Probleme bei der im Stand der Technik prakti- zierten Bildrestaurieren umgangen werden.
In diesem Zusammenhang ist gemäß einer bevorzugten Weiterbildung der Erfindung vor- gesehen, dass das optischen Ausgangs-System eine höhere optische Qualität aufweist als das optisches Ziel-System. Da wie gerade erwähnt bevorzugt die Inverse von Ho gebildet wird, ist das Verfahren an gewisse numerische Randbedingungen geknüpft. Bevorzugt ist vorgehsehen, dass die Werte in Ho ausreichend größer Null sind, damit die Matrix eine gute Konditionierung aufweist. Weiterhin ist bevorzugt vorgesehen, dass H0 ≥ Hz ist und damit HΔ ≤ 1. Anschaulich gesprochen ist dies gleichbedeutend mit der Tatsache, dass das optische Ausgangsystem eine höhere optische Qualität aufweist als das optische Zielsys- tem.
Grundsätzlich ist es möglich, dass das optische Ausgangs-System und das optische Ziel- System zwei unterschiedliche optische Systeme sind, die beispielweise nicht die gleiche Anzahl Linse oder Spiegel aufweisen. Alternativ kann das Verfahren aber auch eingesetzt werden, um Veränderungen innerhalb eines optischen Systems in der optischen Abbildung wiederzugeben. In diesem Zusammenhang ist gemäß einer bevorzugten Weiterbildung vorgesehen, dass das optische Ziel-System dem optischen Ausgangs-System in einem an- deren Zustand entspricht. Weiter bevorzugt ist vorgesehen, dass das optische Ziel-System dem optischen Ausgangs-System in bei einer anderen Fokusposition entspricht. Derart kann die Unschärfe, die durch Defokussieren innerhalb eines optischen Systems hervorge- rufen wird, in die optische Abbildung eingebracht werden. Beispielsweise kommt es oft aufgrund von thermischen Einflüssen auf das optische System zu Defokussierungseffek- ten. Diese können durch das Verfahren physikalisch korrekt in der optischen Abbildung wiedergegeben werden.
Gemäße einer weiteren bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass der Schritt c) Bereitstellen der optischen Abbildung des optischen Ausgangs-Systems auf der Berechnungsvorrichtung ein Bereitstellen von Bilddaten oder Videodaten eines Ausgangs- Kamerasystems auf der Berechnungsvorrichtung umfasst. Insbesondere ist das Verfahren geeignet um Bild- oder Videodaten des Ausgangs-Kamerasystems an ein Ziel-Kamerasys- tem anzupassen. Das Kamerasystem liefert bevorzugt zwei oder drei dimensionale Bild- daten, wobei bei dreidimensionalen Bilddaten, die einzelnen Bildpunkte neben den übli- chen zwei Bilddimensionen eine weitere Dimension in der Bildtiefe aufweisen.
Weiterer Vorteile und technische Merkmale des Verfahrens zum Anpassen der optischen Abbildung des optischen Ausgangs-Systems an das optisches Ziel-System ergeben sich für den Fachmann aus der Beschreibung der Vorrichtung zur Durchführung des Verfahrens sowie aus der Beschreibung des Ausführungsbeispiels.
Weiterhin betrifft die Erfindung eine Vorrichtung zur Durchführung des obigen Verfah- rens umfassend ein optisches Ausgangs-System zum Bereitstellen einer optischen Abbil- dung und eine Berechnungsvorrichtung eingerichtet zum Anpassen der optischen Abbil- dung an ein optisches Ziel-System. Bevorzugt ist vorgesehen, dass die Berechnungsvorrichtung eine Datenbank umfasst, auf der die Punktspreizfunktionen des optischen Ausgangs-Systems und des optischen Ziel-Systems gespeichert sind. Weiter be- vorzugt kann die Berechnungsvorrichtung kommunikationstechnisch mit einem Punktspreizfunktions-Messgerät verbindbar oder verbunden sein, mittels dessen die Punktspreizfunktionen des optischen Ausgangs-Systems und des optischen Ziel-Systems bestimmt werden können. Das optische Ausgangs-System ist bevorzugt mit der Berech- nungsvorrichtung verbindbar oder verbunden, so dass die optische Abbildung, die mittels des optischen Ausgangs-Systems erzeugbar ist, auf der Berechnungsvorrichtung bereitge- stellt werden kann. Nachfolgend wird die Erfindung unter Bezugnahme auf die Zeichnung anhand bevorzugter Ausführungsbeispiele exemplarisch erläutert.
In der Zeichnung zeigt
Fig. 1 eine schematische Darstellung einer Vorrichtung zum Durchführen ei- nes Verfahrens zum Anpassen einer optischen Abbildung eines opti- schen Ausgangs-Systems an ein optisches Ziel-System gemäß einer be- vorzugten Ausführungsform der Erfindung und
Fig. 2 eine schematische Darstellung einer PSF eines optischen Ausgangs-
Systems bei unterschiedlichen Fokus-Positionen, gemäß einer bevor- zugten Ausführungsform der Erfindung.
Figur 1 zeigt eine schematische Darstellung einer Vorrichtung 10 zum Durchführen eines Verfahrens zum Anpassen einer optischen Abbildung 12a eines optischen Ausgangs-Sys- tems 14 an ein optisches Ziel-System 16 gemäß einer bevorzugten Ausführungsform der Erfindung. In einem ersten Schritt des Verfahrens wird mittels eines Punktspreizfunktions- Messgerätes 18 eine Ausgangs-Punktspreizfunktion 20 des optischen Ausgangs-Systems 14 und eine Ziel-Punktspreizfunktion 22 des optischen Ziel-Systems 16 bestimmt. In der hier bevorzugten Ausführungsform werden die Punktspreizfunktionen 20, 22 des opti- schen Ausgangs-Systems 14 und des optischen Ziel-Systems 16 mittels des Punktspreiz- funktions-Messgerätes 18 ImageMaster HR von trioptics bestimmt und in einer Datenbank 24 gespeichert.
In einem weiteren Schritt des Verfahrens wird auf Basis der Ausgangs-Punktspreizfunk- tion 20 und der Ziel-Punktspreizfunktion 22 mittels einer Berechnungsvorrichtung 26 eine Delta-Punktspreizfunktion 28 bestimmt. Dafür umfasst die Berechnungsvorrichtung 26 ein künstliches neuronales Netzwerk.
In einem weiteren Schritt des Verfahrens wird die optische Abbildung 12a des optischen Ausgangs-Systems 14 auf der Berechnungsvorrichtung 26 bereitgestellt. Zum Anpassen der optischen Abbildung 12a wird die optischen Abbildung 12a mit der Delta-Punktspreiz- funktion 28 gefaltet. Die angepasste optische Abbildung 12b sieht nun so aus als wären sie mit dem optischen Ziel-Systems 16 aufgezeichnet worden.
Im Folgenden wird unter Bezugnahme auf Figur 1 ein weiteres bevorzugtes Ausführungs- beispiel der Erfindung beschrieben, nämlich das Anpassen der optischen Abbildung 12a, die mittels eines Smartphones als optisches Ausgangs-System 14 erstellt wurde. Als Com- putational Bokeh wird ein Bildbearbeitungsfilter bezeichnet, der den Hintergrund von Por- trait- Aufnahmen, die mit dem Smartphone 14 erstellt wurden, künstlich unscharf rechnet. Dies soll dem Bildeindruck höherwertiger Spiegelreflex -Kameras 16 entsprechen, wenn bei großer Blende der Spiegelreflex-Kamera 16 der Hintergrund von Portrait- Aufnahmen unscharf abgebildet wird, und derart das Motiv stärker betont wird. Das Smartphone 14 kann Bauraum-bedingt allerdings kein ausgeprägtes Bokeh physikalisch erzeugen. Statt- dessen wird über eine Personen- und Gesichtserkennung der Vordergrund der optischen Abbildung 12a vom Hintergrund getrennt, und der Hintergrund mittels des Verfahrens zum Anpassen der optischen Abbildung 12a an das Bokeh der Spiegelreflex-Kamera 16 ange- passt. Der Hintergrund wird also nicht mit einem beliebigen Weichzeichner verwaschen, sondern die Ziel -Punktspreizfunktion 22 der Spiegelreflex -Kamera 16 kommt zum Einsatz um derart dem Hintergrund die echte Unschärfe der hochwertigen Spiegelreflex-Kamera 16 aufprägen.
Im Folgenden wird unter Bezugnahme auf Figur 1 und Figur 2 ein weiteres bevorzugtes Ausführungsbeispiel der Erfindung beschrieben. Ein in der Automobilindustrie bekanntes Problem bei der Entwicklung von Kamera-Systemen für (teil-)autonom fahrende Fahr- zeuge ist die Wärmeausdehnung des Kamera-Systems im Betrieb, und der damit einherge- henden Unschärfe, weil das Objektiv des Kameras-Systems zum Sensor defokussiert wird. Dieses thermische Defokussieren tritt bei allen Objektiven auf, kann aber in Testfahrten nicht sauber abgebildet werden. Im Prinzip müsste die exakt gleiche Teststrecke mehrfach durchfahren werden, jeweils mit unterschiedlich eingestellten Temperaturen des Kamera- Systems. Allerdings ist es nicht möglich exakt dieselben Testfahrbedingungen zweimal nacheinander zu fahren. Demnach kann durch mehrfaches Abfahren der Teststrecke auch nicht dem Ziel entsprochen werden, einen Detektionsalgorithmus mit verschiedenen Fahr- aufzeichnungen mit jeweils realistischen Defokussierungen zu trainieren. Durch Anwenden des Verfahrens zum Anpassen der optischen Abbildung 12a des optischen Aus- gangs-Systems 14 an das optisches Ziel-System 16 kann dieses Ziel erreicht werden. Dazu wird eine sogenannte Through-Focus-Messung des Objektivs des Kamera-Systems vorge- nommen, bei der ein Defokus-Wert Dz variiert wird. Es kommt also nur ein einzelnes Ob- jektiv ins Spiel, sprich das optischen Ausgangs-System 14 und das optisches Ziel-System 16 sind dasselbe, jedoch zu unterschiedlichen Fokus-Positionen. Figur 2 zeigt schematisch die PSFen 20,22 des Kamera- Systems an unterschiedlichen Fokus-Positionen Δz. Entspre- chend repräsentiert die Ausgangs-Punktspreizfunktion 20, in Figur 2 in der Mitte darge- stellt, das Kamera-System 14 im optimalen Schärfezustand zo, welcher für die Testfahrt eingestellt ist. Die aufgenommene Fahrsequenz 12a wird also im optimalen Schärfezustand zo des Kamera- Sy stems 14 aufgenommen. Jede andere Defokus-Position Δz repräsentiert dann eine eigene Ziel-Punktspreizfunktion 22 des Kamera-Systems im unscharfen Zustand 16, in Figur 2 auf der Defokus-Achse z, rechts und links vom optimalen Schärfezustand zo dargestellt. Derart kann eine ganze parametrisierte Reihe von angepassten Fahrsequenzen 12b erzeugt werden, welche mit zunehmendem Abstand Δz von der optimalen Schärfepo- sition zo in positiver wie negativer Richtung immer unschärfer werden. Beim Training des Detektionsalgorithmus kann mit dieser parametrisierten Reihe von angepassten Fahrse- quenzen 12b die Defokus-Grenze ΔzGrenz ermittelt werden, bei der der Detektionsalgorith- mus durch die Einschärfe der Defokussierung eine bestimmte Grenze der benötigten De- tektionsgenauigkeit DGrenz unterschreitet.
Bezugszeichenliste
10 Vorrichtung 12a optische Abbildung 12b angepasste optische Abbildung
14 optisches Ausgangs-System 16 optisches Ziel-System 18 Punktspreizfunktions-Messgerät 20 Ausgangs-Punktspreizfunktion 22 Zi el -Punktspreizfunkti on 24 Datenbank 26 B erechnungsvorri chtung 28 Delta-Punktspreizfunktion z0 Fokusposition mit optimalem Schärfezustand Z Defokus-Achse Δz Abweichung vom optimalen Schärfezustand

Claims

Patentansprüche
1. Verfahren zum Anpassen einer optischen Abbildung (12a) eines optischen Aus- gangs-Systems (14) an ein optisches Ziel-System (16), umfassend die Schritte a) Bestimmen einer Ausgangs-Punktspreizfunktion (20) des optischen Aus- gangs-Systems (14) und einer Ziel-Punktspreizfunktion (22) des optischen Ziel-Sys- tems (16), b) Bestimmen einer Delta-Punktspreizfunktion (28) aus der Ausgangs-Punkt- spreizfunktion (20) und der Ziel-Punktspreizfunktion (22) mittels einer Berech- nungsvorrichtung (26), c) Bereitstellen der optischen Abbildung (12a) des optischen Ausgangs-Systems (14) auf der Berechnungsvorrichtung (26) und d) Anwenden der Delta-Punktspreizfunktion (28) auf die optische Abbildung (12a).
2. Verfahren nach Anspruch 1, wobei der Schritt a) Bestimmen der Ausgangs- Punktspreizfunktion (20) des optischen Ausgangs-Systems (14) und der Ziel- Punktspreizfunktion (22) des optischen Ziel-Systems (22) ein
- Erstellen einer optischen Abbildung einer punktförmigen Lichtquelle durch das optischen Ausgangs-System (14) und/oder durch das optische Ziel-System (16) mit- tels eines Punktspreizfunktions-Messgerätes (18) und/oder ein
- Nachschlagen der Ausgangs-Punktspreizfunktion (20) und/oder der Ziel- Punktspreizfunktion (22) in einer Datenbank (24) umfasst.
3. Verfahren nach Anspruch 1 oder 2, wobei der Schritt a) Bestimmen der Ausgangs- Punktspreizfunktion (20) des optischen Ausgangs-Systems (14) und der Ziel- Punktspreizfunktion (22) des optischen Ziel-Systems (16) ein Bestimmen einer zwei-dimensionalen Punktspreizpunktion umfasst.
4. Verfahren nach einem der vorherigen Ansprüche, wobei die Schritte a) Bestimmen der Ausgangs-Punktspreizfunktion (20) des optischen Aus- gangs-Systems (14) und der Ziel-Punktspreizfunktion (22) des optischen Ziel-Sys- tems (16) und/oder b) Bestimmen der Delta-Punktspreizfunktion (28) aus der Ausgangs- Punktspreizfunktion (20) und der Ziel-Punktspreizfunktion (22) mittels der Berech- nungsvorrichtung (26) ein Bestimmen der Ausgangs-Punktspreizfunktion (20) und der Ziel- Punktspreizfunktion (22) mittels eines künstlichen neuronalen Netzwerkes und/oder ein Bestimmen der Delta-Punktspreizfunktion (28) mittels eines künstlichen neuronalen Netzwerkes umfasst.
5. Verfahren nach einem der vorherigen Ansprüche, wobei der Schritt b) Bestimmen der Delta-Punktspreizfunktion (28) aus der Ausgangs-Punktspreizfunktion (20) und der Ziel-Punktspreizfunktion (22) mittels der Berechnungsvorrichtung (26) eine Fouriertransformation der Ausgangs-Punktspreizfunktion (20) und der Ziel- Punktspreizfunktion (22) umfasst.
6. Verfahren nach einem der vorherigen Ansprüche, wobei der Schritt b) Bestimmen der Delta-Punktspreizfunktion (28) aus der Ausgangs-Punktspreizfunktion (20) und der Ziel-Punktspreizfunktion (22) mittels der Berechnungsvorrichtung (26) die Schritte bl) Bestimmen einer Ausgangs-Übertragungsfunktion und einer Ziel-Übertra- gungsfunktion aus der Ausgangs-Punktspreizfunktion und der Ziel-Punktspreiz- funktion, b2) Bestimmen einer Delta-Übertragungsfunktion aus der Ausgangs-Übertra- gungsfunktion und der Ziel-Übertragungsfunktion, und b3) Bestimmen der Delta-Punktspreizfunktion (28) aus der Delta-Übertra- gungsfunktion umfasst.
7. Verfahren nach einem der vorherigen Ansprüche, wobei der Schritt b2) Bestimmen der Delta-Übertragungsfunktion aus der Ausgangs-Übertragungsfunktion und der Ziel-Übertragungsfunktion, ein Bilden einer Inversen der Ausgangs-Übertragungs- funktion umfasst.
8. Verfahren nach einem der vorherigen Ansprüche, wobei das optische Ausgangs- System (14) eine höhere optische Qualität aufweist als das optische Ziel-System
(16).
9. Verfahren nach einem der vorherigen Ansprüche, wobei das optische Ziel-System (16) dem optischen Ausgangs-System (14) bei einer anderen Fokusposition ent- spricht.
10. Verfahren nach einem der vorherigen Ansprüche, wobei der Schritt c) Bereitstellen der optischen Abbildung (12a) des optischen Ausgangs-Systems (14) auf der Be- rechnungsvorrichtung (26) ein Bereitstellen von Bilddaten oder Videodaten eines Ausgangs-Kamerasystems (14) auf der Berechnungsvorrichtung (26) umfasst.
11. Vorrichtung (10) zur Durchführung eines Verfahrens nach einem der vorherigen An- sprüche, umfassend ein optisches Ausgangs-System (14) zum Bereitstellen einer op- tischen Abbildung (12a) und eine Berechnungsvorrichtung (26) eingerichtet zum Anpassen der optischen Abbildung (12a) an ein optisches Ziel-System (16).
PCT/EP2021/053157 2020-02-10 2021-02-10 Verfahren zum anpassen einer optischen abbildung WO2021160648A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020103330.3A DE102020103330A1 (de) 2020-02-10 2020-02-10 Verfahren zum Anpassen einer optischen Abbildung
DE102020103330.3 2020-02-10

Publications (1)

Publication Number Publication Date
WO2021160648A1 true WO2021160648A1 (de) 2021-08-19

Family

ID=74587050

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/053157 WO2021160648A1 (de) 2020-02-10 2021-02-10 Verfahren zum anpassen einer optischen abbildung

Country Status (2)

Country Link
DE (1) DE102020103330A1 (de)
WO (1) WO2021160648A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051362A (zh) * 2022-08-24 2023-05-02 荣耀终端有限公司 图像处理方法及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110157320A1 (en) * 2009-07-22 2011-06-30 Ichiro Oyama Parallax detecting apparatus, distance measuring apparatus, and parallax detecting method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110157320A1 (en) * 2009-07-22 2011-06-30 Ichiro Oyama Parallax detecting apparatus, distance measuring apparatus, and parallax detecting method

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHRISTIAN WITTPAHL ET AL: "Realistic Image Degradation with Measured PSF", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 7 January 2018 (2018-01-07), XP080851027 *
MOHAMMADIKAJI MAHSA ET AL: "Sensor-Realistic Simulations for Evaluation and Planning of Optical Measurement Systems With an Application to Laser Triangulation", IEEE SENSORS JOURNAL, IEEE SERVICE CENTER, NEW YORK, NY, US, vol. 20, no. 10, 5 February 2020 (2020-02-05), pages 5336 - 5349, XP011784440, ISSN: 1530-437X, [retrieved on 20200416], DOI: 10.1109/JSEN.2020.2971683 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051362A (zh) * 2022-08-24 2023-05-02 荣耀终端有限公司 图像处理方法及电子设备
CN116051362B (zh) * 2022-08-24 2023-09-15 荣耀终端有限公司 图像处理方法及电子设备

Also Published As

Publication number Publication date
DE102020103330A1 (de) 2021-08-12

Similar Documents

Publication Publication Date Title
DE102016115051A1 (de) Verfahren, system und nicht flüchtiges, auf einem computer lesbares medium für die videotechnische lokalisation von kreisrunden objekten
EP3899861A1 (de) Optikkorrektur durch maschinenlernen
EP3291172B1 (de) Verfahren zur ermittlung von ergebnisbilddaten
DE112020000448T5 (de) Kameraselbstkalibrierungsnetz
DE102018100909A1 (de) Verfahren zum Rekonstruieren von Bildern einer Szene, die durch ein multifokales Kamerasystem aufgenommen werden
CH714206A2 (de) Verfahren und Vorrichtungen zum Entwerfen optischer Systeme.
WO2021160648A1 (de) Verfahren zum anpassen einer optischen abbildung
DE102021102663A1 (de) Systeme und Verfahren zum Trainieren eines Nichtblind-Unschärfeentfernungsmoduls
DE69830572T2 (de) Verbesserung an künstlicher bilderzeugung
DE102019219734A1 (de) Auswertungssystem für Messdaten aus mehreren Domänen
EP3836533A1 (de) Verfahren und vorrichtungen zum emulieren von kameraobjektiven
WO2019105737A1 (de) Verfahren, vorrichtung und computerprogramm zum ermitteln eines abstandes zu einem objekt
DE102018201909A1 (de) Verfahren und Vorrichtung zur Objekterkennung
EP4264565A1 (de) Korrektur von bildern einer kamera bei regen, lichteinfall und verschmutzung
WO2020229352A1 (de) Verfahren zum bereitstellen einer objektverfolgungsfunktion
DE102016206508A1 (de) Verfahren und Vorrichtung zur Kantendetektion
DE102020212921A1 (de) Verfahren, Computerprogramm und Vorrichtung zum Bewerten einer Verwendbarkeit von Simulationsdaten
EP3174010A2 (de) Verfahren zur erstellung einer 3d-repräsentation und korrespondierende bildaufnahmevorrichtung
DE112020000836T5 (de) Auswertungseinrichtung für ein Kamerasystem und Auswertungsverfahren
EP3938946A1 (de) Verfahren zum bereitstellen einer trainingsdatensatzmenge, ein verfahren zum trainieren eines klassifikators, ein verfahren zum steuern eines fahrzeugs, ein computerlesbares speichermedium und ein fahrzeug
DE102014206246A1 (de) Verfahren und Vorrichtung zum Anpassen einer dreidimensionalen Projektionsfläche zum Projizieren einer Mehrzahl benachbarter Kamerabilder
DE68913288T2 (de) Anpassungsfähige und nicht-lineare signalverarbeitungsanordnung.
DE102016220079B4 (de) Verfahren zur Ermittlung von Entfernungsdaten
WO2023285128A1 (de) Verfahren zur steuerung eines zielsystems und insbesondere zum erfassen zumindest eines nutzungsobjektes, insbesondere einer erfassungssteuerung
DE102020211808A1 (de) Erzeugen gestörter Abwandlungen von Bildern

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21704516

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21704516

Country of ref document: EP

Kind code of ref document: A1