WO2023126140A1 - Steuervorrichtung zum bereitstellen einer klassifizierung von sensordaten für ein kraftfahrzeug mittels eines optischen neuronalen netzwerks und verfahren zum betreiben der steuervorrichtung - Google Patents

Steuervorrichtung zum bereitstellen einer klassifizierung von sensordaten für ein kraftfahrzeug mittels eines optischen neuronalen netzwerks und verfahren zum betreiben der steuervorrichtung Download PDF

Info

Publication number
WO2023126140A1
WO2023126140A1 PCT/EP2022/084882 EP2022084882W WO2023126140A1 WO 2023126140 A1 WO2023126140 A1 WO 2023126140A1 EP 2022084882 W EP2022084882 W EP 2022084882W WO 2023126140 A1 WO2023126140 A1 WO 2023126140A1
Authority
WO
WIPO (PCT)
Prior art keywords
optical
control device
sensor data
neural network
motor vehicle
Prior art date
Application number
PCT/EP2022/084882
Other languages
English (en)
French (fr)
Inventor
Heiko Gustav Kurz
Original Assignee
Volkswagen Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE102022100836.3A external-priority patent/DE102022100836A1/de
Application filed by Volkswagen Aktiengesellschaft filed Critical Volkswagen Aktiengesellschaft
Priority to CN202280086834.1A priority Critical patent/CN118591829A/zh
Publication of WO2023126140A1 publication Critical patent/WO2023126140A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
    • G06N3/0675—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means using electro-optical, acousto-optical or opto-electronic means
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F3/00—Optical logic elements; Optical bistable devices
    • G02F3/02—Optical bistable devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Definitions

  • the invention relates to a control device for providing a classification of sensor data for a motor vehicle using an optical neural network.
  • the invention also relates to a motor vehicle with such a control device and a method for operating such a control device.
  • a motor vehicle can be designed for automatic or at least partially automatic driving.
  • the motor vehicle has, for example, a computing device which is designed to control a longitudinal and/or lateral guidance of the motor vehicle, for example by means of actuating a drive device, a braking system and/or a steering system of the motor vehicle.
  • Reliable detection and evaluation of the surroundings of the motor vehicle is essential for automatic or at least semi-automatic driving, ie the motor vehicle should be provided with a reliable perception of the surroundings.
  • the environment of the motor vehicle which can alternatively be referred to as the environment of the motor vehicle, is detected using at least one sensor device, for example using a radar device, lidar device and/or a camera, and at least one object detected in this way in the environment is classified.
  • a classification can be carried out, for example, by means of a neural network (NN) or artificial neural network (ANN), which has previously been trained to recognize objects of different classes of objects.
  • NN neural network
  • ANN artificial neural network
  • US 2020/0327403 A1 shows an optical neural network that provides layers of a neural network by means of light beams and optical components, wherein it has an input layer, no or more intermediate layers and an output layer.
  • An optical nonlinear operation is implemented using a nonlinear optical medium that exhibits electromagnetically induced transparency properties.
  • An optical neural network is also described in the scientific publication "All-optical neural network with nonlinear activation functions" by Ying Zuo, Bohan Li, Yujun Zhao, Yue Jiang, You-Chiuan Chen, Peng Chen, Gyu-Boong Jo, Junwei Liu and Shengwang Du (Optica, Vol. 6, No.
  • a first aspect of the invention relates to a control device for providing a classification of sensor data for a motor vehicle using an optical neural network (NN).
  • the control device has the optical NN.
  • the NN can alternatively be referred to as an artificial neural network (ANN).
  • the invention is based on the finding that for an automatic or at least semi-automatic driving function of a motor vehicle, a holistic detection of the surroundings of the motor vehicle over 360 degrees and in three dimensions (360 ° 3D environment detection) is essential so that all static and / or dynamic objects in the environment can be detected and then classified.
  • the camera in particular plays a key role in the redundant, robust detection of the environment, since this type of sensor can precisely measure angles in the environment and can be used to classify the environment.
  • the processing and classification of camera images captured by the camera is computationally intensive and, in particular, complex in terms of architecture.
  • the 360° 3D environment detection can be problematic, since numerous individual images have to be classified and processed and thus the required computing effort is typically high compared to an evaluation of other sensor data.
  • a high-performance NN or ANN offers the possibility of camera images and/or data from another sensor device of the motor vehicle, such as a radar device and/or lidar device, with refresh rates of several Hertz, which can be between greater than 0 Hertz and less than 10 Hertz, for example , to classify.
  • this frame rate is insufficient for reliable detection of the surroundings with high resolution, which is within a desired range of resolution, in real time, since modern camera systems work with a frame rate of 30 Hertz.
  • a data load increases as the resolution of the camera images increases.
  • an automotive grade camera may have a resolution of 8 megapixels or more. The classification of the camera images of this camera in the vehicle is not possible with the conventional NN in real time if numerous, different classes are to be distinguished.
  • the limiting factor here is the speed of a processor or graphics processor used, which has typically not been sufficient to date, even in the case of a high-performance computer, to classify the high-resolution and numerous images per second completely in real time.
  • the classification is necessary in particular for understanding the scene of the environment in order to be able to determine and carry out an automatic or at least partially automatic driving maneuver for the motor vehicle in accordance with the environment.
  • An incomplete and/or incorrect classification is undesirable for the use of the automatic or at least partially automatic driving function and/or an automatic or at least partially automatic driver assistance system.
  • an NN is primarily used to classify the environment.
  • Sensor data are passed on electronically to several neurons of the NN via weights.
  • an arithmetic operation is carried out using a linear or non-linear response function.
  • An output signal from the neurons of one layer of the NN, which is passed on to the neurons of a subsequent layer of the NN, can be represented, for example, by a sigmoid function of the sum of weighted response functions, the sigmoid function being an example of a non-linear response function:
  • a is a neuron of a layer of several neurons
  • coj is the weight, a; 0 the neurons and o the sigmoid function.
  • the NN thus forms the following function:
  • n and k are natural numbers
  • the output of the neurons corresponds to the classification. It therefore indicates, for example, for an image area of a camera image as sensor data classified by means of the NN, which class of object is represented in the image area.
  • a NN is implemented on a conventional computer architecture, slow processing of the data is usually observed, so that the class information for the high-resolution camera images or other sensor data cannot be provided in real time.
  • the optical NN In order to be able to classify the sensor data faster than with a conventional NN, the optical NN should be used. Because the use of atomic ensembles as neurons of a NN enables high-precision quantum control of electromagnetic radiation.
  • the atomic ensemble which is assumed to be the neuron of the optical NN, can be designed as a nonlinear optical medium.
  • the nonlinear optical medium exhibits electromagnetically induced transparency properties, that is, exhibits the effect of electromagnetically induced transparency (EIT, for "electromagnetically induced transparency").
  • EIT electromagnetically induced transparency
  • the non-linear optical medium may be in the form of a quantum structure. By utilizing the EIT effect, at least one electromagnetic atomic state of the nonlinear optical medium can be used as an optical neuron.
  • the control device is designed to provide optically encoded sensor data.
  • the sensor data can be recorded by a sensor device of the motor vehicle and made available to the control device, for example by means of a control device of the sensor device, in particular via a communication link inside the motor vehicle.
  • the sensor data can be provided by an external device, for example by another motor vehicle, a server device and/or an infrastructure device.
  • the sensor data can then be transmitted wirelessly to the motor vehicle, for example via a vehicle-to-vehicle and/or a vehicle-to-infrastructure connection.
  • the sensor data are, for example, camera data from a camera, for example a vehicle's front camera, rear camera and/or side camera on the one hand and/or a stationary traffic observation camera on the other, radar data from a radar device in the motor vehicle and/or lidar data of a lidar device of the motor vehicle (lidar for "light detection and ranging").
  • the control device is also designed to evaluate the provided optically encoded sensor data using the optical NN.
  • the optic NN has multiple optic neurons with electromagnetically induced transparency properties, thus behaving according to the EIT effect.
  • the control device is also designed to provide optically encoded classification information as a result of the evaluation by means of an evaluation device of the optical neural network.
  • the optically encoded classification information describes the classification of the sensor data.
  • the optically encoded classification information thus has data, for example, from which the classification of the sensor data can be taken.
  • the evaluation device can be a central device of the control device, which is designed to evaluate the data provided by all optical neurons of the optical NN and thereby to determine the optically encoded classification information for the sensor data.
  • the optically encoded classification information describes, for example, the class of the object to which the image pixel is assigned for each image pixel of a camera image as sensor data.
  • the class of the object differentiates, for example, between the objects roadway, roadway marking, vehicle, pedestrian, vegetation and/or infrastructure element.
  • the control device has a conversion device. Using this, the control device is designed to convert the optically encoded classification information into electronically encoded classification information. An electronic signal or electronic information is thus generated from the optically encoded classification information previously provided as an optical signal or optical information. A content of the optically encoded classification information is not changed in this case. This means that the electronically encoded classification information also describes the classification of the sensor data that was determined using the optical NN.
  • the electronically encoded classification information includes data that can be evaluated by an electronic device, such as a computing device in the motor vehicle.
  • the computing device can be designed, for example, to control a longitudinal and/or lateral guidance of the motor vehicle, for example by activating a drive device, a braking system and/or a steering system of the motor vehicle.
  • the electronically encoded classification information is therefore suitable for being made available to an automatic or at least partially automatic driving function and/or an automatic or at least partially automatic driver assistance system.
  • the control device is therefore designed to provide the electronically encoded classification information for the motor vehicle.
  • the control device is preferably a component of the motor vehicle, so that it makes the electronically encoded classification information available to itself and/or to the computing device of the motor vehicle, which is arranged separately from the control device, for example.
  • the provision can include transmitting the electronically encoded classification information from the control device to another component of the motor vehicle, for example to the computing device for the automatic or at least partially automatic driving function or the automatic or at least partially automatic driver assistance system.
  • the optical NN is first trained before it is used to classify the sensor data.
  • camera data of a possible environment of a motor vehicle preferably several camera images
  • radar data and/or lidar data can be provided to the optical NN for training.
  • This training data was preferably recorded using a sensor device of the motor vehicle, that is to say they preferably correspond to actual sensor data from the surroundings of the motor vehicle.
  • the training process may include a manual review of the optically encoded classification information obtained using the optical NN.
  • the optical NN is thus designed to assign at least one object, which is described by the sensor data, to a class of objects, ie an object class, ie to classify the sensor data.
  • the training thus creates a connection between typical sensor data and the typical classes of objects in the area surrounding the motor vehicle for the optical NN and makes it available for future applications of the optical NN by storing the connection, for example, in the evaluation device of the control device.
  • the control device thus makes it possible to classify the sensor data for the motor vehicle particularly quickly, since it is not electronically encoded data that is processed, as in a conventional ANN or NN, but rather optically encoded data.
  • the at least one optical neuron is formed from a non-linear optical medium, in particular as a quantum dot, quantum wire, quantum well and/or vapor cell.
  • the vapor cell has at least one atom and/or molecule with a predetermined energy level, in particular a Rydberg atom and/or a Bose-Einstein condensate. The vapor cell can therefore have highly excited atoms.
  • the vapor cell can be filled with a gas or a solution.
  • a quantum dot (“quantum dot”) is a nanoscopic material structure, for example made of a semiconductor material, where charge carriers (electrons, holes) in the quantum dot are restricted in their mobility in all three spatial directions to such an extent that their energy only has discrete values can accept.
  • the quantum dot therefore behaves similarly to an atom, however, a shape, size and/or number of electrons in the quantum dot can be manipulated so that electronic and/or optical properties of the quantum dot can be tailored to a given requirement.
  • a quantum wire is a spatial potential structure in which the freedom of movement of charge carriers is restricted to one dimension.
  • a quantum well is a potential curve that limits the freedom of movement of a particle in one spatial dimension, so that only one planar region can be occupied.
  • the width of the quantum well largely determines the quantum mechanical states that the particle can assume. In particular, this means that the particle can only assume discrete energy states.
  • the nonlinear optical medium thus represents a system subject to quantum confinement, as is the case for the quantum dot, quantum wire and/or quantum well.
  • Coupled quantum mechanical states are therefore used for the optical NN, which are given, for example, in at least one atom, highly excited atom, Rydberg atom, molecule, a solution and/or the system that is subject to quantum confinement, in order to use EIT to use at least one electromagnetic atomic state as an optic neuron.
  • Versatile design options for the nonlinear optical medium are therefore possible, all of which can exhibit the EIT effect.
  • the optical neurons are therefore particularly flexible in their configuration
  • the optical NN has at least one layer which has a plurality of optical neurons.
  • the optical NN has an input layer, none or at least one intermediate layer (hidden layer) and an output layer. Each of these layers can be understood as a column of several neurons.
  • Leading to each optic neuron at least a first optical waveguide.
  • the optical waveguide is designed to transmit light.
  • the optical waveguide conducts light in particular in fibers made of quartz glass or in a polymer optical fiber made of plastic, or in a waveguide integrated in a semiconductor structure or in a waveguide structure integrated in a solid body.
  • a test laser beam of a test laser and a coupling laser beam of a coupling laser can be coupled into the optical neuron via the first optical waveguide.
  • the probe laser and the coupling laser are comprised of the optical NN.
  • the task of the two lasers results from the EIT effect. Because this effect is based on the fact that the test laser beam is used to radiate the test laser beam and the coupling laser beam is used to radiate the coupling laser beam onto the nonlinear optical medium, with the nonlinear optical medium being able to have energy states E0, E1 and E2.
  • the probe laser beam By applying the probe laser beam to the nonlinear optical medium, at least one electron of an atom of the nonlinear optical medium having the energy state E0 can be raised to the energy state E1.
  • the coupling laser beam it can be raised from the E1 energy state to the E2 energy state.
  • the coupling laser couples the energy states E1 and E2, which can be referred to as “coupled states” or “dressed states”.
  • the electron of the atom can thus complete the transition from the energy state E0 to the energy state E2 by absorbing one photon each from the test laser and the coupling laser.
  • the energy state E2 is preferably long-lived, that is, for example, a metastable state.
  • the nonlinear optical medium becomes transparent to the probe laser when there is no longer an electron of the nonlinear optical medium that can still absorb a photon of the probe laser beam, since it has not yet done so, and the transition from the energy state E2 to the energy state E0 is forbidden.
  • the forbidden transition can be described as a "dark state”. So no repopulation of the energy state E0 is possible.
  • the two lasers can thus be used to stimulate the optical neuron that has the nonlinear optical medium in such a way that the optical NN can serve as such due to the electromagnetically induced transparency properties of the optical neuron, ie it functions as an optical NN.
  • the optical NN has two first optical waveguides for each neuron, with a first of the two first optical waveguides being provided for the sample laser beam and a second of the two first optical waveguides being provided for the coupling laser beam.
  • the two laser beams can thus be radiated onto the respective neuron from, for example, two different directions.
  • At least one second optical waveguide leads from each optical neuron.
  • the second optical waveguide is designed analogously to the first optical waveguide.
  • the at least one second optical waveguide leads to another optical neuron or directly to the evaluation device.
  • the test laser beam can be coupled into the at least one second optical waveguide after it has passed the optical neuron.
  • the test laser beam is thus coupled into each of the second optical waveguides after it has passed through the optical neuron.
  • the test laser beam arriving in the optical neuron by means of the at least one first optical waveguide may or may not interact with at least one electron of the optical neuron, ie the non-linear optical medium.
  • the probe laser beam is transmitted by means of the second optical waveguide into which the probe laser beam that has passed through the optic neuron is launched. It is provided that for each neuron of a first layer there is a respective second optical waveguide to each individual neuron of the adjacent second layer. For the respective neuron of the second layer, this respective optical waveguide is the first optical waveguide. In the case of the last layer, ie the output layer, each neuron is connected to the output device via the second optical waveguide.
  • the optical NN can be designed to set a frequency and/or wavelength of the test laser and/or coupling laser as a function of the sensor data.
  • image pixel information of the sensor data can be transferred to the optical NN.
  • the sensor data here represent in particular input information that describes, for example, a pixel value of an image pixel of a camera image of the camera, a local value of the radar data of the radar device and/or a local value of the lidar data of the lidar device.
  • each neuron of the input layer assumes a sensor-data-specific energy state that may differ from other neurons of the input layer, with this sensor-data-specific information being communicated to the neurons of the other layers, since the test laser beam coupled into the second optical waveguide continues to provide this information has, since this information, for example, the transmission spectrum and / or the absorption spectrum of the respectively coupled test laser beam can be removed.
  • a reliably functional optical NN is provided.
  • the optical NN is designed to evaluate a transmission spectrum and/or an absorption spectrum of the test laser beam coupled into the at least one second light guide in order to provide the optically encoded classification information. For this purpose, in particular an extreme value of a frequency and/or an amplitude of the transmission spectrum or the absorption spectrum is evaluated. The extreme value is, for example, a maximum of the frequency and/or the amplitude. Alternatively or additionally, a phase of the transmission spectrum or the absorption spectrum can be evaluated. The evaluation can take place by means of the evaluation device. If the optical neuron, i.e.
  • the non-linear optical medium in particular the non-linear optical medium, is irradiated by means of the test laser and the coupling laser, a minimum is formed as soon as a time and/or intensity of the laser irradiation is greater than a minimum time or minimum intensity specified for the optical neuron used in the absorption spectrum of the probe laser beam.
  • photons from the probe laser can pass through the optical neuron without interaction, i.e. propagate through it without interaction with, for example, the non-linear optical medium.
  • This condition of the optic neuron can in principle be detected by recording the absorption spectrum and/or the transmission spectrum of the probe laser.
  • the transmission spectra and/or absorption spectra of the output layer are evaluated and the optically encoded classification information is obtained as a result of this evaluation.
  • the optical NN has at least one optical modulator.
  • a separate optical modulator is preferably provided for each optical neuron.
  • the optical modulator is designed to influence at least one property of the test laser beam. In particular, it is designed to influence an amplitude, polarization, frequency, wavelength and/or phase of the test laser beam.
  • the optical modulator can be designed to provide the optical weighting of the optical NN by means of the amplitude, polarization, frequency, wavelength and/or phase of the test laser beam, ie to weight the amplitude, polarization, frequency, wavelength and/or phase of the test laser beam.
  • the test laser beam received by a respective neuron can be adjusted in a sensor-data-specific manner, for example with constant properties of the test laser and/or coupling laser.
  • the optical modulator can therefore be designed det be to influence a row of optical neurons of several columns, i.e. several layers of optical neurons, in such a way that, for example, image pixel information of the sensor data is specified by means of the test laser beam received from the respective neuron.
  • the optical modulator can be used for data transmission to the evaluation device.
  • the optical weighting of the optical NN can be effected by means of the optical modulator.
  • the optical NN has a radiation source that is designed to irradiate the at least one optical neuron with electromagnetic radiation.
  • An external electromagnetic field is thus applied to the respective optic neuron.
  • This causes the transmission spectrum of the test laser beam coupled into the at least one second light guide to be split using the dynamic Stark effect, which can alternatively be referred to as the AC Stark effect (AC for “alternating current”).
  • the electron of the optic neuron raised to a higher energy state by means of the probe laser beam is excited by the irradiation by means of the electromagnetic radiation from the energy state E2 to an energy state E3, the energy states E2 and E3 deviating from each other. This causes the splitting of the transmission spectrum.
  • the optical NN is designed to evaluate the split transmission spectrum to provide the optically encoded classification information.
  • an extreme value and/or a distance between two extreme values of a frequency and/or an amplitude of the transmission spectrum is evaluated.
  • the distance can be determined as extreme values for two maxima.
  • a minimum lying between the two maxima can be evaluated, for example with regard to its frequency and/or amplitude.
  • a phase of the transmission spectrum can be evaluated.
  • the transmission spectrum is preferably viewed in the frequency domain, i.e. as a function of frequency.
  • An advantage of the applied external electromagnetic field is that the splitting of the transmission spectrum, i.e. the so-called "spectral splitting" in the transmission spectrum, reduces the amplitude of the transmitted radiation and a phase of the incident test laser radiation can be reconstructed by a time-resolved measurement of the transmission spectrum.
  • the minimum as an extreme value in the transmission spectrum provides information about the frequency of the external field and thus about the radiation source through the previously defined atomic transition to the energy state E3.
  • the absorption spectrum can be viewed with its splitting due to the dynamic Stark effect. The procedure is then analogous to that for the transmission spectrum.
  • a preferred exemplary embodiment includes the optical NN being designed to set a frequency, a phase curve and/or an amplitude of the electromagnetic radiation as a function of the sensor data.
  • the sensor data here represent in particular the input information that describes, for example, the pixel value of the image pixel of the camera image of the camera, the local value of the radar data of the radar device and/or the local value of the lidar data of the lidar device.
  • a phase profile of the electromagnetic field can be measured if the electromagnetic field is detected sufficiently quickly. This makes it possible to measure the following parameters: the frequency f of the electromagnetic field when compared with a known spectral line (e.g. integrated optical frequency comb based on semiconductors), a phase curve of the electromagnetic field, an amplitude curve of the electromagnetic field.
  • a known spectral line e.g. integrated optical frequency comb based on semiconductors
  • the electromagnetic field generated can be used as additional optical weight for the optical NN.
  • At least one of the following options for optical weighting can therefore be selected: modulating the amplitude, phase and/or frequency using a corresponding modulator to control the test laser and/or a pump laser for the test laser on the one hand and/or a selection of the externally irradiated electromagnetic Radiation, for example in the gigahertz range, on the other hand.
  • the externally irradiated electromagnetic radiation in the gigahertz range, the absorption spectrum can be modulated in such a way that the transmitted portion of the test laser is modulated, which acts as a weighting.
  • the control device has a computing unit, in particular a computer and/or a graphics processor, and a further conversion device.
  • the computing unit is designed to provide electronically encoded sensor data.
  • the computing unit can receive this, for example, from a control device of a sensor device of the motor vehicle.
  • the computing unit has, for example, at least one microprocessor and/or at least one microcontroller and/or at least one FPGA (Field Programmable Gate Array) and/or at least one DSP (Digital Signal Processor).
  • the further conversion device is designed to convert the provided electronically encoded sensor data into the optically encoded sensor data and to make these available.
  • the control device is therefore preferably provided with electronically encoded sensor data, which, however, can be converted into the optically encoded sensor data by means of the control device, so that these can be supplied to the optical NN for further evaluation. It is therefore not necessary for optically encoded sensor data to be present from the start so that the sensor data can be evaluated by means of the optical NN.
  • the converter device of the control device is designed to interfere with local oscillator information provided by a local oscillator with the optically encoded classification information provided, in order to provide the electronically encoded classification information.
  • the local oscillator can alternatively be referred to as a local oscillator.
  • a reliable method can therefore be used to provide the optically encoded classification information as electronically encoded classification information. This can then be made available, for example, to the computing device for the automatic or at least partially automatic driving function or the automatic or at least partially automatic driver assistance system for further evaluation or consideration.
  • the optical NN is arranged on at least one semiconductor chip.
  • the at least one semiconductor chip can be formed as at least one of the following components: as an electronic-photonic cointegrated semiconductor chip, which can alternatively be referred to as an electronic-photonic integrated semiconductor chip; a photonic integrated circuit (IC); a multi-chip module; and/or a chip mounted using flip-chip assembly.
  • Various basic modules or basic elements are thus possible, on the basis of which the optical NN is formed.
  • commercially available basic modules or basic elements can be used, as a result of which the optical NN can be produced easily and inexpensively in this respect.
  • the control device has a communication interface to a control device of a sensor device of the motor vehicle.
  • the control device is designed to receive sensor data recorded by the sensor device via the communication interface.
  • the sensor device is in particular the camera, the radar device and/or the lidar device.
  • the control device is at least designed to control the sensor device, that is, for example, to activate or deactivate it and/or to specify an acquisition parameter for the sensor data acquisition by means of the sensor device.
  • the control device therefore has at least one microprocessor and/or microcontroller.
  • the sensor data is therefore preferably recorded in the motor vehicle itself and evaluated directly in the motor vehicle by means of the control device with the optical NN.
  • the evaluated data that is to say the electronically encoded classification information
  • the computing device As a result, it is possible to benefit particularly greatly from the rapid classification of the sensor data using the optical NN in the motor vehicle, since no connection to an external device is required in order to be able to carry out the classification.
  • a further aspect of the invention relates to a motor vehicle with a control device as described above.
  • the motor vehicle is, for example, a passenger car, a truck, a bus, a motorcycle and/or a moped.
  • An exemplary embodiment of the motor vehicle according to the invention provides that the motor vehicle has at least one sensor device with a control device.
  • the control device is connected to the communication interface of the control device via at least one optical fiber connection.
  • the control device of the sensor device is designed to transmit the sensor data recorded by means of the sensor device to the control device via the at least one optical fiber connection.
  • the control device is designed to receive the sensor data recorded by means of the sensor device from the control device via the at least one optical fiber connection.
  • the optical fiber connection can be formed, for example, from polymer optical fibers (POF for “polymeric optical fiber” or also “plastic optical fiber”).
  • a third optical waveguide can be arranged between the control device and the control device. This is preferably made of plastic and is used to transmit the sensor data to the control device. used. This enables reliable and fast internal communication in the motor vehicle between the sensor device and the control device with the optical NN.
  • a further aspect of the invention relates to a method for operating a control device for providing a classification of sensor data for a motor vehicle using an optical neural network.
  • the method has the following steps: providing optically encoded sensor data; evaluating the optically encoded sensor data provided using an optical neural network, which has a plurality of optical neurons with electromagnetically induced transparency properties, with optically encoded classification information being provided as a result of the evaluation using an evaluation device of the optical neural network, which describes the classification of the sensor data; converting the optically encoded classification information into electronically encoded classification information by means of a conversion device; and providing the electronically encoded information to the motor vehicle.
  • the exemplary embodiments described in connection with the control device, both individually and in combination with one another apply correspondingly, to the extent applicable, to the method according to the invention.
  • the method can be viewed, at least in part, as a computer-implemented method.
  • the invention also includes the combinations of features of the described embodiments.
  • FIG. 1 shows a schematic side view of a motor vehicle with a control device and a plurality of sensor devices
  • FIG. 2 shows a schematic front view of a motor vehicle with a control device and a plurality of sensor devices
  • FIG. 3 shows a schematic rear view of a motor vehicle with a control device and a plurality of sensor devices
  • FIG. 4 shows a schematic representation of energy states in the case of electromagnetically induced transparency
  • FIG. 5 shows a schematic representation of the energy states according to FIG. 4 in an external electromagnetic field
  • FIG. 6 shows a schematic representation of an absorption spectrum with electromagnetically induced transparency
  • FIG. 7 shows a schematic representation of an absorption spectrum according to FIG. 4 in an external electromagnetic field
  • FIG. 8 shows a schematic representation of an EIT signal as a function of an intensity of a coupling laser
  • Fig. 9 is a schematic representation of an optical neuron according to a first embodiment
  • Fig. 10 is a schematic representation of an optical neuron according to a second embodiment
  • Fig. 11 is a schematic representation of an optical neuron according to a third embodiment
  • Fig. 12 is a schematic representation of an optical neuron according to a fourth embodiment
  • Fig. 13 is a schematic representation of an optical neural network
  • FIG. 14 shows a schematic representation of a control device with an optical neural network.
  • Fig. 1 is a schematic side view of a motor vehicle 1 is outlined.
  • the motor vehicle 1 has a control device 2 and several sensor devices 3 .
  • Each of the sensor devices 3 has a control device 4 .
  • This is designed, for example, to control the respective sensor device 3, ie to activate or deactivate it.
  • the respective control device 4 can be used to store sensor data from the sensor device 3 and/or to specify at least one setting parameter for acquiring the sensor data using the sensor device 3 .
  • the setting parameter describes, for example, a resolution of the sensor data that is recorded using the sensor device 3 .
  • the sensor device 3 is either a camera 5, here a side camera, a radar device 6 or a lidar device 7. In a vertical direction of the motor vehicle 1, the lidar device 7 is arranged at the top and the radar devices 6 are arranged at the bottom.
  • the motor vehicle 1 has a number of optical fiber connections 8 via which the respective control device 4 is connected to the control device 2 .
  • the optical fiber connection 8 connects the control device 4, for example a communication interface 38 (see reference number 38 in FIG. 14) of the control device 4, to the communication interface 38 of the control device 2.
  • the respective control device 4 can be designed to transmit the sensor data recorded by means of the sensor device 3 to the control device 2 via the optical fiber connection 8 .
  • FIG 2 shows a schematic front view of motor vehicle 1 from FIG Transverse direction of the motor vehicle 1 refer.
  • the camera 5 is arranged below in the vertical direction here.
  • FIGS. 1 and 2 show a schematic rear view of the motor vehicle 1 from FIGS. 1 and 2.
  • the lidar device 7 is arranged at the top center.
  • Three radar devices 6 are arranged one above the other in the vertical direction, but only on one side in the transverse direction, namely the left side here.
  • a radar device 6 is also arranged at the bottom in the vertical direction and on the right in the transverse direction.
  • the positions of the sensor devices 3 shown in FIGS. 1 to 3 are to be understood purely as examples. Alternative positions of the sensor devices 3 in the motor vehicle 1 are possible, which are not outlined here.
  • FIG. 4 the effect of electromagnetically induced transparency (EIT for electromagnetically induced transparency) is shown schematically.
  • EIT electromagnetically induced transparency
  • This effect is based on the fact that a test laser beam 9 is applied by means of a test laser 29 (see reference number 29 in Fig. 13) and a coupling laser beam 10 by means of a coupling laser 30 (see reference number 30 in Fig. 13) to a non-linear optical medium 17 (see reference number 17 in Fig. 9), which can alternatively be called an atomic system, is radiated.
  • the non-linear optical medium 17 has the energy states E0, E1 and E2.
  • the energy state E1, E1, E2 can alternatively be referred to as an energy level.
  • the coupling laser 30 couples the energy states E1 and E2, which can be referred to as “coupled states” or "dressed states”.
  • the electron of the atom can thus complete the transition from the energy state E0 to the energy state E2 by absorbing one photon each from the test laser 29 and the coupling laser 30 .
  • the E2 state is preferably long-lived, ie a metastable state, for example.
  • the non-linear optical medium 17 becomes transparent to the probe laser when there is no longer an electron of the non-linear optical medium 17 that can still absorb a photon of the probe laser beam 9, since it has not yet done so, and the transition from the energy state E2 to the energy state E0 is forbidden.
  • the forbidden transition can be referred to as the "dark state” and is sketched in FIG. 4 with a crossed-out arrow. So no repopulation of the energy state E0 is possible.
  • FIG. 5 shows the energy states E0, E1, E2 of the non-linear optical medium 17 from FIG. 4, an additional external electromagnetic field now being radiated in.
  • the non-linear optical medium 17 is therefore irradiated with electromagnetic radiation 27 (see reference number 27 in FIG. 12) by means of a radiation source 26 (see reference number 26 in FIG. 12).
  • the electromagnetic radiation 27 is typically in the millimeter range and can have a frequency of 70 gigahertz, for example.
  • the energy state E2 becomes an energy state E3 as a result of the electromagnetic radiation 27 delay.
  • the reason for this is the dynamic Stark effect, also known as the AC Stark effect, or the Autler-Townes effect.
  • the nonlinear optical medium 17 is now irradiated by means of the test laser 29 and the coupling laser 30, a minimum is formed in the absorption spectrum as soon as a time and/or intensity of the laser irradiation is greater than a minimum time or minimum intensity specified for the nonlinear optical medium 17 used of the probe laser beam 9.
  • photons of the probe laser 29 can pass through the non-linear optical medium 17 without interaction, i.e. propagate through the non-linear optical medium 17 without interacting with it.
  • This state of the non-linear optical medium 17 can thus be detected by detecting the absorption spectrum of the test laser 29 .
  • a transmitted power of the test laser beam 9 can be measured directly.
  • the absorption spectrum 11 was recorded without the radiation source 26 activated.
  • the absorption spectrum 11 for the case in which the radiation source 26 is activated.
  • the absorption spectrum 11 is split in the frequency space, ie as a function of the frequency f, and a minimum is formed around the test laser wavelength.
  • a so-called “spectral splitting” thus occurs in the absorption spectrum 11.
  • the amplitude of the transmitted radiation decreases.
  • a phase of the incident test laser radiation can be reconstructed by a time-resolved measurement of the absorption spectrum 11 .
  • the minimum provides information about the frequency f of the external field, i.e. the radiation source 26, through the previously defined atomic transition to the energy state E3.
  • a width of the spectral splitting is shown here as the frequency spacing ⁇ f between the two maximum extreme values 12 in the absorption spectrum 11 .
  • the frequency spacing Af can be calculated using the following formula:
  • E is the electric field strength of the external electromagnetic field that is reached by the electromagnetic radiation 27
  • D is an atomic dipole moment for the transition from the energy state E2 to the energy state E3 induced by the electromagnetic radiation 27
  • A1 is a wavelength of the test laser 29 and
  • A2 is the wavelength of the coupling laser 30.
  • the formula also includes n for the number Pi and h for the reduced Planck constant.
  • a phase profile of the electromagnetic field can be measured if the electromagnetic field is detected sufficiently quickly. This makes it possible to measure the following additional parameters: the frequency f of the electromagnetic field when compared with a known spectral line (e.g. integrated optical frequency comb based on semiconductors), a phase curve of the electromagnetic field, an amplitude curve of the electromagnetic field.
  • a known spectral line e.g. integrated optical frequency comb based on semiconductors
  • the electromagnetic field generated as a result can be used as additional optical weight for an optical neural network (NN) 14 (see reference number 14 in FIG. 9).
  • FIG. 8 An EIT signal 13 as a function of an intensity I of the coupling laser 30 is sketched in FIG.
  • This function is similar to a sigmoid function, which is the function commonly used as the non-linear function of an optic neuron 16 (see reference numeral 16 in FIG. 9) within the NN 14.
  • FIG. FIG. 8 thus makes it clear that the transmission induced by the coupling laser 30 can be recorded as a non-linear function similar to the sigmoid function, while the coupling laser 30 acts as an optical weight.
  • the coupling laser 30 can maximize its absorption by the nonlinear optical medium 17 in an off state, which corresponds to the weighting.
  • a pump laser to induce a rabioscillation through the test laser, which can also act as a weighting.
  • the intensity I or a frequency detuning of the coupling laser 30 determines a strength of the EIT signal 13.
  • FIG. 9 shows a first exemplary embodiment of an optical neuron 16 for the optical NN 14, only one optical neuron 16 being sketched here as an example.
  • An optical neuron 16 based on an EIT cell is shown schematically on a semiconductor wafer 15, which is embodied here by way of example as an electronic-photonic cointegrated semiconductor chip (EPIC).
  • the semiconductor die 15 may alternatively be in the form of a photonic integrated circuit, a multi-chip module, and/or a chip mounted using flip-chip assembly.
  • the optical neuron 16 has the non-linear optical medium 17 here, which is embodied as a quantum dot (for example made of InAs or GaAs), a quantum wire or a quantum well.
  • the quantum dot, quantum wire or quantum well as non-linear optical medium 17 here has an optional reflective coating 18 on its two outer sides.
  • At least a first optical waveguide 19 leads to the optical neuron 16 , via which the test laser beam 9 of the test laser 29 and the coupling laser beam 10 of the coupling laser 30 can be coupled into the optical neuron 16 .
  • At least one second optical waveguide 20 also leads away from the optical neuron 16 .
  • An optocoupler 21 is also sketched here, via which an optical waveguide 22 can be coupled into the first optical waveguide 19 .
  • the first optical waveguide 19 and the second optical waveguide 20 are arranged on the semiconductor chip 15 at least from and up to the optocoupler 21 .
  • An optional optical modulator 23 can also be arranged on the semiconductor die 15 .
  • an electronic circuit can be provided on the semiconductor chip 15, which is designed for diagnostics, for example.
  • the electronic circuit is an evaluation device 24 of the optical NN 14.
  • the second optical waveguide 20 leads directly to the evaluation device 24 here.
  • the test laser beam 9 can be coupled into the second optical waveguide 20 after it has passed through the optical neuron 16 .
  • Fig. 9 shows that the first optical waveguide 19 couples radiation from the test laser 29 and coupling laser 30 with the data to be processed, which can be the sensor data from the sensor device 3, into a photonic semiconductor, outlined here by the semiconductor wafer 15. These are guided to the nonlinear optical medium 17 by integrated photonic structures.
  • the laser radiation, ie the probe laser beam 9 and the coupling laser beam 10 interact with the non-linear optical medium 17, so that the EIT described above arises.
  • the frequency and/or amplitude information of the transmission spectrum and/or the absorption spectrum 11 is passed on to the next layer of optical neurons 16 via the second optical waveguide 20 (not outlined here) before it is transmitted to the evaluation device 24 .
  • the evaluation device 24 is used for diagnosis and control.
  • the optical modulator 23 can also be integrated to influence the amplitude, the polarization, the frequency or the phase, which can also be used for data transmission to a central unit, ie the evaluation device 24 .
  • a central unit ie the evaluation device 24 .
  • EIT cells shown in FIG. 9 can be assembled into an optical NN 14 on an electronic-photonic cointegrated chip.
  • FIG. 10 shows a second exemplary embodiment in which the EIT cell is integrated, for example, on a purely photonic chip, ie without using electronic components.
  • the non-linear optical medium 17 is designed here as a vapor cell. This has, for example, at least one atom and/or molecule with a predetermined energy level, in particular a Rydberg atom and/or a Bose-Einstein condensate. 10 thus shows a simplified optical neuron 16 based on the photonic chip.
  • a photonic coupler 25 is arranged at the input of the first optical waveguide 19 and at the output of the second optical waveguide 20.
  • the first optical waveguide 19 again couples the test laser beam 9 and the coupling laser beam 10 into the photonic chip, which is led to the integrated EIT cell, ie the non-linear optical medium 17 .
  • the coupling laser 30 and the probe laser 29 interact with the non-linear optical medium 17, resulting in the EIT described above. This arises in particular when an external electromagnetic field (not outlined here) interacts with the non-linear optical medium 17 .
  • the frequency and/or amplitude information is fed back via the second optical waveguide 20 to a central data processing module, that is to say for example the evaluation device 24, and optically detected.
  • FIG. 11 shows a third embodiment which can be referred to as a highly integrated design with an EIT cell with a vapor cell/Bose-Einstein condensate as the non-linear optical medium 17.
  • FIG. 11 shows a schematic representation of the optical neuron 16 based on an EIT cell on a semiconductor electronic-photonic cointegrated chip (EPIC).
  • the first optical waveguide 19 couples coherent Radiation enters a photonic semiconductor and leads to the integrated vapor cell/Bose-Einstein condensate.
  • coupling lasers 30 and probe lasers 29 interact with the nonlinear optical medium 17, resulting in the EIT described above.
  • additional optical modulators 23 can be integrated to influence the amplitude, the polarization, the frequency or the phase, which can also be used for data transmission to the evaluation device 24 .
  • the optical weighting of the optical NN 14 can be possible via a selection of the externally radiated electromagnetic radiation 27, for example in the gigahertz range.
  • the absorption spectrum 11 can be modulated in such a way that the transmitted portion of the test laser 29 is modulated, which acts as a weighting.
  • Figure 12 shows a fourth embodiment, in which the non-linear optical medium 17 can again be in the form of a quantum dot, quantum wire and/or quantum well, for example an InAs/GaAs quantum dot.
  • the exemplary embodiment is distinguished by the use of the external radiation sources 26 as an optical weight, with the electromagnetic radiation 27 being radiated onto the optical neuron 16 by means of the external radiation source 26 .
  • the semiconductor chip 15 can be configured analogously to FIG.
  • the optical NN 14 is designed to set a frequency, a phase profile and/or an amplitude of the electromagnetic radiation 27 depending on the sensor data.
  • the outlined first optical waveguide 19 and the outlined second optical waveguide 20 can alternatively be interchanged in FIGS. 9 to 12.
  • the test laser 29 is outlined here, which couples the test laser beam 9 into a plurality of first optical waveguides 19 via the optocoupler 21 .
  • the coupling laser 30 is outlined, which couples the coupling laser beam 10 into three parallel layers of optical neurons 16 here via a number of optocouplers 21 .
  • the optocoupler 21 can be designed to carry out a wavelength multiplex method and/or a time multiplex method in order to encode the image information, ie the optically encoded sensor data, in the wavelength, ie to be able to provide the weighting by the coupling laser 30 .
  • a plurality of channels can be provided and the weighting can thereby be achieved by means of the coupling laser 30 .
  • the optic neurons are as in FIG. 9 embodied here by way of example as a quantum dot, quantum wire and/or quantum well.
  • optical weightings 31 are also drawn in for the optical NN 14 sketched, each of which is assigned to one of the optical neurons 16 .
  • the optical NN 14 can include a conversion device 32 in addition to the evaluation device 24 .
  • the combination of evaluation device 24 and converter device 32 can be referred to as an electro-optical interface or electronic data processing device and can have precisely these functions.
  • the evaluation device 24 together with the conversion device 32 provide electronically encoded classification information 33 which describes the classification of the sensor data as an electronic signal or electronic data.
  • FIG. 13 shows that the second optical waveguide 20 leads from each optical neuron 16 of one layer to each optical neuron 16 of the adjacent layer. As an alternative to this, only selected and thus individual optical neurons 16 of one layer can be connected via the respective second optical waveguide 20 to selected optical neurons 16 of the adjacent layer.
  • the control device 2 has, for example, a computing unit 34, in particular a computer and/or a graphics processor.
  • the computing unit 34 is designed to provide electronically encoded sensor data.
  • a further conversion device 32' of the control device 2 can be designed to convert the provided electronically encoded sensor data into optically encoded sensor data 36 and to make them available. This means that the control device 2 is designed to provide optically encoded sensor data 36 for the optical NN 14 .
  • the control device 2 is designed to evaluate the optically encoded sensor data 36 provided using the optical NN 14, the optical NN 14 having the plurality of optical neurons 16 with electromagnetically induced transparency properties, and as a result of the evaluation using the evaluation device 24 of the optical NN 14 a to provide optically encoded classification information 37 that describes the classification of the sensor data, specifically as an optical signal or optical data.
  • the converter device 32 of the control device 2 is designed to convert local oscillator information provided by a local oscillator 35 of the control device 2 to interfere with the optically encoded classification information 37 provided to provide the electronically encoded classification information 33 .
  • the control device 2 is thus designed to convert the optically encoded classification information 37 into electronically encoded classification information 33 by means of the conversion device 32 and ultimately to provide the electronically encoded classification information 33 for the motor vehicle 1 .
  • a phase lock (“phase lock”) can be provided.
  • the control device 2 can also have the communication interface 38 via which the sensor data can be received by the control devices 4 of the sensor devices 3 .
  • the conversion device 32 can alternatively or additionally be designed for optical detection, homodyne or heterodyne detection and/or for down-conversion of the frequency.
  • the test laser 29 and the coupling laser 30 can be arranged at the location of the further conversion device 32'.
  • the further conversion device 32' can have an optical frequency comb and/or a micro ring resonator.
  • transmission paths for electronically encoded data are outlined with a solid line and transmission paths for optically encoded data are outlined with a broken line.
  • an electronic transmission path to the neurons 16 can be provided, which is sketched here as an arrow starting from the further conversion device 32' without an end point.
  • the control device 2 shown in FIG. 14 enables: combined processing of the data in a spatially separate central unit; coherent processing; Integration of optical frequency combs for broadband scanning of the frequencies of external electromagnetic fields; and integration of the local oscillator 35 or a phase coupling unit in order to electronically or optically phase-lock neurons 16 and use them for frequency mixing in the detector.
  • the classification of data in the 5G frequency band or beyond can be done for: data processing for vehicle-to-infrastructure applications (software updates, map updates, infrastructure signals), gesture recognition and/or user interface applications.
  • Radiation source electromagnetic radiation
  • Conversion device ' further conversion device electronically encoded classification information

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Multimedia (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

Die Erfindung betrifft eine Steuervorrichtung (2) zum Bereitstellen einer Klassifizierung von Sensordaten für ein Kraftfahrzeug (1) mittels eines optischen neuronalen Netzwerks (14) und ein Verfahren zum Betreiben der Steuervorrichtung (2). Die Steuervorrichtung (2) weist das optische neuronale Netzwerk (14) auf und ist dazu ausgebildet: optisch kodierte Sensordaten bereitzustellen; die bereitgestellten optisch kodierten Sensordaten (36) mittels des optischen neuronalen Netzwerks (14) auszuwerten, wobei das optische neuronale Netzwerk (14) mehrere optische Neuronen (16) mit elektromagnetisch induzierten Transparenzeigenschaften aufweist, und als Ergebnis des Auswertens mittels einer Auswerteeinrichtung (24) des optischen neuronalen Netzwerks (14) eine optisch kodierte Klassifikationsinformation (37) bereitzustellen, die die Klassifizierung der Sensordaten beschreibt; die optisch kodierte Klassifikationsinformation (37) in eine elektronisch kodierte Klassifikationsinformation (33) mittels einer Umwandeleinrichtung (32) der Steuervorrichtung (2) umzuwandeln; und die elektronisch kodierte Klassifikationsinformation (37) für das Kraftfahrzeug (1) bereitzustellen.

Description

Beschreibung
STEUERVORRICHTUNG ZUM BEREITSTELLEN EINER KLASSIFIZIERUNG VON SENSORDATEN FÜR EIN KRAFTFAHRZEUG MITTELS EINES OPTISCHEN NEURONALEN NETZWERKS UND VERFAHREN ZUM BETREIBEN DER STEUERVORRICHTUNG
Die Erfindung betrifft eine Steuervorrichtung zum Bereitstellen einer Klassifizierung von Sensordaten für ein Kraftfahrzeug mittels eines optischen neuronalen Netzwerks. Die Erfindung betrifft zudem ein Kraftfahrzeug mit einer derartigen Steuervorrichtung und ein Verfahren zum Betreiben einer derartigen Steuervorrichtung.
Ein Kraftfahrzeug kann zum automatischen oder zumindest teilautomatischen Fahren ausgebildet sein. Das Kraftfahrzeug weist hierfür beispielsweise eine Recheneinrichtung auf, die dazu ausgebildet ist, eine Längs- und/oder Querführung des Kraftfahrzeugs zu steuern, zum Beispiel mittels einer Ansteuerung einer Antriebseinrichtung, eines Bremssystems und/oder einer Lenkung des Kraftfahrzeugs. Für das automatische oder zumindest teilautomatische Fahren ist eine zuverlässige Erfassung und Auswertung einer Umgebung des Kraftfahrzeugs unabdinglich, das heißt dem Kraftfahrzeug sollte eine zuverlässige Umfeldwahrnehmung bereitgestellt sein. Hierfür wird die Umgebung des Kraftfahrzeugs, die alternativ als Umfeld des Kraftfahrzeugs bezeichnet werden kann, mittels zumindest einer Sensoreinrichtung erfasst, zum Beispiel mittels eines Radargeräts, Lidargeräts und/oder einer Kamera, und zumindest ein derart erfasstes Objekt in der Umgebung klassifiziert. Mit anderen Worten wird ermittelt, welcher Klasse von Objekten das erfasste Objekt zugeordnet werden kann. Es wird also bei der Klassifizierung zum Beispiel überprüft, ob es sich bei dem erfassten Objekt um einen anderen Verkehrsteilnehmer, wie ein anderes Kraftfahrzeug oder ein Fahrrad, eine Person, eine Straßenoberfläche und/oder ein Infrastrukturelement, wie ein Gebäude, handelt. Eine derartige Klassifizierung kann beispielsweise mittels eines neuronalen Netzwerks (NN) beziehungsweise künstlichen neuronalen Netzwerks (KNN) durchgeführt werden, das zuvor auf das Erkennen von Objekten verschiedener Klassen von Objekten trainiert wurde.
Die US 2020/0327403 A1 zeigt ein optisches neuronales Netzwerk, das mittels Lichtstrahlen und optischen Komponenten Schichten eines neuronalen Netzwerks bereitstellt, wobei es eine Eingabeschicht, keine oder mehrere Zwischenschichten und eine Ausgabeschicht aufweist. Eine optische nichtlineare Operation wird mittels eines nichtlinearen optischen Mediums implementiert, das elektromagnetisch induzierte Transparenzeigenschaften aufweist. Ein optisches neuronales Netzwerk wird außerdem in der wissenschaftlichen Veröffentlichung „All-optical neural network with nonlinear activation functions“ von Ying Zuo, Bohan Li, Yujun Zhao, Yue Jiang, You-Chiuan Chen, Peng Chen, Gyu-Boong Jo, Junwei Liu und Shengwang Du (Optica, Vol. 6, No. 9, September 2019, Seite 1132-1137) beschrieben, gemäß der lasergekühlte Rubidium-85-lsotope in einer zweidimensionalen Magnetooptischen Falle (MOT) mittels eines Probenlaser und eines Kopplungslasers angeregt werden, um eine nichtlineare optische Aktivierungsfunktion mit elektromagnetisch induzierten T ransparenzeigenschaften bereitzustellen.
Es ist die Aufgabe der Erfindung, eine Lösung bereitzustellen, mittels derer besonders schnell Sensordaten für ein Kraftfahrzeug klassifiziert werden können.
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche sowie des nebengeordneten Patentanspruchs gelöst.
Ein erster Aspekt der Erfindung betrifft eine Steuervorrichtung zum Bereitstellen einer Klassifizierung von Sensordaten für ein Kraftfahrzeug mittels eines optischen neuronalen Netzwerks (NN). Die Steuervorrichtung weist das optische NN auf. Das NN kann alternativ als künstliches neuronales Netzwerk (KNN) bezeichnet werden
Der Erfindung liegt die Erkenntnis zugrunde, dass für eine automatische oder zumindest teilautomatische Fahrfunktion eines Kraftfahrzeugs eine ganzheitliche Erfassung einer Umgebung des Kraftfahrzeugs über 360 Grad sowie in drei Dimensionen (360°-3D- Umfelderfassung) unabdinglich ist, damit alle statischen und/oder dynamischen Objekte in der Umgebung erfasst und anschließend klassifiziert werden können. Insbesondere der Kamera kommt in der redundanten, robusten Erfassung der Umgebung eine tragende Rolle zugute, da dieser Sensortyp präzise in der Umgebung Winkel messen und zur Klassifikation der Umgebung eingesetzt werden kann. Allerdings ist die Verarbeitung und Klassifizierung von mittels der Kamera erfassten Kamerabildern rechenintensiv und insbesondere architektonisch aufwändig. Insbesondere die 360°-3D-Umfelderfassung kann problematisch sein, da zahlreiche Einzelbilder klassifiziert und prozessiert werden müssen und somit ein benötigter Rechenaufwand verglichen mit einem Auswerten anderer Sensordaten typischerweise hoch ist. Ein hoch performantes NN oder KNN bietet die Möglichkeit, Kamerabilder und/oder Daten einer anderen Sensoreinrichtung des Kraftfahrzeugs, wie eines Radargeräts und/oder Lidargeräts, mit Bildwiederholraten von mehreren Hertz, die zum Beispiel zwischen größer als 0 Hertz und kleiner als 10 Hertz liegen können, zu klassifizieren. Für eine sichere Umfelderfassung mit hohem Auflösungsvermögen, das also in einem gewünschten Auflösungsvermögensbereich liegt, in Echtzeit ist diese Bildwiederholrate jedoch ungenügend, da moderne Kamerasysteme mit einer Bildwiederholrate von 30 Hertz arbeiten. Darüber hinaus steigt eine Datenlast mit zunehmendem Auflösungsvermögen der Kamerabilder. Eine automotivtaugliche Kamera kann zum Beispiel eine Auflösung von 8 Mega-Pixeln oder darüber aufweisen. Die Klassifizierung der Kamerabilder dieser Kamera im Kraftfahrzeug ist mit dem konventionellen NN in Echtzeit nicht möglich, wenn zahlreiche, sich voneinander unterscheidende Klassen unterschieden werden sollen. Der dabei limitierende Faktor ist eine Geschwindigkeit eines verwendeten Prozessors oder Graphikprozessors, die typischerweise bisher auch im Falle eines Hochleistungsrechners nicht ausreichend ist, um die hochaufgelösten und zahlreichen Bilder pro Sekunde vollständig in Echtzeit zu klassifizieren. Dabei ist die Klassifizierung insbesondere für ein Szenenverständnis der Umgebung notwendig, um entsprechend der Umgebung ein automatischen oder zumindest teilautomatisches Fahrmanöver für das Kraftfahrzeug bestimmen und durchführen zu können. Eine unvollständige und/oder fehlerhafte Klassifizierung ist für die Verwendung der automatischen oder zumindest teilautomatischen Fahrfunktion und/oder eines automatischen oder zumindest teilautomatischen Fahrerassistenzsystems ungewünscht.
Ein NN wird im Zusammenhang mit einer automatischen oder zumindest teilautomatischen Fahrfunktion vor allem zur Klassifizierung der Umgebung verwendet. Dabei werden Sensordaten elektronisch über eine Gewichtung (englisch „weights“) an mehrere Neuronen des NN weitergegeben. Innerhalb des jeweiligen Neurons erfolgt eine Rechenoperation mittels einer linearen oder nichtlinearen Antwortfunktion. Ein Ausgangssignal der Neuronen einer Schicht des NN, das an die Neuronen einer darauffolgenden Schicht des NN weitergegeben wird, kann zum Beispiel durch eine Sigmoid-Funktion der Summe gewichteter Antwortfunktionen dargestellt werden, wobei die Sigmoid-Funktion ein Beispiel für eine nichtlineare Antwortfunktion ist:
Figure imgf000005_0001
Hierbei ist a ein Neuron einer Schicht von mehreren Neuronen, coj die Gewichtung, a;0 die Neuronen und o die Sigmoid-Funktion. Das NN bildet somit folgende Funktion:
Figure imgf000005_0002
Hierbei sind n und k natürliche Zahlen, a' einzelne Neuronen (für i = 0 bis i = n) und y' Funktionswerte (für i = 0 bis i = k), die als Klasseninformation ausgegeben werden. Das Ausgangssignal der Neuronen entspricht der Klassifizierung. Es gibt also zum Beispiel für einen Bildbereich eines Kamerabilds als mittels des NN klassifizierten Sensordaten an, welche Klasse von Objekt in dem Bildbereich dargestellt ist.
Wird ein NN auf einer konventionellen Computerarchitektur implementiert, wird in der Regel eine langsame Verarbeitung der Daten beobachtet, sodass nicht in Echtzeit die Klasseninformation für die hochaufgelösten Kamerabilder oder andere Sensordaten bereitgestellt werden kann.
Um die Sensordaten schneller als mit einem herkömmlichen NN klassifizieren zu können, sollte das optische NN verwendet werden. Denn die Verwendung atomarer Ensembles als Neuronen eines NN ermöglicht eine hochpräzise Quantenkontrolle elektromagnetischer Strahlung. Das atomare Ensemble, das jeweils als Neuron des optischen NN angenommen wird, kann als nichtlineares optisches Medium ausgebildet sein. Wichtig ist, dass das nichtlineare optische Medium elektromagnetisch indizierte Transparenzeigenschaften aufweist, das heißt den Effekt der elektromagnetisch induzierten Transparenz (EIT, für „electromagnetically induced transparency“) aufweist. Das nichtlineare optische Medium kann zum Beispiel als Quantenstruktur ausgebildet sein. Durch Ausnutzen des EIT-Effekts kann zumindest ein elektromagnetischer atomarer Zustand des nichtlinearen optischen Mediums als optisches Neuron genutzt werden.
Die Steuervorrichtung ist dazu ausgebildet, optisch kodierte Sensordaten bereitzustellen. Die Sensordaten können von einer Sensoreinrichtung des Kraftfahrzeugs erfasst werden und, beispielsweise mittels einer Steuereinrichtung der Sensoreinrichtung, der Steuervorrichtung, insbesondere über eine kraftfahrzeuginterne Kommunikationsverbindung, bereitgestellt werden. Alternativ oder zusätzlich dazu können die Sensordaten von einer externen Einrichtung bereitgestellt werden, zum Beispiel von einem anderen Kraftfahrzeug, einer Servereinrichtung und/oder einer Infrastruktureinrichtung. Die Sensordaten können dann zum Beispiel über eine Fahrzeug-zu-Fahrzeug- und/oder eine Fahrzeug-zu-lnfrastruktur- Verbindung drahtlos an das Kraftfahrzeug übermittelt werden. Die Sensordaten sind beispielsweise Kameradaten einer Kamera, zum Beispiel einer fahrzeugeigenen Frontkamera, Heckkamera und/oder Seitenkamera einerseits und/oder einer stationären Verkehrsbeobachtungskamera andererseits, Radardaten eines Radargeräts des Kraftfahrzeugs und/oder Lidar-Daten eines Lidar-Geräts des Kraftfahrzeugs (Lidar für „light detection and ranging“).
Die Steuervorrichtung ist zudem dazu ausgebildet, die bereitgestellten optisch kodierten Sensordaten mittels des optischen NN auszuwerten. Das optische NN weist mehrere optische Neuronen mit elektromagnetisch induzierten Transparenzeigenschaften auf, die sich also gemäß dem EIT-Effekt verhalten. Die Steuervorrichtung ist außerdem dazu ausgebildet, als Ergebnis des Auswertens mittels einer Auswerteeinrichtung des optischen neuronalen Netzwerks eine optisch kodierte Klassifikationsinformation bereitzustellen. Die optisch kodierte Klassifikationsinformation beschreibt die Klassifizierung der Sensordaten. Die optisch kodierte Klassifikationsinformation weist also zum Beispiel Daten auf, denen die Klassifikation der Sensordaten entnommen werden kann. Die Auswerteeinrichtung kann eine zentrale Einrichtung der Steuervorrichtung sein, die dazu ausgebildet ist, die von allen optischen Neuronen des optischen NN bereitgestellten Daten auszuwerten und dadurch die optisch kodierte Klassifikationsinformation für die Sensordaten zu bestimmen. Die optisch kodierte Klassifikationsinformation beschreibt für beispielsweise jeden Bildpixel eines Kamerabilds als Sensordaten die Klasse des Objekts, dem der Bildpixel zugeordnet ist. Die Klasse des Objekts differenziert beispielsweise zwischen den Objekten Fahrbahn, Fahrbahnmarkierung, Fahrzeug, Fußgänger, Vegetation und/oder Infrastrukturelement.
Die Steuervorrichtung weist eine Umwandeleinrichtung auf. Mittels dieser ist die Steuervorrichtung dazu ausgebildet, die optisch kodierte Klassifikationsinformation in eine elektronisch kodierte Klassifikationsinformation umzuwandeln. Aus der bisher als optisches Signal oder optische Information bereitgestellten optisch kodierte Klassifikationsinformation wird also ein elektronisches Signal beziehungsweise eine elektronische Information erzeugt. Ein Inhalt der optisch kodierten Klassifikationsinformation wird hierbei nicht verändert. Das heißt die elektronisch kodierte Klassifikationsinformation beschreibt ebenfalls die Klassifizierung der Sensordaten, die mittels des optischen NN ermittelt wurde. Die elektronisch kodierte Klassifikationsinformation umfasst Daten, die von einer elektronischen Einrichtung, wie beispielsweise einer Recheneinrichtung des Kraftfahrzeugs ausgewertet werden können. Die Recheneinrichtung kann zum Beispiel dazu ausgebildet sein, eine Längs- und/oder Querführung des Kraftfahrzeugs zu steuern, zum Beispiel durch Ansteuern einer Antriebseinrichtung, eines Bremssystems und/oder einer Lenkung des Kraftfahrzeugs. Die elektronisch kodierte Klassifikationsinformation eignet sich somit dafür, einer automatischen oder zumindest teilautomatischen Fahrfunktion und/oder einem automatischen oder zumindest teilautomatischen Fahrerassistenzsystem bereitgestellt zu werden. Die Steuervorrichtung ist daher dazu ausgebildet, die elektronisch kodierte Klassifikationsinformation für das Kraftfahrzeug bereitzustellen. Bevorzugt ist die Steuervorrichtung eine Komponente des Kraftfahrzeugs, sodass diese sich selbst und/oder der beispielsweise getrennt von der Steuervorrichtung angeordneten Recheneinrichtung des Kraftfahrzeugs die elektronisch kodierte Klassifikationsinformation zur Verfügung stellt. Das Bereitstellen kann ein Übermitteln der elektronisch kodierten Klassifikationsinformation von der Steuervorrichtung zu einer anderen Komponente des Kraftfahrzeugs umfassen, beispielsweise zur Recheneinrichtung für die automatischen oder zumindest teilautomatischen Fahrfunktion beziehungsweise das automatische oder zumindest teilautomatische Fahrerassistenzsystem.
Das optische NN wird vor einer Verwendung zur Klassifizierung der Sensordaten zunächst trainiert. Hierfür werden beispielsweise Kameradaten einer möglichen Umgebung eines Kraftfahrzeugs, bevorzugt mehrere Kamerabilder, dem optischen NN bereitgestellt und dieses erlernt die verschiedenen Klassen an Objekten, die von den Sensordaten beschrieben werden. Alternativ oder zusätzlich dazu können dem optischen NN zum Trainieren Radardaten und/oder Lidar-Daten bereitgestellt werden. Diese Trainingsdaten wurden bevorzugt mittels einer Sensoreinrichtung des Kraftfahrzeugs erfasst, das heißt sie entsprechen bevorzugt tatsächlichen Sensordaten von einer Umgebung des Kraftfahrzeugs. Der Trainingsprozess kann eine manuelle Überprüfung der mittels des optischen NN gewonnenen optisch kodierten Klassifikationsinformationen aufweisen. Das optische NN wird also dazu ausgebildet, zumindest ein Objekt, das von den Sensordaten beschrieben wird, einer Klasse an Objekten, das heißt einer Objektklasse, zuzuordnen, das heißt die Sensordaten zu klassifizieren. Durch das Trainieren wird also für das optische NN eine Verbindung zwischen typischen Sensordaten und den typischen Klassen an Objekten in der Umgebung des Kraftfahrzeugs erzeugt und für zukünftige Anwendungen des optischen NN bereitgestellt, indem die Verbindung zum Beispiel in der Auswerteeinrichtung der Steuervorrichtung gespeichert wird.
Durch das Ausnutzen des optischen NN können Daten mit Lichtgeschwindigkeit zwischen einzelnen Neuronen übermittelt und ausgewertet werden, da optische kodierte Daten derart schnell übertragbar und bearbeitbar sind. Die Steuervorrichtung ermöglicht somit die besonders schnelle Klassifizierung der Sensordaten für das Kraftfahrzeug, da nicht wie in einem herkömmlichen KNN oder NN elektronisch kodierte Daten bearbeitet werden, sondern optisch kodierte Daten. Ein Ausführungsbeispiel sieht vor, dass das zumindest eine optische Neuron aus einem nichtlinearen optischen Medium ausgebildet ist, insbesondere als Quantenpunkt, Quantendraht, Quantentopf und/oder Dampfzelle. Die Dampfzelle weist zumindest ein Atom und/oder Molekül mit einem vorgegebenen Energieniveau auf, insbesondere ein Rydberg-Atom und/oder ein Bose-Einstein-Kondensat. Die Dampfzelle kann also hochangeregte Atome aufweisen. Die Dampfzelle kann mit einem Gas oder einer Lösung gefüllt sein.
Ein Quantenpunkt („quantum dot“) ist eine nanoskopische Mate rial Struktur, zum Beispiel hergestellt aus einem Halbleitermaterial, wobei Ladungsträger (Elektronen, Löcher) im Quantenpunkt in ihrer Beweglichkeit in allen drei Raumrichtungen derart weit eingeschränkt sind, dass ihre Energie nur noch diskrete Werte annehmen kann. Der Quantenpunkt verhält sich daher ähnlich wie ein Atom, jedoch kann eine Form, Größe und/oder Anzahl von Elektronen im Quantenpunkt beeinflusst werden, sodass elektronische und/oder optische Eigenschaften des Quantenpunkts an eine vorgegebene Anforderung angepasst werden können. Ein Quantendraht („quantum wire“) ist eine räumliche Potentialstruktur, bei der die Bewegungsfreiheit von Ladungsträgern auf eine Dimension eingeschränkt wird. Ein Quantentopf („quantum well“) ist ein Potentialverlauf, der die Bewegungsfreiheit eines Teilchens in einer Raumdimension, sodass nur eine planare Region besetzt werden kann. Die Breite des Quantentopfes bestimmt maßgeblich die quantenmechanischen Zustände, die das Teilchen einnehmen kann. Dies führt insbesondere dazu, dass das Teilchen nur diskrete Energiezustände annehmen kann. Das nichtlineare optische Medium stellt somit ein System dar, das dem Quantum-Confinement unterliegt, wie es für den Quantenpunkt, Quantendraht und/oder Quantentopf der Fall ist.
Es werden also für das optische NN gekoppelte quantenmechanische Zustände verwendet, die zum Beispiel im zumindest einen Atome, hochangeregten Atom, Rydberg-Atom, Molekül, einer Lösung und/oder dem System, das dem Quantum-Confinement unterliegt, gegeben sind, um mittels EIT zumindest einen elektromagnetischen atomaren Zustand als optisches Neuron zu nutzen. Es sind also vielseitige Ausgestaltungsmöglichkeiten für das nichtlineare optische Medium möglich, die alle den EIT-Effekt aufweisen können. Die optischen Neuronen sind somit besonders flexibel in ihrer Ausgestaltung
Ein zusätzliches Ausführungsbeispiel sieht vor, dass das optische NN zumindest eine Schicht aufweist, die mehreren optischen Neuronen aufweist. Insbesondere weist das optische NN eine Eingabeschicht („input layer“), keine oder zumindest eine Zwischenschicht („hidden layer“) und eine Ausgabeschicht („output layer“) auf. Jede dieser Schichten kann als Spalte von mehreren Neuronen verstanden werden. Zu jedem optischen Neuron führt zumindest ein erster Lichtwellenleiter hin. Der Lichtwellenleiter ist dazu ausgebildet, Licht zu übertragen. Der Lichtwellenleiter führt Licht insbesondere in Fasern aus Quarzglas oder in einer polymeren optischen Faser aus Kunststoff, oder in einen in einer Halbleiterstruktur integrierten Wellenleiter oder in einer in einen Festkörper integrierten Wellenleiterstruktur. Über den ersten Lichtwellenleiter ist ein Probelaserstrahl eines Probelasers und ein Kopplungslaserstrahl eines Kopplungslasers in das optische Neuron einkoppelbar. Der Probelaser und der Kopplungslaserwerden vom optischen NN umfasst.
Die Aufgabe der beiden Laser ergibt sich aus dem EIT-Effekt. Denn dieser Effekt basiert darauf, dass mittels des Probelasers der Probelaserstrahl und mittels des Kopplungslasers der Kopplungslaserstrahl auf das nichtlineare optische Medium gestrahlt wird, wobei das nichtlineare optische Medium Energiezuständen E0, E1 und E2 aufweisen kann. Durch Anwenden des Probelaserstrahls auf das nichtlineare optische Medium kann zumindest ein Elektron eines Atoms des nichtlinearen optischen Mediums, das den Energiezustand E0 aufweist, in den Energiezustand E1 angehoben werden. Durch Anwenden des Kopplungslaserstrahls kann es zudem vom Energiezustand E1 in den Energiezustand E2 angehoben werden. Mit anderen Worten koppelt der Kopplungslaser die Energiezustände E1 und E2, die als „coupled states“ oder „dressed states“ bezeichnet werden können. Das Elektron des Atoms kann also durch Absorption je eines Photons des Probelasers und des Kopplungslasers den Übergang vom Energiezustand E0 zum Energiezustand E2 vollziehen. Der Energiezustand E2 ist bevorzugt langlebig, das heißt zum Beispiel ein metastabiler Zustand. In diesem Fall wird das nichtlineare optische Medium transparent für den Probelaser, wenn kein Elektron des nichtlinearen optischen Mediums mehr vorhanden ist, das noch ein Photon des Probelaserstrahls absorbieren kann, da es dies bisher noch nicht getan hat, und der Übergang vom Energiezustand E2 zum Energiezustand E0 verboten ist. Der verbotene Übergang kann als „dark state“ bezeichnet werden. Es ist also keine Repopulation des Energiezustands E0 möglich. Mittels der beiden Laser kann also das optische Neuron, dass das nichtlineare optische Medium aufweist, derart angeregt werden, dass aufgrund der elektromagnetisch induzierten Transparenzeigenschaften des optischen Neurons das optische NN als solches dienen kann, also als optisches NN funktioniert.
Es ist bevorzugt vorgesehen, dass das optische NN für jedes Neuron zwei erste Lichtwellenleiter aufweist, wobei ein erster der beiden ersten Lichtwellenleiter für den Probenlaserstrahl und ein zweiter der beiden ersten Lichtwellenleiter für den Kopplungslaserstrahl vorgesehen ist. Somit können die beiden Laserstrahlen aus beispielsweise zwei verschiedenen Richtungen auf das jeweilige Neuron gestrahlt werden. Von jedem optischen Neuron führt zumindest ein zweiter Lichtwellenleiter weg. Der zweite Lichtwellenleiter ist analog zum ersten Lichtwellenleiter ausgebildet. Der zumindest eine zweite Lichtwellenleiter führt zu einem anderen optischen Neuron oder direkt zur Auswerteeinrichtung. In den zumindest einen zweiten Lichtwellenleiter ist der Probelaserstrahl einkoppelbar, nachdem dieser das optische Neuron passiert hat. Es wird also der Probelaserstrahl nach dessen Passieren des optischen Neurons in jeden der zweiten Lichtwellenleiter eingekoppelt. Der mittels des zumindest einen ersten Lichtwellenleiter in das optische Neuron eintreffende Probelaserstrahl kann mit zumindest einem Elektron des optischen Neurons, also des nichtlinearen optischen Mediums, wechselwirken oder nicht. Nach dem Wechselwirken oder dem Nicht-Wechselwirken wird der Probelaserstrahl weitergeleitet, und zwar mittels des zweiten Lichtwellenleiters, in den der Probelaserstrahl, der das optische Neuron passiert hat, eingekoppelt wird. Es ist vorgesehen, dass für jedes Neuron einer ersten Schicht ein jeweiliger zweiter Lichtwellenleiter zu jedem einzelnen Neuron der benachbarten zweiten Schicht bereitsteht. Für das jeweilige Neuron der zweiten Schicht ist dieser jeweilige Lichtwellenleiter der erste Lichtwellenleiter. Im Falle der letzten Schicht, also der Ausgabeschicht, ist jedes Neuron über den zweiten Lichtwellenleiter mit der Ausgabeeinrichtung verbunden. Es ist also vorgesehen, dass die einzelnen Neuronen der bevorzugt mehreren Schichten des optischen NN jeweils miteinander verbunden sind. Hierdurch wird sichergestellt, dass die typische Struktur eines herkömmlichen NN oder KNN vorliegt, das nicht zwangsläufig ein optisches NN ist, bei dem die Neuronen der verschiedenen Schichten einander beeinflussen können.
Es ist möglich, dass das optische NN dazu ausgebildet ist, abhängig von den Sensordaten eine Frequenz und/oder Wellenlänge des Probelasers und/oder Kopplungslasers einzustellen. Durch die Neuronen spezifische Wahl einer Parametereinstellung des Probelasers und/oder Kopplungslasers für die Eingabeschicht an optischen Neuronen kann also beispielsweise eine Bildpixelinformation der Sensordaten an das optische NN übergeben werden. Die Sensordaten repräsentieren hier insbesondere eine Eingangsinformation, die beispielsweise einen Pixelwert eines Bildpixels eines Kamerabildes der Kamera, einen lokalen Wert der Radardaten des Radargeräts und/oder einen lokalen Wert der Lidar-Daten des Lidar-Geräts beschreibt. Hierdurch kann also beispielsweise erreicht werden, dass jedes Neuron der Eingabeschicht einen sensordatenspezifischen und gegebenenfalls von anderen Neuronen der Eingabeschicht unterschiedlichen angehobenen Energiezustand annimmt, wobei diese sensordatenspezifische Information den Neuronen der weiteren Schichten mitgeteilt wird, da der in den zweiten Lichtwellenleiter jeweils eingekoppelte Probelaserstrahl diese Information weiterhin aufweist, da diese Information zum Beispiel dem Transmissionsspektrum und/oder dem Absorptionsspektrum des jeweils eingekoppelten Probelaserstrahls entnommen werden kann. Letztendlich wird also ein zuverlässig funktionsfähiges optisches NN bereitgestellt.
Des Weiteres sieht es ein Ausführungsbeispiel vor, dass das optische NN dazu ausgebildet ist, ein Transmissionsspektrum und/oder ein Absorptionsspektrum des in den zumindest einen zweiten Lichtleiter eingekoppelten Probelaserstrahls zum Bereitstellen der optisch kodierten Klassifikationsinformation auszuwerten. Hierfür wird insbesondere ein Extremwert einer Frequenz und/oder einer Amplitude des Transmissionsspektrums beziehungsweise des Absorptionsspektrums ausgewertet. Der Extremwert ist beispielsweise ein Maximum der Frequenz und/oder der Amplitude. Alternativ oder zusätzlich dazu kann eine Phase des Transmissionsspektrums beziehungsweise des Absorptionsspektrums ausgewertet werden. Das Auswerten kann mittels der Auswerteeinrichtung erfolgen. Wird das optische Neuron, das heißt insbesondere das nichtlineare optische Medium, mittels des Probelasers und des Kopplungslasers bestrahlt, bildet sich, sobald eine Zeit und/oder Intensität der Laserbestrahlung größer als eine für das verwendete optische Neuron vorgegebene Mindestzeit beziehungsweise Mindestintensität überschritten wurde, ein Minimum im Absorptionsspektrum des Probelaserstrahls. In diesem Fall können Photonen des Probelasers das optische Neuron ohne Wechselwirkung passieren, das heißt ohne Wechselwirkung mit zum Beispiel dem nichtlinearen optischen Medium durch dieses propagieren. Dieser Zustand des optischen Neurons ist prinzipiell durch Erfassen des Absorptionsspektrums und/oder des Transmissionsspektrums des Probelasers detektierbar. Die Transmissionsspektren und/oder Absorptionsspektren der Ausgabeschicht werden ausgewertet und als Ergebnis dieses Auswertens die optisch kodierte Klassifikationsinformation erhalten.
Gemäß einem Ausführungsbeispiel ist es vorgesehen, dass das optische NN zumindest einen optischen Modulator aufweist. Bevorzugt ist für jedes optische Neuron ein eigener optischer Modulator vorgesehen. Der optische Modulator ist dazu ausgebildet, zumindest eine Eigenschaft des Probelaserstrahls zu beeinflussen. Er ist insbesondere dazu ausgebildet, eine Amplitude, Polarisation, Frequenz, Wellenlänge und/oder Phase des Probelaserstrahls zu beeinflussen. Der optische Modulator kann dazu ausgebildet sein, mittels der Amplitude, Polarisation, Frequenz, Wellenlänge und/oder Phase des Probelaserstrahls die optische Gewichtung des optischen NN bereitzustellen, das heißt die Amplitude, Polarisation, Frequenz, Wellenlänge und/oder Phase des Probelaserstrahls zu gewichten. Mittels des optischen Modulators kann beispielsweise bei konstanten Eigenschaften des Probelasers und/oder Kopplungslasers der von einem jeweiligen Neuron empfangene Probelaserstrahl sensordatenspezifisch eingestellt werden. Der optische Modulator kann also dazu ausgebil- det sein, eine Zeile an optischen Neuronen mehrerer Spalten, also mehrerer Schichten an optischen Neuronen, jeweils derart zu beeinflussen, dass mittels dem vom jeweiligen Neuron empfangenen Probelaserstrahl zum Beispiel eine Bildpixelinformation der Sensordaten vorgegeben wird. Ferner kann der optische Modulator zur Datenübertragung an die Auswerteeinrichtung dienen. Mittels des optischen Modulators kann ferner die optische Gewichtung des optischen NN erfolgen.
Zudem sieht es ein Ausführungsbeispiel vor, dass das optische NN eine Strahlungsquelle aufweist, die dazu ausgebildet ist, das zumindest eine optische Neuron mit elektromagnetischer Strahlung zu bestrahlen. Es wird also ein externes elektromagnetisches Feld an das jeweilige optische Neuron angelegt. Dies bewirkt, dass unter Ausnutzung des dynamischen Stark- Effekts, der alternativ als AC-Stark- Effekt bezeichnet werden kann (AC für „alternating current“), das Transmissionsspektrum des in den zumindest einen zweiten Lichtleiter eingekoppelten Probelaserstrahls eine Aufspaltung erfährt. Das mittels des Probelaserstrahls in einen höheren Energiezustand angehobene Elektron des optischen Neurons wird durch die Bestrahlung mittels der elektromagnetischen Strahlung vom Energiezustand E2 in einen Energiezustand E3 angeregt, wobei die Energiezustände E2 und E3 voneinander abweichen. Dies bewirkt die Aufspaltung des Transmissionsspektrums. Das optische NN ist dazu ausgebildet, das aufgespaltete Transmissionsspektrum zum Bereitstellen der optisch kodierten Klassifikationsinformation auszuwerten. Hierbei wird insbesondere ein Extremwert und/oder ein Abstand zwischen zwei Extremwerten einer Frequenz und/oder einer Amplitude des Transmissionsspektrums ausgewertet. Der Abstand kann für zwei Maxima als Extremwerte bestimmt werden. Ferner kann ein zwischen den beiden Maxima liegendes Minimum zum Beispiel hinsichtlich seiner Frequenz und/oder Amplitude ausgewertet werden.
Alternativ oder zusätzlich dazu kann eine Phase des Transmissionsspektrums ausgewertet. Das Transmissionsspektrum wird bevorzugt im Frequenzraum betrachtet, also als Funktion der Frequenz. Ein Vorteil des angelegten externen elektromagnetischen Feldes ist, dass durch die Aufspaltung des Transmissionsspektrums, also das sogenannte „spectral splitting“ im Transmissionsspektrum, die Amplitude der transmittierten Strahlung verringert und durch eine zeitaufgelöste Messung des Transmissionsspektrums eine Phase der einfallenden Probelaserstrahlung rekonstruiert werden kann. Das Minimum als Extremwert im Transmissionsspektrum gibt durch den vorher definierten atomaren Übergang zum Energiezustand E3 Aufschluss über die Frequenz des externen Feldes und somit über die Strahlungsquelle. Es liegen somit zahlreiche weitere charakteristische Eigenschaften des Transmissionsspektrums vor, anhand derer das Klassifizierungsergebnis des optischen NN festgestellt werden kann. Alternativ oder zusätzlich zum Transmissionsspektrum kann das Absorptionsspektrum mit dessen Aufspaltung aufgrund des dynamischen Stark-Effekts betrachtet werden. Das Vorgehen ist dann analog wie beim Transmissionsspektrum.
Ein bevorzugtes Ausführungsbeispiel umfasst, dass das optische NN dazu ausgebildet ist, abhängig von den Sensordaten eine Frequenz, einen Phasenverlauf und/oder eine Amplitude der elektromagnetischen Strahlung einzustellen. Die Sensordaten repräsentieren hier insbesondere die Eingangsinformation, die beispielsweise den Pixelwert des Bildpixels des Kamerabildes der Kamera, den lokalen Wert der Radardaten des Radargeräts und/oder den lokalen Wert der Lidar-Daten des Lidar-Geräts beschreibt. Durch entsprechende Wahl des angelegten externen elektromagnetischen Felds kann also zum Beispiel für die optischen Neuronen der Eingabeschicht jeweils die Verbindung zu den Sensordaten bereitgestellt werden, sodass zum Beispiel jedes optische Neuron sensordatenspezifisch mittels des jeweiligen angelegten externen elektromagnetischen Feldes vorgegeben wird.
Es ist ferner davon auszugehen, dass bei einem zeitlichen Verlauf des angelegten externen elektromagnetischen Feldes bei hinreichend schnellem Erfassen des elektromagnetischen Feldes ein Phasenverlauf des elektromagnetischen Feldes gemessen werden kann. Damit ergibt sich die Möglichkeit folgende Parameter zu vermessen: die Frequenz f des elektromagnetischen Feldes bei Vergleich mit bekannter Spektrallinie (z.B. integrierter optischer Frequenzkamm auf Halbleiterbasis), ein Phasenverlauf des elektromagnetischen Feldes, ein Amplitudenverlauf des elektromagnetischen Feldes. Bei aktivierter Strahlungsquelle kann das erzeugte elektromagnetische Feld als zusätzliches optisches Gewicht für das optische NN genutzt werden.
Es kann also zumindest eine von folgenden Möglichkeiten zur optischen Gewichtung gewählt werden: ein Modulieren der Amplitude, Phase und/oder Frequenz mittels eines entsprechenden Modulators zur Kontrolle des Probelasers und/oder eines Pumplasers für den Probelaser einerseits und/oder eine Wahl der extern eingestrahlten elektromagnetischen Strahlung zum Beispiel im Gigahertz-Bereich andererseits. Durch die Wahl der extern eingestrahlten elektromagnetischen Strahlung im Gigahertz-Bereich kann das Absorptionsspektrum derart moduliert werden, dass der transmittierte Anteil des Probelasers moduliert wird, was als Gewichtung fungiert.
Zudem ist es gemäß einem Ausführungsbeispiel vorgesehen, dass die Steuervorrichtung eine Recheneinheit, insbesondere einen Computer und/oder einen Graphikprozessor, und eine weitere Umwandeleinrichtung aufweist. Die Recheneinheit ist dazu ausgebildet, elektronisch kodierte Sensordaten bereitzustellen. Diese kann die Recheneinheit zum Beispiel von einer Steuereinrichtung einer Sensoreinrichtung des Kraftfahrzeugs empfangen. Die Recheneinheit weist beispielsweise zumindest einen Mikroprozessor und/oder zumindest einen Mikrokontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) auf. Die weitere Umwandeleinrichtung ist dazu ausgebildet, die bereitgestellten elektronisch kodierten Sensordaten in die optisch kodierten Sensordaten umzuwandeln und diese bereitzustellen. Der Steuervorrichtung werden also bevorzugt elektronisch kodierte Sensordaten bereitgestellt, die jedoch mittels der Steuervorrichtung in die optisch kodierten Sensordaten umgewandelt werden können, sodass diese dem optischen NN zur weiteres Auswertung zugeführt werden können. Es müssen somit nicht von Anfang an optisch kodierte Sensordaten vorliegen, damit die Sensordaten mittels des optischen NN ausgewertet werden können.
Ferner ist es gemäß einem Ausführungsbeispiel vorgesehen, dass die Umwandeleinrichtung der Steuervorrichtung dazu ausgebildet ist, eine Lokaloszillatorinformation, die von einem Lokaloszillator bereitgestellt wird, mit der bereitgestellten optisch kodierten Klassifikationsinformation zu interferieren, um die elektronisch kodierte Klassifikationsinformation bereitzustellen. Der Lokaloszillator kann alternativ als lokaler Oszillator bezeichnet werden. Es kann also auf ein zuverlässiges Verfahren zurückgegriffen werden, um die optisch kodierte Klassifikationsinformation als elektronisch kodierte Klassifikationsinformation bereitzustellen. Diese kann daraufhin beispielsweise der Recheneinrichtung für die automatische oder zumindest teilautomatische Fahrfunktion beziehungsweise das automatische oder zumindest teilautomatische Fahrerassistenzsystem zur weiteres Auswertung oder Berücksichtigung bereitgestellt werden.
Es kann in einem Ausführungsbeispiel vorgesehen sein, dass das optische NN auf zumindest einem Halbleiterplättchen angeordnet ist. Das zumindest eine Halbleiterplättchen kann als zumindest eine von folgenden Komponenten ausgebildet sein: als ein elektronisch- photonisch kointegrierter Halbleiterchip, der alternativ als elektronisch-photonisch integrierter Halbleiterchip bezeichnet werden kann; ein photonischer integrierter Schaltkreis (IC für „integrated circuit“); ein Multi-Chip-Modul; und/oder ein mittels Flip-Chip-Montage montierter Chip. Es sind somit verschiedene Grundmodule oder Grundelemente möglich, auf Basis derer das optische NN ausgebildet ist. Es kann hierbei auf beispielsweise kommerziell erhältliche Grundmodule oder Grundelemente zurückgegriffen werden, wodurch das optische NN in dieser Hinsicht leicht und kostengünstig herstellbar ist. Gemäß einem Ausführungsbeispiel weist die Steuervorrichtung eine Kommunikationsschnittstelle zu einer Steuereinrichtung einer Sensoreinrichtung des Kraftfahrzeugs auf. Die Steuervorrichtung ist dazu ausgebildet, mittels der Sensoreinrichtung erfasste Sensordaten über die Kommunikationsschnittstelle zu empfangen. Die Sensoreinrichtung ist insbesondere die Kamera, das Radargerät und/oder das Lidar-Gerät. Die Steuereinrichtung ist zumindest dazu ausgebildet die Sensoreinrichtung anzusteuern, also zum Beispiel zu aktivieren oder deaktivieren und/oder einen Erfassungsparameter für die Sensordatenerfassung mittels der Sensoreinrichtung vorzugeben. Die Steuereinrichtung weist daher zumindest einen Mikroprozessor und/oder Mikrokontroller auf. Bevorzugt werden also die Sensordaten im Kraftfahrzeug selbst erfasst und im Kraftfahrzeug direkt mittels der Steuervorrichtung mit dem optischen NN ausgewertet. Daraufhin werden die ausgewerteten Daten, also die elektronisch kodierte Klassifikationsinformation, bevorzugt im Kraftfahrzeug verwendet, beispielsweise von der Recheneinrichtung. Hierdurch kann besonders stark von der schnellen Klassifizierung der Sensordaten mittels des optischen NN im Kraftfahrzeug profitiert werden, da keine Verbindung zu einer externen Einrichtung nötig ist, um die Klassifizierung durchführen zu können.
Ein weiterer Aspekt der Erfindung betrifft ein Kraftfahrzeug mit einer Steuervorrichtung, wie sie oben beschrieben wurde. Die im Zusammenhang mit der Steuervorrichtung beschriebenen Ausführungsbeispiele, einzeln sowie in Kombination miteinander, gelten entsprechend, soweit anwendbar, für das erfindungsgemäße Kraftfahrzeug. Das Kraftfahrzeug ist beispielsweise ein Personenkraftwagen, ein Lastkraftwagen, ein Bus, ein Motorrad und/oder ein Moped.
Ein Ausführungsbeispiel des erfindungsgemäßen Kraftfahrzeugs sieht vor, dass das Kraftfahrzeug zumindest eine Sensoreinrichtung mit einer Steuereinrichtung aufweist. Die Steuereinrichtung ist über zumindest eine optische Faserverbindung mit der Kommunikationsschnittstelle der Steuervorrichtung verbunden. Die Steuereinrichtung der Sensoreinrichtung ist dazu ausgebildet, über die zumindest eine optische Faserverbindung die mittels der Sensoreinrichtung erfassten Sensordaten an die Steuervorrichtung zu übermitteln. Mit anderen Worten ist die Steuervorrichtung dazu ausgebildet, über die zumindest eine optische Faserverbindung die mittels der Sensoreinrichtung erfassten Sensordaten von der Steuereinrichtung zu empfangen. Die optische Faserverbindung kann zum Beispiel aus polymeren optischen Fasern (POF für „polymeric optical fiber“ oder auch „plastic optical fibre“) ausgebildet sein. Mit anderen Worten kann zwischen der Steuereinrichtung und der Steuervorrichtung ein dritter Lichtwellenleiter angeordnet sein. Dieser ist bevorzugt aus Kunststoff ausgebildet und wird zur Datenübertragung der Sensordaten an die Steuervorrich- tung verwendet. Hierdurch wird zuverlässig und schnell die interne Kommunikation im Kraftfahrzeug zwischen der Sensoreinrichtung und der Steuervorrichtung mit dem optischen NN ermöglicht.
Ein weiterer Aspekt der Erfindung betrifft ein Verfahren zum Betreiben einer Steuervorrichtung zum Bereitstellen einer Klassifizierung von Sensordaten für ein Kraftfahrzeug mittels eines optischen neuronalen Netzwerks. Das Verfahren weist folgende Schritte auf: ein Bereitstellen von optisch kodierten Sensordaten; ein Auswerten der bereitgestellten optisch kodierten Sensordaten mittels eines optischen neuronalen Netzwerks, das mehrere optische Neuronen mit elektromagnetisch induzierte Transparenzeigenschaften aufweist, wobei als Ergebnis des Auswertens mittels einer Auswerteeinrichtung des optischen neuronalen Netzwerks eine optisch kodierte Klassifikationsinformation bereitgestellt wird, die die Klassifizierung der Sensordaten beschreibt; ein Umwandeln der optisch kodierten Klassifikationsinformation in eine elektronisch kodierte Klassifikationsinformation mittels einer Umwandeleinrichtung; und ein Bereitstellen der elektronisch kodierten Information für das Kraftfahrzeug. Die im Zusammenhang mit der Steuervorrichtung beschriebenen Ausführungsbeispiele, einzeln sowie in Kombination miteinander, gelten entsprechend, soweit anwendbar, für das erfindungsgemäße Verfahren. Das Verfahren kann zumindest teilweise als computerimplementiertes Verfahren angesehen werden.
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsbeispiele.
Im Folgenden werden Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:
Fig. 1 eine schematische Seitenansicht eines Kraftfahrzeugs mit einer Steuervorrichtung und mehreren Sensoreinrichtungen;
Fig. 2 eine schematische Vorderansicht eines Kraftfahrzeugs mit einer Steuervorrichtung und mehreren Sensoreinrichtungen;
Fig. 3 eine schematische Rückansicht eines Kraftfahrzeugs mit einer Steuervorrichtung und mehreren Sensoreinrichtungen;
Fig. 4 eine schematische Darstellung von Energiezuständen bei elektromagnetisch induzierter Transparenz; Fig. 5 eine schematische Darstellung der Energiezustände nach Fig. 4 in einem externen elektromagnetischen Feld;
Fig. 6 eine schematische Darstellung eines Absorptionsspektrums bei elektromagnetisch induzierter Transparenz;
Fig. 7 eine schematische Darstellung eines Absorptionsspektrums nach Fig. 4 in einem externen elektromagnetischen Feld;
Fig. 8 eine schematische Darstellung eines EIT-Signals abhängig von einer Intensität eines Kopplungslasers;
Fig. 9 eine schematische Darstellung eines optischen Neurons nach einem ersten Ausführungsbeispiel;
Fig. 10 eine schematische Darstellung eines optischen Neurons nach einem zweiten Ausführungsbeispiel;
Fig. 11 eine schematische Darstellung eines optischen Neurons nach einem dritten Ausführungsbeispiel;
Fig. 12 eine schematische Darstellung eines optischen Neurons nach einem vierten Ausführungsbeispiel;
Fig. 13 eine schematische Darstellung eines optischen neuronalen Netzwerks; und
Fig. 14 eine schematische Darstellung einer Steuervorrichtung mit einem optischen neuronalen Netzwerk.
Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsbeispiele der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebenen Ausführungsbeispiele auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar. In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.
In Fig. 1 ist eine schematische Seitenansicht eines Kraftfahrzeugs 1 skizziert. Das Kraftfahrzeug 1 weist eine Steuervorrichtung 2 und mehreren Sensoreinrichtungen 3 auf. Jede der Sensoreinrichtungen 3 weist eine Steuereinrichtung 4 auf. Diese ist zum Beispiel dazu ausgebildet, die jeweilige Sensoreinrichtung 3 anzusteuern, das heißt zu aktivieren oder zu deaktivieren. Außerdem können mittels der jeweiligen Steuereinrichtung 4, Sensordaten der Sensoreinrichtung 3 gespeichert und/oder zumindest ein Einstellungsparameter zur Erfassung der Sensordaten mittels der Sensoreinrichtung 3 vorgegeben werden. Der Einstellungsparameter beschreibt beispielweise eine Auflösung der Sensordaten, die mittels der Sensoreinrichtung 3 erfasst werden. Die Sensoreinrichtung 3 ist entweder eine Kamera 5, hier eine Seitenkamera, ein Radargerät 6 oder ein Lidar-Gerät 7. In einer Hochrichtung des Kraftfahrzeugs 1 ist hier das Lidar-Gerät 7 oben und die Radargeräte 6 unten angeordnet.
Das Kraftfahrzeug 1 weist mehrere optische Faserverbindungen 8 auf, über die die jeweilige Steuereinrichtung 4 mit der Steuervorrichtung 2 verbunden ist. Es kann vorgesehen sein, dass die optische Faserverbindung 8 die Steuereinrichtung 4, beispielsweise eine Kommunikationsschnittstelle 38 (siehe Bezugszeichen 38 in Fig. 14) der Steuereinrichtung 4, mit der Kommunikationsschnittstelle 38 der Steuervorrichtung 2 verbindet. Die jeweilige Steuereinrichtung 4 kann dazu ausgebildet sein, über die optische Faserverbindung 8 die mittels der Sensoreinrichtung 3 erfassten Sensordaten an die Steuervorrichtung 2 zu übermitteln.
Fig. 2 zeigt eine schematische Vorderansicht des Kraftfahrzeugs 1 aus Fig. 1. Hier ist in der Hochrichtung des Kraftfahrzeugs 1 das Lidar-Gerät 7 oben mittig und die Radargeräte 6 oben seitlich des Lidar-Geräts 7 angeordnet, wobei sich mittig und seitlich auf eine Querrichtung des Kraftfahrzeugs 1 beziehen. Die Kamera 5 ist hier in der Hochrichtung unten angeordnet.
Fig. 3 zeigt eine schematische Rückansicht des Kraftfahrzeugs 1 aus den Fig. 1 und 2. Hier ist in der Hochrichtung und der Querrichtung des Kraftfahrzeugs 1 das Lidar-Gerät 7 oben mittig angeordnet. Drei Radargeräte 6 sind in der Hochrichtung übereinander angeordnet, jedoch in der Querrichtung nur auf einer Seite, und zwar der hier linken Seite. Es ist zudem ein Radargerät 6 in der Hochrichtung unten und in der Querrichtung rechts angeordnet. Die in den Fig. 1 bis 3 gezeigten Positionen der Sensoreinrichtungen 3 sind rein exemplarisch zu verstehen. Es sind alternative Positionen der Sensoreinrichtungen 3 im Kraftfahrzeug 1 möglich, die hier nicht skizziert sind.
In Fig. 4 ist schematisch der Effekt der elektromagnetisch induzierten Transparenz (EIT für electromagnetically induced transparency) dargestellt. Dieser Effekt basiert darauf, dass mittels eines Probelasers 29 (siehe Bezugszeichen 29 in Fig. 13) ein Probelaserstrahl 9 und mittels eines Kopplungslasers 30 (siehe Bezugszeichen 30 in Fig. 13) ein Kopplungslaserstrahl 10 auf ein nichtlineares optisches Medium 17 (siehe Bezugszeichen 17 in Fig. 9), das alternativ als atomares System bezeichnet werden kann, gestrahlt wird. Das nichtlineare optische Medium 17 weist die Energiezuständen E0, E1 und E2 auf. Der Energiezustand E1, E1, E2 kann alternativ als Energieniveau bezeichnet werden. Durch Anwenden des Probelaserstrahls 9 auf das nichtlineare optische Medium 17 kann zumindest ein Elektron eines Atoms des nichtlineare optischen Mediums 17, das den Energiezustand E0 aufweist, in den Energiezustand E1 angehoben werden. Durch Anwenden des Kopplungslaserstrahls 10 kann es zudem vom Energiezustand E1 in den Energiezustand E2 angehoben werden. Mit anderen Worten koppelt der Kopplungslaser 30 die Energiezustände E1 und E2, die als „coupled states“ oder „dressed states“ bezeichnet werden können. Das Elektron des Atoms kann also durch Absorption je eines Photons des Probelasers 29 und des Kopplungslasers 30 den Übergang vom Energiezustand E0 zum Energiezustand E2 vollziehen. Der Zustand E2 ist bevorzugt langlebig, das heißt zum Beispiel ein metastabiler Zustand. In diesem Fall wird das nichtlineare optische Medium 17 transparent für den Probelaser, wenn kein Elektron des nichtlinearen optischen Mediums 17 mehr vorhanden ist, das noch ein Photon des Probelaserstrahls 9 absorbieren kann, da es dies bisher noch nicht getan hat, und der Übergang vom Energiezustand E2 zum Energiezustand E0 verboten ist. Der verbotene Übergang kann als „dark state“ bezeichnet werden und ist in Fig. 4 mit einem durchgestrichenen Pfeil skizziert. Es ist also keine Repopulation des Energiezustands E0 möglich.
Fig. 5 zeigt die Energiezustände E0, E1, E2 des nichtlinearen optischen Medium 17 aus Fig. 4, wobei nun ein zusätzliches externes elektromagnetisches Feld eingestrahlt wird. Es wird also mittels einer Strahlungsquelle 26 (siehe Bezugszeichen 26 in Fig.12) das nichtlineare optische Medium 17 mit elektromagnetischer Strahlung 27 (siehe Bezugszeichen 27 in Fig. 12) bestrahlt. Die elektromagnetische Strahlung 27 ist typischerweise im Millimeterbereich und kann zum Beispiel eine Frequenz von 70 Gigahertz aufweisen. Durch die elektromagnetische Strahlung 27 wird der Energiezustand E2 zu einem Energiezustand E3 verschoben. Der Grund hierfür ist der dynamische Stark-Effekt, auch AC-Stark- Effekt genannt, beziehungsweise der Autler-Townes-Effekts.
Wird nun das nichtlineare optische Medium 17 mittels des Probelasers 29 und des Kopplungslasers 30 bestrahlt, bildet sich, sobald eine Zeit und/oder Intensität der Laserbestrahlung größer als eine für das verwendete nichtlineare optische Medium 17 vorgegebene Mindestzeit beziehungsweise Mindestintensität überschritten wurde, ein Minimum im Absorptionsspektrum des Probelaserstrahls 9. In diesem Fall können Photonen des Probelasers 29 das nichtlineare optische Medium 17 ohne Wechselwirkung passieren, das heißt ohne Wechselwirkung mit dem nichtlinearen optischen Medium 17 durch dieses propagieren. Dieser Zustand des nichtlinearen optischen Medium 17 ist also durch Erfassen des Absorptionsspektrums des Probelasers 29 detektierbar. Alternativ oder zusätzlich dazu kann direkt eine transmittierte Leistung des Probelaserstrahls 9 gemessen werden.
Ein derartiges Absorptionsspektrum 11 , das heißt die absorbierte Leistung des Probelaserstrahls 9 als Funktion der Frequenz f, ist in Fig. 6 skizziert. Das Absorptionsspektrum 11 wurde ohne aktivierte Strahlungsquelle 26 erfasst. Das Absorptionsspektrum 11 weist eine Singulett-Struktur als Funktion der Frequenz f um die Zentralfrequenz f = 0 herum auf. Das Absorptionsspektrum 11 ist daher um die Zentralfrequenz f = 0 herum maximal und weist somit dort einen Extremwert 12 auf. Die absorbierte Strahlung des Probelaserstrahls 9 ist also die Zentralfrequenz f = 0 maximal.
In Fig. 7 ist das Absorptionsspektrum 11 für den Fall skizziert, dass die Strahlungsquelle 26 aktiviert ist. Dies bewirkt, dass das Absorptionsspektrum 11 im Frequenzraum, also als Funktion der Frequenz f, aufgespalten wird und sich ein Minimum um die Probelaserwellenlänge bildet. Es kommt also zu einem sogenannten „spectral splitting“ im Absorptionsspektrum 11. 1m durch die externe elektromagnetische Strahlung 27 angeregten Energiezustand E3 verschiebt sich die Resonanzfrequenz, sodass die spektrale Aufspaltung um die Zentralfrequenz f = 0 entsteht. Die Amplitude der transmittierten Strahlung verringert sich. Durch eine zeitaufgelöste Messung des Absorptionsspektrums 11 kann eine Phase der einfallenden Probelaserstrahlung rekonstruiert werden. Das Minimum gibt durch den vorher definierten atomaren Übergang zum Energiezustand E3 Aufschluss über die Frequenz f des externen Feldes, also der Strahlungsquelle 26.
Eine Breite der spektralen Aufspaltung ist hier als Frequenzabstand Af zwischen den beiden maximalen Extremwerten 12 im Absorptionsspektrum 11 eingezeichnet. Der Frequenzabstand Af kann mit folgender Formel berechnet werden:
Figure imgf000022_0001
Hierbei ist E die elektrische Feldstärke des externen elektromagnetischen Felds, das durch die elektromagnetische Strahlung 27 erreicht wird, D ein atomares Dipolmoment für den durch die elektromagnetische Strahlung 27 induzierten Übergang des Energiezustands E2 zum Energiezustand E3, A1 eine Wellenlänge des Probelasers 29 und A2 die Wellenlänge des Kopplungslasers 30. Ferner umfasst die Formel n für die Zahl Pi und h für das reduzierte plancksche Wirkungsquantum.
Bei einem zeitlichen Verlauf des elektromagnetischen Feldes durch die elektromagnetische Strahlung 27 kann bei hinreichend schnellem Erfassen des elektromagnetischen Feldes ein Phasenverlauf des elektromagnetischen Feldes gemessen werden. Damit ergibt sich die Möglichkeit folgende zusätzliche Parameter zu vermessen: die Frequenz f des elektromagnetischen Feldes bei Vergleich mit bekannter Spektrallinie (z.B. integrierter optischer Frequenzkamm auf Halbleiterbasis), ein Phasenverlauf des elektromagnetischen Feldes, ein Amplitudenverlauf des elektromagnetischen Feldes. Bei aktivierter Strahlungsquelle 26 kann das dadurch erzeugte elektromagnetische Feld als zusätzliches optisches Gewicht für ein optisches neuronales Netzwerk (NN) 14 (siehe Bezugszeichen 14 in Fig.9) genutzt werden.
In Fig. 8 ist ein EIT-Signal 13 abhängig von einer Intensität I des Kopplungslasers 30 skizziert. Diese Funktion ähnelt einer Sigmoid-Funktion, also der Funktion, die häufig als nichtlineare Funktion eines optischen Neurons 16 (siehe Bezugszeichen 16 in Fig. 9) innerhalb des NN 14 verwendet wird. Fig. 8 verdeutlicht also, dass die durch den Kopplungslaser 30 induzierte Transmission als nichtlineare Funktion ähnlich der Sigmoid- Funktion erfasst werden kann, während der Kopplungslaser 30 als optisches Gewicht wirkt. Der Kopplungslaser 30 kann in einem ausgeschalteten Zustand seine Absorption durch das nichtlineare optische Medium 17 maximieren, was der Gewichtung entspricht. Es ist ferner möglich, mittels eines Pumplasers eine Rabioszillation durch den Probelaser zu induzieren, die ebenfalls als Gewichtung wirken kann. Die Intensität I beziehungsweise eine Frequenzverstimmung des Kopplungslasers 30 bestimmt eine Stärke des EIT-Signals 13.
Es kann ferner eine optische Gewichtung durch ein Modulieren der Amplitude, Phase und/oder Frequenz f mittels eines entsprechenden Modulators zur Kontrolle des Probelasers 29 und/oder eines Pumplasers für den Probelaser 29 erfolgen. Fig. 9 zeigt ein erstes Ausführungsbeispiel für ein optisches Neuron 16 für das optische NN 14, wobei hier exemplarisch nur ein optisches Neuron 16 skizziert ist. Es ist schematisch ein optisches Neuron 16 auf Basis einer EIT-Zelle auf einem Halbleiterplättchen 15 dargestellt, das hier exemplarisch als elektronisch-photonisch kointegrierter Halbleiterchip (EPIC) ausgebildet ist. Das Halbleiterplättchen 15 kann alternativ als photonischer integrierter Schaltkreis, als Multi-Chip-Modul, und/oder als mittels Flip-Chip-Montage montierter Chip ausgebildet sein. Das optische Neuron 16 weist hier das nichtlineare optische Medium 17 auf, das exemplarisch als Quantenpunkt (beispielsweise aus InAs oder GaAs), Quantendraht oder Quantentopf ausgebildet ist.
Der Quantenpunkt, Quantendraht oder Quantentopf als nichtlineares optisches Medium 17 weist hier an seinen beiden äußeren Seiten eine optionale reflektierende Beschichtung 18 auf.
Zu dem optischen Neuron 16 führt zumindest ein erster Lichtwellenleiter 19 hin, über den der Probelaserstrahl 9 des Probelasers 29 und der Kopplungslaserstrahl 10 des Kopplungslasers 30 in das optische Neuron 16 einkoppelbar sind. Vom optischen Neuron 16 führt zudem zumindest ein zweiter Lichtwellenleiter 20 weg. Hier ist zudem ein Optokoppler 21 skizziert, über den ein Lichtwellenzuleiter 22 in den ersten Lichtwellenleiter 19 eingekoppelt werden kann. Zumindest ab und bis zum Optokoppler 21 sind der erste Lichtwellenleiter 19 und der zweite Lichtwellenleiter 20 auf dem Halbleiterplättchen 15 angeordnet.
Auf dem Halbleiterplättchen 15 kann zudem ein optionaler optischer Modulator 23 angeordnet sein. Ferner kann auf dem Halbleiterplättchen 15 ein elektronischer Schaltkreis vorgesehen sein, der zum Beispiel zur Diagnose ausgebildet ist. Der elektronische Schaltkreis ist eine Auswerteeinrichtung 24 des optischen NN 14. Der zweite Lichtwellenleiter 20 führt hier direkt zur Auswerteeinrichtung 24 führt. In den zweiten Lichtwellenleiter 20 ist der Probelaserstrahl 9 nach dessen Passieren des optischen Neurons 16 einkoppelbar.
Mit anderen Worten zeigt Fig. 9, dass der erste Lichtwellenleiter 19 Strahlung des Probelasers 29 und Kopplungslasers 30 mit den zu verarbeitenden Daten, die die Sensordaten der Sensoreinrichtung 3 sein können, in einen photonischen Halbleiter, hier skizziert durch das Halbleiterplättchen 15, einkoppelt. Diese werden durch integrierte photonische Strukturen zum nichtlinearen optischen Medium 17 geführt. Die Laserstrahlung, also der Probelaserstrahl 9 und der Kopplungslaserstrahl 10, wechselwirken mit dem nichtlinearen optischen Medium 17, sodass die oben beschriebene EIT entsteht. Die Frequenz- und/oder Amplitudeninformation des Transmissionsspektrums und/oder des Absorptionsspektrums 11 wird über den zweiten Lichtwellenleiter 20 zur nächsten Schicht an optischen Neuronen 16 weitergeführt (hier nicht skizziert) bevor sie zur Auswerteeinrichtung 24 übermittelt wird. Die Auswerteeinrichtung 24 dient der Diagnose und Ansteuerung. Optional kann zusätzlich der optische Modulator 23 zur Beeinflussung der Amplitude, der Polarisation, der Frequenz oder Phase integriert werden, die auch zur Datenübertragung an eine Zentraleinheit, also die Auswerteeinrichtung 24 dienen können. Mehrere der in Fig. 9 gezeigten EIT-Zellen können auf einem elektronisch-photonisch kointegrierten Chip zu einem optischen NN 14 zusammengefügt werden.
Fig. 10 zeigt ein zweites Ausführungsbeispiel, bei dem die Integration der EIT-Zelle zum Beispiel auf einem rein photonischen Chip erfolgt, das heißt ohne Verwendung von elektronischen Bauteilen. Das nichtlineare optische Medium 17 ist hier als Dampfzelle ausgebildet. Diese weist beispielsweise zumindest ein Atom und/oder Molekül mit einem vorgegebenen Energieniveau, insbesondere ein Rydberg-Atom und/oder ein Bose-Einstein- Kondensat, auf. Fig. 10 zeigt somit ein vereinfachtes optisches Neuron 16 auf Basis des photonischen Chips. Anstelle des Optokopplers 21 ist ein photonischer Koppler 25 am Eingang des ersten Lichtwellenleiters 19 und am Ausgang des zweiten Lichtwellenleiters 20 angeordnet. Der erste Lichtwellenleiter 19 koppelt wieder den Probelaserstrahl 9 und den Kopplungslaserstrahl 10 in den photonischen Chip ein, des zur integrierten EIT-Zelle, also dem nichtlinearen optischen Medium 17, geführt wird. Innerhalb der Dampfzelle, die alternativ als Gaszelle bezeichnet werden kann, wechselwirken der Kopplungslaser 30 und der Probelaser 29 mit dem nichtlinearen optischen Medium 17, sodass die oben beschriebene EIT entsteht. Diese entsteht insbesondere, wenn ein externes elektromagnetisches Feld (hier nicht skizziert) mit dem nichtlinearen optischen Medium 17 wechselwirkt. Die Frequenz- und/oder Amplitudeninformation wird über den zweiten Lichtwellenleiter 20 zu einem zentralen Datenverarbeitungsmodul, das heißt zum Beispiel der Auswerteeinrichtung 24 zurückgeführt und optisch detektiert.
Fig. 11 zeigt ein drittes Ausführungsbeispiel, das als hochintegrierte Ausführung mit EIT- Zelle mit Dampfzelle/Bose-Einstein-Kondensat als nichtlineares optisches Medium 17 bezeichnet werden kann. Mit anderen Worten zeigt Fig. 11 eine schematische Darstellung des optischen Neurons 16 auf Basis einer EIT-Zelle auf einem elektronisch-photonisch kointegrierten Halbleiterchip (EPIC). Der erste Lichtwellenleiter 19 koppelt kohärente Strahlung in einen photonischen Halbleiter ein und führt zur integrierten Dampfzelle/Bose- Einstein-Kondensat. Innerhalb der EIT-Zelle wechselwirken Kopplungslaser 30 und Probelaser 29 mit dem nichtlinearen optischen Medium 17, sodass die oben beschriebene EIT entsteht. Optional können zusätzliche optische Modulatoren 23 zur Beeinflussung der Amplitude, der Polarisation, der Frequenz oder Phase integriert werden, welche auch zur Datenübertragung an die Auswerteeinrichtung 24 dienen können.
Die optische Gewichtung des optischen NN 14 kann über eine Wahl der extern eingestrahlten elektromagnetischen Strahlung 27 zum Beispiel im Gigahertz-Bereich möglich sein. Durch die Wahl der extern eingestrahlten elektromagnetischen Strahlung 27 im Gigahertz-Bereich kann das Absorptionsspektrum 11 derart moduliert werden, dass der transmittierte Anteil des Probelasers 29 moduliert wird, was als Gewichtung fungiert.
Fig. 12 zeigt ein viertes Ausführungsbeispiel, bei dem das nichtlineare optische Medium 17 wieder als Quantenpunkt, Quantendraht und/oder Quantentopf ausgebildet sein kann, zum Beispiel als ein InAs/GaAs-Quantenpunkt. Das Ausführungsbeispiel zeichnet sich durch die Verwendung der externen Strahlungsquellen 26 als optisches Gewicht aus, wobei mittels der externen Strahlungsquelle 26 die elektromagnetische Strahlung 27 auf das optische Neuron 16 gestrahlt wird. Als Halbleiterplättchen 15 kann analog zu Fig. 9 ausgestaltet sein. Das optische NN 14 ist dazu ausgebildet, abhängig von den Sensordaten eine Frequenz, einen Phasenverlauf und/oder eine Amplitude der elektromagnetischen Strahlung 27 einzustellen.
Der skizzierte erste Lichtwellenleiter 19 und der skizzierte zweite Lichtwellenleiter 20 können alternativ in den Fig. 9 bis 12 miteinander vertauscht werden.
Fig. 13 zeigt exemplarisch das optische NN 14 mit mehreren optischen Neuronen 16, und zwar die Integration auf einem photonisch-elektonisch kointegrierten Chip. Hier ist der Probelaser 29 skizziert, der über den Optokoppler 21 den Probelaserstrahl 9 in mehrere erste Lichtwellenleiter 19 einkoppelt. Zudem ist der Kopplungslaser 30 skizziert, der über mehrere Optokoppler 21 den Kopplungslaserstrahl 10 in hier drei parallele Schichten von optischen Neuronen 16 einkoppelt. Der Optokoppler 21 kann dazu ausgebildet sein, ein Wellenlängen-Multiplex-Verfahren und/oder ein Zeitmultiplexverfahren durchzuführen, um die Bildinformation, das heißt die optisch kodierten Sensordaten, in der Wellenlänge zu kodieren, das heißt die Gewichtung durch den Kopplungslaser 30 bereitstellen zu können. Alternativ oder zusätzlich dazu können mehrere Kanäle vorgesehen sein und dadurch die Gewichtung mittels des Kopplungslasers 30 erreicht werden. Die optischen Neuronen sind wie in Fig. 9 hier jeweils exemplarisch als Quantenpunkt, Quantendraht und/oder Quantentopf ausgebildet.
Für das skizzierte optische NN 14 sind zudem mehrere optische Gewichtungen 31 eingezeichnet, die jeweils einem der optischen Neuronen 16 zugeordnet sind. Ferner kann das optische NN 14 zusätzlich zur Auswerteeinrichtung 24 eine Umwandeleinrichtung 32 umfassen. Die Kombination aus Auswerteeinrichtung 24 und Umwandeleinrichtung 32 kann als elektrooptische Schnittstelle oder elektronische Datenverarbeitungseinrichtung bezeichnet werden und ebendiese Funktionen aufweisen. Die Auswerteeinrichtung 24 zusammen mit der Umwandeleinrichtung 32 stellen eine elektronisch kodierte Klassifikationsinformation 33 bereit, die die Klassifizierung der Sensordaten als elektronisches Signal oder elektronische Daten beschreibt. Ferner zeigt Fig. 13, dass der zweiter Lichtwellenleiter 20 von jedem optischen Neuron 16 einer Schicht zu jedem optischen Neuron 16 der benachbarten Schicht führt. Alternativ dazu können nur ausgewählte und somit einzelne optische Neuronen 16 einer Schicht über den jeweiligen zweiten Lichtwellenleiter 20 mit ausgewählten optischen Neuronen 16 der benachbarten Schicht verbunden sein.
Fig. 14 zeigt die Steuervorrichtung 2 im Detail. Die Steuervorrichtung 2 weist beispielsweise einen Recheneinheit 34, insbesondere einen Computer und/oder einen Graphikprozessor, auf. Die Recheneinheit 34 ist dazu ausgebildet, elektronisch kodierte Sensordaten bereitzustellen. Außerdem kann eine weitere Umwandeleinrichtung 32‘ der Steuervorrichtung 2 dazu ausgebildet sein, die bereitgestellten elektronisch kodierten Sensordaten in optisch kodierten Sensordaten 36 umzuwandeln und diese bereitzustellen. Das heißt, die Steuervorrichtung 2 ist dazu ausgebildet, optisch kodierte Sensordaten 36 für das optische NN 14 bereitzustellen.
Die Steuervorrichtung 2 ist dazu ausgebildet, die bereitgestellten optisch kodierten Sensordaten 36 mittels des optischen NN 14 auszuwerten, wobei das optische NN 14 die mehreren optischen Neuronen 16 mit elektromagnetisch induzierten Transparenzeigenschaften aufweist, und als Ergebnis des Auswertens mittels der Auswerteeinrichtung 24 des optischen NN 14 eine optisch kodierte Klassifikationsinformation 37 bereitzustellen, die die Klassifizierung der Sensordaten beschreibt, und zwar als optisches Signal beziehungsweise optische Daten.
Die Umwandeleinrichtung 32 der Steuervorrichtung 2 ist dazu ausgebildet, eine Lokaloszillatorinformation, die von einem Lokaloszillator 35 der Steuervorrichtung 2 bereitgestellt wird, mit der bereitgestellten optisch kodierten Klassifikationsinformation 37 zu interferieren, um die elektronisch kodierte Klassifikationsinformation 33 bereitzustellen. Die Steuervorrichtung 2 ist also dazu ausgebildet, die die optisch kodierte Klassifikationsinformation 37 in eine elektronisch kodierte Klassifikationsinformation 33 mittels der Umwandeleinrichtung 32 zu wandeln und letztendlich die elektronisch kodierte Klassifikationsinformation 33 für das Kraftfahrzeug 1 bereitzustellen. Anstelle oder zusätzlich zum Lokaloszillator 35 kann eine Phasensperre („phase lock“) vorgesehen sein.
Die Steuervorrichtung 2 kann zudem die Kommunikationsschnittstelle 38 aufweisen, über die die Sensordaten von den Steuereinrichtungen 4 der Sensoreinrichtungen 3 empfangen werden können.
Es kann ferner vorgesehen sein, dass die Steuervorrichtung 2 eine Diagnose- und/oder Kontrollschnittstelle 39, eine Digitalschnittstelle 40, eine Verarbeitungseinheit 41 , die optional vorgesehen sein kann und zum Beispiel eine Fast-Fourier-Transformation zur Verarbeitung der elektronisch kodierten Klassifikationsinformation 33 durchführen kann, und einen optischen Schalter 42 aufweist. Die Umwandeleinrichtung 32 kann alternativ oder zusätzlich zur optischen Erfassung, homodynen oder heterodynen Erfassung und/oder zur Abwärtskonvertierung der Frequenz ausgebildet sein. Am Ort der weiteren Umwandeleinrichtung 32‘ kann alternativ oder zusätzlich der Probelaser 29 und der Kopplungslaser 30 angeordnet sein. Die weitere Umwandeleinrichtung 32‘ kann einen optischen Frequenzkamm und/oder einen Mikroringresonator aufweisen.
In Fig. 14 sind Übertragungswege für elektronisch kodierte Daten mit einer durchgezogenen Linie und Übertragungswege für optisch kodierte Daten mit einer gestrichelten Linie skizziert. Es kann ferner ein elektronischer Übertragungsweg zu den Neuronen 16 vorgesehen sein, der hier als von der weiteren Umwandeleinrichtung 32‘ ausgehender Pfeil ohne Endpunkt skizziert ist.
Die in Fig. 14 gezeigte Steuervorrichtung 2 ermöglicht: kombiniertes Prozessieren der Daten in räumlich getrennter Zentraleinheit; kohärentes Prozessieren; Integration von optischen Frequenzkämmen zur breitbandigen Abtastung der Frequenzen externer elektromagnetischer Felder; und Integration des Lokaloszillators 35 oder einer Phasenkopplungseinheit, um Neuronen 16 elektronisch oder optisch phasenstarr zu verbinden und zur Frequenzmischung im Detektor zu verwenden. Außerdem kann die Klassifizierung von Daten im 5G-Frequenzband oder darüber hinaus erfolgen für: Datenverarbeitung für Fahrzeug-zu-lnfrastruktur-Anwendungen (Software- Updates, Karten-Updates, Infrastruktursignale), Gestenerkennung und/oder Benutzerschnittstellen-Applikationen.
Insgesamt zeigen die Beispiele den Einsatz von EIT als optisches Neuron 16 in künstlichen optischen NN 14.
Bezugszeichenhste
Kraftfahrzeug
Steuervorrichtung
Sensoreinrichtung
Steuereinrichtung
Kamera
Radargerät
Lidar-Gerät optische Faserverbindung
Probelaserstrahl
Kopplungslaserstrahl
Absorptionsspektrum
Extremwert
EIT-Signal optisches neuronales Netzwerk
Halbleiterplättchen optisches Neuron nichtlineares optisches Medium
Beschichtung erster Lichtwellenleiter zweiter Lichtwellenleiter
Optokoppler
Lichtwellenzuleiter optischer Modulator
Auswerteeinrichtung photonischer Koppler
Strahlungsquelle elektromagnetische Strahlung
Probelaser
Kopplungslaser optische Gewichtung
Umwandeleinrichtung ‘ weitere Umwandeleinrichtung elektronisch kodierte Klassifikationsinformation
Recheneinheit
Lokaloszillator 36 optisch kodierten Sensordaten
37 optisch kodierten Klassifikationsinformation
38 Kommunikationsschnittstelle
39 Diagnose- und/oder Kontrollschnittstelle
40 Digitalschnittstelle
41 Verarbeitungseinheit
42 optischer Schalter E0-E3 Energiezustand f Frequenz
Af Frequenzabstand
I Intensität

Claims

Patentansprüche Steuervorrichtung (2) zum Bereitstellen einer Klassifizierung von Sensordaten für ein Kraftfahrzeug (1) mittels eines optischen neuronalen Netzwerks (14), wobei die Steuervorrichtung (2) das optische neuronale Netzwerk (14) aufweist und dazu ausgebildet ist: optisch kodierte Sensordaten bereitzustellen; die bereitgestellten optisch kodierten Sensordaten (36) mittels des optischen neuronalen Netzwerks (14) auszuwerten, wobei das optische neuronale Netzwerk (14) mehrere optische Neuronen (16) mit elektromagnetisch induzierten Transparenzeigenschaften aufweist, und als Ergebnis des Auswertens mittels einer Auswerteeinrichtung (24) des optischen neuronalen Netzwerks (14) eine optisch kodierte Klassifikationsinformation (37) bereitzustellen, die die Klassifizierung der Sensordaten beschreibt; die optisch kodierte Klassifikationsinformation (37) in eine elektronisch kodierte Klassifikationsinformation (33) mittels einer Umwandeleinrichtung (32) der Steuervorrichtung (2) umzuwandeln; und die elektronisch kodierte Klassifikationsinformation (37) für das Kraftfahrzeug (1) bereitzustellen. Steuervorrichtung (2) nach Anspruch 1 , wobei das zumindest eine optische Neuron (16) aus einem nichtlinearen optischen Medium (17) ausgebildet ist, insbesondere als Quantenpunkt, Quantendraht, Quantentopf und/oder Dampfzelle, die zumindest ein Atom und/oder Molekül mit einem vorgegebenen Energieniveau, insbesondere ein Rydberg-Atom und/oder ein Bose-Einstein-Kondensat, aufweist. Steuervorrichtung (2) nach einem der vorhergehenden Ansprüche, wobei das optische neuronale Netzwerk (14) zumindest eine Schicht aufweist, die mehreren optischen Neuronen (16) aufweist, wobei zu jedem optischen Neuron (16) zumindest ein erster Lichtwellenleiter (19) hinführt, über den ein Probelaserstrahl (9) eines Probelasers (29) und ein Kopplungslaserstrahl (10) eines Kopplungslasers (30) in das optische Neuron (16) einkoppelbar sind, und von jedem optischen Neuron (16) zumindest ein zweiter Lichtwellenleiter (20) wegführt, der zu einem anderen optischen Neuron (16) oder direkt zur Auswerteeinrichtung (24) führt und in den der Probelaserstrahl (9) nach dessen Passieren des optischen Neurons (16) einkoppelbar ist. Steuervorrichtung (2) nach Anspruch 3, wobei das optische neuronale Netzwerk (14) dazu ausgebildet ist, ein Absorptionsspektrum (11) und/oder Transmissionsspektrum des in den zumindest einen zweiten Lichtleiter (20) eingekoppelten Probelaserstrahls (9) zum Bereitstellen der optisch kodierten Klassifikationsinformation (37) auszuwerten, insbesondere einen Extremwert (12) einer Frequenz und/oder einer Amplitude einerseits und/oder eine Phase andererseits des Absorptionsspektrums (11) und/oder T ransmissionsspektrums. Steuervorrichtung (2) nach Anspruch 3 oder 4, wobei das optische neuronale Netzwerk (14) zumindest einen optischen Modulator (23) aufweist, der dazu ausgebildet ist, zumindest eine Eigenschaft des Probelaserstrahls (9) zu beeinflussen, insbesondere eine Amplitude, Polarisation, Frequenz, Wellenlänge und/oder Phase des Probelaserstrahls (9). Steuervorrichtung (2) nach einem der Ansprüche 3 bis 5, wobei das optische neuronale Netzwerk (14) eine Strahlungsquelle (26) aufweist, die dazu ausgebildet ist, das zumindest eine optische Neuron (16) mit elektromagnetischer Strahlung (27) zu bestrahlen, sodass unter Ausnutzung des dynamischen Stark-Effekts das Absorptionsspektrum (11) und/oder das Transmissionsspektrum des in den zumindest einen zweiten Lichtleiter (20) eingekoppelten Probelaserstrahls (9) eine Aufspaltung erfährt, wobei das optische neuronale Netzwerk (14) dazu ausgebildet ist, das aufgespaltete Absorptionsspektrum (11) und/oder Transmissionsspektrum zum Bereitstellen der optisch kodierten Klassifikationsinformation (37) auszuwerten, insbesondere einen Extremwert (12) und/oder einen Abstand zwischen zwei Extremwerten (12) einer Frequenz und/oder einer Amplitude des Absorptionsspektrums (11) und/oder Transmissionsspektrums einerseits und/oder eine Phase des Absorptionsspektrums (11) und/oder Transmissionsspektrums andererseits. Steuervorrichtung (2) nach Anspruch 6, wobei das optische neuronale Netzwerk (14) dazu ausgebildet ist, abhängig von den Sensordaten eine Frequenz, einen Phasenverlauf und/oder eine Amplitude der elektromagnetischen Strahlung (27) einzustellen. Steuervorrichtung (2) nach einem der vorhergehenden Ansprüche, wobei die Steuervorrichtung (2) eine Recheneinheit (34), insbesondere einen Computer und/oder einen Graphikprozessor, und eine weitere Umwandeleinrichtung (32‘) aufweist, wobei die Recheneinheit (34) dazu ausgebildet ist, elektronisch kodierte Sensordaten bereitzustellen, und die weitere Umwandeleinrichtung (32‘) dazu ausgebildet ist, die bereitgestellten elektronisch kodierten Sensordaten in die optisch kodierten Sensordaten umzuwandeln und diese bereitzustellen. Steuervorrichtung (2) nach einem der vorhergehenden Ansprüche, wobei die Umwandeleinrichtung (32) dazu ausgebildet ist, eine Lokaloszillatorinformation, die von einem Lokaloszillator (35) bereitgestellt wird, mit der bereitgestellten optisch kodierten Klassifikationsinformation (37) zu interferieren, um die elektronisch kodierte Klassifikationsinformation (33) bereitzustellen. Steuervorrichtung (2) nach einem der vorhergehenden Ansprüche, wobei das optische neuronale Netzwerk (14) auf zumindest einem Halbleiterplättchen (15) angeordnet ist, das als zumindest eine von folgenden Komponenten ausgebildet ist: elektronisch-photonisch kointegrierter Halbleiterchip; photonischer integrierter Schaltkreis;
Multi-Chip-Modul; und/oder mittels Flip-Chip-Montage montierter Chip. Steuervorrichtung (2) nach einem der vorhergehenden Ansprüche, wobei die Steuervorrichtung (2) eine Kommunikationsschnittstelle (38) zu einer Steuereinrichtung (4) einer Sensoreinrichtung (3) des Kraftfahrzeugs (1) aufweist und dazu ausgebildet ist, mittels der Sensoreinrichtung (3) erfasste Sensordaten über die Kommunikationsschnittstelle (38) zu empfangen. Kraftfahrzeug (1) mit einer Steuervorrichtung (2) nach einem der vorhergehenden Ansprüche. Kraftfahrzeug (1) nach Anspruch 12 in dessen Rückbezügen auf Anspruch 11 , wobei das Kraftfahrzeug (1) zumindest eine Sensoreinrichtung (3) mit einer Steuereinrichtung (4) aufweist, die Steuereinrichtung (4) über zumindest eine optische Faserverbindung (8) mit der Kommunikationsschnittstelle (38) der Steuervorrichtung (2) verbunden ist und die Steuereinrichtung (4) dazu ausgebildet ist, über die zumindest eine optische Faserverbindung (8) die mittels der Sensoreinrichtung (3) erfassten Sensordaten an die Steuervorrichtung (2) zu übermitteln. Verfahren zum Betreiben einer Steuervorrichtung (2) zum Bereitstellen einer Klassifizierung von Sensordaten für ein Kraftfahrzeug (1) mittels eines optischen neuronalen Netzwerks (14), umfassend folgende Schritte: Bereitstellen von optisch kodierten Sensordaten;
- Auswerten der bereitgestellten optisch kodierten Sensordaten mittels eines optischen neuronalen Netzwerks (14), das mehrere optische Neuronen (16) mit elektromagnetisch induzierten Transparenzeigenschaften aufweist, wobei als Ergebnis des Auswertens mittels einer Auswerteeinrichtung (24) des optischen neuronalen Netzwerks (14) eine optisch kodierte Klassifikationsinformation (37) bereitgestellt wird, die die Klassifizierung der Sensordaten beschreibt;
Umwandeln der optisch kodierten Klassifikationsinformation (37) in eine elektronisch kodierte Klassifikationsinformation (33) mittels einer Umwandeleinrichtung (23);
Bereitstellen der elektronisch kodierten Klassifikationsinformation (33) für das Kraftfahrzeug (1).
PCT/EP2022/084882 2021-12-28 2022-12-07 Steuervorrichtung zum bereitstellen einer klassifizierung von sensordaten für ein kraftfahrzeug mittels eines optischen neuronalen netzwerks und verfahren zum betreiben der steuervorrichtung WO2023126140A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202280086834.1A CN118591829A (zh) 2021-12-28 2022-12-07 用于借助于光学神经网络提供用于机动车的传感器数据的分类的控制装置和用于运行该控制装置的方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102021006379 2021-12-28
DE102021006379.1 2021-12-28
DE102022100836.3A DE102022100836A1 (de) 2021-12-28 2022-01-14 Steuervorrichtung zum Bereitstellen einer Klassifizierung von Sensordaten für ein Kraftfahrzeug mittels eines optischen neuronalen Netzwerks und Verfahren zum Betreiben einer Steuervorrichtung
DE102022100836.3 2022-01-14

Publications (1)

Publication Number Publication Date
WO2023126140A1 true WO2023126140A1 (de) 2023-07-06

Family

ID=84689060

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/084882 WO2023126140A1 (de) 2021-12-28 2022-12-07 Steuervorrichtung zum bereitstellen einer klassifizierung von sensordaten für ein kraftfahrzeug mittels eines optischen neuronalen netzwerks und verfahren zum betreiben der steuervorrichtung

Country Status (1)

Country Link
WO (1) WO2023126140A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220097690A1 (en) * 2020-09-30 2022-03-31 Toyota Motor Engineering & Manufacturing North America, Inc. Optical sense-compute solution for real-time navigation involving multiple vehicles

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200327403A1 (en) 2019-04-15 2020-10-15 The Hong Kong University Of Science And Technology All optical neural network
US20210012184A1 (en) * 2019-07-11 2021-01-14 Toyota Motor Engineering & Manufacturing North America, Inc. Photonic apparatus integrating optical sensing and optical processing components
US20210097378A1 (en) * 2019-10-01 2021-04-01 Toyota Motor Engineering & Manufacturing North America, Inc. Adaptable optical neural network system
US20210142170A1 (en) * 2018-04-13 2021-05-13 The Regents Of The University Of California Devices and methods employing optical-based machine learning using diffractive deep neural networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210142170A1 (en) * 2018-04-13 2021-05-13 The Regents Of The University Of California Devices and methods employing optical-based machine learning using diffractive deep neural networks
US20200327403A1 (en) 2019-04-15 2020-10-15 The Hong Kong University Of Science And Technology All optical neural network
US20210012184A1 (en) * 2019-07-11 2021-01-14 Toyota Motor Engineering & Manufacturing North America, Inc. Photonic apparatus integrating optical sensing and optical processing components
US20210097378A1 (en) * 2019-10-01 2021-04-01 Toyota Motor Engineering & Manufacturing North America, Inc. Adaptable optical neural network system

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
ALBERT RYOU ET AL: "Free-space optical neural network based on thermal atomic nonlinearity", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 8 February 2021 (2021-02-08), XP081876555 *
DE MARINIS LORENZO ET AL: "Photonic Neural Networks: A Survey", IEEE ACCESS, vol. 7, 2 December 2019 (2019-12-02), pages 175827 - 175841, XP011761115, DOI: 10.1109/ACCESS.2019.2957245 *
KONSTANTINOS DEMERTZIS ET AL: "A Comprehensive Survey on Nanophotonics Neural Networks", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 30 October 2021 (2021-10-30), XP091083761 *
KUNIHIKO HARA ET AL: "SURFACE OPERATING OPTOELECTRONIC DEVICES AND APPLICATIONS TO OPTICAL PARALLEL PROCESSING", ELECTRONICS & COMMUNICATIONS IN JAPAN, PART II - ELECTRONICS, WILEY, HOBOKEN, NJ, US, vol. 77, no. 10, 31 October 1994 (1994-10-31), pages 45 - 56, XP000545763, ISSN: 8756-663X *
SADEGHZADEH HODA ET AL: "Free-Space Optical Neural Network Based on Optical Nonlinearity and Pooling Operations", IEEE ACCESS, IEEE, USA, vol. 9, 26 October 2021 (2021-10-26), pages 146533 - 146549, XP011886807, DOI: 10.1109/ACCESS.2021.3123230 *
XU RUNQIN ET AL: "A survey of approaches for implementing optical neural networks", OPTICS AND LASER TECHNOLOGY, ELSEVIER SCIENCE PUBLISHERS BV., AMSTERDAM, NL, vol. 136, 4 December 2020 (2020-12-04), XP086431796, ISSN: 0030-3992, [retrieved on 20201204], DOI: 10.1016/J.OPTLASTEC.2020.106787 *
YING ZUOBOHAN LIYUJUN ZHAOYUE JIANGYOU-CHIUAN CHENPENG CHENGYU-BOONG JOJUNWEI LIUSHENGWANG DU: "All-optical neural network with nonlinear activation functions", OPTICA, vol. 6, no. 9, September 2019 (2019-09-01), pages 1132 - 1137

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220097690A1 (en) * 2020-09-30 2022-03-31 Toyota Motor Engineering & Manufacturing North America, Inc. Optical sense-compute solution for real-time navigation involving multiple vehicles

Similar Documents

Publication Publication Date Title
EP3489712B1 (de) Radarsystem und verfahren zum betreiben eines radarsystems
DE102021200639B3 (de) Radarsensorvorrichtung für ein Kraftfahrzeug, sowie Verfahren
EP4232960A1 (de) Vorrichtung, system und verfahren zur bereitstellung eines künstlichen neuronalen netzes
DE112009004828B4 (de) Spektrum-messvorrichtung
DE202011052060U1 (de) STED-Fluoreszenzlichtmikroskop mit gepulster Anregung, kontinuierlicher Stimulation und zeitlich aufgelöster Registrierung von spontan emittiertem Fluoreszenzlicht
DE102018116722A1 (de) Detektionssysteme und -verfahren unter Verwendung eines Ultrakurzstreckenradars
WO2023126140A1 (de) Steuervorrichtung zum bereitstellen einer klassifizierung von sensordaten für ein kraftfahrzeug mittels eines optischen neuronalen netzwerks und verfahren zum betreiben der steuervorrichtung
DE102006058395A1 (de) Anordnung zur elektrischen Ansteuerung und schnellen Modulation von THz-Sendern und THz-Messsystemen
DE102016212035A1 (de) Abstandsberechungsvorrichtung, Abstandsberechungsverfahren, Fahrunterstützungsvorrichtung und Fahrunterstützungssystem
WO1995014427A1 (de) Vorrichtung zur untersuchung von gewebe mit licht
DE102007016588A1 (de) Bildsensor zur Erfassung von Bildern mit Subwellenlängenauflösung
DE102019206363B3 (de) Kraftfahrzeug mit einer Vorrichtung zum farbabhängigen Detektieren von Bildinhalten sowie Rechenvorrichtung
DE102017210684A1 (de) Detektoranordnung für ein Lidar-System
CH629603A5 (de) Bilduebertragungseinrichtung zur untersuchung von unzugaenglichen partien eines objektes.
EP1542051A1 (de) Verfahren und Vorrichtung zum Trennen unterschiedlicher Emissionswellenlängen in einem Scanmikroskop
DE102010047168A1 (de) Verfahren zur wechselwirkungsfreien Informationsübertragung
DE102022100836A1 (de) Steuervorrichtung zum Bereitstellen einer Klassifizierung von Sensordaten für ein Kraftfahrzeug mittels eines optischen neuronalen Netzwerks und Verfahren zum Betreiben einer Steuervorrichtung
DE112021000850T5 (de) Modulator, Bildgebungseinrichtung und Gestaltungsverfahren
DE112020003845T5 (de) Vorrichtung, messungsvorrichtung, entfernungsmessungssystem und verfahren
EP3149778B1 (de) Plasmonisches bauteil und plasmonischer photodetektor sowie deren herstellungsverfahren
DE102019130016A1 (de) Fahrerassistenzsystem mit einem Sender mit einer frequenzgesteuerten Abstrahlrichtung und einem Konverter zur Frequenzangleichung
DE102016119592A1 (de) Verfahren zum Erkennen von Objekten in einem Umgebungsbereich eines Kraftfahrzeugs unter Berücksichtigung von Sensordaten im infraroten Wellenlängenbereich, Objekterkennungsvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE112020003847T5 (de) Messungsvorrichtung und entfernungsmessungsvorrichtung
DE102018119653A1 (de) Fahrerassistenzsystem zur Erfassung von Objekten mithilfe einer Radarstrahlung und einem frequenzselektiven Empfänger
DE112009003290B4 (de) Optische Vorrichtung mit einem Emitter-Kontakt, einem Kollektor-Kontakt und einem Spalt

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22834537

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022834537

Country of ref document: EP

Effective date: 20240729