WO2024223286A1 - System und verfahren zum erzeugen eines bildstroms in einem fahrzeug, computerlesbares speichermedium - Google Patents

System und verfahren zum erzeugen eines bildstroms in einem fahrzeug, computerlesbares speichermedium Download PDF

Info

Publication number
WO2024223286A1
WO2024223286A1 PCT/EP2024/059572 EP2024059572W WO2024223286A1 WO 2024223286 A1 WO2024223286 A1 WO 2024223286A1 EP 2024059572 W EP2024059572 W EP 2024059572W WO 2024223286 A1 WO2024223286 A1 WO 2024223286A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
rgb
processing unit
image stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2024/059572
Other languages
English (en)
French (fr)
Inventor
Markus KEWITZ
Julian GREVERATH
Sebastian ARENDT
Valentin SCHULZ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Saint Gobain Glass France SAS
Compagnie de Saint Gobain SA
Original Assignee
Saint Gobain Glass France SAS
Compagnie de Saint Gobain SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Saint Gobain Glass France SAS, Compagnie de Saint Gobain SA filed Critical Saint Gobain Glass France SAS
Publication of WO2024223286A1 publication Critical patent/WO2024223286A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions

Definitions

  • the invention relates to a system for generating an image stream in a vehicle.
  • the invention also relates to a corresponding method and a computer-readable storage medium.
  • Modern vehicles often have an interior camera that can capture a person in the driver's seat.
  • the image stream generated by the interior camera can be used in the vehicle for various purposes, such as video telephony or for a facial recognition process that is carried out for a driver assistance system.
  • a method and a corresponding device for processing an infrared image are known, in particular for use in a vehicle, wherein the device comprises the following: an input module for reading in an infrared image from an infrared camera; an image processing unit for generating an output image by applying a neural network to the infrared image, wherein the neural network has been trained to filter shadows or to reduce lighting effects; and an output for outputting the output image.
  • the device comprises the following: an input module for reading in an infrared image from an infrared camera; an image processing unit for generating an output image by applying a neural network to the infrared image, wherein the neural network has been trained to filter shadows or to reduce lighting effects; and an output for outputting the output image.
  • the device comprises the following: an input module for reading in an infrared image from an infrared camera; an image processing unit for generating an output image by applying a neural network to the infrared image, wherein the neural network has been trained to filter shadows or
  • WO 2022/075184 A1 shows a reflective film for reflecting infrared radiation.
  • the reflective film can be arranged in particular on a windshield of a vehicle in order to reflect the infrared radiation emitted by a radiation source in the direction of the driver and to reflect the radiation reflected there in the direction of an IR sensor which is arranged below the windshield.
  • US 2008/069403 A1 shows a vehicle image capture system that has an infrared source that generates an infrared beam along a field of view, as well as an infrared detector and a computing unit.
  • the infrared detector is designed to detect infrared radiation reflected from objects in the field of view and to generate image signals from it.
  • the computing unit is designed to recognize facial features and, depending on this, to trigger a process in the vehicle.
  • the infrared detector can be arranged below the windshield, which serves as a reflection surface.
  • US 2020/143184 A1 shows a head-up display arrangement for a motor vehicle, comprising: a windshield with a coating that reflects infrared energy; a light source arranged to emit a light field such that the light field is reflected from the windshield and appears to the driver as a virtual image outside the windshield; and an IR camera positioned and configured to receive infrared energy reflected from a face of the driver and reflected from the coating of the windshield.
  • the object is achieved by a system according to claim 1, a method according to claim 16 and a computer-readable storage medium according to claim 19.
  • the object is achieved by a system for generating an image stream in a vehicle.
  • the system has the following: an IR radiation source; an IR camera; a windshield; and an image processing unit.
  • the IR radiation source, the IR camera and the windshield are arranged in such a way that the first IR radiation emitted by the IR radiation source hits a detection area and the second IR radiation, which is created by reflection of the first IR radiation in the detection area, is reflected on the windshield and detected by the IR camera.
  • the IR camera is designed to generate an IR image stream containing a plurality of IR images by detecting the second IR radiation.
  • the image processing unit is configured to generate an RGB image stream containing a plurality of RGB images based on the IR image stream.
  • the image processing unit is designed to generate one or more corresponding RGB images for one or more of the IR images.
  • the image processing unit is designed to capture position data of one or more reference points, in particular in a face, in at least one of the IR images and to generate at least one of the RGB images based on the position data.
  • One idea of the present invention is to record the objects in the detection range of the camera, for example the person in the driver's seat, not by detecting visible light, but by detecting infrared (IR) radiation through the IR camera.
  • IR infrared
  • infrared radiation can be understood in particular as radiation with a wavelength in a range of 800 to 1500 nm.
  • the system provides the IR radiation source to illuminate the detection area with IR radiation. This is done invisibly for the vehicle occupants and therefore not without interference.
  • the IR radiation emitted by the IR radiation source is reflected in the detection area, for example in the driver's face, is reflected towards the windshield.
  • the radiation emitted by the IR radiation source is referred to as the first IR radiation and the IR radiation reflected in the detection area is referred to as the second IR radiation.
  • the windshield has the property of being essentially transparent to visible light and of having a high reflectivity for IR radiation on the inside, at least in one area.
  • a high reflectivity can be understood, for example, as a reflection level of 50% or higher.
  • the inside of the windshield can have a corresponding functional layer.
  • the reflectivity of the windshield allows the IR camera to be positioned and aligned in such a way that the IR camera captures the second IR radiation reflected from the windshield. In this way, the IR camera captures an IR image stream that contains a large number of IR images.
  • the IR radiation source can also be arranged in such a way that the first IR radiation is reflected on the windshield before it falls into the detection area.
  • the IR radiation source can be integrated into the IR camera.
  • the IR radiation source can be arranged separately and directed directly towards the detection area, for example in the interior mirror of the vehicle.
  • the system according to the invention provides an image processing unit which is designed to generate an RGB image stream, i.e. an image stream with color information, based on the captured IR image stream. This can be done, for example, by colorizing the individual IR images. While the IR images only indicate intensity values and thus have a grayscale appearance, the generated RGB image stream can have the appearance of a conventional colored image stream, which can be used, for example, for video telephony or video conferencing.
  • an image stream can be understood as any data that indicates a temporally ordered sequence of images.
  • the approach according to the invention has various advantages over a conventional system in which an RGB camera is arranged in the vehicle.
  • the detection of the reflected second IR radiation enables a virtual camera position that is in front of the detection area, ie in the direction of the driver's gaze. although the actual camera position is outside the driver's field of vision, for example in an upper area of the dashboard.
  • the driver is therefore looking straight towards the camera, with the field of view not being impaired by a camera placed there. This increases safety when driving and improves the viewing comfort in the vehicle.
  • the detection of IR radiation has the advantage that its spectrum lies outside the spectrum of visible light, which means that the captured IR images are more robust against disruptive light influences while driving (see above).
  • the captured IR images and the RGB images generated from them are therefore of higher quality.
  • the image processing unit is designed to generate one or more corresponding RGB images for one or more of the IR images.
  • the image processing unit can generate the RGB image stream on an individual image basis, i.e. generate a corresponding RGB image in the RGB image stream for each IR image from the IR image stream.
  • the image processing unit thus essentially processes individual IR images.
  • the image processing unit can also be designed to create an RGB image from several IR images, or to create several RGB images from a single IR image. This can increase the quality or realism of the RGB images generated.
  • the image processing unit can perform further image optimization steps on the generated RGB images, such as adding depth of field, adjusting brightness and/or contrast, etc.
  • the image processing unit may comprise a Kl module and be configured to create the RGB image stream using the Kl module.
  • AI artificial intelligence
  • the AI module of the image processing unit can Autoencoder that is adapted (trained) to convert an RGB image to a grayscale image.
  • the Kl module can be trained in particular by a supervised learning method, wherein the training data contains image pairs which are constructed as follows: Each image pair comprises an IR image of an IR camera as described above, as well as an RGB image of an RGB camera which is arranged at the virtual camera position of the IR camera, i.e. in front of the detection area.
  • the generated RGB image stream can have a high image quality and a high degree of realism.
  • the image processing unit may be configured to generate at least one of the RGB images by colorizing at least one of the IR images.
  • color information that is missing from the IR images of the IR image stream is subsequently added by coloring one or more IR images.
  • the coloring i.e. the generation of the RGB image into a grayscale image, can be carried out in particular by a Kl module as described above.
  • the image processing unit may be configured to capture an image region in at least one of the IR images and generate at least one of the RGB images based on the image region.
  • the image area can be defined in particular by a bounding box (e.g. rectangular or elliptical) which includes a relevant area of the IR image.
  • the relevant area can, for example, include the head or upper body of the person in the driver's seat, but not image elements in the background (e.g. driver's seat, vehicle interior).
  • the image processing unit can in particular only process the captured image area instead of the complete IR image.
  • the image processing unit can be designed to extract the area of the head or upper body in an IR image and to generate an image area with color information for the RGB image for this image area, ie only the colorize the captured image area.
  • the RGB image can finally be created by placing the colored image area in front of a virtual background.
  • statically placed IR camera means that only some image elements change during recording (e.g. facial expressions and gestures of the person being recorded), while other image elements remain essentially the same (e.g. driver's seat, vehicle interior).
  • image elements change during recording
  • other image elements remain essentially the same (e.g. driver's seat, vehicle interior).
  • the image processing unit is designed to capture position data of one or more reference points (land marks) in at least one of the IR images and to generate at least one of the RGB images based on the position data.
  • the reference points can indicate prominent facial elements such as eyes, mouth, nose and eyebrows.
  • detection of reference points can be carried out, for example, using the Dlib 68 software library, which detects 68 different landmarks on the face and classifies them using a trained classifier if necessary.
  • the position data can in particular be specified as vectors in a two-dimensional coordinate system.
  • an avatar i.e. a virtual representation of a person
  • the avatar can be configured according to the recorded position data and, if necessary, placed in front of a virtual background.
  • the avatar can be adapted to the person shown in the IR image, for example, by appropriate transformations in terms of facial expressions, position and/or orientation according to the recorded position data.
  • the RGB image can be generated by performing the transformations as described above not in an avatar, but in a previously generated colorized IR image. This preserves the realistic overall impression of the previously generated RGB image, and only makes adjustments to the facial expressions, position and/or orientation. Also according to this embodiment, the amount of data to be processed can be reduced because the RGB image is generated based on the position data (vectors) rather than on the basis of the complete image data of the IR image.
  • the system may further comprise an RGB camera.
  • the RGB camera may be designed to capture at least part of the detection area, possibly from a different angle, and to generate a second RGB image stream.
  • the RGB camera may be positioned in the vehicle so that it is directed at the driver, but is outside the field of vision (e.g. in the interior mirror).
  • the image processing unit can be designed to generate the RGB image stream using at least parts of the second RGB image stream.
  • the image processing unit can colorize an IR image using a corresponding RGB image from the second RGB image stream.
  • the corresponding RGB image is recorded at substantially the same time as the IR image. This offers the advantage that the color information of the corresponding RGB image from the second image stream can be used to colorize the IR image. An RGB image with higher quality (realistic fidelity) can thus be generated.
  • the Kl module described above can be designed to carry out the corresponding image processing operations.
  • the system can be implemented as a distributed system.
  • the image processing unit can be provided by a (vehicle-external) server, which is connected to a (vehicle-internal) vehicle communication unit, in particular via a mobile radio connection.
  • the vehicle communication unit is designed to transmit the IR image stream completely or partially to the server.
  • the system preferably also has an image preprocessing unit in the vehicle.
  • the image preprocessing unit can be designed to preprocess the IR image stream before transmission to the server.
  • the preprocessing can include compressing IR images, for example using a suitable compression method for image data. Compression can also be carried out by detecting reference points as described above and reducing the IR image stream to the position data of the reference points. In this case, only the position data, not the complete image data, is transmitted, with complete image data being generated on the server on the basis of the transmitted position data.
  • the object is further achieved by a method for generating an image stream in a vehicle.
  • the method can be carried out in particular by a system as described above.
  • the method comprises the following steps:
  • Detecting IR radiation to generate an IR image stream in particular by an IR camera, wherein the IR image stream contains a plurality of IR images;
  • the plurality of RGB images can be generated by a Kl module.
  • the Kl module can in particular comprise an artificial neural network, for example an autoencoder.
  • generating the plurality of RGB images may comprise at least one of the following steps:
  • the object is further achieved by a computer-readable storage medium.
  • the computer-readable storage medium contains instructions that cause at least one processor to implement a method as described above when the instructions are executed by the at least one processor.
  • the computer-readable storage medium offers similar advantages and technical effects as those described in connection with the system and the method.
  • Figure 1 a system according to the invention according to an embodiment
  • FIG. 2 a system according to the invention according to an alternative
  • Figure 3a a flow chart of a method according to the invention according to an embodiment
  • Figure 3b a frame-based generation of an RGB image stream according to an embodiment
  • Figure 4 generating an RGB image by colorizing an IR image
  • Figure 5 generating an RGB image from an image area of an IR image
  • Figure 6 Creating an RGB image by detecting reference points in an IR image.
  • Figure 1 shows an embodiment of a system according to the invention, which is arranged in a vehicle.
  • the system comprises the IR radiation source 10, the IR camera 20, the windshield 30 and the image processing unit 40.
  • the IR radiation source 10 is arranged and aligned in such a way that it shines directly onto the driver's 50 upper body.
  • the IR radiation source 10 can be arranged, for example, in an interior mirror (not shown) of the vehicle so that it does not further impair the driver's 50 field of vision. It should be noted at this point that with the IR radiation source 10 - unlike with a video camera arranged in the interior mirror - a lateral offset from the driver's 50 line of sight is generally unproblematic.
  • the first IR radiation R1 emitted by the IR radiation source 10 is reflected in the vehicle interior and on the body of the driver 50 and strikes the windshield 30 as the second IR radiation R2.
  • the second IR radiation R2 is reflected again on the windshield 30 and strikes a sensor of the IR camera 20, which is arranged in the area of the dashboard.
  • the IR camera 20 provides the captured IR image stream to the image processing unit 40.
  • the IR camera 20 is connected to the image processing unit 40 via a data line in the vehicle.
  • the image processing unit 40 has the Kl module 41, which is designed to generate the corresponding RGB images of the RGB image stream for the IR images of the IR image stream. This can be done in particular according to one of the methods as described with reference to Figures 3 to 6.
  • FIG 2 shows a further embodiment of the system according to the invention.
  • the IR radiation source 10 is integrated into the IR camera 20, which is arranged in an area of the dashboard as in the embodiment of Figure 1.
  • the first IR radiation R1 emitted by the IR radiation source 10 is reflected on the windshield 30 in the direction of the driver 50. Reflection of the first IR radiation R1 in the interior of the vehicle produces second IR radiation R2, which in turn is reflected on the windshield 30, as explained in connection with the embodiment of Figure 1.
  • the other components of the system are configured and arranged as in the embodiment of Figure 1.
  • Figure 3a shows a flow chart of the method according to the invention according to an embodiment.
  • step S1 (second) IR radiation is detected by an IR camera and the corresponding IR images A1, A2 and A3 (or the corresponding IR image stream) are stored in a memory.
  • step S2 the IR image stream A, which has the IR images A1, A2 and A3, is transmitted to an image processing unit.
  • this can be done by transmitting the IR images A1, A2, A3 or the IR image stream A from the IR camera 20 to the image processing unit 40 via a data line in the vehicle.
  • the image processing unit 40 can be implemented on a remote server.
  • step S2 comprises a transmission to the server by means of an internal vehicle communication device, for example via a mobile network.
  • step S3 which is carried out by the image processing unit, the RGB images B1, B2 and B3 are generated.
  • an RGB image is generated for each of the IR images A1, A2 and A3 (as explained below with reference to Figure 3b).
  • step S4 the generated RGB images B1, B2 and B3 are provided as RGB image stream B for further use, in particular to an interface of a video telephony module or a driver assistance system.
  • FIG 3b illustrates the single-image-based generation of the RGB image stream B.
  • the IR image stream A has the three IR images A1, A2 and A3.
  • the RGB images B1, B2 and B3 are generated for the IR images A1, A2 and A3. This can be done using one of the methods explained below with reference to Figures 4 to 6.
  • the RGB images B1, B2 and B3 generated in this way form the RGB image stream B.
  • FIG 4 shows the IR image A1 and the RGB image B1 generated by coloring.
  • the RGB image B1 was generated by an artificial neural network that is adapted to provide a corresponding color image (RGB image) for a grayscale image, i.e. to colorize the grayscale image.
  • RGB image corresponding color image
  • the coloring gives at least the face of the person depicted a natural color tone.
  • Figure 5 shows a further embodiment for generating the RGB image B1 for the IR image A1.
  • the contour of the person depicted is first detected in the IR image A1 and the image area A1' defined thereby is extracted from the IR image A1.
  • the image area A1' also represents an IR image, but is reduced in terms of the amount of data compared to the IR image A1.
  • a colored image area B1' is generated for the image area A1', as described in connection with Figure 4.
  • the RGB image B1 finally generated results from overlaying the virtual background image C with the image area B1'.
  • the virtual background image C is preferably an RGB image that shows a plausible background (e.g. a vehicle interior).
  • Figure 6 shows a further embodiment for generating the RGB image B1 for the IR image A1.
  • the position data of five reference points u, v, x, y and z are determined in the IR image A1, which indicate the position of the eyes, the corners of the mouth and the chin of the person depicted.
  • the avatar D is configured, which serves as a virtual representation of the person depicted in the IR image A1.
  • the avatar D can initially be a two- or three-dimensional model in a standard orientation.
  • Configuring the avatar D includes transformations so that the position of the reference points u, v, x, y and z in the avatar D matches the recorded position data of the reference points u, v, x, y and z in the IR image A1.
  • the avatar D can be adapted to the person depicted in the IR image A1 by configuring it in terms of facial expressions, orientation and position.
  • the RGB image B1 is generated by overlaying the virtual background image C with the configured avatar D (as described above in connection with Figure 5).
  • the embodiments in Figures 1 and 2 show systems in which all components, including the image processing unit, are arranged in the vehicle.
  • the image processing unit can also be provided by a backend server.
  • the data recorded in the vehicle, in particular the IR images are transmitted to the backend server via a suitable vehicle communication device.
  • a system for generating an image stream in a vehicle comprising:
  • an image processing unit (40) wherein the IR radiation source (10), the IR camera (20) and the windshield (30) are arranged such that first IR radiation (R1) emitted by the IR radiation source (10) falls into a detection area and second IR radiation (R2) created by reflection of the first IR radiation (R1) in the detection area is reflected on the windshield (30) and detected by the IR camera (20), wherein the IR camera (20) is designed to generate an IR image stream (A) containing a plurality of IR images (A1, A2, A3) by detecting the second IR radiation (R2), and wherein the image processing unit (40) is designed to generate an RGB image stream (B) containing a plurality of RGB images (B1, B2, B3) based on the IR image stream (A).
  • the image processing unit (40) is designed to generate one or more corresponding RGB images (B1, B2, B3) for one or more of the IR images (A1, A2, A3).
  • the image processing unit (40) has a Kl module (41) and is designed to create the RGB image stream (B) using the Kl module (41).
  • the image processing unit (40) is designed to generate at least one of the RGB images (B1, B2, B3) by coloring at least one of the IR images (A1, A2, A3).
  • the image processing unit (40) is designed to capture an image area (A1') in at least one of the IR images (A1, A2, A3) and to generate at least one of the RGB images (B1, B2, B3) based on the image area (A1').
  • the image processing unit (40) is designed to capture position data of one or more reference points (u, v, w, x, y, z), in particular in a face, in at least one of the IR images (A1, A2, A3) and to generate at least one of the RGB images (B1, B2, B3) based on the position data.
  • System further comprising an RGB camera which is designed to capture at least part of the detection area and to generate a second RGB image stream, and wherein the image processing unit (40) is designed to generate the RGB image stream (B) using at least parts of the second RGB image stream.
  • the image processing unit (40) is provided by a server which is connected to a vehicle communication unit, in particular by means of a mobile radio connection, wherein the vehicle communication unit is arranged in the vehicle and is designed to transmit the IR image stream (A) completely or partially to the server.
  • system further comprises an image preprocessing unit in the vehicle which is designed to preprocess the IR image stream (A) before transmission to the server, in particular by compressing at least one of the IR images (A1, A2, A3), for example by reducing it to position information of reference points (u, v, w, x, y, z).
  • Method for generating an image stream in a vehicle in particular by a system according to one of the preceding aspects, wherein the method comprises the following steps: - detecting IR radiation to generate an IR image stream (A), in particular by an IR camera (20), wherein the IR image stream (A) contains a plurality of IR images (A1, A2, A3);
  • Method according to aspect 10 or 11, wherein generating the plurality of RGB images (B1, B2, B3) comprises at least one of the following steps:
  • a computer-readable storage medium containing instructions that cause at least one processor to implement a method according to any one of aspects 10 to 12 when the instructions are executed by the at least one processor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein System zum Erzeugen eines Bildstroms in einem Fahrzeug. Ferner betrifft die Erfindung ein entsprechendes Verfahren sowie ein computerlesbares Speichermedium. Dabei weist das System das Folgende auf: - eine IR-Strahlungsquelle (10); - eine IR-Kamera (20); - eine Windschutzscheibe (30); und - eine Bildverarbeitungseinheit (40). Dabei sind die IR-Strahlungsquelle (10), die IR-Kamera (20) und die Windschutzscheibe (30) so angeordnet, dass erste IR-Strahlung (R1), die von der IR- Strahlungsquelle (10) abgegeben wird, in einen Erfassungsbereich fällt und zweite IR- Strahlung (R2), die durch eine Reflektion der ersten IR-Strahlung (R1) in dem Erfassungsbereich entsteht, an der Windschutzscheibe (30) reflektiert wird und von der IR-Kamera (20) erfasst wird. Die IR-Kamera (20) ist dazu ausgebildet, durch Erfassen der zweiten IR-Strahlung (R2) einen IR-Bildstrom (A) zu erzeugen, der eine Vielzahl von IR-Bildern (A1, A2, A3) enthält. Die Bildverarbeitungseinheit (40) ist dazu ausgebildet, basierend auf dem IR-Bildstrom (A) einen RGB-Bildstrom (B) zu erzeugen, der eine Vielzahl von RGB-Bildern (B1, B2, B3) enthält.

Description

System und Verfahren zum Erzeugen eines Bildstroms in einem Fahrzeug, computerlesbares Speichermedium
Die Erfindung betrifft ein System zum Erzeugen eines Bildstroms in einem Fahrzeug. Ferner betrifft die Erfindung ein entsprechendes Verfahren sowie ein computerlesbares Speichermedium.
Moderne Fahrzeuge verfügen häufig über eine Innenraumkamera, welche eine Person auf dem Fahrersitz erfassen kann. Der von der Innenraumkamera erzeugte Bildstrom kann im Fahrzeug für verschiedene Zwecke verwendet werden, beispielsweise für Videotelefonie oder für ein Gesichtserkennungsverfahren, welches für ein Fahrassistenzsystem ausgeführt wird.
Um das Sichtfeld des Fahrers nicht durch eine Kamera zu beeinträchtigen, sind beispielsweise Lösungen bekannt, bei denen die Kamera im Innenspiegel oder in der Mittelkonsole angeordnet ist. Gerade bei einer Verwendung des aufgezeichneten Bildstroms für Videotelefonie weisen derartige Lösungen aber den Nachteil auf, dass der Fahrer nicht frontal aufgenommen wird: Zumindest die meiste Zeit über blickt der Fahrer, durch die Windschutzscheibe des Fahrzeugs nach vorn auf die Straße, sodass eine wie vorstehend beschrieben angeordnete Kamera seitlich zur Blickrichtung des Fahrers steht. Für eine möglichst natürliche Kommunikation über die Videotelefonie ist es aber wünschenswert, dass die Teilnehmer frontal in die Kamera blicken.
Darüber hinaus weist die Verwendung einer herkömmlichen Videokamera im Fahrzeug den Nachteil auf, dass die Bildqualität aufgrund der unstetigen Lichtverhältnisse während der Fahrt nicht optimal ist. Beispielsweise kann frontale Sonneneinstrahlung für ein überbelichtetes Bild und eine Tunneldurchfahrt für ein unterbelichtetes Bild sorgen. Zudem können solche extremen Lichtverhältnisse während der Fahrt schnell umschlagen.
Aus der DE 10 2018 216 806 A1 ist ein Verfahren und eine entsprechende Vorrichtung zum Verarbeiten eines Infrarotbildes bekannt, insbesondere zur Verwendung in einem Fahrzeug, wobei die Vorrichtung das Folgende aufweist: ein Eingangsmodul zum Einlesen eines Infrarotbildes einer Infrarotkamera; eine Bildverarbeitungseinheit zum Generieren eines Ausgangsbildes durch Anwenden eines neuronalen Netzes auf das Infrarotbild, wobei das neuronale Netz zum Filtern von Schatten oder zum Verringern von Beleuchtungseffekten trainiert wurde; und einen Ausgang zum Ausgeben des Ausgangsbildes. Für den Einsatz der Vorrichtung in einem Fahrzeug ist dabei vorgesehen, die Infrarotkamera in der Armaturentafel anzuordnen, sodass die Person von unten aufgenommen wird und somit bei auf die Straße gerichtetem Blick an der Kamera vorbeischaut. In diesem Zusammenhang wird vorgeschlagen, das neuronale Netz anhand von Frontalansichten zu trainieren oder die aufgenommenen Infrarotbilder mittels Bildverarbeitung perspektivisch zu korrigieren.
Die WO 2022/075184 A1 zeigt eine Reflexionsfolie zur Reflektion von Infrarotstrahlung. Die Reflexionsfolie kann insbesondere an einer Windschutzscheibe eines Fahrzeugs angeordnet sein, um die von einer Strahlungsquelle ausgesendete Infrarotstrahlung in Richtung des Fahrers zu reflektieren sowie die dort reflektierte Strahlung in Richtung eines IR-Sensors zu reflektieren, der unterhalb der Windschutzscheibe angeordnet ist.
Die US 2008/069403 A1 zeigt ein Fahrzeug-Bilderfassungssystem, das eine Infrarotquelle aufweist, die einen Infrarotstrahl entlang eines Sichtbereichs erzeugt, sowie einen Infrarotdetektor und eine Recheneinheit. Der Infrarotdetektor ist dazu ausgebildet, von Objekten im Sichtbereich reflektierte Infrarotstrahlung zu detektieren und Bildsignale daraus zu erzeugen. Die Recheneinheit ist dazu ausgebildet, eine Erkennung von Gesichtsmerkmalen durchzuführen und in Abhängigkeit davon einen Vorgang im Fahrzeug auszulösen. Der Infrarotdetektor kann dabei unterhalb der Windschutzscheibe angeordnet sein, die als Reflexionsfläche dient.
Die US 2020/143184 A1 zeigt eine Head-up-Display-Anordnung für ein Kraftfahrzeug, welche das Folgende aufweist: eine Windschutzscheibe mit einer Beschichtung, die Infrarotenergie reflektiert; eine Lichtquelle, die so angeordnet ist, dass sie ein Lichtfeld aussendet, sodass das Lichtfeld von der Windschutzscheibe reflektiert wird und dem Fahrer als virtuelles Bild außerhalb der Windschutzscheibe erscheint; und eine IR- Kamera, die so positioniert und konfiguriert ist, dass sie Infrarotenergie empfängt, die von einem Gesicht des Fahrers reflektiert und von der Beschichtung der Windschutzscheibe reflektiert wird.
Vor diesem Hintergrund ist es eine Aufgabe der vorliegenden Erfindung, eine verbesserte Lösung zur Videoaufzeichnung in einem Fahrzeug anzugeben.
Die Aufgabe wird durch ein System nach Anspruch 1 , ein Verfahren nach Anspruch 16 sowie ein computerlesbares Speichermedium nach Anspruch 19 gelöst.
Insbesondere wird die Aufgabe durch System zum Erzeugen eines Bildstroms in einem Fahrzeug gelöst. Dabei weist das System das Folgende auf: eine IR-Strahlungsquelle; eine IR-Kamera; eine Windschutzscheibe; und eine Bildverarbeitungseinheit.
Dabei sind die IR-Strahlungsquelle, die IR-Kamera und die Windschutzscheibe so angeordnet, dass erste IR-Strahlung, die von der IR-Strahlungsquelle abgegeben wird, in einen Erfassungsbereich trifft und zweite IR-Strahlung, die durch Reflektion der ersten IR-Strahlung in dem Erfassungsbereich entsteht, an der Windschutzscheibe reflektiert und von der IR-Kamera erfasst wird.
Die IR-Kamera ist dazu ausgebildet, durch Erfassen der zweiten IR-Strahlung einen IR- Bildstrom zu erzeugen, der eine Vielzahl von I R-Bildern enthält.
Die Bildverarbeitungseinheit ist dazu ausgebildet, basierend auf dem IR-Bildstrom einen RGB-Bildstrom zu erzeugen, der eine Vielzahl von RGB-Bildern enthält.
Ferner ist die Bildverarbeitungseinheit dazu ausgebildet, zu einem oder mehreren der I R-Bilder ein oder mehrere korrespondierende RGB-Bilder zu erzeugen.
Darüber hinaus ist die Bildverarbeitungseinheit dazu ausgebildet, in mindestens einem von den IR-Bildern Positionsdaten von einem oder mehreren Referenzpunkten, insbesondere in einem Gesicht, zu erfassen und mindestens eines von den RGB-Bildern basierend auf den Positionsdaten zu erzeugen.
Ein Gedanke der vorliegenden Erfindung besteht darin, die Objekte im Erfassungsbereich der Kamera, zum Beispiel die Person auf dem Fahrersitz, nicht durch Erfassen von sichtbarem Licht aufzuzeichnen, sondern durch Erfassen von Infrarot(IR)- Strahlung durch die IR-Kamera.
Unter Infrarotstrahlung kann im Kontext dieser Anmeldung insbesondere Strahlung mit einer Wellenlänge in einem Bereich von 800 bis 1500 nm verstanden werden.
Um die Qualität der erfassten IR-Bilder zu erhöhen, sieht das System die IR- Strahlungsquelle vor, um den Erfassungsbereich mit IR-Strahlung auszuleuchten. Dies geschieht für die Fahrzeuginsassen unsichtbar und somit nicht ohne Beeinträchtigung. Die von der IR-Strahlungsquelle ausgesendete IR-Strahlung wird im Erfassungsbereich, zum Beispiel in dem Gesicht des Fahrers, in Richtung der Windschutzscheibe reflektiert. Im Kontext des beschriebenen Systems wird die von der IR-Strahlungsquelle ausgesendete Strahlung als erste IR-Strahlung und die in dem Erfassungsbereich reflektierte IR-Strahlung als zweite IR-Strahlung bezeichnet.
Vorzugsweise erfüllt die Windschutzscheibe die Eigenschaft, für sichtbares Licht im Wesentlichen transparent zu sein und an der Innenseite, zumindest in einem Bereich, ein hohes Reflektionsvermögen für IR-Strahlung aufzuweisen. Unter einem hohen Reflektionsvermögen kann beispielsweise ein Reflektionsgrad von von 50% oder höher verstanden werden. Gegebenenfalls kann die Innenseite der Windschutzscheibe eine entsprechende Funktionsschicht aufweisen.
Das Reflektionsvermögen der Windschutzscheibe erlaubt, die IR-Kamera derart anzuordnen und auszurichten, dass die IR-Kamera die an der Windschutzscheibe reflektierte zweite IR-Strahlung erfasst. Auf diese Weise wird von der IR-Kamera ein IR- Bildstrom erfasst, der eine Vielzahl von I R-Bildern enthält.
Auch die IR-Strahlungsquelle kann derart angeordnet sein, dass die erste IR-Strahlung an der Windschutzscheibe reflektiert wird, bevor sie in den Erfassungsbereich fällt. Insbesondere kann die IR-Strahlungsquelle in die IR-Kamera integriert sein. Alternativ kann die IR-Strahlungsquelle separat angeordnet und direkt in Richtung des Erfassungsbereichs ausgerichtet sein, beispielsweise im Innenspiegel des Fahrzeugs.
Schließlich sieht das erfindungsgemäße System eine Bildverarbeitungseinheit vor, welche dazu ausgebildet ist, basierend auf dem erfassten IR-Bildstrom einen RGB- Bildstrom, d.h. einen Bildstrom mit Farbinformationen, zu erzeugen. Dies kann beispielsweise durch Kolorieren der einzelnen I R-Bilder erfolgen. Während die I R-Bilder lediglich Intensitätswerte angeben und somit eine Graustufenoptik aufweisen, kann der erzeugte RGB-Bildstrom das Erscheinungsbild eines herkömmlichen farbigen Bildstroms aufweisen, der z.B. zur Videotelefonie bzw. Videokonferenz genutzt werden kann.
Unter einem Bildstrom können im Kontext dieser Erfindung beliebige Daten verstanden werden, welche eine zeitlich geordnete Sequenz von Bildern angeben.
Der erfindungsgemäße Ansatz weist verschiedene Vorteile gegenüber einem herkömmlichen System auf, bei dem eine RGB-Kamera im Fahrzeug angeordnet. Zum einen ermöglicht die Erfassung der reflektierten zweiten IR-Strahlung eine virtuelle Kameraposition, die frontal vor dem Erfassungsbereich, d.h. in Blickrichtung des Fahrers liegt, obwohl die tatsächliche Kameraposition außerhalb des Blickfelds des Fahrers liegt, zum Beispiel in einem oberen Bereich des Armaturenbretts. In dem erfassten IR- Bildstrom und dem daraus erzeugten RGB-Bildstrom blickt der Fahrer somit frontal in Richtung der Kamera, wobei das Sichtfeld nicht durch eine dort platzierte Kamera beeinträchtigt wird. Dies erhöht die Sicherheit beim Fahren und verbessert den Sichtkomfort im Fahrzeug.
Zum anderen weist die Erfassung von IR-Strahlung den Vorteil auf, dass ihr Spektrum außerhalb des Spektrums des sichtbaren Lichts liegt, womit die erfassten IR-Bilder robuster gegenüber störenden Lichteinflüssen während der Fahrt (siehe oben) sind. Die erfassten IR-Bilder und die daraus erzeugten RGB-Bilder sind somit qualitativ hochwertiger.
Die Bildverarbeitungseinheit ist dazu ausgebildet, zu einem oder mehreren der IR-Bilder ein oder mehrere korrespondierende RGB-Bilder zu erzeugen. Insbesondere kann die Bildverarbeitungseinheit den RGB-Bildstrom einzelbildbasiert erzeugen, d.h. zu jedem IR-Bild aus dem IR-Bildstrom ein entsprechendes RGB-Bild im RGB-Bildstrom erzeugen. Somit nimmt die Bildverarbeitungseinheit im Wesentlichen eine Verarbeitung von einzelnen I R-Bildern vor.
Alternativ kann die Bildverarbeitungseinheit auch dazu ausgebildet sein, aus mehreren I R-Bildern ein RGB-Bild zu erstellen, oder aus einem einzelnen IR-Bild mehrere RGB- Bilder zu erstellen. Dies kann die Qualität bzw. Realitätstreue der erzeugten RGB-Bilder steigern.
Optional kann die Bildverarbeitungseinheit weitere Bildoptimierungsschritte an den erzeugten RGB-Bildern vornehmen, beispielsweise das Hinzufügen von Tiefenschärfe, der Anpassung von Helligkeit und/oder Kontrast, usw.
In einer Ausführungsform kann die Bildverarbeitungseinheit ein Kl-Modul aufweisen und dazu ausgebildet sein, den RGB-Bildstrom unter Verwendung des Kl-Moduls zu erstellen.
Aus dem Bereich der künstlichen Intelligenz (Kl) sind verschiedene Techniken bekannt, die unterschiedliche Aufgabenstellungen aus der Bildverarbeitung (z.B. Objekterkennung, Bildoptimierung, Kolorierung) effizient ausführen und hochwertige Ergebnisse liefern. Beispielsweise kann das Kl-Modul der Bildverarbeitungseinheit ein Autoencoder sein, der dazu angepasst (trainiert) ist, ein RGB-Bild zu einem Graustufenbild zu erzeugen.
Das Kl-Modul kann insbesondere durch ein überwachtes Lernverfahren trainiert sein, wobei die Trainingsdaten Bildpaare enthalten, die wie folgt konstruiert werden: Jedes Bildpaar weist ein IR-Bild einer wie oben beschriebenen IR-Kamera auf, sowie ein RGB- Bild einer RGB-Kamera, welche an der virtuellen Kameraposition der IR-Kamera, d.h. frontal vor dem Erfassungsbereich, angeordnet ist.
Werden die RGB-Bilder bzw. der RGB-Bildstrom durch ein vorstehend beschriebenes und trainiertes Kl-Modul erzeugt, kann der erzeugte RGB-Bildstrom eine hohe Bildqualität und ein hohes Maß an Realtitätstreue aufweisen.
In einer Ausführungsform kann die Bildverarbeitungseinheit dazu ausgebildet sein, mindestens eines von den RGB-Bildern durch Kolorieren von mindestens einem von den I R-Bildern zu erzeugen.
Auf diese Weise werden gemäß dieser Ausführungsform Farbinformationen, welche den IR-Bildern des IR-Bildstroms fehlen, durch Kolorieren von einem oder mehreren IR- Bildern nachträglich hinzugefügt. Das Kolorieren, d.h. das Erzeugen des RGB-Bildes zu einem Graustufenbild, kann insbesondere durch ein Kl-Modul wie vorstehend beschrieben ausgeführt werden.
In einer Ausführungsform kann die Bildverarbeitungseinheit dazu ausgebildet sein, in mindestens einem von den IR-Bildern einen Bildbereich zu erfassen und mindestens eines von den RGB-Bildern basierend auf dem Bildbereich zu erzeugen.
Der Bildbereich kann insbesondere durch eine Bounding Box (z.B. rechteckförmig oder ellipsenförmig) definiert sein, welche einen relevanten Bereich des I R-Bildes umfasst. Der relevante Bereich kann beispielsweise den Kopf bzw. Oberkörper der Person auf dem Fahrersitz umfassen, nicht aber Bildelemente im Hintergrund (z.B. Fahrersitz, Fahrzeuginnenraum). Die Bildverarbeitungseinheit kann bei einer anschließenden Bildverarbeitung insbesondere ausschließlich den erfassten Bildbereich anstatt das vollständige IR-Bild verarbeiten.
Beispielsweise kann die Bildverarbeitungseinheit dazu ausgebildet sein, in einem IR-Bild den Bereich des Kopfes bzw. des Oberkörpers zu extrahieren und zu diesem Bildbereich einen Bildbereich mit Farbinformationen für das RGB-Bild erzeugen, d.h. nur den erfassten Bildbereich kolorieren. Das RGB-Bild kann schließlich dadurch erzeugt werden, dass der kolorierte Bildbereich vor einem virtuellen Hintergrund platziert wird.
Durch die obige Ausführungsform kann insbesondere ausgenutzt werden, dass sich durch die statisch platzierte IR-Kamera nur einige Bildelemente während der Aufnahme ändern (z.B. Mimik und Gestik der aufgenommenen Person), während andere Bildelemente im Wesentlichen gleichbleiben (z.B. Fahrersitz, Fahrzeuginnenraum). Durch Erfassen eines relevanten Bildbereichs und Reduktion der Bildverarbeitung auf diesen Bereich kann die Menge an zu verarbeitenden Bilddaten reduziert werden. Dies führt zu einem effizienteren System, insbesondere im Hinblick auf den Ressourcenbedarf.
Die Bildverarbeitungseinheit ist dazu ausgebildet, in mindestens einem von den IR- Bildern Positionsdaten von einem oder mehreren Referenzpunkten (engl. „land marks“) zu erfassen und mindestens eines von den RGB-Bildern basierend auf den Positionsdaten zu erzeugen.
Insbesondere können die Referenzpunkte markante Gesichtselemente, wie beispielsweise Augen, Mund, Nase und Augenbrauen angeben. Eine solche Erfassung von Referenzpunkten kann beispielsweise unter Verwendung der Softwarebibliothek Dlib 68 erfolgen, welche 68 verschiedene Markierungspunkte im Gesicht detektiert und unter ggf. Verwendung eines trainierten Klassifikators klassifiziert.
Die Positionsdaten können insbesondere als Vektoren in einem zweidimensionalen Koordinatensystem angegeben sein.
Um ein entsprechendes RGB-Bild zu erzeugen, kann beispielsweise ein Avatar (d.h. eine virtuelle Darstellung einer Person) gemäß den erfassten Positionsdaten konfiguriert und ggf. vor einem virtuellen Hintergrund platziert werden. Der Avatar kann beispielsweise durch entsprechende Transformationen hinsichtlich Mimik, Position und/oder Ausrichtung gemäß den erfassten Positionsdaten an die auf dem IR-Bild gezeigte Person angepasst werden.
Alternativ kann das RGB-Bild erzeugt werden, indem die Transformationen wie vorstehend beschrieben nicht in einem Avatar, sondern einem zuvor erzeugten kolorierten IR-Bild vorgenommen werden. Hierdurch wird der realistische Gesamteindruck des zuvor erzeugten RGB-Bildes erhalten, und lediglich eine Anpassung der Mimik, Position und/oder Ausrichtung vorgenommen. Auch gemäß dieser Ausführungsform kann die zu verarbeitende Datenmenge reduziert werden, da das RGB-Bild basierend auf den Positionsdaten (Vektoren) erzeugt wird, und nicht auf der Grundlage der vollständigen Bilddaten des I R-Bilds.
In einer Ausführungsform kann das System ferner eine RGB-Kamera aufweisen. Die RGB-Kamera kann dazu ausgebildet sein, zumindest einen Teil des Erfassungsbereichs, ggf. aus einem anderen Winkel, zu erfassen und einen zweiten RGB-Bildstrom zu erzeugen. Insbesondere kann die RGB-Kamera so im Fahrzeug positioniert sein, dass sie auf den Fahrer gerichtet ist, aber außerhalb des Sichtfelds liegt (z.B. im Innenspiegel).
Die Bildverarbeitungseinheit kann dazu ausgebildet sein, den RGB-Bildstrom unter Verwendung von zumindest Teilen des zweiten RGB-Bildstroms zu erzeugen. Insbesondere kann die Bildverarbeitungseinheit eine Kolorierung eines I R-Bildes unter Verwendung eines korrespondierenden RGB-Bildes aus dem zweiten RGB-Bildstrom durchführen. Vorzugsweise ist das korrespondierende RGB-Bild im Wesentlichen zum gleichen Zeitpunkt wie das IR-Bild aufgenommen. Dies bietet den Vorteil, dass die Farbinformationen des korrespondierenden RGB-Bild aus dem zweiten Bildstrom genutzt werden können, um das IR-Bild zu kolorieren. Somit kann ein RGB-Bild mit höherer Qualität (Realitätstreue) erzeugt werden.
Für alle vorstehend beschriebenen Merkmale der Bildverarbeitungseinrichtung gilt, dass (in entsprechenden Ausführungsformen) das vorstehend beschriebene Kl-Modul dazu ausgebildet sein kann, die entsprechenden Bildverarbeitungsoperationen auszuführen.
In einer Ausführungsform kann das System als verteiltes System implementiert sein. Insbesondere kann die Bildverarbeitungseinheit von einem (fahrzeugexternen) Server bereitgestellt werden, welcher mit einer (fahrzeuginternen) Fahrzeug- Kommunikationseinheit verbunden ist, insbesondere über eine Mobilfunkverbindung. Dabei ist die Fahrzeug-Kommunikationseinheit dazu ausgebildet, den IR-Bildstrom vollständig oder teilweise an den Server zu übertragen.
Diese Ausführungsform erlaubt es, rechenintensive Bildverarbeitungsoperationen auf einen externen Server auszulagern, wobei der IR-Bildstrom (ganz oder teilweise) von der Kommunikationseinheit des Fahrzeugs an den Server übertragen wird. Somit kann der Ressourcenbedarf (hinsichtlich Rechenkapazität) im Fahrzeug reduziert werden. Vorzugsweise weist bei dieser Ausführungsform das System ferner eine Bildvorverarbeitungseinheit in dem Fahrzeug auf. Die Bildvorerarbeitungseinheit kann dazu ausgebildet sein, eine Vorverarbeitung des IR-Bildstroms vor Übertragung an den Server vorzunehmen. Die Vorverarbeitung kann ein Komprimieren von IR-Bildern umfassen, beispielsweise durch ein geeignetes Kompressionsverfahren für Bilddaten. Ein Komprimieren kann auch dadurch erfolgen, dass wie oben beschrieben Referenzpunkte erfasst werden und der IR-Bildstrom auf die Positionsdaten der Referenzpunkte reduziert wird. In diesem Fall werden nur die Positionsdaten, nicht die vollständigen Bilddaten übertragen, wobei auf dem Server wiederum vollständige Bilddaten auf der Grundlage der übermittelten Positionsdaten erzeugt werden.
Durch einen solchen Ansatz kann die Datenmenge reduziert werden, die über die Kommunikationsverbindung zwischen Fahrzeug und Server übertragen werden muss.
Die Aufgabe wird ferner durch ein Verfahren zum Erzeugen eines Bildstroms in einem Fahrzeug gelöst. Das Verfahren kann insbesondere von einem System wie vorstehend beschrieben ausgeführt werden. Das Verfahren umfasst die folgenden Schritte:
Erfassen von IR-Strahlung zum Erzeugen eines IR-Bildstroms, insbesondere durch eine IR-Kamera, wobei der IR-Bildstrom eine Vielzahl von IR-Bildern enthält;
Erzeugen von einer Vielzahl von RGB-Bildern basierend auf zumindest einigen von den IR-Bildern, insbesondere durch eine Bildverarbeitungseinheit, umfassend ein Ermitteln von Positionsdaten von einem oder mehreren Referenzpunkten in einem der I R-Bilder, insbesondere in einem Gesicht; und
Erzeugen eines RGB-Bildstroms, der die Vielzahl von RGB-Bildern enthält, insbesondere durch die Bildverarbeitungseinheit.
In einer Ausführungsform des Verfahrens kann die Vielzahl von RGB-Bildern durch ein Kl-Modul erzeugt werden. Das Kl-Modul kann insbesondere ein künstliches neuronales Netz umfassen, beispielsweise einen Autoencoder.
In einer Ausführungsform des Verfahrens kann das Erzeugen der Vielzahl von RGB- Bildern mindestens einen der folgenden Schritte umfassen:
Kolorieren mindestens eines der I R-Bilder; Ermitteln und/oder Erzeugen eines Bildausschnitts in mindestens einem der IR- Bilder; und
Ermitteln von Positionsdaten von einem oder mehreren Referenzpunkten in einem der I R-Bilder, insbesondere in einem Gesicht.
Für das Verfahren und die entsprechenden Ausführungsformen ergeben sich ähnliche Vorteile und technische Wirkungen, wie sie in Verbindung mit dem System und den entsprechenden Ausführungsformen beschrieben worden sind.
Die Aufgabe wird ferner durch ein computerlesbares Speichermedium gelöst. Das computerlesbares Speichermedium enthält Instruktionen, die mindestens einen Prozessor dazu veranlassen, ein Verfahren wie vorstehend beschrieben zu implementieren, wenn die Instruktionen durch den mindestens einen Prozessor ausgeführt werden.
Für das computerlesbare Speichermedium ergeben sich ähnliche Vorteile und technische Wirkungen, wie sie in Verbindung mit dem System und dem Verfahren beschrieben worden sind.
Es versteht sich von selbst, dass die Merkmale und die damit jeweils erzielbaren Vorteile, die in Bezug auf das erfindungsgemäße System beschrieben wurden, auf das erfindungsgemäße Verfahren anwendbar bzw. übertragbar sind und umgekehrt. Konkret sind die Komponenten des Systems im Kontext der vorliegenden Beschreibung der Erfindung dazu ausgebildet, die erfindungsgemäßen Verfahrensschritte durchzuführen. Ebenso sind die Funktionen der oben beschriebenen Komponenten des erfindungsgemäßen Systems als Verfahrensschritte des erfindungsgemäßen Verfahrens anwendbar.
Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen beschrieben, die anhand der Figuren näher erläutert werden. Hierbei zeigen:
Figur 1 : ein erfindungsgemäßes System gemäß einem Ausführungsbeispiel;
Figur 2: ein erfindungsgemäßes System gemäß einem alternativen
Ausführungsbeispiel;
Figur 3a: ein Flussdiagramm eines erfindungsgemäßen Verfahrens gemäß einem Ausführungsbeispiel; Figur 3b: ein einzelbildbasiertes Erzeugen eines RGB-Bildstroms gemäß einem Ausführungsbeispiel;
Figur 4: ein Erzeugen eines RGB-Bildes durch Kolorieren eines IR-Bildes;
Figur 5: ein Erzeugen eines RGB-Bildes anhand eines Bildbereichs eines IR-Bildes;
Figur 6: ein Erzeugen eines RGB-Bildes durch Erfassen von Referenzpunkten in einem IR-Bild.
In der nachfolgenden Beschreibung werden für gleiche und gleich wirkende Teile dieselben Bezugsziffern verwendet.
Figur 1 zeigt ein Ausführungsbeispiel eines erfindungsgemäßen Systems, das in einem Fahrzeug angeordnet ist. Das System umfasst die IR-Strahlungsquelle 10, die IR- Kamera 20, die Windschutzscheibe 30 und die Bildverarbeitungseinheit 40.
Dabei ist die IR-Strahlungsquelle 10 so angeordnet und ausgerichtet, dass sie die den Oberkörper des Fahrers 50 frontal anstrahlt. Hierzu kann die IR-Strahlungsquelle 10 beispielsweise in einem Innenspiegel (nicht dargestellt) des Fahrzeugs angeordnet sein, sodass sie das Sichtfeld des Fahrers 50 nicht zusätzlich beeinträchtigt. An dieser Stelle sei angemerkt, dass bei der IR-Strahlungsquelle 10 - anders als bei einer im Innenspiegel angeordneten Videokamera - ein seitlicher Versatz zur Blickrichtung des Fahrers 50 im Allgemeinen unproblematisch ist.
Die von der IR-Strahlungsquelle 10 ausgesendete erste IR-Strahlung R1 wird im Fahrzeuginnenraum sowie am Körper des Fahrers 50 reflektiert und trifft als zweite IR- Strahlung R2 auf die Windschutzscheibe 30. An der Windschutzscheibe 30 wird die zweite IR-Strahlung R2 erneut reflektiert und trifft auf einen Sensor der IR-Kamera 20, die im Bereich des Armaturenbretts angeordnet ist.
Durch diese Anordnung entsteht auf dem von der IR-Kamera 20 aufgezeichneten Bildstrom der Eindruck, dass der Fahrer 50 frontal in die IR-Kamera 20 blickt, obwohl sein Blick nach vorne in Richtung der Windschutzscheibe 30 gerichtet ist. Gleichzeitig befindet sich die IR-Kamera 20 nicht im direkten Sichtfeld des Fahrers 50, sodass der Fahrer 50 eine uneingeschränkte Sicht durch die Windschutzscheibe 30 auf die Straße haben kann. Die IR-Kamera 20 stellt den erfassten IR-Bildstrom an die Bildverarbeitungseinheit 40 zur Verfügung. Hierzu ist die IR-Kamera 20 mit der Bildverarbeitungseinheit 40 über eine Datenleitung im Fahrzeug verbunden. Die Bildverarbeitungseinheit 40 weist das Kl- Modul 41 auf, welches dazu ausgebildet ist, zu den IR-Bildern des IR-Bildstroms die entsprechenden RGB-Bilder des RGB-Bildstroms zu erzeugen. Dies kann insbesondere nach einem der Verfahren geschehen, wie sie anhand der Figuren 3 bis 6 beschrieben wird.
Figur 2 zeigt ein weiteres Ausführungsbeispiel des erfindungsgemäßen Systems. Im Unterschied zu dem Ausführungsbeispiel der Figur 1 ist hier die IR-Strahlungsquelle 10 in die IR-Kamera 20 integriert, die wie im Ausführungsbeispiel der Figur 1 in einem Bereich des Armaturenbretts angeordnet ist. Bei dieser Anordnung wird die von der IR- Strahlungsquelle 10 ausgesendete erste IR-Strahlung R1 an der Windschutzscheibe 30 in Richtung des Fahrers 50 reflektiert. Durch Reflektion der ersten IR-Strahlung R1 im Innenraum des Fahrzeugs entsteht zweite IR-Strahlung R2, die wiederum an der Windschutzscheibe 30 reflektiert wird, wie in Verbindung mit dem Ausführungsbeispiel der Figur 1 erläutert. Die weiteren Komponenten des Systems sind wie im Ausführungsbeispiel der Figur 1 konfiguriert und angeordnet.
Figur 3a zeigt ein Ablaufdiagramm des erfindungsgemäßen Verfahrens gemäß einem Ausführungsbeispiel.
In Schritt S1 wird (zweite) IR-Strahlung von einer IR-Kamera erfasst und die entsprechenden I R-Bilder A1 , A2 und A3 (bzw. der entsprechende IR-Bildstrom) in einem Speicher abgelegt.
In Schritt S2 wird der IR-Bildstrom A, der die I R-Bilder A1 , A2 und A3 aufweist, an eine Bildverarbeitungseinheit übertragen. Im Ausführungsbeispiel der Figuren 1 und 2 kann dies dadurch erfolgen, dass die I R-Bilder A1 , A2, A3 bzw. der IR-Bildstrom A von der IR- Kamera 20 über eine Datenleitung im Fahrzeug an die Bildverarbeitungseinheit 40 übertragen werden. Alternativ kann die Bildverarbeitungseinheit 40 auf einem entfernten Server implementiert sein. In diesem Fall umfasst der Schritt S2 eine Übertragung an den Server mittels einer fahrzeuginternen Kommunikationsvorrichtung, beispielsweise über ein Mobilfunknetz.
In Schritt S3, der von der Bildverarbeitungseinheit ausgeführt wird, werden die RGB- Bilder B1 , B2 und B3 erzeugt. Gemäß diesem Ausführungsbeispiel wird jeweils ein RGB- Bild für jedes der I R-Bilder A1 , A2 und A3 erzeugt (wie nachfolgend anhand von Figur 3b erläutert).
In Schritt S4 werden die erzeugten RGB-Bilder B1 , B2 und B3 als RGB-Bildstrom B zur weiteren Verwendung bereitgestellt, insbesondere an eine Schnittstelle eines Videotelefonie-Moduls oder eines Fahrassistenzsystems.
Figur 3b veranschaulicht das einzelbildbasierte Erzeugen des RGB-Bildstroms B. Gemäß dem gezeigten Ausführungsbeispiel weist der IR-Bildstrom A die drei I R-Bilder A1 , A2 und A3 auf. Zu den I R-Bildern A1 , A2 und A3 werden jeweils die RGB-Bilder B1 , B2 und B3 erzeugt. Dies kann nach einer der Methoden entstehen, wie sie nachfolgend anhand der Figuren 4 bis 6 erläutert werden. Die auf diese Weise erzeugten RGB-Bilder B1 , B2 und B3 bilden den RGB-Bildstrom B.
Figur 4 zeigt das IR-Bild A1 und das durch mittels Kolorierung dazu erzeugte RGB-Bild B1. In diesem Ausführungsbeispiel wurde das RGB-Bild B1 von einem künstlichen neuronalen Netz erzeugt, welches dazu angepasst ist, zu einem Graustufenbild ein entsprechendes Farbbild (RGB-Bild) zu liefern, d.h. das Graustufenbild zu kolorieren. Wie im RGB-Bild B1 zu erkennen ist, erhält durch das Kolorieren zumindest das Gesicht der abgebildeten Person einen natürlichen Farbton.
Figur 5 zeigt ein weiteres Ausführungsbeispiel für das Erzeugen des RGB-Bildes B1 zu dem IR-Bild A1. Gemäß diesem Ausführungsbeispiel wird in dem IR-Bild A1 zunächst die Kontur der abgebildeten Person erfasst und der dadurch definierte Bildbereich A1‘ aus dem IR-Bild A1 extrahiert. Der Bildbereich A1 ‘ stellt ebenfalls ein IR-Bild dar, ist aber hinsichtlich der Datenmenge im Vergleich zum IR-Bild A1 reduziert. Zu dem Bildbereich A1 ‘ wird ein kolorierter Bildbereich B1 ‘ erzeugt, wie es im Zusammenhang mit Figur 4 beschrieben worden ist. Das schließlich erzeugte RGB-Bild B1 ergibt sich durch Überlagern von dem virtuellen Hintergrundbild C mit dem Bildbereich B1 ‘. Bevorzugt ist das virtuelle Hintergrundbild C ein RGB-Bild, das einen plausiblen Hintergrund (z.B. einen Fahrzeuginnenraum) zeigt.
Figur 6 zeigt ein weiteres Ausführungsbeispiel für das Erzeugen des RGB-Bildes B1 zu dem IR-Bild A1. Gemäß diesem Ausführungsbeispiel werden in dem IR-Bild A1 die Positionsdaten von fünf Referenzpunkten u, v, x, y und z bestimmt, welche die Position der Augen, der Mundwinkel und des Kinns der abgebildeten Person angeben. Auf der Grundlage der erfassten Positionsdaten wird der Avatar D konfiguriert, welcher als virtuelle Repräsentation der im IR-Bild A1 abgebildeten Person dient. Der Avatar D kann initial als zwei- oder dreidimensionales Modell in einer Standardausrichtung vorliegen. Das Konfigurieren des Avatars D umfasst Transformationen, sodass die Position der Referenzpunkte u, v, x, y und z in dem Avatar D an die erfassten Positionsdaten der Referenzpunkte u, v, x, y und z in dem IR-Bild A1. Auf diese Weise kann der Avatar D durch Konfiguration hinsichtlich Mimik, Ausrichtung und Position an die auf dem IR-Bild A1 abgebildete Person angepasst werden.
Basierend auf dem konfigurierten Avatar D wird das RGB-Bild B1 erzeugt, indem das virtuelle Hintergrundbild C mit dem konfigurierten Avatar D überlagert wird (wie oben im Zusammenhang mit Figur 5 beschrieben).
Die in dieser Beschreibung durch die Begriffe „Modul“, „Einheit“, „Komponente“ etc. beschriebenen Einheiten können grundsätzlich wahlweise in Hardware oder Software implementiert werden, unabhängig davon, wie es in dieser Beschreibung ausgeführt ist. Ebenso können die beschriebenen Einheiten beliebig zusammengefasst oder voneinander getrennt implementiert werden, ohne vom Wesen der Erfindung abzuweichen.
Es versteht sich von selbst, dass die vorstehend beschriebenen Systeme und Verfahren nicht nur zur Erfassung eines Bildstroms verwendet werden können, welcher die Person auf dem Fahrersitz zeigt, sondern allgemein zur Erfassung des vorderen Fahrzeuginnenraums.
Der Einfachheit halber zeigen die Ausführungsbeispiele der Figuren 1 und 2 Systeme, bei denen alle Komponenten, inklusive der Bildverarbeitungseinheit, im Fahrzeug angeordnet sind. Wie bereits beschrieben, kann die Bildverarbeitungseinheit auch von einem Backend-Server bereitgestellt werden. Hierzu werden die im Fahrzeug erfassten Daten, insbesondere die IR-Bilder, über eine geeignete Fahrzeug- Kommunikationsvorrichtung an den Backend-Server übermittelt.
Weitere Aspekte der Erfindung sind die Folgenden:
1. System zum Erzeugen eines Bildstroms in einem Fahrzeug, wobei das System das Folgende aufweist:
- eine IR-Strahlungsquelle (10);
- eine IR-Kamera (20); - eine Windschutzscheibe (30); und
- eine Bildverarbeitungseinheit (40), wobei die IR-Strahlungsquelle (10), die IR-Kamera (20) und die Windschutzscheibe (30) so angeordnet sind, dass erste IR-Strahlung (R1), die von der IR-Strahlungsquelle (10) abgegeben wird, in einen Erfassungsbereich fällt und zweite IR-Strahlung (R2), die durch Reflektion der ersten IR-Strahlung (R1) in dem Erfassungsbereich entsteht, an der Windschutzscheibe (30) reflektiert und von der IR-Kamera (20) erfasst wird, wobei die IR-Kamera (20) dazu ausgebildet ist, durch Erfassen der zweiten IR- Strahlung (R2) einen IR-Bildstrom (A) zu erzeugen, der eine Vielzahl von I R-Bildern (A1 , A2, A3) enthält, und wobei die Bildverarbeitungseinheit (40) dazu ausgebildet ist, basierend auf dem IR- Bildstrom (A) einen RGB-Bildstrom (B) zu erzeugen, der eine Vielzahl von RGB- Bildern (B1 , B2, B3) enthält. System nach Aspekt 1 , wobei die Bildverarbeitungseinheit (40) dazu ausgebildet ist, zu einem oder mehreren der IR-Bilder (A1 , A2, A3) ein oder mehrere korrespondierende RGB- Bilder (B1 , B2, B3) zu erzeugen. System nach einem der vorhergehenden Aspekte, wobei die Bildverarbeitungseinheit (40) ein Kl-Modul (41) aufweist und dazu ausgebildet ist, den RGB-Bildstrom (B) unter Verwendung des Kl-Moduls (41) zu erstellen. System nach einem der vorherigen Aspekte, insbesondere nach Aspekt 2, wobei die Bildverarbeitungseinheit (40) dazu ausgebildet ist, mindestens eines von den RGB-Bildern (B1 , B2, B3) durch Kolorieren von mindestens einem von den IR- Bilder (A1 , A2, A3) zu erzeugen. System nach einem der vorherigen Aspekte, insbesondere nach Aspekt 2, wobei die Bildverarbeitungseinheit (40) dazu ausgebildet ist, in mindestens einem von den I R-Bildern (A1 , A2, A3) einen Bildbereich (A1‘) zu erfassen und mindestens eines von den RGB-Bildern (B1 , B2, B3) basierend auf dem Bildbereich (A1‘) zu erzeugen. System nach einem der vorherigen Aspekte, insbesondere nach Aspekt 2, wobei die Bildverarbeitungseinheit (40) dazu ausgebildet ist, in mindestens einem von den IR-Bildern (A1 , A2, A3) Positionsdaten von einem oder mehreren Referenzpunkten (u, v, w, x, y, z), insbesondere in einem Gesicht, zu erfassen und mindestens eines von den RGB-Bildern (B1 , B2, B3) basierend auf den Positionsdaten zu erzeugen. System nach einem der vorherigen Aspekte, das ferner eine RGB-Kamera aufweist, welche dazu ausgebildet ist, zumindest einen Teil des Erfassungsbereichs zu erfassen und einen zweiten RGB-Bildstrom zu erzeugen, und wobei die Bildverarbeitungseinheit (40) dazu ausgebildet ist, den RGB-Bildstrom (B) unter Verwendung von zumindest Teilen des zweiten RGB-Bildstroms zu erzeugen. System nach einem der vorherigen Aspekte, wobei die Bildverarbeitungseinheit (40) von einem Server bereitgestellt wird, welcher mit einer Fahrzeug-Kommunikationseinheit verbunden ist, insbesondere mittels einer Mobilfunkverbindung, wobei die Fahrzeug-Kommunikationseinheit in dem Fahrzeug angeordnet ist und dazu ausgebildet ist, den IR-Bildstrom (A) vollständig oder teilweise an den Server zu übertragen. System nach einem der vorherigen Aspekte, insbesondere nach Aspekt 8, wobei das System ferner eine Bildvorverarbeitungseinheit in dem Fahrzeug aufweist, die dazu ausgebildet ist, eine Vorverarbeitung des IR-Bildstroms (A) vor Übertragung an den Server vorzunehmen, insbesondere durch Komprimieren von mindestens einem der I R-Bilder (A1 , A2, A3), beispielsweise durch Reduktion auf Positionsangaben von Referenzpunkten (u, v, w, x, y, z). Verfahren zum Erzeugen eines Bildstroms in einem Fahrzeug, insbesondere durch ein System nach einem der vorherigen Aspekte, wobei das Verfahren die folgenden Schritte umfasst: - Erfassen von IR-Strahlung zum Erzeugen eines IR-Bildstroms (A), insbesondere durch eine IR-Kamera (20), wobei der IR-Bildstrom (A) eine Vielzahl von IR-Bildern (A1 , A2, A3) enthält;
- Erzeugen von einer Vielzahl von RGB-Bildern (B1 , B2, B3) basierend auf zumindest einigen von den IR-Bildern, insbesondere durch eine Bildverarbeitungseinheit (40); und
- Erzeugen eines RGB-Bildstroms (B), der die Vielzahl von RGB-Bildern enthält, insbesondere durch die Bildverarbeitungseinheit (40).
11. Verfahren nach Aspekt 10, wobei die Vielzahl von RGB-Bildern (B1 , B2, B3) durch ein Kl-Modul (41), insbesondere ein künstliches neuronales Netz, erzeugt wird.
12. Verfahren nach Aspekt 10 oder 11 , wobei das Erzeugen der Vielzahl von RGB-Bildern (B1 , B2, B3) mindestens einen der folgenden Schritte umfasst:
Kolorieren mindestens eines der I R-Bilder (A1 , A2, A3);
Ermitteln und/oder Erzeugen eines Bildausschnitts (A1‘) in mindestens einem der I R-Bilder (A1 , A2, A3); und
Ermitteln von Positionsdaten von einem oder mehreren Referenzpunkten (u, w, x, y, z) in einem der I R-Bilder (A1 , A2, A3), insbesondere in einem Gesicht.
13. Computerlesbares Speichermedium, welches Instruktionen enthält, die mindestens einen Prozessor dazu veranlassen, ein Verfahren nach einem der Aspekte 10 bis 12 zu implementieren, wenn die Instruktionen durch den mindestens einen Prozessor ausgeführt werden.
An dieser Stelle sei darauf hingewiesen, dass alle oben beschriebenen Teile jeweils für sich - auch ohne im jeweiligen Zusammenhang zusätzlich beschriebene Merkmale, selbst wenn diese nicht explizit als optionale Merkmale im jeweiligen Zusammenhang individuell kenntlich gemacht worden sind, z. B. durch Verwendung von: insbesondere, vorzugsweise, beispielsweise, z. B., ggf. , runden Klammern, etc. - und in Kombination oder jeglicher Unterkombination als eigenständige Ausgestaltungen bzw. Weiterbildungen der Erfindung, wie sie insbesondere in der Beschreibungseinleitung sowie den Ansprüchen definiert ist, anzusehen sind. Abweichungen hiervon sind möglich. Konkret sei darauf hingewiesen, dass das Wort insbesondere oder runde Klammern keine im jeweiligen Kontext zwingende Merkmale kennzeichnen.
Bezugszeichenliste
10 IR-Strahlungsquelle
20 IR-Kamera
30 Windschutzscheibe
40 Bildverarbeitungseinheit
41 Kl-Modul
50 Fahrer
A IR-Bildstrom
A1. A2, A3 IR-Bild
A1‘, B1‘ Bildbereich
B RGB-Bildstrom
B1 , B2, B3 RGB-Bild
C virtuelles Hintergrundbild
D Avatar
R1 erste IR-Strahlung
R2 zweite IR-Strahlung
51 Erfassen der I R-Bilder des IR-Bildstroms
52 Übertragen des IR-Bildstroms an Bildverarbeitungseinheit
53 Erzeugen der RGB-Bilder
54 Bereitstellen des RGB-Bildstroms u, v, x, y, z Referenzpunkte

Claims

Patentansprüche
1. System zum Erzeugen eines Bildstroms in einem Fahrzeug, wobei das System das Folgende aufweist:
- eine IR-Strahlungsquelle (10);
- eine IR-Kamera (20);
- eine Windschutzscheibe (30); und
- eine Bildverarbeitungseinheit (40), wobei die IR-Strahlungsquelle (10), die IR-Kamera (20) und die Windschutzscheibe (30) so angeordnet sind, dass erste IR-Strahlung (R1), die von der IR-Strahlungsquelle (10) abgegeben wird, in einen Erfassungsbereich fällt und zweite IR-Strahlung (R2), die durch Reflektion der ersten IR-Strahlung (R1) in dem Erfassungsbereich entsteht, an der Windschutzscheibe (30) reflektiert und von der IR-Kamera (20) erfasst wird, wobei die IR-Kamera (20) dazu ausgebildet ist, durch Erfassen der zweiten IR- Strahlung (R2) einen IR-Bildstrom (A) zu erzeugen, der eine Vielzahl von I R-Bildern (A1 , A2, A3) enthält, und wobei die Bildverarbeitungseinheit (40) dazu ausgebildet ist, basierend auf dem IR- Bildstrom (A) einen RGB-Bildstrom (B) zu erzeugen, der eine Vielzahl von RGB- Bildern (B1 , B2, B3) enthält, wobei die Bildverarbeitungseinheit (40) dazu ausgebildet ist, zu einem oder mehreren der IR-Bilder (A1 , A2, A3) ein oder mehrere korrespondierende RGB- Bilder (B1 , B2, B3) zu erzeugen, und wobei die Bildverarbeitungseinheit (40) dazu ausgebildet ist, in mindestens einem von den IR-Bildern (A1 , A2, A3) Positionsdaten von einem oder mehreren Referenzpunkten (u, v, w, x, y, z), insbesondere in einem Gesicht, zu erfassen und mindestens eines von den RGB-Bildern (B1 , B2, B3) basierend auf den Positionsdaten zu erzeugen.
2. System nach Anspruch 1 , wobei der eine oder die mehreren Referenzpunkte (u, v, w, x, y, z) Gesichtselemente wie beispielsweise Augen, Mund, Nase und Augenbrauen angeben.
3. System nach einem der vorhergehenden Ansprüche, wobei das RGB-Bild (B1 , B2, B3) dadurch erzeugt wird, dass ein Avatar gemäß den erfassten Positionsdaten konfiguriert wird, insbesondere durch Transformation hinsichtlich Mimik, Position und/oder Ausrichtung gemäß den Positionsdaten.
4. System nach einem der vorhergehenden Ansprüche, wobei das RGB-Bild (B1 , B2, B3) dadurch erzeugt wird, dass ein koloriertes IR-Bild (A1 , A2, A3) gemäß den erfassten Positionsdaten konfiguriert wird, insbesondere durch Transformation hinsichtlich Mimik, Position und/oder Ausrichtung gemäß den Positionsdaten.
5. System nach einem der vorhergehenden Ansprüche, wobei die Bildverarbeitungseinheit (40) ein Kl-Modul (41) aufweist und dazu ausgebildet ist, den RGB-Bildstrom (B) unter Verwendung des Kl-Moduls (41) zu erstellen.
6. System nach einem der vorherigen Ansprüche, wobei die Bildverarbeitungseinheit (40) dazu ausgebildet ist, mindestens eines von den RGB-Bildern (B1 , B2, B3) durch Kolorieren von mindestens einem von den IR- Bilder (A1 , A2, A3) zu erzeugen.
7. System nach einem der vorherigen Ansprüche, wobei die Bildverarbeitungseinheit (40) dazu ausgebildet ist, in mindestens einem von den I R-Bildern (A1 , A2, A3) einen Bildbereich (AT) zu erfassen und mindestens eines von den RGB-Bildern (B1 , B2, B3) basierend auf dem Bildbereich (AT) zu erzeugen.
8. System nach einem der vorherigen Ansprüche, insbesondere nach Anspruch 7, wobei der Bildbereich (AT) durch eine Bounding Box definiert ist, welche einen Kopf und/oder Oberkörper einer Person umfasst.
9. System nach einem der vorherigen Ansprüche, insbesondere nach Anspruch 7 oder Anspruch 8, wobei die Bildverarbeitungseinheit (40) ausschließlich den Bildbereich (A1‘) verarbeitet, anstatt das entsprechenden I R-Bildes (A1 , A2, A3).
10. System nach einem der vorherigen Ansprüche, insbesondere nach einem der Ansprüche 7 bis 9, wobei das korrespondierende RGB-Bild (B1 , B2, B3) dadurch erstellt wird, dass der Bildbereich (A1 ‘) koloriert wird und vor einem virtuellen Hintergrund platziert wird.
11 . System nach einem der vorherigen Ansprüche, das ferner eine RGB-Kamera aufweist, welche dazu ausgebildet ist, zumindest einen Teil des Erfassungsbereichs zu erfassen und einen zweiten RGB-Bildstrom zu erzeugen, und wobei die Bildverarbeitungseinheit (40) dazu ausgebildet ist, den RGB-Bildstrom (B) unter Verwendung von zumindest Teilen des zweiten RGB-Bildstroms zu erzeugen.
12. System nach einem der vorhergehenden Ansprüche, insbesondere nach Anspruch 11 , wobei die Bildverarbeitungseinheit (40) dazu ausgebildet ist, eine Kolorierung eines IR-Bildes (A1 , A2, A3) unter Verwendung eines korrespondierenden RGB- Bildes aus dem zweiten RGB-Bildstrom durchzuführen.
13. System nach einem der vorhergehenden Ansprüche, insbesondere nach Anspruch 11 oder 12, wobei das korrespondierende RGB-Bild zum gleichen Zeitpunkt wie das IR-Bild aufgenommen ist.
14. System nach einem der vorherigen Ansprüche, wobei die Bildverarbeitungseinheit (40) von einem Server bereitgestellt wird, welcher mit einer Fahrzeug-Kommunikationseinheit verbunden ist, insbesondere mittels einer Mobilfunkverbindung, wobei die Fahrzeug-Kommunikationseinheit in dem Fahrzeug angeordnet ist und dazu ausgebildet ist, den IR-Bildstrom (A) vollständig oder teilweise an den Server zu übertragen.
15. System nach einem der vorherigen Ansprüche, insbesondere nach Anspruch 14, wobei das System ferner eine Bildvorverarbeitungseinheit in dem Fahrzeug aufweist, die dazu ausgebildet ist, eine Vorverarbeitung des IR-Bildstroms (A) vor Übertragung an den Server vorzunehmen, insbesondere durch Komprimieren von mindestens einem der I R-Bilder (A1 , A2, A3), beispielsweise durch Reduktion auf Positionsangaben von Referenzpunkten (u, v, w, x, y, z).
16. Verfahren zum Erzeugen eines Bildstroms in einem Fahrzeug, insbesondere durch ein System nach einem der vorherigen Ansprüche, wobei das Verfahren die folgenden Schritte umfasst:
- Erfassen von IR-Strahlung zum Erzeugen eines IR-Bildstroms (A), insbesondere durch eine IR-Kamera (20), wobei der IR-Bildstrom (A) eine Vielzahl von IR-Bildern (A1 , A2, A3) enthält;
- Erzeugen von einer Vielzahl von RGB-Bildern (B1 , B2, B3) basierend auf zumindest einigen von den IR-Bildern, insbesondere durch eine Bildverarbeitungseinheit (40); und
- Erzeugen eines RGB-Bildstroms (B), der die Vielzahl von RGB-Bildern enthält, insbesondere durch die Bildverarbeitungseinheit (40), umfassend ein Ermitteln von Positionsdaten von einem oder mehreren Referenzpunkten (u, w, x, y, z) in einem der I R-Bilder (A1 , A2, A3), insbesondere in einem Gesicht.
17. Verfahren nach Anspruch 16, wobei die Vielzahl von RGB-Bildern (B1 , B2, B3) durch ein Kl-Modul (41), insbesondere ein künstliches neuronales Netz, erzeugt wird.
18. Verfahren nach Anspruch 16 oder 17, wobei das Erzeugen der Vielzahl von RGB-Bildern (B1 , B2, B3) mindestens einen der folgenden Schritte umfasst:
Kolorieren mindestens eines der I R-Bilder (A1 , A2, A3); und
Ermitteln und/oder Erzeugen eines Bildausschnitts (A1‘) in mindestens einem der I R-Bilder (A1 , A2, A3).
19. Computerlesbares Speichermedium, welches Instruktionen enthält, die mindestens einen Prozessor dazu veranlassen, ein Verfahren nach einem der Ansprüche 16 bis 18 zu implementieren, wenn die Instruktionen durch den mindestens einen Prozessor ausgeführt werden.
PCT/EP2024/059572 2023-04-26 2024-04-09 System und verfahren zum erzeugen eines bildstroms in einem fahrzeug, computerlesbares speichermedium Ceased WO2024223286A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP23169939.8 2023-04-26
EP23169939 2023-04-26

Publications (1)

Publication Number Publication Date
WO2024223286A1 true WO2024223286A1 (de) 2024-10-31

Family

ID=86226340

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2024/059572 Ceased WO2024223286A1 (de) 2023-04-26 2024-04-09 System und verfahren zum erzeugen eines bildstroms in einem fahrzeug, computerlesbares speichermedium

Country Status (2)

Country Link
DE (1) DE202024002592U1 (de)
WO (1) WO2024223286A1 (de)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080069403A1 (en) 1995-06-07 2008-03-20 Automotive Technologies International, Inc. Face Monitoring System and Method for Vehicular Occupants
DE102018216806A1 (de) 2018-09-28 2020-04-02 Volkswagen Aktiengesellschaft Konzept zum Aufbereiten von Infrarotbildern
US20200143184A1 (en) 2018-11-02 2020-05-07 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Transparent ir reflective coating for driver monitoring system that is applied on or in the windshield of a car
WO2022075184A1 (ja) 2020-10-09 2022-04-14 富士フイルム株式会社 反射フィルム、ウインドシールドガラス、および、ヘッドアップディスプレイシステム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080069403A1 (en) 1995-06-07 2008-03-20 Automotive Technologies International, Inc. Face Monitoring System and Method for Vehicular Occupants
DE102018216806A1 (de) 2018-09-28 2020-04-02 Volkswagen Aktiengesellschaft Konzept zum Aufbereiten von Infrarotbildern
US20200143184A1 (en) 2018-11-02 2020-05-07 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Transparent ir reflective coating for driver monitoring system that is applied on or in the windshield of a car
WO2022075184A1 (ja) 2020-10-09 2022-04-14 富士フイルム株式会社 反射フィルム、ウインドシールドガラス、および、ヘッドアップディスプレイシステム

Also Published As

Publication number Publication date
DE202024002592U1 (de) 2025-09-15

Similar Documents

Publication Publication Date Title
EP2623374B1 (de) Sichtsystem für Nutzfahrzeuge zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels
EP2559236A1 (de) Verfahren zum anzeigen eines bildes auf einer anzeigeeinrichtung in einem fahrzeug, fahrerassistenzsystem und fahrzeug
DE102019220171A1 (de) Umwandlung von Eingangs-Bilddaten einer Mehrzahl von Fahrzeugkameras eines Rundumsichtsystems in optimierte Ausgangs-Bilddaten
WO2020064521A1 (de) Konzept zum aufbereiten von infrarotbildern
EP3106349B1 (de) Sichtsystem für ein nutzfahrzeug zur darstellung von gesetzlich vorgeschriebenen sichtfeldern eines hauptspiegels und eines weitwinkelspiegels
EP3938946A1 (de) Verfahren zum bereitstellen einer trainingsdatensatzmenge, ein verfahren zum trainieren eines klassifikators, ein verfahren zum steuern eines fahrzeugs, ein computerlesbares speichermedium und ein fahrzeug
DE10016184C2 (de) Vorrichtung zur Anzeige der Umgebung eines Fahrzeugs
DE102019201702A1 (de) Modulares inpainting Verfahren
EP3610643A1 (de) Surround-view-system für ein fahrzeug
DE102019220335A1 (de) Semantische segmentierung unter verwendung von fahreraufmerksamkeitsinformationen
WO2024223286A1 (de) System und verfahren zum erzeugen eines bildstroms in einem fahrzeug, computerlesbares speichermedium
EP1447985A1 (de) Vorrichtung und Verfahren zur Verbesserung der Sicht in Kraftfahrzeugen
DE102021208039A1 (de) Verfahren und Vorrichtung zur Bildverarbeitung in einem Fahrzeug
DE102024136474A1 (de) Vorrichtung und verfahren zur surround-view-überwachung für ein fahrzeug
DE102021200306A1 (de) Verfahren zur Körperhaltungs- und/oder Bewegungsanalyse einer Person
DE102016208199A1 (de) Fahrerassistenzsystem mit einer kamera mit verstellmechanismus
WO2023016798A1 (de) Verfahren zur darstellung einer rückwärtigen umgebung einer mobilen plattform, die mit einem anhänger gekoppelt ist
DE102006037600A1 (de) Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs
DE102018130229A1 (de) Verfahren und Vorrichtung zur Objektextraktion aus eine dreidimensionale Szene darstellenden Szenenbilddaten
DE102008031697B4 (de) Vorrichtung und Verfahren zur Objektidentifikation
WO2021245156A1 (de) Klassifikation von bilddaten mit anpassung des detaillierungsgrades
DE102023004208B4 (de) Verfahren zur lnteraktion mit einem Verkehrsteilnehmer und Fahrzeug
DE102019210144A1 (de) Kombination von Sensorsystemen im Fahrzeug zum Verbessern des Erkennens von Nutzerbefehlen
WO2020119996A1 (de) Transfer von zusatzinformation zwischen kamerasystemen
DE102019209061B3 (de) Bildverarbeitungseinrichtung zur Verbesserung einer Nachtsicht, Verfahren und Computerprogramm

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24718174

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 24718174

Country of ref document: EP

Kind code of ref document: A1