WO2022117165A1 - Training an artificial neural network - Google Patents

Training an artificial neural network Download PDF

Info

Publication number
WO2022117165A1
WO2022117165A1 PCT/DE2021/200208 DE2021200208W WO2022117165A1 WO 2022117165 A1 WO2022117165 A1 WO 2022117165A1 DE 2021200208 W DE2021200208 W DE 2021200208W WO 2022117165 A1 WO2022117165 A1 WO 2022117165A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
neural network
artificial neural
vehicle occupant
daylight
Prior art date
Application number
PCT/DE2021/200208
Other languages
German (de)
French (fr)
Inventor
Christian Scharfenberger
Michelle Karg
Original Assignee
Continental Automotive Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive Gmbh filed Critical Continental Automotive Gmbh
Publication of WO2022117165A1 publication Critical patent/WO2022117165A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/60—
    • G06T5/94—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the invention relates to a method for training an artificial neural network for converting an input image into an output image, the input image being designed as a night photograph of at least one vehicle occupant. Furthermore, the invention relates to an image processing system with such a method.
  • Today's vehicles are equipped with interior cameras that are intended to monitor the driver in particular.
  • the recognition of the head pose or body posture and face recognition plays an important role, since characteristics such as alertness, tiredness, the direction of view and other properties of the driver's condition can be derived from them.
  • This information is fed to a system in the vehicle, which either generates a warning to the driver or takes a certain action itself if there is a need, such as a lack of attention.
  • DE 10 2005 023 697 A1 shows a device for controlling the interior lighting of a motor vehicle, with at least one sensor being arranged in the motor vehicle which detects the line of sight of vehicle occupants, with a control unit using output variables from the at least one sensor to generate control signals for lighting elements located in the motor vehicle generated. It is therefore an object of the invention to specify means which lead to improved and simplified vehicle occupant monitoring at night.
  • the object is achieved by a method with the features of claim 1.
  • the object is also achieved by such an image system with the features of claim 14 and a use with the features of claim 18.
  • the object is achieved by a method for training an artificial neural network for converting an input image into an output image, the input image being designed as a night photograph of at least one vehicle occupant, comprising the following steps:
  • Output of initial images by the artificial neural network which include at least one predefined area of the at least one vehicle occupant in full illumination or daylight, so that extraction of predetermined vehicle occupant features is made possible by the area brightened in full illumination or daylight.
  • an image processing system for converting an input image into an output image comprising an artificial neural network trained according to a method as described above, the image processing system being designed to convert the input image into an output image, which has at least one predefined area of the at least one vehicle occupant in full illumination or daylight, using the trained artificial neural network, so that the area brightened in full illumination or daylight allows extraction of predetermined vehicle occupant features.
  • a trained artificial neural network is available, which creates a day image from a night photograph of a driver or other vehicle occupants or at least brightens those areas or displays them in daylight that are necessary for an extraction of the desired vehicle occupant features.
  • such areas can be the face, for example, if, for example, a gaze detection is to be determined to determine the alertness/tiredness of the vehicle occupant.
  • An image in daylight can be understood to mean a recording which corresponds to a recording taken in daylight.
  • the areas to be brightened or displayed in daylight can, for example, be specified in advance or dynamically during system operation.
  • Images or recordings mean corresponding image data which are generated with at least one sensor.
  • the method according to the invention and the image processing system according to the invention make it possible to achieve good upgrading of weakly or insufficiently illuminated areas in a simplified manner without additional illumination.
  • image pairs with different exposure times are preferably recorded during the training. These pairs of images are used to train the artificial neural network in such a way that it can reconstruct output images with longer exposures based on input images with shorter exposures.
  • These baseline images are then similar to daylight shots, and further algorithms can be applied to detailed detection of vehicle occupant features on the faces or poses on these baseline images.
  • the invention makes it possible to convert areas of interest into a display that corresponds to a recording with full illumination or daylight, even without additional lighting, despite darkness and a lack of color information.
  • the method according to the invention and the image processing system according to the invention specify an efficient method for improving the image quality in the event of insufficient lighting.
  • the method according to the invention and the image processing system according to the invention achieve a significant improvement in the image quality when displaying night shots without increasing the interior lighting of a vehicle. Therefore, no additional lighting is required to brighten up the interior areas. This is particularly advantageous when using wide-angle cameras, which are usually used in the vehicle interior of a vehicle.
  • the output image thus brightened or generated in daylight can be forwarded to a processing unit for extraction of the desired vehicle occupant characteristics.
  • Various applications can be executed with the aid of the vehicle occupant characteristics obtained in this way, for example a warning tone can be output if, for example, increased tiredness/reduced alertness has been determined.
  • the initial image can be displayed to the vehicle occupant on a display unit in the vehicle, for example via a head-up display.
  • the invention makes it possible to convert a very dark input image with little contrast and color information into a representation that is, for example, daylight or at least sufficiently bright, or to convert at least areas of interest of the image to daylight or at least sufficiently bright.
  • the image processing system preferably precedes a detection or display unit for displaying the processed initial image or for Further processing of the original image.
  • the detection or display unit can also be integrated in the image processing system.
  • existing layers of the artificial neural network are shared with layers for extraction functions so that vehicle occupant features are automatically available. Furthermore, the training for this can preferably take place together.
  • the areas are extracted using semantic segmentation of the interior space.
  • different areas in the input image can be brightened to a different degree, e.g. with additional illumination of individual areas in the interior, for example by a reading lamp or light from outside, or in particularly dark areas in the interior, e.g. by shadows.
  • the at least one predefined area includes the face of the at least one vehicle occupant.
  • vehicle occupant features such as the direction of view/movement of the eyelids can be extracted particularly well from the facial image that has been brightened or converted to daylight. If tiredness is detected, for example, warning tones can be emitted or other measures can be taken.
  • the vehicle occupant features can be extracted and evaluated by a connected evaluation unit, for example, without illuminating the interior of the vehicle too much and causing the driver to record the input image, for example, in a disruptive manner. This also improves the trained artificial neural network image processing system.
  • the at least one predefined area preferably includes at least the head pose of the vehicle occupant. This is also particularly important for detecting tiredness/alertness during night driving. This also improves the trained artificial neural network image processing system.
  • the at least one predefined area preferably includes at least the posture of the vehicle occupant.
  • the driving attention level of the vehicle occupant can be estimated from a posture.
  • a warning tone can also be emitted in the event of an unbalanced posture or even a dangerous posture. This also improves the trained artificial neural network image processing system.
  • the artificial neural network is preferably designed as a CNN (Convolutional Neural Network).
  • This convolutional neural network is particularly suitable for image processing. This also improves the trained artificial neural network image processing system.
  • Such an artificial neural network can automatically learn the parameters for complex scenes by locally and adaptively applying the enhancements to different image areas (people in the interior). Furthermore, such an artificial neural network can reduce the computing time since the CNN can be easily combined with CNNs for a subsequent extraction. With this combination, the vehicle occupant features are enhanced in the artificial neural network so that the extraction functions operate on features that can compensate for the lower illumination at night.
  • the artificial neural network is preferably trained to use information from better illuminated image areas of the input image for the conversion in order to generate the output image. This means that when there is lighting in the passenger compartment, information from the better lit areas is used to further improve the conversion for the unlit areas. This improves the original image. This also improves the trained artificial neural network image processing system.
  • a plurality of input images are preferably provided for conversion into at least one output image, with the artificial neural network being trained in such a way that information from better illuminated image areas of a second input image is used to convert a first input image in order to convert the at least one predefined area of the at least one vehicle occupant into to generate full illumination or daylight as the initial image.
  • the network is trained less with individual images for each camera, but as an overall system consisting of several camera systems.
  • an artificial neural network can be adapted to the conditions of the individual interior spaces and an improved result can be achieved. This also improves the trained artificial neural network image processing system.
  • Information is preferably provided to compensate for missing color and/or contrast and/or brightness information, the artificial neural network being trained to generate the conversion using the color and/or contrast information provided. This means that brightness values or luminance values and/or color information and/or contrast information are provided, with which the artificial neural network achieves improved conversion.
  • the degree of lightening is preferably learned in stages.
  • the method can thus brighten the areas with people in the image by a factor d, with this factor d being dynamically adaptable to the prevailing lighting conditions.
  • the factor d can be adjusted separately for the individual image areas, e.g. driver or occupants in the rear area, so that different lighting conditions in the interior can be taken into account locally.
  • the artificial neural network is trained to simulate a gamma correction and/or a white balance and/or a histogram equalization.
  • the artificial neural network is given a data set consisting of "dark input images (night shots)" and the associated "bright as day” or “illuminated pictures” are made available.
  • the artificial neural network is configured to optimally emulate methods such as white balance, gamma correction and histogram equalization.
  • White balance is essentially the adjustment to the color temperature of the light.
  • Gamma correction is a correction function that is often used in image processing and changes the brightness information of pixels, for example.
  • Histogram equalization is a method for improving contrast in gray-scale images that goes beyond mere contrast enhancement.
  • Image quality information is preferably provided, and the artificial neural network is trained to generate the conversion using the image quality information provided.
  • the network can be trained to generate output images which calculate image data optimized for computer vision and human vision, for example.
  • Computer vision / human vision is understood as the attempt to process and analyze the images recorded by cameras in a wide variety of ways in order to understand their content or extract geometric information.
  • An improved output image can be generated in the image processing system by such an improved artificial neural network.
  • the artificial neural network is preferably trained to convert the input image into an output image which is fully illuminated or displayed in daylight.
  • One or more image sensors are preferably provided for recording the at least one vehicle occupant.
  • the image sensors can be designed as cameras. This achieves good coverage of the vehicle interior.
  • the one or more image sensors are preferably embodied as a wide-angle camera. This allows good coverage to be achieved with just a few cameras.
  • the object is achieved by using the image processing system as described above in a vehicle interior of a vehicle for monitoring at least one vehicle occupant.
  • FIG. 4 shows a further embodiment of a method according to the invention schematically.
  • FIG. 1 shows a training of a neural network according to the invention schematically.
  • this receives as input images 6 (FIG. 3) Night shots from the vehicle interior of a vehicle 1 (FIG 2), which shows at least one vehicle occupant, for example the driver.
  • the input image 6 (FIG. 3) is preferably generated by image sensors such as wide-angle cameras.
  • the artificial neural network is preferably in the form of a CNN convolutional neural network.
  • This convolutional neural network is particularly suitable for machine image processing.
  • Such a network has, for example, several levels.
  • the artificial neural network is then trained in a step S6 to convert the night shot into a brightened initial image or day image (night shot in daylight). For this purpose, several night recordings with different contrast levels/color information and associated desired initial images 7 (FIG. 3) are used during the training.
  • the entire input image 6 (FIG. 3) is preferably converted.
  • the artificial neural network can also be trained to merely brighten different areas from the input image 6 (FIG. 3) or to convert them into a day image. This can be especially the face, head pose and posture.
  • a physical condition (tiredness, lack of concentration, etc.) can be inferred from these vehicle occupant characteristics, for example by extracting the direction of view, the movement of the eyelids, etc. and, if necessary, suitable measures can be taken in the event of a poor physical condition. This can guarantee a safer ride.
  • These areas can be extracted, for example, using semantic segmentation of the interior.
  • different areas in the input image can be brightened to a different degree, e.g. with additional illumination of individual areas in the interior (e.g.
  • the artificial neural network can be trained to use information from better illuminated image areas of the input image 6 (FIG. 3) for conversion when there is lighting in the vehicle interior in order to generate the output image. This allows the conversion for the unlit areas to be further improved and a better output image can be achieved.
  • image pairs with different exposure times are preferably recorded during the training. These pairs of images are used to train the artificial neural network in such a way that it can reconstruct output images with longer exposures based on input images with shorter exposures. These baseline images are then similar to daylight shots, and further algorithms can be applied to detailed detection of vehicle occupant features on the faces or poses on these baseline images.
  • the artificial neural network can be trained to generate the conversion using provided color and/or contrast information.
  • Information stored in the network structure is used to automatically supplement missing color or contrast information in the original image.
  • methods such as gamma correction and/or white balance and/or histogram equalization could be simulated in an optimized manner. In this way, very dark images can be converted into a representation that is advantageous for feature-based recognition or viewing.
  • the artificial neural network is trained to simulate a gamma correction and/or white balance and/or histogram equalization.
  • the artificial neural network is trained using a data set consisting of "dark input images (night shots)" and the associated "bright as day” or “illuminated images”.
  • the artificial neural network is configured to emulate methods such as gamma correction and histogram equalization, etc. In this way, very dark input images 6 (FIG. 3) can be converted into output images 7 (FIG. 3), which are advantageous for feature-based recognition or viewing.
  • the artificial neural network can be trained to generate the conversion using information on the image quality.
  • information stored in the network structure regarding image quality is used in order to achieve a better initial image.
  • the output image is optimized, for example, in that it calculates image data optimized for computer vision and human vision.
  • Steps S2-S5 can each be included in the method individually or in any combination.
  • the 2 shows a vehicle 1 with the image processing system 2 according to the invention, which has an artificial neural network 3 trained with the method according to the invention.
  • the vehicle 1 has a vehicle interior 4 which has interior cameras 5 for recording the vehicle occupants.
  • the interior cameras 5 can in particular be wide-angle cameras.
  • the artificial neural network 3 is trained less with individual images for each interior camera 5, but as an overall system consisting of the multiple interior cameras 5.
  • the image processing system 2 can be integrated as a hardware-based image pre-processing stage in an ISP (Image Signal Processor) of the ISP.
  • the image processing system 2 can carry out the corresponding conversion in the ISP and, for example, make the processed information available with the original data for possible detection or display functions.
  • the image processing system 2 according to the invention specifies a system for improving the image quality in the event of insufficient lighting. Furthermore, the image processing system 2 according to the invention improves the image quality when displaying or processing night shots without additional lighting is required, which brightens the vehicle interior 4. This is a particular advantage when using wide-angle cameras.
  • Image data streams for applications in the vehicle interior 4 can thus be generated by means of the image processing system 2 according to the invention, which has the artificial neural network 3 trained according to the invention. Based on the at least clearly brightened areas of interest, such as the face of the vehicle occupant, features can be extracted and fed to a further processing unit. This can then, for example, analyze these characteristics and carry out measures if there are deviations from the target values
  • the image processing system 2 enables the nighttime recordings of the underlying interior cameras 5 to be converted into a display that corresponds to a recording with full illumination or daylight without additional lighting, despite darkness and a lack of color information, quickly, inexpensively and without disruptive additional interior lighting.
  • the image processing system 2 enables poorly or insufficiently illuminated areas to be well illuminated by means of the trained neural network 3 without additional illumination.
  • the 3 shows an input image 6 which was converted by means of the image processing system 2 according to the invention and the artificial neural network 3 trained according to the invention.
  • the trained artificial neural network 3 is designed here as a CNN.
  • a significantly improved output image 7 can be generated from a dark input image 6, for example for recognizing the head pose or body posture.
  • FIG. 4 shows a further embodiment of a method according to the invention.
  • Steps S11 to S15 here correspond to steps S1 to S5 of FIG
  • the artificial neural network is trained, as in step S6 in FIG. 1, to convert night shots or input images into brightened output images or day images (night shot in daylight).
  • step S6 the artificial neural network is trained, as in step S6 in FIG. 1, to convert night shots or input images into brightened output images or day images (night shot in daylight).
  • several night recordings with different contrast levels/color information and associated desired initial images 7 are used during the training.
  • the artificial neural network is trained in step S16 to identify and determine predefined areas in captured nighttime images that are to be brightened.
  • the predefined area can also include the entire night shot.
  • Predefined areas in the recorded night shots can differ in the desired brightening.
  • different areas can be determined in the image, e.g., using statistical calculations, using semantic segmentation and/or using information about different areas from recordings made at previous times.
  • the types of range determination mentioned above are only examples and should not be regarded as conclusive.
  • a further variant can be, for example, that the network uses segmentation into lighter and darker areas.
  • This segmentation can be obtained, for example, from a previous journal t-1 , from a separate network or from a multitasking network which first outputs a map for image regions and then performs a brightening enhancement based on this map.
  • the latter is a two-step approach, where network calculations from the first step can be reused for the second step, e.g., the calculations of the first network layers.
  • the artificial neural network is trained to individually determine a degree of brightening for each specific area.
  • the artificial neural network is also trained for this purpose, following the determination of the predefined areas and the individual determination of the degree of brightening for the specific areas to use the determined lightening level to lighten the specific areas around the lightening level.
  • the artificial neural network is given a factor d, which corresponds to the parameterization of the illumination of individual image areas and which also determines the degree of brightening.
  • the factor d represents the ratio between the exposure ratio of the input image and the exposure ratio of the brightened output image of the neural network.
  • the specific areas are dynamically adapted to the prevailing light conditions in a vehicle interior by the factor d.
  • the artificial neural network can be trained such that the factor d is adjusted separately for individual image areas, eg, driver or occupants in the rear area, so that locally different lighting conditions in the interior can be addressed. If several areas have been determined by the neural network that are to be brightened, a different factor d can be included in the brightening for each area. For example, a first factor d can be used for a first specific area and a second factor d, which differs from the first factor d, can be used for a second specific area in order to be included in the brightening of the corresponding areas.
  • the factor d can optionally be learned as follows and/or have the following: a) Images with different exposure times are available during the training. As a result, the artificial neural network can gradually learn the degree of brightening. For the training, an image pair is selected from a short exposure and a longer exposure image and the ratio of the exposure times is calculated. This corresponds to the factor d during training. The shorter exposed image and thus the darker image is made available as input to the network. The image with the longer exposure time is used as ground truth for calculating the loss. When calculating the loss, the output of the network is compared with the ground truth. The aim here is that the network learns to reconstruct a brighter image for shorter exposed images and to keep the factor d variable in order to enable a reconstruction of different degrees of brightening.
  • the factor d thus represents an artificial exposure time and the network learns to reconstruct an image with a different exposure time. This is particularly relevant for dynamic environments in which the actual exposure time to be used is limited to short times in order to enable sufficient image sharpness.
  • the factor d can be set variably at runtime, i.e. during operation of an image processing system that uses a suitably trained neural network. For example, a night shot is taken at runtime with an exposure time that is appropriate to the environment in order to enable sufficient image sharpness in a dynamic environment. This usually leads to dark recordings.
  • the trained network is applied to these images and the factor d is set in such a way that the image is sufficiently brightened, for example, similar to a daytime image.
  • the factor d can be determined here in various ways, such as, for example, from a determination of the brightness of the recording, from the brightening of the previous image for magazine t-1, from statistical calculations of the quality of the brightness in the image and the necessary brightening, from a network learning the estimation of the factor d, etc. c)
  • the factor d can be applied locally.
  • the training is extended by the adjustment of the factor d to image regions. Image regions are determined which require different brightening, eg poorly and well-illuminated image areas.
  • the training image pairs can differ for the regions in the exposure time of the ground truth and the network input, so that a factor d can be learned for areas in the network and individual areas can be brightened more.
  • the loss is calculated on the selected areas in the image and recordings of the same scene with different exposure times can be used for the different areas.
  • An example of this is that for a well-lit driver, a medium exposure time ground truth is sufficient, while for example, the occupants in the back seats a ground truth with a longer exposure time is used and therefore the factor d for the driver is correspondingly lower than for the area of the occupants on the back seat.
  • images with different exposure times can also be used for the image regions of the image input of the neural network and these can be combined region-wise with different ground truths with different exposure times.
  • the factor d is calculated during the training for individual image regions from the ratio of the ground truth to the image recording at the network input.
  • the network input is thus composed region by region from different images and the loss is also calculated region by region based on the same image regions by assembling the reference image for the loss calculation region by region from the ground truth recordings corresponding to the image regions in the input image.
  • the factor d is an input parameter of the neural network, based on which the network learns and can reconstruct different degrees of illumination improvement.
  • the factor d can be added to one or more layers of the network as an input parameter.
  • the factor d can also be combined with an additional network, which calculates the mapping of the factor d onto the network for illumination improvement, e.g.
  • the artificial neural network can be trained, for example, with a number of input images that have different exposure times but are otherwise identical, and an associated desired output image.
  • the factor d can be calculated from a downstream application, which is based, for example, on the quality of a possible detection provided and lightened images determines the best factor for image brightening. This can be implemented both when training a neural network and online in the application at runtime. This allows the artificial neural network to gradually learn the degree of whitening.
  • the input images can already be illuminated differently in order to thereby simulate dynamic illumination in the input images and thus train the artificial neural network.
  • the training of the artificial neural network also includes the output of initial images 7 by the artificial neural network, which include at least the one predefined area of the at least one vehicle occupant in full illumination or daylight, so that the areas brightened in full illumination or daylight allow an extraction predetermined vehicle occupant characteristics is made possible.
  • These output initial images can be used in training, for example, to compare them with desired initial images.
  • these images can also be made available to a downstream application which, for example, uses a detection quality to evaluate the quality of the brightened images.
  • training can be continued until an output image meets certain requirements and matches a desired output image as precisely as possible.
  • the output of the network can be used here for a loss calculation of the learning process of the neural network.
  • the output of the neural network can be compared to ground truth and a loss can be calculated. Based on this, the weights of the neural network are updated.
  • the loss can optionally be calculated globally for a constant factor d. Alternatively, the loss can be calculated locally or by region. As a result, a different factor d can be used locally for individual image regions.

Abstract

The invention relates to a method for training an artificial neural network (3) for converting an input image into an output image, the input image being formed as a night photograph of at least one vehicle occupant, the method comprising the steps of: - providing an artificial neural network (3), - training (S6, S16) the artificial neural network (3) based on input images, which are formed as night photographs of at least one vehicle occupant, on the basis of output images, which comprise at least one predefined region of the at least one vehicle occupant in full light or daylight, so that an extraction of predefined vehicle occupant features is made possible by the region brightened in full light or daylight, by the following steps: - determining the predefined regions and individually determining a brightness level for the regions determined, - applying the artificial neural network (3) to the input images using the brightness level determined for thed regions determine; - the artificial neural network (3) outputting output images. The invention also relates to an image processing system (2) comprising such a method.

Description

Beschreibung description
Trainieren eines künstlichen neuronalen Netzes Training an artificial neural network
Die Erfindung betrifft ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes zur Umwandlung eines Eingangsbildes in ein Ausgangsbild, wobei das Eingangsbild als Nachtaufnahme zumindest eines Fahrzeuginsassen ausgebildet ist. Ferner betrifft die Erfindung ein Bildverarbeitungssystem mit einem solchen Verfahren. The invention relates to a method for training an artificial neural network for converting an input image into an output image, the input image being designed as a night photograph of at least one vehicle occupant. Furthermore, the invention relates to an image processing system with such a method.
Heutige Fahrzeuge sind mit Innenraumkameras ausgestattet, die insbesondere den Fahrer überwachen sollen. Dabei spielt die Erkennung der Kopfpose oder der Körperhaltung und Gesichtserkennung eine wichtige Rolle, da aus ihr Merkmale wie die Aufmerksamkeit, die Müdigkeit, die Blickrichtung und weitere Eigenschaften des Zustandes des Fahrers abgeleitet werden können. Diese Informationen werden einem System im Fahrzeug zugespielt, welches bei einer gegebenen Notwendigkeit wie fehlender Aufmerksamkeit entweder eine Warnung an den Fahrer erzeugt, oder selber eine gewisse Aktion unternimmt. Today's vehicles are equipped with interior cameras that are intended to monitor the driver in particular. The recognition of the head pose or body posture and face recognition plays an important role, since characteristics such as alertness, tiredness, the direction of view and other properties of the driver's condition can be derived from them. This information is fed to a system in the vehicle, which either generates a warning to the driver or takes a certain action itself if there is a need, such as a lack of attention.
Diese Systeme zur Fahrerüberwachung durch Erkennung der Kopfpose oder der Körperhaltung mit Hilfe von Innenraumkameras zeigen eine sehr gute Performance bei Tageslicht. Unterstützt werden diese Systeme durch zusätzliche Beleuchtung im Fahrzeuginnenraum, die beispielsweise den Kopfbereich des Fahrers ausleuchten. Damit wird insbesondere die Erkennung bei Nacht unterstützt. These systems for driver monitoring by recognizing head pose or body posture with the help of interior cameras show very good performance in daylight. These systems are supported by additional lighting in the vehicle interior, which illuminates the driver's head area, for example. This particularly supports detection at night.
Die DE 10 2005 023 697 A1 zeigt eine Einrichtung zur Steuerung der Innenbeleuchtung eines Kraftfahrzeugs, wobei im Kraftfahrzeug mindestens ein Sensor angeordnet ist, welcher die Blickrichtung von Fahrzeuginsassen erfasst, wobei ein Steuergerät unter Anwendung von Ausgangsgrößen des mindestens einen Sensors Steuersignale für im Kraftfahrzeug befindliche Beleuchtungselemente erzeugt. Es ist daher eine Aufgabe der Erfindung Mittel anzugeben, welche zur verbesserten und vereinfachten Fahrzeuginsassenüberwachung bei Nacht führen. DE 10 2005 023 697 A1 shows a device for controlling the interior lighting of a motor vehicle, with at least one sensor being arranged in the motor vehicle which detects the line of sight of vehicle occupants, with a control unit using output variables from the at least one sensor to generate control signals for lighting elements located in the motor vehicle generated. It is therefore an object of the invention to specify means which lead to improved and simplified vehicle occupant monitoring at night.
Die Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1. Ferner wird die Aufgabe gelöst durch ein solches Bildsystem mit den Merkmalen des Anspruchs 14 und eine Verwendung mit den Merkmalen des Anspruchs 18. The object is achieved by a method with the features of claim 1. The object is also achieved by such an image system with the features of claim 14 and a use with the features of claim 18.
Die Aufgabe wird gelöst durch ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes zur Umwandlung eines Eingangsbildes in ein Ausgangsbild, wobei das Eingangsbild als Nachtaufnahme zumindest eines Fahrzeuginsassen ausgebildet ist, umfassend der folgenden Schritte: The object is achieved by a method for training an artificial neural network for converting an input image into an output image, the input image being designed as a night photograph of at least one vehicle occupant, comprising the following steps:
- Bereitstellen eines künstlichen neuronalen Netzes, - providing an artificial neural network,
- Trainieren des künstlichen neuronalen Netzes basierend auf Eingangsbildern, welche als Nachtaufnahme zumindest eines Fahrzeuginsassen ausgebildet sind, und anhand von Ausgangsbildern, welche zumindest einen vordefinierten Bereich des zumindest einen Fahrzeuginsassen in voller Ausleuchtung oder Tageslicht umfassen, so dass durch den in voller Ausleuchtung oder Tageslicht aufgehellten Bereich eine Extraktion vorgegebener Fahrzeuginsassenmerkmale ermöglicht wird, mit den Schritten: - Training of the artificial neural network based on input images, which are designed as night shots of at least one vehicle occupant, and based on output images, which include at least one predefined area of the at least one vehicle occupant in full illumination or daylight, so that the full illumination or daylight brightened Area an extraction of predetermined vehicle occupant characteristics is made possible, with the steps:
- Bestimmung der vordefinierten Bereiche und individuelle Ermittlung eines Aufhellungsgrades für die bestimmten Bereiche, - Determination of the predefined areas and individual determination of a degree of lightening for the specific areas,
- Anwendung des künstlichen neuronalen Netzes auf die Eingangsbilder unter Verwendung des ermittelten Aufhellungsgrades für die bestimmten Bereiche; - Application of the artificial neural network to the input images using the determined degree of brightening for the specific areas;
- Ausgabe von Ausgangsbilder durch das künstliche neuronale Netz, welche zumindest den einen vordefinierten Bereich des zumindest einen Fahrzeuginsassen in voller Ausleuchtung oder Tageslicht umfassen, so dass durch den in voller Ausleuchtung oder Tageslicht aufgehellten Bereich eine Extraktion vorgegebener Fahrzeuginsassenmerkmale ermöglicht wird. Ferner wird die Aufgabe gelöst durch ein Bildverarbeitungssystem zur Umwandlung eines Eingangsbildes in ein Ausgangsbild, wobei das Eingangsbild als Nachtaufnahme zumindest eines Fahrzeuginsassen ausgebildet ist, umfassend eines nach einem wie oben beschriebenen Verfahren trainierten künstlichen neuronalen Netzes, wobei das Bildverarbeitungssystem dazu ausgelegt ist, eine Umwandlung des Eingangsbildes in ein Ausgangsbild, welches zumindest einen vordefinierten Bereich des zumindest einen Fahrzeuginsassen in voller Ausleuchtung oder Tageslicht aufweist, unter Verwendung des trainierten künstlichen neuronalen Netzes vorzunehmen, so dass durch den in voller Ausleuchtung oder Tageslicht aufgehellten Bereich eine Extraktion vorgegebener Fahrzeuginsassenmerkmale ermöglicht ist. Output of initial images by the artificial neural network, which include at least one predefined area of the at least one vehicle occupant in full illumination or daylight, so that extraction of predetermined vehicle occupant features is made possible by the area brightened in full illumination or daylight. Furthermore, the object is achieved by an image processing system for converting an input image into an output image, the input image being designed as a night photograph of at least one vehicle occupant, comprising an artificial neural network trained according to a method as described above, the image processing system being designed to convert the input image into an output image, which has at least one predefined area of the at least one vehicle occupant in full illumination or daylight, using the trained artificial neural network, so that the area brightened in full illumination or daylight allows extraction of predetermined vehicle occupant features.
Erfindungsgemäß wurde erkannt, dass ein vollständiges Ausleuchten bei Nacht eines Fahrzeuginnenraums eines Fahrzeuges eine hohe Anzahl an Leuchtquellen notwendig ist, welche neben kritischen Designeinschränkungen zu erheblichen Mehrkosten im Fahrzeug führen können. According to the invention, it was recognized that complete illumination of a vehicle interior at night requires a large number of light sources, which, in addition to critical design restrictions, can lead to significant additional costs in the vehicle.
Es wurde erkannt, dass die heutigen Kamerasysteme durch Weitwinkeloptiken eine breite Überwachung eines großen Bereiches im Fahrzeuginnenraum ermöglichen, welches somit zu einem erheblichen Mehraufwand bei der Ausstattung mit einer geeigneten Beleuchtung führen kann. Ferner kann die Synchronisation von Kameras und Beleuchtung bei steigender Auflösung zu einem signifikanten Kostenanstieg führen. Bei längerem Einschalten der Beleuchtung kann es zudem zu einer hohen Wärme- und Verlustleistung bei der Verwendung einer Vielzahl von Beleuchtungselementen kommen. Auch wurde erkannt, dass bei der Verwendung von IR-basierter Beleuchtung entweder spezielle IR-Kameras, oder Farbkameras notwendig sind, die sensitiv im infraroten Bereich sind. Dies kann den Anwendungsbereich der Kamera deutlich einschränken. It has been recognized that today's camera systems enable broad monitoring of a large area in the vehicle interior through wide-angle optics, which can lead to considerable additional effort when it comes to equipping it with suitable lighting. Furthermore, the synchronization of cameras and lighting with increasing resolution can lead to a significant increase in costs. If the lighting is switched on for a long time, there can also be high heat and power loss when using a large number of lighting elements. It was also recognized that when using IR-based lighting, either special IR cameras or color cameras that are sensitive in the infrared range are required. This can significantly limit the scope of the camera.
Hier setzt die Erfindung an und gibt als Lösung ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes sowie ein Bildverarbeitungssystem mit einem solchen trainierten künstlichen neuronalen Netz an. Mittels des erfindungsgemäßen Verfahrens und des erfindungsgemäßen Bildverarbeitungssystems ist ein trainiertes künstliches neuronales Netz vorhanden, welches aus einer Nachtaufnahme eines Fahrers oder anderen Fahrzeuginsassen ein Tagbild erstellt oder zumindest diejenigen Bereiche aufhellt oder in Tageslicht darstellt, die für eine Extraktion der gewünschten Fahrzeuginsassenmerkmale notwendig sind. This is where the invention comes in and, as a solution, specifies a method for training an artificial neural network and an image processing system with such a trained artificial neural network. By means of the method according to the invention and the image processing system according to the invention, a trained artificial neural network is available, which creates a day image from a night photograph of a driver or other vehicle occupants or at least brightens those areas or displays them in daylight that are necessary for an extraction of the desired vehicle occupant features.
Dabei können solche Bereiche beispielsweise das Gesicht sein, wenn beispielsweise eine Blickerfassung zur Bestimmung der Aufmerksamkeit/Müdigkeit des Fahrzeuginsassen ermittelt werden soll. In this case, such areas can be the face, for example, if, for example, a gaze detection is to be determined to determine the alertness/tiredness of the vehicle occupant.
Unter einem Bild in Tageslicht kann eine Aufnahme verstanden werden, welche einer Aufnahme bei Tageslicht aufgenommen entspricht. An image in daylight can be understood to mean a recording which corresponds to a recording taken in daylight.
Die aufzuhellenden oder in Tageslicht darzustellenden Bereiche können beispielsweise vorab oder dynamisch im Betrieb des Systems festgelegt werden. The areas to be brightened or displayed in daylight can, for example, be specified in advance or dynamically during system operation.
Unter Bilder oder Aufnahmen sind entsprechende Bilddaten gemeint, welche mit zumindest einem Sensor erzeugt werden. Images or recordings mean corresponding image data which are generated with at least one sensor.
Durch das erfindungsgemäße Verfahren und das erfindungsgemäße Bildverarbeitungssystem ist es möglich ohne zusätzliche Beleuchtung vereinfacht eine gute Aufwertung von schwach oder unzureichend ausgeleuchteten Bereichen zu erzielen. The method according to the invention and the image processing system according to the invention make it possible to achieve good upgrading of weakly or insufficiently illuminated areas in a simplified manner without additional illumination.
Während des Trainings werden dazu vorzugsweise Bildpaare mit unterschiedlicher Belichtungszeit aufgenommen. Diese Bildpaare werden herangezogen, um das künstliche neuronale Netz derart zu trainieren, dass es länger belichtete Ausgangsbilder basierend auf kürzer belichteten Eingangsbildern rekonstruieren kann. Diese Ausgangsbilder ähneln anschließend Aufnahmen bei Tageslicht und es können weitere Algorithmen zur detaillierten Erkennung von Fahrzeuginsassenmerkmalen auf den Gesichtern oder der Posen auf diesen Ausgangsbilder angewandt werden. Durch die Erfindung ist es möglich, Bereiche von Interesse auch ohne zusätzliche Beleuchtung trotz Dunkelheit und fehlenden Farbinformationen in eine Darstellung umzurechnen, welche einer Aufnahme bei voller Ausleuchtung oder Tageslicht entspricht. For this purpose, image pairs with different exposure times are preferably recorded during the training. These pairs of images are used to train the artificial neural network in such a way that it can reconstruct output images with longer exposures based on input images with shorter exposures. These baseline images are then similar to daylight shots, and further algorithms can be applied to detailed detection of vehicle occupant features on the faces or poses on these baseline images. The invention makes it possible to convert areas of interest into a display that corresponds to a recording with full illumination or daylight, even without additional lighting, despite darkness and a lack of color information.
Durch das erfindungsgemäße Verfahren und das erfindungsgemäße Bildverarbeitungssystem wird eine effiziente Methode zur Verbesserung der Bildqualität bei unzureichender Beleuchtung angegeben. Durch das erfindungsgemäße Verfahren und das erfindungsgemäße Bildverarbeitungssystem wird eine deutliche Verbesserung der Bildqualität bei der Anzeige von Nachtaufnahmen erzielt, ohne die Innenraumbeleuchtung eines Fahrzeugs zu erhöhen. Es wird daher keine zusätzliche Beleuchtung benötigt, welche die Innenraumbereiche aufhellt. Insbesondere ist dies gerade bei der Verwendung von Weitwinkelkameras, welche üblicherweise im Fahrzeuginnenraum eines Fahrzeugs verwendet werden, von Vorteil. The method according to the invention and the image processing system according to the invention specify an efficient method for improving the image quality in the event of insufficient lighting. The method according to the invention and the image processing system according to the invention achieve a significant improvement in the image quality when displaying night shots without increasing the interior lighting of a vehicle. Therefore, no additional lighting is required to brighten up the interior areas. This is particularly advantageous when using wide-angle cameras, which are usually used in the vehicle interior of a vehicle.
Das derart aufgehellte oder in Tageslicht generierte Ausgangsbild kann zur Extraktion der gewünschten Fahrzeuginsassenmerkmale an eine Verarbeitungseinheit weitergeleitet werden. Mithilfe der so gewonnenen Fahrzeuginsassenmerkmale können verschiedene Anwendungen ausgeführt werden, beispielsweise ein Warnton ausgegeben werden, wenn beispielsweise eine erhöhte Müdigkeit/verminderte Aufmerksamkeit festgestellt worden ist. Alternativ oder zusätzlich kann das Ausgangsbild auf einer Anzeigeeinheit im Fahrzeug dem Fahrzeuginsassen angezeigt werden, beispielsweise über ein Head-Up-Display. The output image thus brightened or generated in daylight can be forwarded to a processing unit for extraction of the desired vehicle occupant characteristics. Various applications can be executed with the aid of the vehicle occupant characteristics obtained in this way, for example a warning tone can be output if, for example, increased tiredness/reduced alertness has been determined. Alternatively or additionally, the initial image can be displayed to the vehicle occupant on a display unit in the vehicle, for example via a head-up display.
Durch die Erfindung ist es möglich, ein sehr dunkles Eingangsbild mit wenig Kontrast und Farbinformationen in eine beispielsweise Taghelle oder zumindest genügend aufgehellte Repräsentation umzuwandeln bzw. zumindest Bereiche von Interesse des Bildes Taghell oder zumindest genügend aufgehellt umzuwandeln. Vorzugsweise lagert das Bildverarbeitungssystem einer Detektions- oder Anzeigeeinheit vor, zur Anzeige des bearbeiteten Ausgangsbildes oder zur Weiterverarbeitung des Ausgangsbildes. Die Detektions- oder Anzeigeeinheit kann jedoch auch in dem Bildverarbeitungssystem integriert sein. The invention makes it possible to convert a very dark input image with little contrast and color information into a representation that is, for example, daylight or at least sufficiently bright, or to convert at least areas of interest of the image to daylight or at least sufficiently bright. The image processing system preferably precedes a detection or display unit for displaying the processed initial image or for Further processing of the original image. However, the detection or display unit can also be integrated in the image processing system.
Vorzugsweise werden vorhandene Schichten des künstlichen neuronalen Netzwerkes mit Schichten für Extraktionsfunktionen geteilt, sodass Fahrzeuginsassenmerkmale automatisch zur Verfügung stehen. Weiterhin vorzugsweise kann das Training hierfür gemeinsam stattfinden. Preferably, existing layers of the artificial neural network are shared with layers for extraction functions so that vehicle occupant features are automatically available. Furthermore, the training for this can preferably take place together.
Vorzugsweise werden die Bereiche unter Verwendung semantischer Segmentierung des Innenraums extrahiert. Darüber hinaus kann die Aufhellung verschiedener Bereiche im Eingangsbild zu einem unterschiedlichen Grad erfolgen, z.B., bei zusätzlicher Ausleuchtung einzelner Bereiche im Innenraum, beispielsweise durch etwa Leselampe oder Licht von außen oder etwa bei besonders dunklen Bereichen im Innenraum, z.B., durch Schatten. Preferably, the areas are extracted using semantic segmentation of the interior space. In addition, different areas in the input image can be brightened to a different degree, e.g. with additional illumination of individual areas in the interior, for example by a reading lamp or light from outside, or in particularly dark areas in the interior, e.g. by shadows.
In bevorzugter Ausgestaltung umfasst der zumindest eine vordefinierte Bereich das Gesicht des zumindest einen Fahrzeuginsassen. Dadurch können besonders gut Fahrzeuginsassenmerkmale wie die Blickrichtung / Bewegung der Augenlider aus den aufgehellten oder in Tageslicht umgewandelten Gesichtsbildes extrahiert werden. Bei Erkennung von Müdigkeit können beispielsweise Warntöne ausgegeben werden oder andere Maßnahmen ergriffen werden. In a preferred embodiment, the at least one predefined area includes the face of the at least one vehicle occupant. As a result, vehicle occupant features such as the direction of view/movement of the eyelids can be extracted particularly well from the facial image that has been brightened or converted to daylight. If tiredness is detected, for example, warning tones can be emitted or other measures can be taken.
Dadurch kann die Sicherheit enorm erhöht werden, insbesondere bei Nachtfahrten, die mit erhöhter Müdigkeit einhergehen. Die Fahrzeuginsassenmerkmale können beispielsweise von einer angeschlossenen Auswerteeinheit extrahiert und bewertet werden, ohne den Fahrzeuginnenraum des Fahrzeugs zu stark und für beispielsweise den Fahrer für die Aufnahme des Eingangsbildes störend zu erhellen. Dies verbessert ebenfalls das trainierte künstliche neuronale Netz aufweisende Bildverarbeitungssystem. This can increase safety enormously, especially when driving at night, which is associated with increased fatigue. The vehicle occupant features can be extracted and evaluated by a connected evaluation unit, for example, without illuminating the interior of the vehicle too much and causing the driver to record the input image, for example, in a disruptive manner. This also improves the trained artificial neural network image processing system.
Weiterhin bevorzugt umfasst der zumindest eine vordefinierte Bereich zumindest die Kopfpose des Fahrzeuginsassen. Diese ist ebenfalls besonders wichtig zum Erkennen von Müdigkeit /Aufmerksamkeit während einer Nachtfahrt. Dies verbessert ebenfalls das trainierte künstliche neuronale Netz aufweisende Bildverarbeitungssystem. Furthermore, the at least one predefined area preferably includes at least the head pose of the vehicle occupant. This is also particularly important for detecting tiredness/alertness during night driving. This also improves the trained artificial neural network image processing system.
Vorzugsweise umfasst der zumindest eine vordefinierte Bereich zumindest die Körperhaltung des Fahrzeuginsassen. Aus einer Körperhaltung kann beispielsweise der Fahraufmerksamkeitspegel des Fahrzeuginsassen geschätzt werden. Auch kann bei einer unausgeglichenen Haltung oder gar gefährlichen Haltung ein Warnton ausgegeben werden. Dies verbessert ebenfalls das trainierte künstliche neuronale Netz aufweisende Bildverarbeitungssystem. The at least one predefined area preferably includes at least the posture of the vehicle occupant. For example, the driving attention level of the vehicle occupant can be estimated from a posture. A warning tone can also be emitted in the event of an unbalanced posture or even a dangerous posture. This also improves the trained artificial neural network image processing system.
Weiterhin vorzugsweise ist das künstliche neuronale Netz als CNN (Convolutional Neural Network) ausgestaltet. Dieses faltende neuronale Netz eignet sich besonders für eine Bildverarbeitung. Dies verbessert ebenfalls das trainierte künstliche neuronale Netz aufweisende Bildverarbeitungssystem. Furthermore, the artificial neural network is preferably designed as a CNN (Convolutional Neural Network). This convolutional neural network is particularly suitable for image processing. This also improves the trained artificial neural network image processing system.
Bei einem solchen künstlichen neuronalen Netz können die Parameter für komplexe Szenen automatisch erlernt werden, indem hierbei die Verbesserungen lokal und adaptiv auf verschiedene Bildbereiche (Personen im Innenraum) angewendet werden. Ferner kann ein solches künstliches neuronales Netz die Rechenzeit reduziert, da das CNN mit CNNs für eine anschließende Extraktion leicht kombinierbar ist. Bei dieser Kombination werden die Fahrzeuginsassenmerkmale im künstlichen neuronalen Netz verbessert, sodass die Extraktionsfunktionen auf Merkmalen arbeiten, welche die niedrigere Ausleuchtung bei Nacht kompensieren können. Such an artificial neural network can automatically learn the parameters for complex scenes by locally and adaptively applying the enhancements to different image areas (people in the interior). Furthermore, such an artificial neural network can reduce the computing time since the CNN can be easily combined with CNNs for a subsequent extraction. With this combination, the vehicle occupant features are enhanced in the artificial neural network so that the extraction functions operate on features that can compensate for the lower illumination at night.
Weiterhin vorzugsweise wird das künstliche neuronale Netz dahingehend trainiert, zur Umwandlung Informationen aus besser ausgeleuchteten Bildbereichen des Eingangsbildes heranzuziehen, um das Ausgangsbild zu generieren. Dies bedeutet, dass bei Vorhandensein von Beleuchtung im Fahrzeuginnenraum Informationen aus den besser beleuchteten Bereichen genutzt werden, um die Umrechnung für die unbeleuchteten Bereiche weiter zu verbessern. Dadurch wird das Ausgangsbild verbessert. Dies verbessert ebenfalls das trainierte künstliche neuronale Netz aufweisende Bildverarbeitungssystem. Vorzugsweise sind mehrere Eingangsbilder bereitgestellt, zur Umwandlung in zumindest ein Ausgangsbild, wobei das künstliche neuronale Netz derart trainiert wird, dass zur Umwandlung eines ersten Eingangsbildes Informationen aus besser ausgeleuchteten Bildbereichen eines zweiten Eingangsbildes herangezogen werden, um den zumindest einen vordefinierten Bereich des zumindest einen Fahrzeuginsassen in voller Ausleuchtung oder Tageslicht als Ausgangsbild zu generieren. Hier wird das Netz dann weniger mit Einzelbildern für jede Kamera individuell trainiert, sondern als Gesamtsystem bestehend aus mehreren Kamerasystemen. Dadurch kann ein künstliches neuronales Netz auf die Gegebenheiten der einzelnen Innenräume angepasst werden und ein verbessertes Ergebnis erzielt werden. Dies verbessert ebenfalls das trainierte künstliche neuronale Netz aufweisende Bildverarbeitungssystem. Furthermore, the artificial neural network is preferably trained to use information from better illuminated image areas of the input image for the conversion in order to generate the output image. This means that when there is lighting in the passenger compartment, information from the better lit areas is used to further improve the conversion for the unlit areas. This improves the original image. This also improves the trained artificial neural network image processing system. A plurality of input images are preferably provided for conversion into at least one output image, with the artificial neural network being trained in such a way that information from better illuminated image areas of a second input image is used to convert a first input image in order to convert the at least one predefined area of the at least one vehicle occupant into to generate full illumination or daylight as the initial image. Here, the network is trained less with individual images for each camera, but as an overall system consisting of several camera systems. As a result, an artificial neural network can be adapted to the conditions of the individual interior spaces and an improved result can be achieved. This also improves the trained artificial neural network image processing system.
Vorzugsweise sind Informationen, zum Ausgleich fehlender Färb- und/oder Kontrast und/oder Helligkeitsinformationen bereitgestellt, wobei das künstliche neuronale Netz dazu trainiert wird, die Umwandlung unter Verwendung der bereitgestellten Färb- und /oder Kontrastinformationen zu generieren. Dies bedeutet, dass Helligkeitswerte bzw. Luminanzwerte und/oder Farbinformationen und/oder Kontrastinformationen bereitgestellt werden, mit denen das künstliche neuronale Netz eine verbesserte Umwandlung erzielt. Information is preferably provided to compensate for missing color and/or contrast and/or brightness information, the artificial neural network being trained to generate the conversion using the color and/or contrast information provided. This means that brightness values or luminance values and/or color information and/or contrast information are provided, with which the artificial neural network achieves improved conversion.
Vorzugsweise wird der Aufhellungsgrad stufenweise erlernt. The degree of lightening is preferably learned in stages.
Somit kann das Verfahren die Bereiche mit Personen im Bild um einen Faktor d aufhellen, wobei dieser Faktor d dynamisch an die vorherrschenden Lichtverhältnisse angepasst werden kann. Insbesondere kann der Faktor d für die einzelnen Bildbereiche, z.B., Fahrer oder Insassen im Rückraum, separat angepasst werden, so dass lokal auf unterschiedliche Beleuchtungsverhältnisse im Innenraum eingegangen werden kann. The method can thus brighten the areas with people in the image by a factor d, with this factor d being dynamically adaptable to the prevailing lighting conditions. In particular, the factor d can be adjusted separately for the individual image areas, e.g. driver or occupants in the rear area, so that different lighting conditions in the interior can be taken into account locally.
In weiterer Ausgestaltung wird das künstliche neuronale Netz trainiert eine Gammakorrektur und/oder einen Weißabgleich und/oder eine Histogrammäqualisation nachzubilden. Dazu wird dem künstlichen neuronalen Netz ein Datensatz bestehend aus „dunklen Eingangsbildern (Nachtaufnahmen)“ und den dazugehörigen „taghellen“ oder „ausgeleuchteten Bildern“ zur Verfügung gestellt. Je nach Art des Trainings wird das künstliche neuronale Netz dazu konfiguriert, Verfahren wie Weißabgleich, Gammakorrektur und Histogrammäqualisation in einer optimalen Weise nachzubilden. Dabei versteht man unter Weißabgleich im Wesentlichen die Anpassung an die Farbtemperatur des Lichts. In a further embodiment, the artificial neural network is trained to simulate a gamma correction and/or a white balance and/or a histogram equalization. For this purpose, the artificial neural network is given a data set consisting of "dark input images (night shots)" and the associated "bright as day" or "illuminated pictures" are made available. Depending on the type of training, the artificial neural network is configured to optimally emulate methods such as white balance, gamma correction and histogram equalization. White balance is essentially the adjustment to the color temperature of the light.
Unter Gammakorrektur wird eine in der Bildverarbeitung oft verwendete Korrekturfunktion verstanden, welche beispielsweise die Helligkeitsinformation von Bildpunkten verändert. Die Histogrammäqualisation ist ein Verfahren zur Kontrastverbesserung in Grauwertbildern, das über eine bloße Kontrastverstärkung hinausgeht. Gamma correction is a correction function that is often used in image processing and changes the brightness information of pixels, for example. Histogram equalization is a method for improving contrast in gray-scale images that goes beyond mere contrast enhancement.
Auf diese Art lassen sich sehr dunkle Eingangsbilder in entsprechende Ausgangsbilder umwandeln, welche für eine merkmalsbasierte Erkennung oder eine Betrachtung vorteilhaft ist. In this way, very dark input images can be converted into corresponding output images, which is advantageous for feature-based recognition or viewing.
Vorzugsweise werden Bildqualitätsinformationen bereitgestellt, wobei das künstliche neuronale Netz dazu trainiert wird, die Umwandlung unter Verwendung der bereitgestellten Bildqualitätsinformationen zu generieren. Dadurch kann das Netz dahingehend trainiert werden, Ausgangsbilder zu erzeugen, welche für beispielsweise Computer Vision und Human Vision optimierte Bilddaten berechnet. Unter Computer Vision / Human Vision wird der Versuch verstanden, dabei die von Kameras aufgenommenen Bilder auf unterschiedlichste Art und Weise zu verarbeiten und zu analysieren, um deren Inhalt zu verstehen oder geometrische Informationen zu extrahieren. Image quality information is preferably provided, and the artificial neural network is trained to generate the conversion using the image quality information provided. In this way, the network can be trained to generate output images which calculate image data optimized for computer vision and human vision, for example. Computer vision / human vision is understood as the attempt to process and analyze the images recorded by cameras in a wide variety of ways in order to understand their content or extract geometric information.
Durch ein solch verbessertes künstliches neuronales Netz kann im Bildverarbeitungssystem ein verbessertes Ausgangsbild erzeugt werden. Vorzugsweise wird das künstliche neuronale Netz dazu trainiert, das Eingangsbild in ein vollständig ausgeleuchtetes oder in Tageslicht dargestelltes Ausgangsbild umzuwandeln. Vorzugsweise sind ein oder mehrere Bildsensoren zur Aufnahme des zumindest einen Fahrzeuginsassen vorgesehen. Die Bildsensoren können als Kameras ausgestaltet sein. Dadurch wird eine gute Abdeckung des Fahrzeuginnenraums erzielt. An improved output image can be generated in the image processing system by such an improved artificial neural network. The artificial neural network is preferably trained to convert the input image into an output image which is fully illuminated or displayed in daylight. One or more image sensors are preferably provided for recording the at least one vehicle occupant. The image sensors can be designed as cameras. This achieves good coverage of the vehicle interior.
Weiterhin vorzugsweise ist der eine oder mehrere Bildsensor als Weitwinkelkamera ausgebildet. Dadurch kann mit wenigen Kameras eine gute Abdeckung erzielt werden. Furthermore, the one or more image sensors are preferably embodied as a wide-angle camera. This allows good coverage to be achieved with just a few cameras.
Ferner wird die Aufgabe gelöst durch eine Verwendung des wie oben beschriebenen Bildverarbeitungssystems in einem Fahrzeuginnenraum eines Fahrzeugs zur Überwachung zumindest eines Fahrzeuginsassen. Furthermore, the object is achieved by using the image processing system as described above in a vehicle interior of a vehicle for monitoring at least one vehicle occupant.
Weitere Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung unter Bezugnahme auf die beiliegenden Figuren. Further properties and advantages of the present invention emerge from the following description with reference to the enclosed figures.
Darin zeigen schematisch: It shows schematically:
FIG 1 : ein erfindungsgemäßes Verfahren schematisch, und 1 shows a method according to the invention schematically, and
FIG 2: ein erfindungsgemäßes Bildverarbeitungssystem schematisch in einem Fahrzeuginnenraum, und 2: an image processing system according to the invention schematically in a vehicle interior, and
FIG 3: ein von einem Fahrer mittels eines erfindungsgemäßen Bildverarbeitungssystems aufgenommenen Eingangsbild (links) und umgewandelten Ausgangsbild (rechts), und 3: an input image (left) and converted output image (right) recorded by a driver using an image processing system according to the invention, and
FIG 4: zeigt eine weitere Ausführungsform eines erfindungsgemäßen Verfahrens schematisch. 4 shows a further embodiment of a method according to the invention schematically.
FIG 1 zeigt ein Trainieren eines erfindungsgemäßen neuronalen Netzes schematisch. Dieses erhält in einem ersten Schritt S1 als Eingangsbilder 6 (FIG 3) Nachtaufnahmen aus dem Fahrzeuginnenraum eines Fahrzeugs 1 (FIG 2), welche zumindest einen Fahrzeuginsassen, beispielsweise den Fahrer zeigt. 1 shows a training of a neural network according to the invention schematically. In a first step S1, this receives as input images 6 (FIG. 3) Night shots from the vehicle interior of a vehicle 1 (FIG 2), which shows at least one vehicle occupant, for example the driver.
Das Eingangsbild 6 (FIG 3) wird vorzugsweise von Bildsensoren, wie Weitwinkelkameras erzeugt. The input image 6 (FIG. 3) is preferably generated by image sensors such as wide-angle cameras.
Das künstliche neuronale Netz ist dabei vorzugsweise als CNN Convolutional Neural Network) ausgestaltet. Dieses faltendes neuronale Netz eignet sich besonders für eine maschinelle Bildverarbeitung. Ein solches Netz weist beispielsweise mehrere Ebenen auf. The artificial neural network is preferably in the form of a CNN convolutional neural network. This convolutional neural network is particularly suitable for machine image processing. Such a network has, for example, several levels.
Anschließend wird das künstliche neuronale Netz in einem Schritt S6 dahingehend trainiert, die Nachtaufnahme in ein aufgehelltes Ausgangsbild oder Tagbild (Nachtaufnahme in Tageslicht) umzuwandeln. Dazu werden mehrere Nachtaufnahmen mit verschiedenen Kontraststufen/Farbinformationen und dazugehörigen gewünschten Ausgangsbildern 7 (FIG 3) während des Trainings verwendet. The artificial neural network is then trained in a step S6 to convert the night shot into a brightened initial image or day image (night shot in daylight). For this purpose, several night recordings with different contrast levels/color information and associated desired initial images 7 (FIG. 3) are used during the training.
Vorzugsweise wird das gesamte Eingangsbild 6 (FIG 3) umgewandelt. The entire input image 6 (FIG. 3) is preferably converted.
Das künstliche neuronale Netz kann aber auch dahingehend trainiert werden, lediglich verschiedene Bereiche aus dem Eingangsbild 6 (FIG 3) aufzuhellen oder in ein Tagbild umzuwandeln. Dies können besonders das Gesicht, die Kopfpose und die Haltung sein. So kann aus diesen Fahrzeuginsassenmerkmalen besonders auf einen physischen Zustand (Müdigkeit, Unkonzentriertheit etc.) geschlossen werden, beispielsweise durch Extraktion der Blickrichtung, der Bewegung der Augenlider etc. und ggf. geeignete Maßnahmen bei schlechten physischen Zustand getroffen werden. Dadurch kann eine sicherere Fahrt garantiert werden. Diese Bereiche können beispielsweise unter Verwendung semantischer Segmentierung des Innenraums extrahiert werden. Darüber hinaus kann die Aufhellung verschiedener Bereiche im Eingangsbild zu einem unterschiedlichen Grad erfolgen, z.B., bei zusätzlicher Ausleuchtung einzelner Bereiche im Innenraum (durch etwa Leselampe oder Licht von außen) oder etwa bei besonders dunklen Bereichen im Innenraum, z.B., durch Schatten. Ferner kann als zusätzlicher Schritt S2 das künstliche neuronale Netz dahingehend trainiert werden, bei Vorhandensein von Beleuchtung im Fahrzeuginnenraum zur Umwandlung Informationen aus besser ausgeleuchteten Bildbereichen des Eingangsbildes 6 (FIG 3) heranzuziehen, um das Ausgangsbild zu generieren. Dadurch kann die Umwandlung für die unbeleuchteten Bereiche weiter verbessert werden, und ein besseres Ausgangsbild erzielt werden. However, the artificial neural network can also be trained to merely brighten different areas from the input image 6 (FIG. 3) or to convert them into a day image. This can be especially the face, head pose and posture. A physical condition (tiredness, lack of concentration, etc.) can be inferred from these vehicle occupant characteristics, for example by extracting the direction of view, the movement of the eyelids, etc. and, if necessary, suitable measures can be taken in the event of a poor physical condition. This can guarantee a safer ride. These areas can be extracted, for example, using semantic segmentation of the interior. In addition, different areas in the input image can be brightened to a different degree, e.g. with additional illumination of individual areas in the interior (e.g. by a reading lamp or light from outside) or in particularly dark areas in the interior, e.g. by shadows. Furthermore, as an additional step S2, the artificial neural network can be trained to use information from better illuminated image areas of the input image 6 (FIG. 3) for conversion when there is lighting in the vehicle interior in order to generate the output image. This allows the conversion for the unlit areas to be further improved and a better output image can be achieved.
Während des Trainings werden dazu vorzugsweise Bildpaare mit unterschiedlicher Belichtungszeit aufgenommen. Diese Bildpaare werden herangezogen, um das künstliche neuronale Netz derart zu trainieren, dass es länger belichtete Ausgangsbilder basierend auf kürzer belichteten Eingangsbildern rekonstruieren kann. Diese Ausgangsbilder ähneln anschließend Aufnahmen bei Tageslicht und es können weitere Algorithmen zur detaillierten Erkennung von Fahrzeuginsassenmerkmalen auf den Gesichtern oder der Posen auf diesen Ausgangsbilder angewandt werden. For this purpose, image pairs with different exposure times are preferably recorded during the training. These pairs of images are used to train the artificial neural network in such a way that it can reconstruct output images with longer exposures based on input images with shorter exposures. These baseline images are then similar to daylight shots, and further algorithms can be applied to detailed detection of vehicle occupant features on the faces or poses on these baseline images.
Ferner kann als zusätzlicher Schritt S3 das künstliche neuronale Netz dahingehend trainiert werden, die Umwandlung unter Verwendung von bereitgestellten Farb- und/ oder Kontrastinformationen zu generieren. Dazu werden in der Netzwerkstruktur gespeicherte Informationen genutzt, um fehlende Färb- oder Kontrastinformationen im Ausgangsbild automatisch zu ergänzen. Dadurch könnten beispielsweise Verfahren wie Gammakorrektur und/oder Weißabgleich und/oder Histogrammäqualisation in einer optimierten Weise nachgebildet werden. Auf diese Art lassen sich sehr dunkle Bilder in eine Darstellung umwandeln, welche für eine merkmalsbasierte Erkennung oder eine Betrachtung vorteilhaft sind. Furthermore, as an additional step S3, the artificial neural network can be trained to generate the conversion using provided color and/or contrast information. Information stored in the network structure is used to automatically supplement missing color or contrast information in the original image. In this way, for example, methods such as gamma correction and/or white balance and/or histogram equalization could be simulated in an optimized manner. In this way, very dark images can be converted into a representation that is advantageous for feature-based recognition or viewing.
In einem zusätzlichen Schritt S4 wird das künstliche neuronale Netz trainiert eine Gammakorrektur und/oder Weißabgleich und/oder Histogrammäqualisation nachzubilden. Dazu wird das künstliche neuronale Netz anhand eines Datensatzes bestehend aus „dunklen Eingangsbildern (Nachtaufnahmen)“ und den dazugehörigen „taghellen“ oder „ausgeleuchteten Bildern“ trainiert. Je nach Art des Trainings wird das künstliche neuronale Netz dazu konfiguriert Verfahren wie Gammakorrektur und Histogrammäqualisation etc. nachzubilden. Auf diese Art lassen sich sehr dunkle Eingangsbilder 6 (FIG 3) in Ausgangsbilder 7 (FIG 3) umwandeln, welche für eine merkmalsbasierte Erkennung oder eine Betrachtung vorteilhaft sind. In an additional step S4, the artificial neural network is trained to simulate a gamma correction and/or white balance and/or histogram equalization. For this purpose, the artificial neural network is trained using a data set consisting of "dark input images (night shots)" and the associated "bright as day" or "illuminated images". Depending on the type of training, the artificial neural network is configured to emulate methods such as gamma correction and histogram equalization, etc. In this way, very dark input images 6 (FIG. 3) can be converted into output images 7 (FIG. 3), which are advantageous for feature-based recognition or viewing.
Ferner kann in einem zusätzlichen weiteren Schritt S5 das künstliche neuronale Netz dahingehend trainiert werden, die Umwandlung unter Verwendung von Informationen zur Bildqualität zu generieren. Dazu werden in der Netzwerkstruktur vorhandene, hinsichtlich Bildqualität, gespeicherte Informationen genutzt, um ein besseres Ausgangsbild zu erzielen. Dadurch wird das Ausgangsbild beispielsweise dahingehend optimiert, dass es für Computer Vision und Human Vision optimierte Bilddaten berechnet. Furthermore, in an additional further step S5, the artificial neural network can be trained to generate the conversion using information on the image quality. For this purpose, information stored in the network structure regarding image quality is used in order to achieve a better initial image. As a result, the output image is optimized, for example, in that it calculates image data optimized for computer vision and human vision.
Die Schritte S2-S5 können jeweils einzeln zusätzlich oder in beliebiger Kombination in das Verfahren einfließen. Steps S2-S5 can each be included in the method individually or in any combination.
FIG 2 zeigt ein Fahrzeug 1 mit dem erfindungsgemäßen Bildverarbeitungssystem 2, welches ein mit dem erfindungsgemäßen Verfahren trainiertes künstliches neuronales Netz 3 aufweist. Das Fahrzeug 1 weist einen Fahrzeuginnenraum 4 auf, welcher Innenraumkameras 5 zur Aufnahme der Fahrzeuginsassen aufweist. Die Innenraumkameras 5 können insbesondere Weitwinkelkameras sein. In einem solchen Fall wird das künstliche neuronale Netz 3 weniger mit Einzelbildern für jede Innenraumkamera 5 individuell trainiert, sondern als Gesamtsystem bestehend aus den mehreren Innenraumkameras 5. 2 shows a vehicle 1 with the image processing system 2 according to the invention, which has an artificial neural network 3 trained with the method according to the invention. The vehicle 1 has a vehicle interior 4 which has interior cameras 5 for recording the vehicle occupants. The interior cameras 5 can in particular be wide-angle cameras. In such a case, the artificial neural network 3 is trained less with individual images for each interior camera 5, but as an overall system consisting of the multiple interior cameras 5.
Das Bildverarbeitungssystem 2 kann als eine hardwarebasierten Bildvorverarbeitungsstufe in einer ISP (Image Signal Processor) der ISP, integriert sein. Das Bildverarbeitungssystem 2 kann im ISP die entsprechende Umwandlung vornehmen und beispielsweise die aufbereiteten Informationen mit den Originaldaten möglichen Detektions- oder Anzeigefunktionen zur Verfügung stellen. Durch das erfindungsgemäße Bildverarbeitungssystem 2 wird ein System zur Verbesserung der Bildqualität bei unzureichender Beleuchtung angegeben. Ferner wird durch das erfindungsgemäße Bildverarbeitungssystem 2 eine Verbesserung der Bildqualität bei der Anzeige oder Verarbeitung von Nachtaufnahmen, ohne dass eine zusätzliche Beleuchtung benötigt wird, welche den Fahrzeuginnenraum 4 aufhellt, erzielt. Gerade bei der Verwendung von Weitwinkelkameras ist dies von besonderem Vorteil. Mittels des erfindungsgemäßen Bildverarbeitungssystems 2, welches das erfindungsgemäße trainierte künstliche neuronale Netz 3 aufweist, können somit Bilddatenströme für Anwendungen im Fahrzeuginnenraum 4 generiert werden. Anhand der zumindest deutlich aufgehellten Bereiche von Interesse, wie Gesicht des Fahrzeuginsassen, können Merkmale extrahiert werden und einer Weiterverarbeitungseinheit zugeführt werden. Diese kann dann beispielsweise diese Merkmale analysieren und Maßnahmen bei Abweichung von Sollwerten durchführen. The image processing system 2 can be integrated as a hardware-based image pre-processing stage in an ISP (Image Signal Processor) of the ISP. The image processing system 2 can carry out the corresponding conversion in the ISP and, for example, make the processed information available with the original data for possible detection or display functions. The image processing system 2 according to the invention specifies a system for improving the image quality in the event of insufficient lighting. Furthermore, the image processing system 2 according to the invention improves the image quality when displaying or processing night shots without additional lighting is required, which brightens the vehicle interior 4. This is a particular advantage when using wide-angle cameras. Image data streams for applications in the vehicle interior 4 can thus be generated by means of the image processing system 2 according to the invention, which has the artificial neural network 3 trained according to the invention. Based on the at least clearly brightened areas of interest, such as the face of the vehicle occupant, features can be extracted and fed to a further processing unit. This can then, for example, analyze these characteristics and carry out measures if there are deviations from the target values.
Durch das erfindungsgemäße Bildverarbeitungssystem 2 können die Nachtaufnahmen der zugrundeliegenden Innenraumkameras 5 ohne zusätzliche Beleuchtung trotz Dunkelheit und fehlenden Farbinformationen schnell, kostengünstig und ohne störende zusätzliche Innenraumbeleuchtung in eine Darstellung umgewandelt werden, welche einer Aufnahme bei voller Ausleuchtung oder Tageslicht entspricht. The image processing system 2 according to the invention enables the nighttime recordings of the underlying interior cameras 5 to be converted into a display that corresponds to a recording with full illumination or daylight without additional lighting, despite darkness and a lack of color information, quickly, inexpensively and without disruptive additional interior lighting.
Das erfindungsgemäße Bildverarbeitungssystem 2 ermöglicht ohne zusätzliche Beleuchtung mittels des trainierten neuronalen Netzes 3 eine gute Ausleuchtung von schwach oder unzureichend ausgeleuchteten Bereichen. The image processing system 2 according to the invention enables poorly or insufficiently illuminated areas to be well illuminated by means of the trained neural network 3 without additional illumination.
FIG 3 zeigt ein Eingangsbild 6 welches mittels dem erfindungsgemäßen Bildverarbeitungssystem 2 und dem erfindungsgemäß trainierten künstlichen neuronalen Netz 3 umgewandelt wurde. Dabei ist das trainierte künstliche neuronale Netz 3 hier als CNN ausgebildet. Mittels des Bildverarbeitungssystems 2 und dem erfindungsgemäß trainierten künstlichen neuronalen Netz 3 kann aus einem dunklen Eingangsbild 6 ein deutlich verbessertes Ausgangsbild 7 beispielsweise für die Erkennung der Kopfpose oder Körperhaltung erzeugt werden. 3 shows an input image 6 which was converted by means of the image processing system 2 according to the invention and the artificial neural network 3 trained according to the invention. The trained artificial neural network 3 is designed here as a CNN. Using the image processing system 2 and the artificial neural network 3 trained according to the invention, a significantly improved output image 7 can be generated from a dark input image 6, for example for recognizing the head pose or body posture.
FIG 4 zeigt eine weitere Ausführungsform eines erfindungsgemäßen Verfahrens.4 shows a further embodiment of a method according to the invention.
Die Schritte S11 bis S15 entsprechen hier den Schritten S1 bis S5 der Figur 1. In Schritt S16 wird das künstliche neuronale Netz wie in dem Schritt S6 in Figur 1 dahingehend trainiert, Nachtaufnahmen oder Eingangsbilder in aufgehellte Ausgangsbilder oder Tagbilder (Nachtaufnahme in Tageslicht) umzuwandeln. Dazu werden mehrere Nachtaufnahmen mit verschiedenen Kontraststufen/Farbinformationen und dazugehörigen gewünschten Ausgangsbildern 7 (FIG 3) während des Trainings verwendet. Steps S11 to S15 here correspond to steps S1 to S5 of FIG In step S16, the artificial neural network is trained, as in step S6 in FIG. 1, to convert night shots or input images into brightened output images or day images (night shot in daylight). For this purpose, several night recordings with different contrast levels/color information and associated desired initial images 7 (FIG. 3) are used during the training.
Zudem wird das künstliche neuronale Netzwerk in Schritt S16 dahingehend trainiert, vordefinierte Bereiche in erfassten Nachtaufnahmen zu identifizieren und zu bestimmen, die es aufzuhellen gilt. Der vordefinierte Bereich kann dabei auch die gesamte Nachtaufnahme beinhalten. Vordefinierte Bereiche in den erfassten Nachtaufnahmen können sich in der gewünschten Aufhellung unterscheiden. Hierzu können im Bild unterschiedliche Bereiche bestimmt werden, z.B., über statistischen Berechnungen, über semantische Segmentierung und/oder über Informationen über unterschiedliche Bereiche aus Aufnahmen zu vorherigen Zeitpunkten. Die zuvor genannten Arten der Bereichsbestimmung sind lediglich beispielhaft und nicht als abschließend zu betrachten. Im Detail kann es beispielsweise eine Variante ein, dass das Netzwerk neben dem aufgehellten Bild eine semantische Segmentierung ausgibt, welche als Prior in einem folgenden Zeitschrift verwendet wird. Eine weitere Variante kann es beispielsweise sein, dass das Netzwerk eine Segmentierung in hellere und dunklere Bereiche verwendet. Diese Segmentierung kann beispielsweise aus einem vorhergehenden Zeitschrift t-1 , aus einem separaten Netzwerk oder aus einem Multitasknetzwerk erhalten werden, welches zunächst eine Mappe für Bildregionen ausgibt und anschließend eine Aufhellungsverbesserung basierend auf dieser Mappe durchführt. Letzteres ist ein zweischrittiger Ansatz, bei welchem Netzwerkberechnungen aus dem ersten Schritt für den zweiten Schritt wiederverwendet werden können, z.B., die Berechnungen der ersten Netzwerkschichten. In addition, the artificial neural network is trained in step S16 to identify and determine predefined areas in captured nighttime images that are to be brightened. The predefined area can also include the entire night shot. Predefined areas in the recorded night shots can differ in the desired brightening. For this purpose, different areas can be determined in the image, e.g., using statistical calculations, using semantic segmentation and/or using information about different areas from recordings made at previous times. The types of range determination mentioned above are only examples and should not be regarded as conclusive. In detail, there can be a variant, for example, in which the network outputs a semantic segmentation in addition to the brightened image, which is used as a prior in a subsequent journal. A further variant can be, for example, that the network uses segmentation into lighter and darker areas. This segmentation can be obtained, for example, from a previous journal t-1 , from a separate network or from a multitasking network which first outputs a map for image regions and then performs a brightening enhancement based on this map. The latter is a two-step approach, where network calculations from the first step can be reused for the second step, e.g., the calculations of the first network layers.
Zudem wird das künstliche neuronale Netzwerk dazu trainiert, individuell für jeden bestimmten Bereich einen Aufhellungsgrad zu bestimmen. Das künstliche neuronale Netzwerk wird ferner dazu trainiert anschließend an die Bestimmung der vordefinierten Bereiche und die individuelle Ermittlung des Aufhellungsgrades für die bestimmten Bereiche den ermittelten Aufhellungsgrad zu verwenden, um die bestimmten Bereiche um den Aufhellungsgrad aufzuhellen. Dabei wird dem künstlichen neuronalen Netz ein Faktor d beigebracht, der der Parametrierung der Ausleuchtung einzelner Bildbereiche entspricht und der den Aufhellungsgrad mitbestimmt. Mit anderen Worten repräsentiert der Faktor d das Verhältnis zwischen dem Belichtungsverhältnis des Eingangsbildes und dem Belichtungsverhältnis des aufgehellten Ausgangsbildes des neuronalen Netzes. Durch den Faktor d werden die bestimmten Bereiche dynamisch an vorherrschende Lichtverhältnisse in einem Fahrzeuginnenraum angepasst. Insbesondere kann dabei das künstliche neuronale Netz dahingehend trainiert werden, dass der Faktor d für einzelne Bildbereiche, z.B., Fahrer oder Insassen im Rückraum, separat angepasst wird, so dass lokal auf unterschiedliche Beleuchtungsverhältnisse im Innenraum eingegangen werden kann. Insofern mehrere Bereiche durch das neuronale Netz bestimmt wurden, die es aufzuhellen gilt, kann für jeden Bereich ein anderer Faktor d mit in die Aufhellung einfließen. So kann beispielsweise für einen ersten bestimmten Bereich ein erster Faktor d und für einen zweiten bestimmten Bereich ein zweiter Faktor d, der sich von dem ersten Faktor d unterscheidet, genutzt werden, um in die Aufhellung der entsprechenden Bereiche einzufließen. In addition, the artificial neural network is trained to individually determine a degree of brightening for each specific area. The artificial neural network is also trained for this purpose, following the determination of the predefined areas and the individual determination of the degree of brightening for the specific areas to use the determined lightening level to lighten the specific areas around the lightening level. The artificial neural network is given a factor d, which corresponds to the parameterization of the illumination of individual image areas and which also determines the degree of brightening. In other words, the factor d represents the ratio between the exposure ratio of the input image and the exposure ratio of the brightened output image of the neural network. The specific areas are dynamically adapted to the prevailing light conditions in a vehicle interior by the factor d. In particular, the artificial neural network can be trained such that the factor d is adjusted separately for individual image areas, eg, driver or occupants in the rear area, so that locally different lighting conditions in the interior can be addressed. If several areas have been determined by the neural network that are to be brightened, a different factor d can be included in the brightening for each area. For example, a first factor d can be used for a first specific area and a second factor d, which differs from the first factor d, can be used for a second specific area in order to be included in the brightening of the corresponding areas.
Der Faktor d kann optional wie folgt erlernt werden und/oder folgendes aufweisen: a) Während des Trainings stehen Bilder mit unterschiedlichen Belichtungszeiten zur Verfügung. Hierdurch kann das künstliche neuronale Netz den Aufhellungsgrad stufenweise erlernen. Für das Training wird jeweils ein Bildpaar aus einem kurz belichtetem und einem länger belichtetem Bild gewählt und das Verhältnis der Belichtungszeiten berechnet. Dies entspricht dem Faktor d während des Trainings. Das kürzer belichtete Bild und somit das dunklere Bild wird als Eingang dem Netzwerk zur Verfügung gestellt. Das Bild mit der längeren Belichtungszeit wird als Ground Truth für die Berechnung des Losses verwendet. Bei der Berechnung des Losses wird der Ausgang des Netzwerkes mit der Ground Truth verglichen. Ziel ist es hierbei, dass das Netzwerk lernt, für kürzer belichtete Bilder eine hellere Aufnahme zu rekonstruieren und den Faktor d variabel zu halten, um somit eine Rekonstruktion verschiedener Grade an Aufhellung zu ermöglichen. Der Faktor d repräsentiert somit eine künstliche Belichtungszeit und das Netzwerk lernt ein Bild mit einer anderen Belichtungszeit zu rekonstruieren. Dies ist insbesondere für dynamische Umgebungen relevant, in welchen die real zu verwendende Belichtungszeit auf kurze Zeiten eingeschränkt ist, um eine ausreichende Bildschärfe zu ermöglichen. b) Ist das Netzwerk erst einmal trainiert, kann der Faktor d variabel zur Laufzeiteingestellt werden, also im Betrieb eines Bildverarbeitungssystems, das ein entsprechend trainiertes, neuronales Netz verwendet. Beispielsweise wird zur Laufzeit eine Nachtaufnahme mit einer der Umgebung angemessenen Belichtungszeit aufgenommen, um eine ausreichende Bildschärfte in einer dynamischen Umgebung zu ermöglichen. Dies führt in der Regel zu dunklen Aufnahmen. Das trainierte Netzwerk wird auf diese Aufnahmen angewandt und der Faktor d so eingestellt, dass eine ausreichende Aufhellung im Bild erreicht wird, z.B., ähnlich einer Tagaufnahme. Der Faktor d kann hierbei über verschiedene Möglichkeiten bestimmt werden, wie, z.B., aus einer Bestimmung der Helligkeit der Aufnahme, aus der Aufhellung des vorherigen Bildes zum Zeitschrift t-1 , aus statistischen Berechnungen über die Güte der Helligkeit im Bild und der notwendigen Aufhellung, aus einem Netzwerk, welches die Schätzung des Faktors d lernt, etc. c) Der Faktor d kann lokal angewandt werden. Hierbei wird das Training um die Anpassung des Faktors d an Bildregionen erweitert. Es werden Bildregionen bestimmt, welche eine unterschiedliche Aufhellung benötigen, z.B., schlecht und gut ausgeleuchtete Bildbereiche. Die Trainingsbildpaare können sich für die Regionen hierbei in der Belichtungszeit der Ground Truth und des Netzwerkeingangs unterscheiden, sodass ein Faktor d auf Bereiche im Netzwerk gelernt werden kann und einzelne Bereiche stärker aufgehellt werden können. Somit wird der Loss auf den ausgewählten Bereichen im Bild berechnet und für die verschiedenen Bereiche können Aufnahmen der gleichen Szene mit unterschiedlichen Belichtungszeiten herangezogen werden. Ein Beispiel hierfür ist, dass für einen gut ausgeleuchteten Fahrer eine Ground Truth mit mittlerer Belichtungszeit ausreichend ist, während für z.B., die Insassen auf den Rücksitzen eine Ground Truth mit längerer Belichtungszeit verwendet wird und hierfür somit der Faktor d für den Fahrer dementsprechend niedriger ist als für den Bereich der Insassen auf der Rückbank. Um den Faktor d robust für verschieden starke Aufhellungen in Bildregionen zu lernen, können auch für die Bildregionen des Bildeingangs des neuronalen Netzwerkes Bilder mit unterschiedlichen Belichtungszeiten verwendet werden und diese mit verschiedenen Ground Truth mit anderer Belichtungszeit regionsweise kombiniert werden. Hierbei wird der Faktor d während des Trainings für einzelne Bildregionen aus dem Verhältnis der Ground Truth zu der Bildaufnahme am Netzwerkeingang berechnet. Der Netzwerkeingang wird somit aus verschiedenen Bildern regionsweise zusammengesetzt und ebenso wird der Loss basierend auf den gleichen Bildregionen regionsweise berechnet, indem das Referenzbild für die Verlustberechnung regionsweise aus den zu den Bildregionen im Eingangsbild korrespondierenden Ground Truth Aufnahmen zusammengesetzt wird. d) Der Faktor d ist ein Eingangsparameter des neuronalen Netzwerkes, basierend auf welchem das Netzwerk unterschiedliche Grade der Ausleuchtungsverbesserung lernt und rekonstruieren kann. Der Faktor d kann an eine oder mehrere Schichten des Netzwerkes als Eingangsparameter hinzugefügt werden. Der Faktor d kann auch mit einem zusätzlichen Netzwerk kombiniert werden, welches die Abbildung des Faktors d auf das Netzwerk zur Ausleuchtungsverbesserung berechnet, z.B. eine Skalierung auf die Größe der Eingangs- oder Merkmalsschichten des neuronalen Netzwerkes zur Ausleuchtungsverbesserung, Relevanz des Faktors d auf einzelne Bildregionen in der Eingangs- oder den Merkmalsschichten des neuronalen Netzwerkes zur Ausleuchtungsverbesserung. e) Zum Erlernen des bzw. der Faktoren d kann das künstliche neuronale Netz beispielsweise mit mehreren Eingangsbildern, die unterschiedliche Belichtungszeiten, aber ansonsten identisch sind, und einem dazugehörigen gewünschten Ausgangsbild, trainiert werden. Alternativ oder zusätzlich kann der Faktor d aus einer nachgelagerten Anwendung berechnet werden, welche beispielsweise anhand der Qualität einer möglichen Detektion auf Basis bereitgestellter und aufgehellter Bilder den besten Faktor für eine Bildaufhellung ermittelt. Dies kann sowohl beim Trainieren eines neuronalen Netzes als auch online in der Anwendung zur Laufzeit umgesetzt werden. Dadurch kann das künstliche neuronale Netz den Aufhellungsgrad stufenweise erlernen. Zusätzlich können die Eingangsbilder bereits unterschiedlich ausgeleuchtet sein, um dadurch eine dynamische Ausleuchtung in den Eingangsbildern zu simulieren, und so das künstliche neuronale Netz zu trainieren. Zu dem Training des künstlichen neuronalen Netzes gehört auch die Ausgabe von Ausgangsbildern 7 durch das künstliche neuronale Netz, welche zumindest den einen vordefinierten Bereich des zumindest einen Fahrzeuginsassen in voller Ausleuchtung oder Tageslicht umfassen, so dass durch die in voller Ausleuchtung oder Tageslicht aufgehellten Bereiche eine Extraktion vorgegebener Fahrzeuginsassenmerkmale ermöglicht wird. Diese ausgegeben Ausgangsbilder können im Training beispielsweise dazu genutzt werden, um sie mit gewünschten Ausgangsbildern zu vergleichen. In einer weiteren Anwendung können diese Bilder auch einer nachgelagerten Anwendung zur Verfügung gestellt werden, die beispielsweise anhand einer Detektionsgüte die Qualität der aufgehellten Bilder bewertet. Somit kann beispielsweise ein Training so lange fortgesetzt werden, bis ein ausgegebenes Ausgangsbild bestimmte Anforderungen erfüllt und möglichst genau mit einem gewünschten Ausgangsbild übereinstimmt. The factor d can optionally be learned as follows and/or have the following: a) Images with different exposure times are available during the training. As a result, the artificial neural network can gradually learn the degree of brightening. For the training, an image pair is selected from a short exposure and a longer exposure image and the ratio of the exposure times is calculated. This corresponds to the factor d during training. The shorter exposed image and thus the darker image is made available as input to the network. The image with the longer exposure time is used as ground truth for calculating the loss. When calculating the loss, the output of the network is compared with the ground truth. The aim here is that the network learns to reconstruct a brighter image for shorter exposed images and to keep the factor d variable in order to enable a reconstruction of different degrees of brightening. The factor d thus represents an artificial exposure time and the network learns to reconstruct an image with a different exposure time. This is particularly relevant for dynamic environments in which the actual exposure time to be used is limited to short times in order to enable sufficient image sharpness. b) Once the network has been trained, the factor d can be set variably at runtime, i.e. during operation of an image processing system that uses a suitably trained neural network. For example, a night shot is taken at runtime with an exposure time that is appropriate to the environment in order to enable sufficient image sharpness in a dynamic environment. This usually leads to dark recordings. The trained network is applied to these images and the factor d is set in such a way that the image is sufficiently brightened, for example, similar to a daytime image. The factor d can be determined here in various ways, such as, for example, from a determination of the brightness of the recording, from the brightening of the previous image for magazine t-1, from statistical calculations of the quality of the brightness in the image and the necessary brightening, from a network learning the estimation of the factor d, etc. c) The factor d can be applied locally. Here, the training is extended by the adjustment of the factor d to image regions. Image regions are determined which require different brightening, eg poorly and well-illuminated image areas. The training image pairs can differ for the regions in the exposure time of the ground truth and the network input, so that a factor d can be learned for areas in the network and individual areas can be brightened more. In this way, the loss is calculated on the selected areas in the image and recordings of the same scene with different exposure times can be used for the different areas. An example of this is that for a well-lit driver, a medium exposure time ground truth is sufficient, while for example, the occupants in the back seats a ground truth with a longer exposure time is used and therefore the factor d for the driver is correspondingly lower than for the area of the occupants on the back seat. In order to learn the factor d robustly for brightenings of different strengths in image regions, images with different exposure times can also be used for the image regions of the image input of the neural network and these can be combined region-wise with different ground truths with different exposure times. Here, the factor d is calculated during the training for individual image regions from the ratio of the ground truth to the image recording at the network input. The network input is thus composed region by region from different images and the loss is also calculated region by region based on the same image regions by assembling the reference image for the loss calculation region by region from the ground truth recordings corresponding to the image regions in the input image. d) The factor d is an input parameter of the neural network, based on which the network learns and can reconstruct different degrees of illumination improvement. The factor d can be added to one or more layers of the network as an input parameter. The factor d can also be combined with an additional network, which calculates the mapping of the factor d onto the network for illumination improvement, e.g. scaling to the size of the input or feature layers of the neural network for illumination improvement, relevance of factor d to individual image regions in the input or feature layers of the neural network for illumination enhancement. e) To learn the factor or factors d, the artificial neural network can be trained, for example, with a number of input images that have different exposure times but are otherwise identical, and an associated desired output image. Alternatively or additionally, the factor d can be calculated from a downstream application, which is based, for example, on the quality of a possible detection provided and lightened images determines the best factor for image brightening. This can be implemented both when training a neural network and online in the application at runtime. This allows the artificial neural network to gradually learn the degree of whitening. In addition, the input images can already be illuminated differently in order to thereby simulate dynamic illumination in the input images and thus train the artificial neural network. The training of the artificial neural network also includes the output of initial images 7 by the artificial neural network, which include at least the one predefined area of the at least one vehicle occupant in full illumination or daylight, so that the areas brightened in full illumination or daylight allow an extraction predetermined vehicle occupant characteristics is made possible. These output initial images can be used in training, for example, to compare them with desired initial images. In a further application, these images can also be made available to a downstream application which, for example, uses a detection quality to evaluate the quality of the brightened images. Thus, for example, training can be continued until an output image meets certain requirements and matches a desired output image as precisely as possible.
Die Ausgabe des Netzwerkes kann hierbei für eine Verlustberechnung des Lernverfahrens des neuronalen Netzwerkes verwendet werden. Die Ausgabe des neuronalen Netzwerkes kann mit der Ground Truth verglichen und es kann ein Loss (Verlust) berechnet. Basierend auf diesem werden die Gewichte des neuronalen Netzwerkes aktualisiert. Der Loss kann optional global für einen konstanten Faktor d berechnet werden. Alternativ kann der Loss lokal oder regionsweise berechnet werden. Hierdurch kann ein unterschiedlicher Faktor d lokal für einzelne Bildregionen verwendet werden. Bezugszeichenliste: The output of the network can be used here for a loss calculation of the learning process of the neural network. The output of the neural network can be compared to ground truth and a loss can be calculated. Based on this, the weights of the neural network are updated. The loss can optionally be calculated globally for a constant factor d. Alternatively, the loss can be calculated locally or by region. As a result, a different factor d can be used locally for individual image regions. Reference list:
1 Fahrzeug 1 vehicle
2 Bildverarbeitungssystem 3 trainiertes künstliches neuronales Netz2 image processing system 3 trained artificial neural network
4 Fahrzeuginnenraum 4 vehicle interior
5 Innenraumkamera 5 interior camera
6 Eingangsbild 6 input image
7 Ausgangsbild 7 initial image

Claims

Patentansprüche patent claims
1. Verfahren zum Trainieren eines künstlichen neuronalen Netzes zur Umwandlung eines Eingangsbildes (6) in ein Ausgangsbild (7), wobei das Eingangsbild (6) als Nachtaufnahme zumindest eines Fahrzeuginsassen ausgebildet ist, gekennzeichnet durch: 1. A method for training an artificial neural network for converting an input image (6) into an output image (7), the input image (6) being designed as a night photograph of at least one vehicle occupant, characterized by:
- Bereitstellen eines künstlichen neuronalen Netzes, - providing an artificial neural network,
- Trainieren des künstlichen neuronalen Netzes basierend auf Eingangsbildern (6), welche als Nachtaufnahme zumindest eines Fahrzeuginsassen ausgebildet sind, und anhand von Ausgangsbildern (7), welche zumindest einen vordefinierten Bereich des zumindest einen Fahrzeuginsassen in voller Ausleuchtung oder Tageslicht umfassen, so dass durch den in voller Ausleuchtung oder Tageslicht aufgehellten Bereich eine Extraktion vorgegebener Fahrzeuginsassenmerkmale ermöglicht wird, durch folgende Schritte: o Anwendung des künstlichen neuronalen Netzes auf die- Training of the artificial neural network based on input images (6), which are designed as night shots of at least one vehicle occupant, and based on output images (7), which include at least one predefined area of the at least one vehicle occupant in full illumination or daylight, so that through the In full illumination or in a brightened area, extraction of predetermined vehicle occupant characteristics is made possible by the following steps: o Application of the artificial neural network to the
Eingangsbilder (6); o Bestimmung der vordefinierten Bereiche und individuelle Ermittlung eines Aufhellungsgrades für die bestimmten Bereiche durch das künstliche neuronale Netz, o Verwendung des ermittelten Aufhellungsgrades für die bestimmten Bereiche durch das künstliche neuronale Netz, wobei der verwendete Aufhellungsgrad einen Faktor d aufweist, der der Parametrierung der Ausleuchtung einzelner Bildbereiche entspricht und mit dem die bestimmten Bereiche dynamisch an vorherrschende Lichtverhältnisse in einem Fahrzeuginnenraum angepasst werden, o Ausgabe von Ausgangsbildern (7) durch das künstliche neuronale Netz, welche zumindest den einen vordefinierten Bereich des zumindest einen Fahrzeuginsassen in voller Ausleuchtung oder Tageslicht umfassen, so dass durch die in voller Ausleuchtung oder Tageslicht aufgehellten Bereiche eine Extraktion vorgegebener Fahrzeuginsassenmerkmale ermöglicht wird. input images (6); o Determination of the predefined areas and individual determination of a degree of brightening for the specific areas by the artificial neural network, o Use of the determined degree of brightening for the specific areas by the artificial neural network, with the degree of brightening used having a factor d that corresponds to the parameterization of the illumination of individual corresponds to image areas and with which the specific areas are dynamically adapted to the prevailing lighting conditions in a vehicle interior, o Output of initial images (7) by the artificial neural network, which include at least the one predefined area of the at least one vehicle occupant in full illumination or daylight, so that through the areas brightened in full illumination or daylight an extraction of predetermined vehicle occupant characteristics is made possible.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der zumindest eine vordefinierte Bereich ein Gesicht des zumindest einen Fahrzeuginsassen umfasst. 2. The method according to claim 1, characterized in that the at least one predefined area comprises a face of the at least one vehicle occupant.
3. Verfahren nach einem der vorhergehenden Ansprüche, d dadurch gekennzeichnet, dass der zumindest eine vordefinierte Bereich zumindest eine Kopfpose des Fahrzeuginsassen umfasst. 3. The method according to any one of the preceding claims, d characterized in that the at least one predefined area comprises at least one head pose of the vehicle occupant.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der zumindest eine vordefinierte Bereich zumindest eine Körperhaltung des Fahrzeuginsassen umfasst. 4. The method according to any one of the preceding claims, characterized in that the at least one predefined area comprises at least one posture of the vehicle occupant.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass vorhandene Schichten des künstlichen neuronalen Netzwerkes mit Schichten für Extraktionsfunktionen geteilt werden, sodass Fahrzeuginsassenmerkmale automatisch zur Verfügung stehen. 5. Method according to one of the preceding claims, characterized in that existing layers of the artificial neural network are shared with layers for extraction functions, so that vehicle occupant characteristics are automatically available.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das künstliche neuronale Netz dahingehend trainiert wird, zur Umwandlung Informationen aus besser ausgeleuchteten Bildbereichen des Eingangsbildes (6) heranzuziehen, um das Ausgangsbild (7) zu generieren. 6. The method according to any one of the preceding claims, characterized in that the artificial neural network is trained to use information from better illuminated image areas of the input image (6) for the conversion in order to generate the output image (7).
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das künstliche neuronale Netz trainiert wird eine Gammakorrektur und/oder einen Weißabgleich und/oder eine Histogrammäqualisation nachzubilden. 7. Method according to one of the preceding claims, characterized in that the artificial neural network is trained to simulate a gamma correction and/or a white balance and/or a histogram equalization.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mehrere Eingangsbilder (6) bereitgestellt sind zur Umwandlung in zumindest ein Ausgangsbild (7), wobei das künstliche neuronale Netz derart trainiert wird, dass zur Umwandlung eines ersten Eingangsbildes (6) Informationen aus besser ausgeleuchteten Bildbereichen eines zweiten Eingangsbildes (6) herangezogen werden, um den zumindest einen vordefinierten Bereich des zumindest einen Fahrzeuginsassen in voller Ausleuchtung oder Tageslicht als Ausgangsbild (7) zu generieren. 8. The method according to any one of the preceding claims, characterized in that a plurality of input images (6) are provided for conversion into at least one output image (7), wherein the artificial neural network is trained in such a way that information from better illuminated image areas of a second input image (6) is used to convert a first input image (6) in order to generate the at least one predefined area of the at least one vehicle occupant in full illumination or daylight as the output image (7). .
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Informationen, zum Ausgleich fehlender Farb- und/oder Kontrastinformationen bereitgestellt sind, und das künstliche neuronale Netz dazu trainiert wird, die Umwandlung unter Verwendung der bereitgestellten Färb- und /oder Kontrastinformationen zu generieren. 9. The method as claimed in one of the preceding claims, characterized in that information is provided to compensate for missing color and/or contrast information, and the artificial neural network is trained to generate the conversion using the color and/or contrast information provided .
10 . Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Aufhellungsgrad stufenweise erlernt wird. 10 . Method according to one of the preceding claims, characterized in that the degree of lightening is learned in stages.
11 . Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bereiche unter Verwendung wie semantischer Segmentierung des Innenraums extrahiert werden. 11 . Method according to one of the preceding claims, characterized in that the regions are extracted using such as semantic segmentation of the interior space.
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Bildqualitätsinformationen bereitgestellt werden, und das künstliche neuronale Netz dazu trainiert wird, die Umwandlung unter Verwendung der bereitgestellten Bildqualitätsinformationen zu generieren. 12. The method according to any one of the preceding claims, characterized in that image quality information is provided, and the artificial neural network is trained to generate the conversion using the image quality information provided.
13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das künstliche neuronale Netz dazu trainiert wird, das Eingangsbild (6) in ein vollständig ausgeleuchtetes oder in Tageslicht dargestelltes Ausgangsbild (7) umzuwandeln. 13. The method as claimed in one of the preceding claims, characterized in that the artificial neural network is trained to convert the input image (6) into an output image (7) that is fully illuminated or displayed in daylight.
14. Bildverarbeitungssystem (2) zur Umwandlung eines Eingangsbildes (6) in ein Ausgangsbild (7), wobei das Eingangsbild (6) als Nachtaufnahme zumindest eines Fahrzeuginsassen ausgebildet ist, umfassend eines nach einem Verfahren nach einem der vorhergehenden Ansprüche trainierten künstlichen neuronalen Netzes (3), wobei das Bildverarbeitungssystem (2) dazu ausgelegt ist, eine Umwandlung des Eingangsbildes (6) in ein Ausgangsbild (7), welches zumindest einen vordefinierten Bereich des zumindest einen Fahrzeuginsassen in voller Ausleuchtung oder Tageslicht aufweist, unter Verwendung des trainierten künstlichen neuronalen Netzes vorzunehmen, so dass durch den in voller Ausleuchtung oder Tageslicht aufgehellten Bereich eine Extraktion vorgegebener Fahrzeuginsassenmerkmale ermöglicht ist. 14. Image processing system (2) for converting an input image (6) into an output image (7), the input image (6) being designed as a night photograph of at least one vehicle occupant, comprising an artificial neural network (3 ), wherein the image processing system (2) is designed to perform a conversion of the input image (6) into an output image (7), which has at least one predefined area of the at least one vehicle occupant in full illumination or daylight, using the trained artificial neural network, so that an extraction can be carried out through the area brightened in full illumination or daylight predetermined vehicle occupant characteristics is enabled.
15. Bildverarbeitungssystem (2) nach Anspruch 14, dadurch gekennzeichnet, dass ein oder mehrere Bildsensoren zur Aufnahme des zumindest einen Fahrzeuginsassen vorgesehen sind. 15. Image processing system (2) according to claim 14, characterized in that one or more image sensors are provided for recording the at least one vehicle occupant.
16. Bildverarbeitungssystem (2) nach Anspruch 15, dadurch gekennzeichnet, dass der eine oder mehrere Bildsensor als Weitwinkelkamera ausgebildet ist. 16. Image processing system (2) according to claim 15, characterized in that the one or more image sensors is designed as a wide-angle camera.
17. Bildverarbeitungssystem (2) nach einem der vorhergehenden Ansprüche 14 bis 16, dadurch gekennzeichnet, dass das Bildverarbeitungssystem (2) dazu ausgebildet ist, aus dem zumindest einen ausgeleuchteten oder in Tageslicht dargestellten Bereich die vorgegebenen Fahrzeuginsassenmerkmale zu extrahieren. 17. Image processing system (2) according to one of the preceding claims 14 to 16, characterized in that the image processing system (2) is designed to extract the predetermined vehicle occupant features from the at least one illuminated area or area shown in daylight.
18. Verwendung des Bildverarbeitungssystems (2) nach einem der vorhergehenden Ansprüche 14 bis 17 in einem Fahrzeuginnenraum (4) eines Fahrzeugs (1) zur Überwachung zumindest eines Fahrzeuginsassen. 18. Use of the image processing system (2) according to any one of the preceding claims 14 to 17 in a vehicle interior (4) of a vehicle (1) for monitoring at least one vehicle occupant.
PCT/DE2021/200208 2020-12-01 2021-11-26 Training an artificial neural network WO2022117165A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020215122.9A DE102020215122A1 (en) 2020-12-01 2020-12-01 Method for training an artificial neural network, image processing system and use
DE102020215122.9 2020-12-01

Publications (1)

Publication Number Publication Date
WO2022117165A1 true WO2022117165A1 (en) 2022-06-09

Family

ID=78822541

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2021/200208 WO2022117165A1 (en) 2020-12-01 2021-11-26 Training an artificial neural network

Country Status (2)

Country Link
DE (1) DE102020215122A1 (en)
WO (1) WO2022117165A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005023697A1 (en) 2005-05-23 2006-11-30 Robert Bosch Gmbh Motor vehicle`s interior e.g. driver area, lighting controlling device, has video camera detecting line of vision, positions and movements of passenger, and controller using output of camera to produce control signals for lighting units
US20190043178A1 (en) * 2018-07-10 2019-02-07 Intel Corporation Low-light imaging using trained convolutional neural networks
US20190087648A1 (en) * 2017-09-21 2019-03-21 Baidu Online Network Technology (Beijing) Co., Ltd Method and apparatus for facial recognition
DE112018006886T5 (en) * 2018-02-19 2020-09-24 Mitsubishi Electric Corporation Occupant condition detection apparatus, occupant condition detection system, and occupant condition detection method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005023697A1 (en) 2005-05-23 2006-11-30 Robert Bosch Gmbh Motor vehicle`s interior e.g. driver area, lighting controlling device, has video camera detecting line of vision, positions and movements of passenger, and controller using output of camera to produce control signals for lighting units
US20190087648A1 (en) * 2017-09-21 2019-03-21 Baidu Online Network Technology (Beijing) Co., Ltd Method and apparatus for facial recognition
DE112018006886T5 (en) * 2018-02-19 2020-09-24 Mitsubishi Electric Corporation Occupant condition detection apparatus, occupant condition detection system, and occupant condition detection method
US20190043178A1 (en) * 2018-07-10 2019-02-07 Intel Corporation Low-light imaging using trained convolutional neural networks

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JINXIU LIANG ET AL: "Recurrent Exposure Generation for Low-Light Face Detection", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 21 July 2020 (2020-07-21), XP081724942 *
YEOREUM CHOI ET AL: "Two-step Learning of Deep Convolutional Neural Network for Discriminative Face Recognition under Varying Illumination", ELECTRONIC IMAGING, vol. 2016, no. 11, 14 February 2016 (2016-02-14), US, pages 1 - 5, XP055363231, ISSN: 2470-1173, DOI: 10.2352/ISSN.2470-1173.2016.11.IMAWM-470 *

Also Published As

Publication number Publication date
DE102020215122A1 (en) 2022-06-02

Similar Documents

Publication Publication Date Title
DE102008027194B4 (en) Face image pickup device
DE112017007579T5 (en) Process and system for automatic coloring of night vision images
DE10203421C1 (en) Automobile display unit for IR night visibility device has image processor for reducing brightness level of identified bright points in night visibility image
DE112018005191T5 (en) System and method for improving the signal-to-noise ratio when tracking objects under poor lighting conditions
DE102009036844B4 (en) Exposure determining device and image processing device
EP3291172B1 (en) Method for calculating final image data
EP1617371A2 (en) Method for marking information in a displayed night vision image being captured by a vehicle-mounted image recording device and night vision device therefor
DE102014002134A1 (en) Device for detecting a lighting environment of a vehicle and control method thereof
EP4078941A2 (en) Converting input image data from a plurality of vehicle cameras of a surround-view system into optimised output image data
EP3504871A1 (en) Method and device for operating an interior camera
DE102014211889A1 (en) Image processing apparatus and image processing method for removing rain streaks from image data
DE102019220168A1 (en) Brightness conversion of images from a camera
DE102015014263A1 (en) Method and device for driving situation-dependent parameter variation in a vehicle-mounted camera-monitor system
DE112017004391T5 (en) An image forming apparatus, an image forming method, a recording medium and an image display system
DE102012214637A1 (en) Method for adjusting light emitting characteristic of headlamp to illuminate environment of vehicle, involves determining luminance characteristic of headlamp based on light distribution and default value for light distribution
WO2022117165A1 (en) Training an artificial neural network
EP1447985A1 (en) Device and method to improve vision in vehicles
EP1567982B1 (en) Method and device for compensating for shadows in digital images
DE102018201909A1 (en) Method and device for object recognition
DE102013011844A1 (en) Method for adjusting a gamma curve of a camera system of a motor vehicle, camera system and motor vehicle
DE102018010099B4 (en) Avoid glaring people from a light source
DE102020214713A1 (en) Method of distinguishing a real person from a surrogate
DE102019106258A1 (en) PASSENGER MONITORING DEVICE
DE102012016865A1 (en) Improved alpha blending of images of a camera system of a motor vehicle
DE102019209061B3 (en) Image processing device for improving night vision, method and computer program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21820110

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 21820110

Country of ref document: EP

Kind code of ref document: A1