WO2022194679A1 - Semantische bildsegmentierung eines bilddatenstroms - Google Patents

Semantische bildsegmentierung eines bilddatenstroms Download PDF

Info

Publication number
WO2022194679A1
WO2022194679A1 PCT/EP2022/056249 EP2022056249W WO2022194679A1 WO 2022194679 A1 WO2022194679 A1 WO 2022194679A1 EP 2022056249 W EP2022056249 W EP 2022056249W WO 2022194679 A1 WO2022194679 A1 WO 2022194679A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
defective
images
probability distribution
estimated
Prior art date
Application number
PCT/EP2022/056249
Other languages
English (en)
French (fr)
Inventor
Volker Patricio Schomerus
Original Assignee
Volkswagen Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen Aktiengesellschaft filed Critical Volkswagen Aktiengesellschaft
Publication of WO2022194679A1 publication Critical patent/WO2022194679A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Definitions

  • the present invention relates to a computer-implemented method for semantic image segmentation, with a large number of consecutive images being obtained, with each of the images corresponding to an associated recording time interval.
  • a large number of predefined object classes contains a first object class and a second object class.
  • a first part of an algorithm for semantic image segmentation is applied to each of the images in order to generate an associated first probability distribution relating to the first object class for each of the images.
  • the invention also relates to a method for at least partially automatic control of a vehicle, an electronic vehicle control system, a motor vehicle and computer program products.
  • Document US 2020/0090322 A1 describes how a neural network for detecting sensor blindness can be trained. Using sensor data, the neural network can calculate and characterize the locations of blind or impaired image areas. In addition, the neural network can make predictions as to whether the sensor data is suitable for executing semi-autonomous or autonomous driving functions. Sensor data that is not appropriate can be filtered out.
  • the improved concept is based on the idea of estimating a probability distribution for an object class for an incorrect image by using a corresponding probability distribution for an earlier image as a function of an optical flow is postponed. This prevents interruptions or gaps in the image data stream.
  • a computer-implemented method for semantic image segmentation is specified.
  • a large number of consecutive images are obtained, in particular by a computing device, for example from an environment sensor system, with each of the images corresponding to an associated recording time interval, also referred to as a frame.
  • a first part of an algorithm for semantic image segmentation is applied to each of the images in order to generate an associated first probability distribution relating to a first object class for each of the images in the plurality of consecutive images, with a large number of predefined object classes containing the first object class and a second object class.
  • An optical flow is determined for each of the images of the plurality of consecutive images.
  • One of the images of the plurality of consecutive images is identified as non-defective and one of the images of the plurality of consecutive images is identified as defective, with the defective image following, in particular immediately following, the non-defective image.
  • An estimated first probability distribution for the defective image is generated by shifting at least part of the first probability distribution for the non-defective image depending on the optical flow for the non-defective image.
  • a semantically segmented image is generated for the recording period of the faulty image.
  • the plurality of consecutive images can be referred to as an image data stream, video data stream or video stream, or can correspond to a part of such a data stream.
  • Each of the images corresponds to a two-dimensional arrangement of image points or pixels and can therefore correspond to a camera image, for example.
  • the images can also be generated using another environment sensor system, for example a flash lidar system or the like, and transmitted to the computing device.
  • the large number of consecutive images is therefore, for example, an image data stream that is obtained from a camera or another environmental sensor system that is mounted on a vehicle, for example.
  • the computing device can be one or more computing units, CPUs, electronic control units, also referred to as ECUs, include microcontrollers and so on.
  • the computing device can be part of an electronic vehicle control system for the vehicle, for example.
  • the computing device can contain, for example, a memory unit, for example a buffer memory, in order to store or temporarily store the plurality of consecutive images.
  • a memory unit for example a buffer memory
  • the computing device can be set up to always store a certain number of consecutive images. If another image is received, the oldest stored image can be deleted, for example, and so on.
  • the multiplicity of consecutive images or the image data stream can be generated, for example, during the operation of a vehicle that contains the electronic vehicle control system and the environment sensor system, and can be obtained from the computing device. Accordingly, the computer-implemented method can be carried out during operation and in particular while the vehicle is being driven.
  • the first part of the algorithm can be part of a known algorithm for semantic image segmentation, for example. It should be pointed out that the application of the first part of the algorithm does not produce a semantically segmented image as a result, but only corresponding intermediate results, in particular in the form of the first probability distributions.
  • an artificial neural network in particular a convolutional artificial neural network, CNN, can be used in order to generate in particular the first probability distribution for the individual images.
  • each image of the plurality of consecutive images has a number of pixels which are characterized by a corresponding two-dimensional pixel position and corresponding pixel values.
  • the pixel values may contain values for one or more color channels, and so on.
  • a probability is accordingly calculated for each pixel of the respective image, for example between 0 and 1 or between 0% and 100%, that this pixel belongs to an object belonging to the first object class.
  • a corresponding probability for the first object class can be assigned to each image point and thus to each two-dimensional pixel position.
  • the total of probabilities for a given Image and for the probability of the first object class then corresponds to the first probability distribution.
  • an associated second probability distribution relating to the second object class can also be generated for each image.
  • the multiplicity of predefined object classes can contain one or more further object classes. The procedure can also be analogous for these further object classes and a corresponding further probability distribution can be generated for each of the images.
  • the optical flow for one of the images corresponds to a two-dimensional vector field, i.e. a two-dimensional vector for each of the pixels of the corresponding image.
  • the optical flow represents the speed of the corresponding pixel in the course of the large number of consecutive images.
  • each of the two-dimensional vectors indicates a direction and an amount of a speed of the corresponding pixel, with the image in question and the respective preceding image, in particular immediately previous one of the plurality of images is used to calculate the optical flow.
  • a known method for calculating the optical flow can also be used for the corresponding method step of the computer-implemented method according to the improved concept.
  • no optical flow is determined for an initial image, ie an image that is not preceded by another image, or that reference values for the individual velocity vectors, for example zero vectors, can be used.
  • the plurality of consecutive images is immediately preceded by a further image, which is also received by the computing device. Accordingly, the optical flow can be determined for each of the images of the plurality of consecutive images.
  • the first probability distribution can be taken as a basis and/or the second probability distribution and/or the respective further probability distributions for the corresponding image.
  • at least one uncertainty measure can be used for each of the images calculated and compared with at least one limit value.
  • the corresponding image can be identified as faulty if at least one of the uncertainty measures is greater than the corresponding limit value.
  • a two-dimensional shift vector based on the optical flow can be determined, for example, for each of the pixels of the non-defective image.
  • a duration of the recording periods that is, for example, an inverse frame rate of the image data stream, can be taken into account.
  • the displacement vector then results, for example, from the product of the duration of the recording period with a corresponding displacement vector, which is determined on the basis of the optical flow.
  • each point of the first probability distribution can be shifted accordingly, or only a subset of the points of the first probability distribution.
  • the latter can be particularly advantageous if it can be determined not only that the image is defective, but also which pixels of the defective image account for the defectiveness of the image. In this case, for example, only the corresponding defective areas of the first probability distribution can be shifted and the others retained.
  • the semantically segmented image for the recording period of the faulty image can be viewed as the result or partial result of the computer-implemented method.
  • this semantically segmented image can be taken into account or used by means of an electronic vehicle control system for a vehicle for automatically or partially automatically controlling the vehicle.
  • a semantically segmented image can also be generated for the recording period of the non-defective image. This can also be part of the result of the computer-implemented method.
  • Self-driving or semi-autonomous vehicles can use machine vision algorithms, such as object recognition algorithms or methods for semantic image segmentation to provide a comprehensive representation and interpretation of the vehicle's environment as a basis for automatic or partially automatic control.
  • a computing device in the vehicle can evaluate the results of the machine vision algorithms in order to generate corresponding control commands for controlling the vehicle.
  • Algorithms for semantic image segmentation are known per se.
  • the individual pixels of images from a surroundings sensor system of the vehicle for example a camera, a lidar system, in particular a flash lidar system, and so on, are classified according to predefined object classes.
  • each pixel can be assigned a corresponding probability that this pixel corresponds to an object of the corresponding object class.
  • a respective probability distribution can be generated for each image for the different object classes.
  • the computing device can then assign the most probable object class to each of the pixels, for example, so that a segmented image is created in which each pixel is assigned to a corresponding object class.
  • problems can be avoided by a method based on the improved concept if the surroundings sensor system supplies an incorrect image.
  • a partial covering of an image sensor for example by a windshield wiper of the vehicle or the like, can lead to such a faulty image.
  • disruptions in the communication connection between the environment sensor system and the computing device or other influences or errors can lead to faulty images.
  • This can reduce the reliability or the quality of the semantic segmentation. For example, it can happen that no reliable or no unambiguous classification of the individual pixels is possible for individual image areas or the entire defective image.
  • obscured objects or objects that are not displayed on the faulty image in the area surrounding the vehicle cannot be appropriately segmented. This can lead to less reliability of the fully automatic or semi-automatic control of the vehicle and accordingly to interruptions in the automatic controls or to an increased risk of accidents.
  • the computer-implemented method according to the improved concept can therefore generate a semantically segmented image for each of the plurality of consecutive images or for each of the corresponding recording periods, regardless of whether the image is defective or not defective, provided that at least one non-defective image is present. If, for example, several defective images follow one another, then the last non-defective image can be used as a basis for estimating corresponding first probability distributions, as described.
  • a corresponding continuous stream of semantically segmented images can therefore be generated for an incoming image data stream or video data stream without interruptions due to faulty input images.
  • a reliable automatic or semi-automatic control of a vehicle can be carried out based on the corresponding stream of semantically segmented images.
  • the semantically segmented image for the recording period of the faulty image can, for example, be generated both as a function of the estimated first probability distribution and of the first probability distribution for the faulty image, which is therefore obtained directly as the result of the first part of the semantic image segmentation algorithm will.
  • the two probability distributions for the recording period of the faulty image can be superimposed, for example weighted, in order to generate the semantically segmented image. In this way, an even more reliable semantic segmentation can be provided for the recording period of the faulty image.
  • input data for a second part of the algorithm for semantic image segmentation is generated as a function of the estimated first probability distribution.
  • the second part of the semantic image segmentation algorithm is applied to the input data to generate the semantic segmented image for the erroneous image acquisition period.
  • the first and the second part of the algorithm are not necessarily dependent on one another. While the first part essentially serves to generate the probability distributions for each of the images, the second part of the algorithm essentially serves to generate the corresponding semantically segmented image from the probability distributions and, in the case of the faulty image, from the estimated first probability distribution. For this purpose, for example, the maximum probability of all object classes of the predefined multiplicity of object classes can be determined for each pixel.
  • the first probability distribution, optionally the second probability distribution and optionally the further probability distributions for the non-defective image can be taken as a basis for the non-defective image.
  • the faulty image can be based on the estimated first probability distribution, optionally in combination with the first probability distribution for the faulty image, and possibly the corresponding probability distributions or estimated probability distributions for the second object class and possibly the other object classes.
  • the input data for the second part of the algorithm for semantic image segmentation includes a superposition of the estimated first probability distribution for the defective image with the first probability distribution for the defective image.
  • the overlay can be determined, for example, using a weighted sum of the corresponding probability values for the individual pixels.
  • the second part of the algorithm for semantic image segmentation can determine the most likely class for a corresponding pixel of the semantically segmented image based on the following rule:
  • i runs over all elements of the multitude K of given object classes
  • (x,y) designates the two-dimensional pixel position of the corresponding pixel and S(x,y) the object class that is assigned to the pixel of the semantically segmented image using the second part of the algorithm.
  • P i (x,y) corresponds to the probability for object class i based on the corresponding probability distribution for object class i for the defective image acquisition period
  • P' i (x,y) corresponds to the Probability for the object class i based on the estimated probability distribution for the acquisition period of the defective image
  • a is a weighting parameter for the object class i which is 0 and less than or equal to 1.
  • a can also be constant for all object classes i, for example.
  • an estimated optical flow for the defective image is determined based on the optical flow of the non-defective image.
  • the estimated first probability distribution for the defective image is generated by shifting at least part of the first probability distribution for the non-defective image according to the estimated optical flow for the defective image.
  • the optical flow determined in this way for the defective image is generally also defective. Accordingly, the optical flow of the non-defective image can be extrapolated to estimate the optical flow for the defective image. In this way, the reliability of the semantically segmented image for the recording period of the faulty image can be further increased.
  • a second probability distribution relating to the second object class is generated for each of the images by applying the first part of the algorithm for semantic image segmentation.
  • an estimated second probability distribution for the defective image is generated by shifting at least part of the second probability distribution for the non-defective image depending on the optical flow for the non-defective image.
  • the semantically segmented image for the recording period of the faulty image is generated depending on the estimated second probability distribution.
  • the procedure can be analogous to that for the first and the second object class.
  • a first degree of uncertainty for the respective first probability distribution and a second degree of uncertainty for the respective second probability distribution are determined for each of the images.
  • the non-defective image is identified as non-defective depending on the corresponding first uncertainty measure and the corresponding second uncertainty measure of the non-defective image.
  • the defective image is identified as defective depending on the corresponding first measure of uncertainty and the corresponding second measure of uncertainty of the defective image.
  • a corresponding degree of uncertainty for the respective probability distribution can also be determined for the further object classes and used to identify the defective image as defective and the non-defective image as not defective.
  • Probability distributions each have an uncertainty distribution to be determined.
  • the respective uncertainty distribution specifies an uncertainty value or confidence value for each of the pixels, with the uncertainty value expressing the uncertainty associated with the corresponding probability for this pixel according to the corresponding probability distribution or the confidence value describing a corresponding confidence.
  • An uncertainty distribution for an object class depends in particular on the probability distribution for this object class, but can also depend on all other probability distributions for the other object classes in various embodiments. In particular, the higher the probability for this object class and the lower the probability for other object classes, the higher the uncertainty for a pixel for a specific object class.
  • the defective image can be identified as defective and the non-defective image as non-defective with increased reliability.
  • a third probability distribution relating to a third object class of the plurality is predetermined for each of the images by applying the first part of the algorithm for semantic image segmentation Object classes generated, the third object class relates to a interfering object. For each of the images in the plurality of consecutive images, the presence of the interfering object in the respective image is checked depending on the respective third probability distribution in order to identify the non-defective image as non-defective and to identify the defective image as defective.
  • the interfering object can correspond, for example, to a windshield wiper of the vehicle itself, also referred to as the ego vehicle in this context, dirt on a windshield of the ego vehicle, and so on.
  • the third object class can also relate to a number of different interfering objects.
  • the interfering object is identified in the respective image, it can be assumed with increased probability that the corresponding image is faulty. If the interfering object is not identified in the image, this indicates that the corresponding image is not faulty.
  • the first part of the algorithm contains an artificial neural network, in particular a trained artificial neural network.
  • the neural network may correspond to a convolutional neural network, CNN.
  • CNN convolutional neural network
  • Neural networks and in particular CNNs have proven to be particularly well suited and powerful for semantic image segmentation, in particular of camera images.
  • the architecture of the neural network can correspond to a known architecture.
  • the neural network can also be trained in a known manner, for example based on monitored training.
  • the training and the architecture of the neural network are not fundamental to the improved concept.
  • the improved concept computer-implemented method may employ any neural network capable of generating probability distributions as described.
  • a further image of the plurality of consecutive images immediately following the faulty image is identified as faulty.
  • An estimated first probability distribution for the further defective image is generated by at least one further part of the first probability distribution, which can be the same or different to the part of the first probability distribution, for the not defective image is shifted depending on the optical flow for the non-defective image.
  • a further semantically segmented image is generated for the recording period of the further defective image.
  • the explanations regarding the defective image and the semantically segmented image apply analogously to the further faulty image and the further semantically segmented image.
  • the directly preceding image of the plurality of consecutive images is not used for the estimation of the first probability distribution for the further faulty image, since this is precisely the faulty image. Instead, the last available non-faulty image is used.
  • a method for at least partially automatic control of a vehicle is also specified, with a plurality of successive images being generated by means of an environment sensor system of the vehicle, with each of the images corresponding to an associated recording period, and the images being transmitted to a computing device in the vehicle.
  • a computer-implemented method for semantic image segmentation according to the improved concept is carried out by means of the computing device.
  • Control signals for at least partially automatic control of the vehicle are generated by means of the computing device as a function of the semantically segmented image for the recording period of the faulty image.
  • the computing device and/or the environment sensor system can be part of an electronic vehicle control system of the vehicle.
  • An electronic vehicle control system can be understood here and in the following as an electronic system that is set up to guide or control the vehicle fully automatically or fully autonomously, in particular without the driver having to intervene in a control system.
  • the vehicle or the electronic vehicle control system carries out all necessary functions, such as steering, braking and/or acceleration maneuvers that may be necessary, the observation and recording of road traffic and the associated necessary reactions, automatically and fully automatically.
  • the electronic vehicle control system can be used to implement a fully automatic or fully autonomous driving mode of the motor vehicle according to level 5 of the classification according to SAE J3016.
  • An electronic vehicle control system can also include a driver assistance system (English: “advanced driver assistance system", ADAS) are understood, which supports the driver in a partially automated or partially autonomous driving of the motor vehicle.
  • ADAS advanced driver assistance system
  • the electronic vehicle control system can be used to implement a partially automated or partially autonomous driving mode of the motor vehicle according to one of levels 1 to 4 according to the SAE J3016 classification.
  • SAE J3016 refers to the corresponding standard in the June 2018 version.
  • the images of the plurality of consecutive images represent in particular an environment of the vehicle defined by a field of view of the environment sensor system.
  • the environment sensor system includes, for example, a camera for generating the images as corresponding camera images or as an image data stream.
  • an electronic vehicle control system for at least partially automatic control of the vehicle.
  • the electronic vehicle control system has an environment sensor system for the vehicle, which is set up to generate a large number of consecutive images, each of the images corresponding to an associated recording period.
  • the electronic vehicle control system has a computing device that is set up to apply a first part of an algorithm for semantic image segmentation to each of the images in order to generate an associated first probability distribution relating to a first object class for each of the images, with a large number of predefined object classes defining the first Includes object class and at least a second object class.
  • the computing device is set up to determine an optical flow for each of the images, to identify one of the images as not defective and to identify one of the images following the non-defective image as defective.
  • the computing device is set up to generate an estimated first probability distribution for the defective image and to shift at least part of the first probability distribution for the non-defective image as a function of the optical flow of the non-defective image.
  • the computing device is set up to generate a semantically segmented image for the recording period of the faulty image as a function of the estimated first probability distribution.
  • the computing device is set up to control signals for at least partially automatic To generate control of the vehicle depending on the semantically segmented image for the recording period of the faulty image.
  • the control signals can be transmitted, for example, to one or more actuators of the vehicle or of the vehicle control system, which can implement the at least partially automatic control of the vehicle, in particular depending on the control signals received in each case.
  • an electronic vehicle control system according to the improved concept can be arranged to execute a computer-implemented method for semantic image segmentation or a method for at least partially automatic control of a vehicle according to the improved concept, or the vehicle control system executes such a method.
  • a motor vehicle in particular a partially or fully automatically controllable motor vehicle, with an electronic vehicle control system according to the improved concept is also specified.
  • a first computer program with first commands is specified.
  • the first instructions When the first instructions are executed by a computer system, in particular by a computing device of an electronic vehicle control system according to the improved concept, the first instructions cause the computer system to perform a computer-implemented method for semantic image segmentation according to the improved concept.
  • a second computer program with second commands is specified.
  • the second commands are executed by an electronic vehicle control system according to the improved concept, in particular by the computing device of the electronic vehicle control system, the second commands cause the electronic vehicle control system to carry out a method for at least perform partially automatic control of a vehicle according to the improved concept.
  • a computer-readable storage medium which stores a first computer program and/or a second computer program according to the improved concept.
  • the first and the second computer program as well as the computer-readable storage medium can be understood as respective computer program products with the first or the second instructions.
  • the invention also includes the combinations of features of the described embodiments.
  • FIG. 1 is a schematic representation of a motor vehicle including an exemplary embodiment of an electronic vehicle control system according to the improved concept
  • Fig. 2 is a schematic representation of method steps of an exemplary
  • Embodiment of a computer-implemented method for semantic image segmentation based on the improved concept Embodiment of a computer-implemented method for semantic image segmentation based on the improved concept.
  • the exemplary embodiments explained below are preferred exemplary embodiments of the invention.
  • the described components each represent individual features of the invention that are to be considered independently of one another, which also develop the invention independently of one another and are therefore also to be regarded as part of the invention individually or in a combination other than that shown.
  • the exemplary embodiments described can also be supplemented by further features of the invention already described.
  • the vehicle control system 2 has an environment sensor system 3 , in particular a camera, for example a front camera, for the motor vehicle 1 and a computing device 4 which is connected to the environment sensor system 3 .
  • the computing device 4 is set up to generate control signals for actuators (not shown) of the vehicle 1 in order to guide or control the motor vehicle 1 fully automatically or fully autonomously and/or to execute one or more driver assistance functions for partially automatic or partially autonomous control of the motor vehicle 1.
  • the motor vehicle 1 can carry out required functions, such as steering, braking, acceleration maneuvers and so on, independently and automatically, or correspondingly support the driver during a partially automated journey.
  • the computing device 4 can take into account sensor data from various sensors of the vehicle control system 2 or of the motor vehicle 1 , including image data that can be generated by means of the surroundings sensor system 3 .
  • the environment sensor system 3 can generate an image data stream, also referred to as a video stream, which contains a large number of consecutive images, with each of the images corresponding to a corresponding frame or recording period.
  • Surroundings sensor system 3 can transmit the video data stream or the images of the video data stream to computing device 4, where they can be stored at least temporarily.
  • the computing device 4 is set up in particular to carry out a computer-implemented method for semantic image segmentation according to the improved concept.
  • FIG. 2 schematically shows various method steps according to an exemplary embodiment of a computer-implemented method for semantic image segmentation according to the improved concept, as can be carried out, for example, by computing device 4 of electronic vehicle control system 2 from FIG. 1 .
  • step S1 the computing device 4 receives the image data stream from the surroundings sensor system 3 with a large number of consecutive images, of which only two consecutive images 5a, 5b are shown schematically in the example in FIG.
  • the first image 5a is not defective, for example, and the second image 5b, which immediately follows the first image 5a, is defective.
  • a windshield wiper of the motor vehicle 1 can be depicted in the second image 5b, which wipes a region of the Environment of the vehicle 1 for the environment sensor system 3, which is designed as a camera in the present case, covered.
  • step S2 the computing device 4 applies a first part of an algorithm for semantic image segmentation, for example a convolutional neural network, CNN, 6 to each of the images 5a, 5b.
  • an associated probability distribution for a multiplicity of predefined object classes is generated for each of the images 5a, 5b.
  • the object classes can, for example, specify different road users such as other motor vehicles, two-wheelers, pedestrians and so on, or parts of the road, buildings, infrastructure facilities and so on. 2 shows an example of a first probability distribution 7 for the second image 5b, which relates to a first object class.
  • the first probability distribution 7 therefore indicates for each pixel of the second image 5b how high the probability is that the corresponding pixel belongs to an object of the first object class.
  • the probability can lie between 0 and 1 or be normalized in some other way and is represented schematically in FIG. 2 by shades of gray.
  • a corresponding first probability distribution for the first image 5a is generated as an output of the CNN 6, as well as respective probability distributions for the images 5a, 5b for all other object classes.
  • step S3 an optical flow is determined for each of the images in the image data stream, in particular for the images 5a, 5b.
  • the optical flow 8 for the first image 5a is shown schematically in FIG. 2 by five two-dimensional vectors.
  • the optical flow 8 has a two-dimensional vector for each pixel of the first image 5a, the length of which indicates the magnitude of the speed of the corresponding pixel with respect to an immediately preceding image (not shown) of the image data stream, and the direction of the two-dimensional vector indicates the corresponding direction of the speed .
  • a corresponding optical flow is determined in step S3 for each additional image, including the second image 5b of the image data stream.
  • step S4 the computing device 4 checks for each of the images in the video data stream whether it is faulty or not.
  • the computing device 4 identifies the first camera image 5a as not defective and the second camera image 5b as defective.
  • the computing device 4 can take into account the probability distributions for the respective image to be checked for all object classes in order to generate an uncertainty distribution 9 for the calculate the corresponding image.
  • the uncertainty distribution 9 can be calculated for each object class. In the simplest case, the uncertainty distribution 9 for an object class can be determined based solely on the corresponding probability distribution for this object class. The higher the probability of the corresponding pixel for the corresponding object class, the lower the uncertainty, for example.
  • the probability distributions of the same image for the other object classes are preferably also taken into account for the determination of the uncertainty distribution 9 for one of the object classes.
  • the computing device 4 can then, for example, determine an uncertainty measure for each of the uncertainty distributions 9, for example by averaging all uncertainty values of the corresponding uncertainty distribution 9.
  • the computing device 4 can compare the corresponding uncertainty measure for each of the images and for each of the object classes with a corresponding limit value and the one to be checked Identify the image as faulty or not faulty depending on a result of the comparison or comparisons. For example, the computing device 4 can identify the image as faulty if one of the uncertainty measures for the various object classes exceeds the corresponding limit value and otherwise identify the corresponding image as not faulty.
  • the computing device 4 can then determine an estimated optical flow for the defective image 5b in step S5.
  • the computing device 4 can start from the optical flow 8 of the non-defective image 5a and extrapolate this according to the frame duration, i.e. the recording time of a frame or the reciprocal of the frame rate, in order to determine an estimated optical flow 10 for the defective image 5b.
  • the computing device 4 can now generate an estimated first probability distribution 11 for the defective image 5b by shifting the first probability distribution for the non-defective image 5a according to the estimated optical flow 10.
  • step S7 the computing device 4 can then use the estimated
  • the computing device can, for example, calculate an ARGMAX function for each pixel, which returns the respective object class for the respective pixel with the highest probability.
  • the computing device 4 can apply the ARGMAX function to the estimated probability distributions alone, for example, without taking into account the probability distributions for the faulty image 5b, which are obtained directly from the CNN 6, since these are faulty.
  • a superimposition of the faulty probability distribution from the result of the CNN 6 with the corresponding estimated probability distribution for the faulty image 5b is preferably used as a basis.
  • the respective probability distribution and the associated estimated probability distribution can be weighted summed as set out in accordance with the expression for S(x,y) above.
  • Such embodiments are particularly advantageous because they allow those parts of the defective image 5b to be taken into account exactly which are not influenced by the cause of the defectiveness, that is to say by the covering or the soiling or the like. Those parts for which the defective image 5b does not provide an adequate probability distribution, for example because the corresponding image areas are covered, are taken into account by the estimated probability distribution. In this way, the available information can be used to the maximum in order to obtain the most reliable possible result.
  • FIG. 2 also shows a hypothetical semantically segmented image 12' for the faulty image 5b, in which the computer-implemented method according to the improved concept was not used, ie in which only the faulty probability distribution from the CNN 6 was used.
  • the error from the defective image 5b is reflected directly in the semantically segmented image 12'.
  • the computing device 4 can now take into account the semantically segmented image 12 for the faulty image 5b as part of a method for automatically or partially automatically controlling the motor vehicle 1 .
  • the image segmentation according to the improved concept can in particular be used alternately with the conventional semantic segmentation of non-defective images.
  • the estimation of the probability distributions and the extrapolation of the optical flow can be used not only from a non-defective image to the subsequent defective image, but also for further defective images following the defective image.
  • the optical flow of the last non-defective image can always be extrapolated accordingly and the corresponding probability distribution of the last non-defective image can be shifted accordingly.
  • Computing device a, 5b images neural network probability distribution optical flow uncertainty distribution 0 extrapolated optical flow 1 estimated probability distribution2 12 semantically segmented images 1 to S7 method steps

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

Gemäß einem Verfahren zur semantischen Bildsegmentierung werden aufeinanderfolgende Bilder (5a, 5b) erhalten, die zugehörigen Aufnahmezeiträumen entsprechen. Auf jedes der Bilder (5a, 5b) wird ein erster Teil eines Algorithmus zur semantischen Bildsegmentierung angewendet, um für eine jeweilige erste Wahrscheinlichkeitsverteilung (1) betreffend eine erste Objektklasse einer Vielzahl vorgegebener Objektklassen zu erzeugen. Für jedes der Bilder (5a, 5b) wird auch ein optischer Fluss (8) bestimmt. Eines der Bilder (5a) wird als nicht fehlerhaft identifiziert und ein auf das nicht fehlerhafte Bild (5a) folgendes der Bilder (5b) wird als fehlerhaft identifiziert. Eine geschätzte erste Wahrscheinlichkeitsverteilung (11) für das fehlerhafte Bild (5b) wird erzeugt, indem wenigstens ein Teil der ersten Wahrscheinlichkeitsverteilung für das nicht fehlerhafte Bild (5a) abhängig von dem optischen Fluss (8) für das nicht fehlerhafte Bild (5b) verschoben wird. Abhängig von der geschätzten ersten Wahrscheinlichkeitsverteilung (11) wird ein semantisch segmentiertes Bild (12) für den Aufnahmezeitraum des fehlerhaften Bildes (5b) erzeugt.

Description

Beschreibung
Semantische Bildsegmentierung eines Bilddatenstroms
Die vorliegende Erfindung betrifft ein computerimplementiertes Verfahren zur semantischen Bildsegmentierung, wobei eine Vielzahl aufeinanderfolgender Bilder erhalten wird, wobei jedes der Bilder einem zugehörigen Aufnahmezeitintervall entspricht. Eine Vielzahl vorgegebener Objektklassen enthält eine erste Objektklasse sowie eine zweite Objektklasse. Auf jedes der Bilder wird ein erster Teil eines Algorithmus zur semantischen Bildsegmentierung angewendet, um für jedes der Bilder eine zugehörige erste Wahrscheinlichkeitsverteilung betreffend die erste Objektklasse zu erzeugen. Die Erfindung betrifft ferner ein Verfahren zur wenigstens teilweise automatischen Steuerung eines Fahrzeugs, ein elektronisches Fahrzeugsteuerungssystem, ein Kraftfahrzeug sowie Computerprogrammprodukte.
Im Dokument US 2020/0090322 A1 wird beschrieben, wie ein neuronales Netzwerk zur Erkennung von Sensorblindheit trainiert werden kann. Unter Verwendung von Sensordaten kann das neuronale Netzwerk die Positionen von blinden oder beeinträchtigten Bildbereichen berechnen und charakterisieren. Darüber hinaus kann das neuronale Netzwerk Vorhersagen dahingehend treffen, ob die Sensordaten zum Ausführen von teilautonomen oder autonomen Fahrfunktionen geeignet sind. Sensordaten, die nicht entsprechend geeignet sind, können herausgefiltert werden.
Es ist eine Aufgabe der vorliegenden Erfindung, ein verbessertes Konzept zur semantischen Bildsegmentierung eines Bilddatenstroms anzugeben, durch das die Zuverlässigkeit des Ergebnisses der semantischen Segmentierung auch bei Vorliegen fehlerhafter Bilder verbessert wird.
Diese Aufgabe wird gelöst durch den jeweiligen Gegenstand der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
Das verbesserte Konzept beruht auf der Idee, für ein fehlerhaftes Bild eine Wahrscheinlichkeitsverteilung für eine Objektklasse zu schätzen, indem eine entsprechende Wahrscheinlichkeitsverteilung für ein früheres Bild abhängig von einem optischen Fluss verschoben wird. So wird verhindert, dass eine Unterbrechung oder Lücken im Bilddatenstrom entstehen.
Gemäß dem verbesserten Konzept wird ein computerimplementiertes Verfahren zur semantischen Bildsegmentierung angegeben. Dabei wird eine Vielzahl aufeinanderfolgender Bilder erhalten, insbesondere durch eine Recheneinrichtung, beispielsweise von einem Umfeldsensorsystem, wobei jedes der Bilder einem zugehörigen Aufnahmezeitintervall, auch als Frame bezeichnet, entspricht. Auf jedes der Bilder wird ein erster Teil eines Algorithmus zur semantischen Bildsegmentierung angewendet, um für jedes der Bilder der Vielzahl aufeinanderfolgender Bilder eine zugehörige erste Wahrscheinlichkeitsverteilung betreffend eine erste Objektklasse zu erzeugen, wobei eine Vielzahl vorgegebener Objektklassen die erste Objektklasse sowie eine zweite Objektklasse beinhaltet. Für jedes der Bilder der Vielzahl aufeinanderfolgender Bilder wird ein optischer Fluss bestimmt. Eines der Bilder der Vielzahl aufeinanderfolgender Bilder wird als nicht fehlerhaft identifiziert und eines der Bilder der Vielzahl aufeinanderfolgender Bilder wird als fehlerhaft identifiziert, wobei das fehlerhafte Bild dem nicht fehlerhaften Bild folgt, insbesondere unmittelbar folgt. Es wird eine geschätzte erste Wahrscheinlichkeitsverteilung für das fehlerhafte Bild erzeugt, indem wenigstens ein Teil der ersten Wahrscheinlichkeitsverteilung für das nicht fehlerhafte Bild abhängig von dem optischen Fluss für das nicht fehlerhafte Bild verschoben wird. Abhängig von der geschätzten ersten Wahrscheinlichkeitsverteilung wird ein semantisch segmentiertes Bild für den Aufnahmezeitraum des fehlerhaften Bildes erzeugt.
Die Vielzahl aufeinanderfolgender Bilder kann als Bilddatenstrom, Videodatenstrom oder Videostream bezeichnet werden, oder einem Teil eines solchen Datenstroms entsprechen. Jedes der Bilder entspricht einer zweidimensionalen Anordnung von Bildpunkten oder Pixeln und kann daher beispielsweise einem Kamerabild entsprechen. Die Bilder können aber auch anhand eines anderen Umfeldsensorsystems, beispielsweise eines Flash-Lidarsystems oder dergleichen, erzeugt und an die Recheneinrichtung übermittelt werden. Bei der Vielzahl aufeinanderfolgender Bilder handelt es sich also beispielsweise um einen Bilddatenstrom, der von einer Kamera oder einem sonstigen Umfeldsensorsystem erhalten wird, das beispielsweise an einem Fahrzeug montiert ist.
Sämtliche Schritte des computerimplementierten Verfahrens können mittels einer Recheneinrichtung ausgeführt werden, insbesondere einer Recheneinrichtung des Fahrzeugs, sofern nicht etwas anderes ausdrücklich erwähnt ist. Die Recheneinrichtung kann dabei eine oder mehrere Recheneinheiten, CPUs, elektronische Steuergeräte, auch als ECUs bezeichnet, Mikrocontroller und so weiter beinhalten. Die Recheneinrichtung kann beispielsweise Teil eines elektronischen Fahrzeugsteuerungssystems für das Fahrzeug sein.
Die Recheneinrichtung kann beispielsweise eine Speichereinheit, beispielsweise einen Pufferspeicher, beinhalten, um die Vielzahl aufeinanderfolgender Bilder zu speichern oder zwischenzuspeichern. Beispielsweise kann die Recheneinrichtung dazu eingerichtet sein, stets eine bestimmte Anzahl aufeinanderfolgender Bilder zu speichern. Wird ein weiteres Bild erhalten, so kann das älteste gespeicherte Bild beispielsweise gelöscht werden und so weiter.
Die Vielzahl aufeinanderfolgender Bilder beziehungsweise der Bilddatenstrom kann beispielsweise während des Betriebs eines Fahrzeugs, welches das elektronische Fahrzeugsteuerungssystem sowie das Umfeldsensorsystem beinhaltet, erzeugt und von der Recheneinrichtung erhalten werden. Das computerimplementierte Verfahren kann dementsprechend während des Betriebs und insbesondere während der Fahrt des Fahrzeugs durchgeführt werden.
Der erste Teil des Algorithmus kann beispielsweise Teil eines bekannten Algorithmus zur semantischen Bildsegmentierung sein. Es sei darauf hingewiesen, dass die Anwendung des ersten Teils des Algorithmus als Ergebnis kein semantisch segmentiertes Bild liefert sondern lediglich entsprechende Zwischenergebnisse, insbesondere in Form der ersten Wahrscheinlichkeitsverteilungen. Hierzu kann beispielsweise ein künstliches neuronales Netzwerk, insbesondere ein faltendes künstliches neuronales Netzwerk, CNN, eingesetzt werden, um insbesondere die erste Wahrscheinlichkeitsverteilung für die einzelnen Bilder zu erzeugen.
Insbesondere besitzt jedes Bild der Vielzahl aufeinanderfolgender Bilder eine Anzahl von Bildpunkten, die durch eine entsprechende zweidimensionale Pixelposition sowie entsprechende Pixelwerte charakterisiert sind. Die Pixelwerte können beispielsweise Werte für einen oder mehrere Farbkanäle und so weiter enthalten.
Anhand des ersten Teils des Algorithmus wird dementsprechend für jeden Bildpunkt des jeweiligen Bildes eine Wahrscheinlichkeit berechnet, beispielsweise zwischen 0 und 1 beziehungsweise zwischen 0 % und 100 %, dass dieser Bildpunkt zu einem Objekt gehört, welches der ersten Objektklasse angehört. Als Ergebnis kann also jedem Bildpunkt und damit jeder zweidimensionalen Pixelposition eine entsprechende Wahrscheinlichkeit für die erste Objektklasse zugeordnet werden. Die Gesamtheit der Wahrscheinlichkeiten für ein bestimmtes Bild und für die Wahrscheinlichkeit der ersten Objektklasse entspricht dann der ersten Wahrscheinlichkeitsverteilung. In analoger Weise kann beispielsweise auch für jedes Bild eine zugehörige zweite Wahrscheinlichkeitsverteilung betreffend die zweite Objektklasse erzeugt werden. Neben der ersten und der zweiten Objektklasse kann die Vielzahl vorgegebener Objektklassen eine oder mehrere weitere Objektklassen beinhalten. Auch für diese weiteren Objektklassen kann analog vorgegangen werden und eine entsprechende weitere Wahrscheinlichkeitsverteilung für jedes der Bilder erzeugt werden.
Der optische Fluss für eines der Bilder entspricht einem zweidimensionalen Vektorfeld, also einem zweidimensionalen Vektor für jeden der Bildpunkte des entsprechenden Bildes. Der optische Fluss stellt dabei die Geschwindigkeit des entsprechenden Bildpunktes im Verlauf der Vielzahl aufeinanderfolgender Bilder dar. Insbesondere gibt jeder der zweidimensionalen Vektoren eine Richtung und einen Betrag einer Geschwindigkeit des entsprechenden Bildpunkts an, wobei das jeweils in Rede stehende Bild und das jeweils vorhergehende, insbesondere unmittelbar vorhergehende, Bild der Vielzahl von Bildern zur Berechnung des optischen Flusses benutzt wird. Es existieren verschiedene Verfahren, um aus zwei aufeinanderfolgenden Bildern den entsprechenden optischen Fluss zu berechnen. Dazu kann insbesondere ebenfalls ein künstliches neuronales Netzwerk oder auch ein konventioneller Bildverarbeitungsalgorithmus verwendet werden. Auch für den entsprechenden Verfahrensschritt des computerimplementierten Verfahrens nach dem verbesserten Konzept kann eine bekannte Methode zum Berechnen des optischen Flusses verwendet werden. Der Vollständigkeit halber sei darauf hingewiesen, dass für ein initiales Bild, also ein Bild, dem kein weiteres Bild vorangeht, kein optischer Fluss bestimmt wird oder Referenzwerte für die einzelnen Geschwindigkeitsvektoren, beispielsweise Nullvektoren, verwendet werden können. Im Folgenden wird davon ausgegangen, dass der Vielzahl aufeinanderfolgender Bilder ein weiteres Bild unmittelbar vorangeht, das ebenfalls von der Recheneinrichtung erhalten wird. Demzufolge kann für jedes der Bilder der Vielzahl aufeinanderfolgender Bilder der optische Fluss bestimmt werden.
Es kann beispielsweise für jedes der Bilder der Vielzahl aufeinanderfolgender Bilder bestimmt werden, ob es fehlerhaft oder nicht fehlerhaft ist. Dazu kann beispielsweise die erste Wahrscheinlichkeitsverteilung zugrundegelegt werden und/oder die zweite Wahrscheinlichkeitsverteilung und/oder die jeweiligen weiteren Wahrscheinlichkeitsverteilungen für das entsprechende Bild. Insbesondere kann abhängig von der ersten Wahrscheinlichkeitsverteilung und gegebenenfalls der zweiten und/oder den weiteren Wahrscheinlichkeitsverteilungen wenigstens ein Unsicherheitsmaß für jedes der Bilder berechnet und mit wenigstens einem Grenzwert verglichen werden. Beispielsweise kann das entsprechende Bild als fehlerhaft identifiziert werden, wenn wenigstens eines der Unsicherheitsmaße größer ist als der entsprechende Grenzwert.
Zum Verschieben wenigstens des Teils der ersten Wahrscheinlichkeitsverteilung abhängig von dem optischen Fluss kann beispielsweise für jeden der Bildpunkte des nicht fehlerhaften Bildes ein zweidimensionaler Verschiebungsvektor basierend auf dem optischen Fluss bestimmt werden. Hierzu kann beispielsweise eine Dauer der Aufnahmezeiträume, also beispielsweise eine inverse Framerate des Bilddatenstroms, berücksichtigt werden. Der Verschiebungsvektor ergibt sich dann beispielsweise aus dem Produkt der Dauer des Aufnahmezeitraums mit einem entsprechenden Verschiebungsvektor, der basierend auf dem optischen Fluss bestimmt wird.
Zum Verschieben eines Punktes der Wahrscheinlichkeitsverteilung wird dann entsprechend dessen zweidimensionale Pixelposition um den entsprechenden Verschiebungsvektor verschoben. Der Wahrscheinlichkeitswert wird dann der so erhaltenen neuen Pixelposition zugeordnet.
Insbesondere kann jeder Punkt der ersten Wahrscheinlichkeitsverteilung dementsprechend verschoben werden oder nur eine Untermenge der Punkte der ersten Wahrscheinlichkeitsverteilung. Letzteres kann insbesondere vorteilhaft sein, wenn nicht nur festgestellt werden kann, dass das Bild fehlerhaft ist, sondern auch, welche Bildpunkte des fehlerhaften Bildes die Fehlerhaftigkeit des Bildes ausmachen. In diesem Fall können beispielsweise nur die entsprechenden fehlerhaften Bereiche der ersten Wahrscheinlichkeitsverteilung verschoben werden und die übrigen beibehalten werden.
Das semantisch segmentierte Bild für den Aufnahmezeitraum des fehlerhaften Bildes kann als Ergebnis oder Teilergebnis des computerimplementierten Verfahrens betrachtet werden. Insbesondere kann dieses semantisch segmentierte Bild mittels eines elektronischen Fahrzeugsteuerungssystems für ein Fahrzeug zum automatischen oder teilweise automatischen Steuern des Fahrzeugs berücksichtigt oder verwendet werden. Darüber hinaus kann basierend auf der ersten Wahrscheinlichkeitsverteilung für das nicht fehlerhafte Bild ebenfalls ein semantisch segmentiertes Bild für den Aufnahmezeitraum des nicht fehlerhaften Bildes erzeugt werden. Auch dieses kann Teil des Ergebnisses des computerimplementierten Verfahrens sein.
Bei selbstfahrenden oder teilweise automatisch gesteuerten Fahrzeugen können Algorithmen zum maschinellen Sehen eingesetzt werden, wie beispielsweise Objekterkennungsalgorithmen oder Verfahren zur semantischen Bildsegmentierung, um eine umfassende Darstellung und Interpretation der Umgebung des Fahrzeugs als Grundlage für die automatische oder teilweise automatische Steuerung zu schaffen. Insbesondere kann eine Recheneinrichtung des Fahrzeugs die Ergebnisse der Algorithmen zum maschinellen Sehen auswerten, um entsprechende Steuerungsbefehle zur Steuerung des Fahrzeugs zu erzeugen.
Algorithmen zur semantischen Bildsegmentierung sind an sich bekannt. Dabei werden die einzelnen Bildpunkte von Bildern eines Umfeldsensorsystems des Fahrzeugs, beispielsweise einer Kamera, eines Lidarsystems, insbesondere eines Flash-Lidarsystems, und so weiter, entsprechend vorgegebener Objektklassen klassifiziert. Beispielsweise kann jedem Bildpunkt eine entsprechende Wahrscheinlichkeit zugeordnet werden, dass dieser Bildpunkt einem Objekt der entsprechenden Objektklasse entspricht. Auf diese Weise kann für die verschiedenen Objektklassen eine jeweilige Wahrscheinlichkeitsverteilung für jedes Bild erzeugt werden. Auf Grundlage der Wahrscheinlichkeitsverteilungen kann die Recheneinrichtung dann jedem der Bildpunkte beispielsweise die wahrscheinlichste Objektklasse zuordnen, sodass ein segmentiertes Bild entsteht, bei dem jeder Bildpunkt einer entsprechenden Objektklasse zugeordnet ist.
Durch ein Verfahren nach dem verbesserten Konzept können Problemen vermieden werden, wenn das Umfeldsensorsystem ein fehlerhaftes Bild liefert. Beispielsweise kann eine teilweise Verdeckung eines Bildsensors, etwa durch einen Scheibenwischer des Fahrzeugs oder dergleichen, zu einem solchen fehlerhaften Bild führen. Ebenso können Störungen der Kommunikationsverbindung zwischen Umfeldsensorsystem und Recheneinrichtung oder sonstige Einflüsse oder Fehler zu fehlerhaften Bildern führen. Dies kann die Zuverlässigkeit beziehungsweise die Qualität der semantischen Segmentierung reduzieren. Beispielsweise kann es dazu kommen, dass für einzelne Bildbereiche oder das gesamte fehlerhafte Bild keine zuverlässige beziehungsweise keine eindeutige Klassifizierung der einzelnen Bildpunkte möglich ist. Zudem können verdeckte oder nicht auf dem fehlerhaften Bild dargestellte Objekte in der Umgebung des Fahrzeugs nicht entsprechend segmentiert werden. Dies kann zu einer geringeren Zuverlässigkeit der vollautomatischen oder teilautomatischen Steuerung des Fahrzeugs führen und dementsprechend zu Unterbrechungen der automatischen Steuerungen oder zu einem erhöhten Unfallrisiko. Diese Nachteile werden durch das Verfahren nach dem verbesserten Konzept vermieden.
Ferner können durch das Verfahren nach dem verbesserten Konzept Lücken im entsprechenden Datenstrom durch die Filterung unzuverlässiger Sensordaten vermieden werden. Dadurch wird die zur autonomen oder teilautonomen Steuerung des Fahrzeugs zur Verfügung stehende gesamte Information vergrößert.
Durch das computerimplementierte Verfahren nach dem verbesserten Konzept kann daher für jedes der Vielzahl aufeinanderfolgender Bilder beziehungsweise für jeden der entsprechenden Aufnahmezeiträume ein semantisch segmentiertes Bild erzeugt werden, unabhängig davon, ob das Bild fehlerhaft ist oder nicht fehlerhaft, sofern wenigstens ein nicht fehlerhaftes Bild vorhanden ist. Sollten beispielsweise mehrere fehlerhafte Bilder aufeinanderfolgen, so kann das letzte nicht fehlerhafte Bild zum Schätzen entsprechender erster Wahrscheinlichkeitsverteilungen wie beschrieben zugrunde gelegt werden. Durch das verbesserte Konzept kann daher für einen eingehenden Bilddatenstrom oder Videodatenstrom ein entsprechender kontinuierlicher Stream von semantisch segmentierten Bildern ohne Unterbrechungen aufgrund von fehlerhaften Eingangsbildern erzeugt werden. Dadurch kann eine zuverlässige automatische oder teilautomatische Steuerung eines Fahrzeugs basierend auf dem entsprechenden Strom semantisch segmentierter Bilder durchgeführt werden.
Im Allgemeinen ist nicht notwendigerweise das gesamte fehlerhafte Bild von dem die Fehlerhaftigkeit verursachenden Grund betroffen, insbesondere bei einer Verdeckung oder Teilverdeckung des Sensors. In diesem Fall kann das semantisch segmentierte Bild für den Aufnahmezeitraum des fehlerhaften Bildes beispielsweise sowohl abhängig von der geschätzten ersten Wahrscheinlichkeitsverteilung als auch von der ersten Wahrscheinlichkeitsverteilung für das fehlerhafte Bild, welche also direkt als Ergebnis des ersten Teils des Algorithmus zur semantischen Bildsegmentierung erhalten wird, erzeugt werden. Die beiden Wahrscheinlichkeitsverteilungen für den Aufnahmezeitraum des fehlerhaften Bildes können überlagert werden, beispielsweise gewichtet, um das semantisch segmentierte Bild zu erzeugen. So kann eine noch zuverlässigere semantische Segmentierung für den Aufnahmezeitraum des fehlerhaften Bildes bereitgestellt werden.
Gemäß zumindest einer Ausführungsform des computerimplementierten Verfahrens werden abhängig von der geschätzten ersten Wahrscheinlichkeitsverteilung Eingangsdaten für einen zweiten Teil des Algorithmus zur semantischen Bildsegmentierung erzeugt. Der zweite Teil des Algorithmus zur semantischen Bildsegmentierung wird auf die Eingangsdaten angewendet, um das semantisch segmentierte Bild für den Aufnahmezeitraum des fehlerhaften Bildes zu erzeugen. Der erste und der zweite Teil des Algorithmus sind dabei nicht notwendigerweise voneinander abhängig. Während der erste Teil im Wesentlichen dazu dient, für jedes der Bilder die Wahrscheinlichkeitsverteilungen zu erzeugen, dient der zweite Teil des Algorithmus im Wesentlichen dazu, aus den Wahrscheinlichkeitsverteilungen und im Falle des fehlerhaften Bildes aus der geschätzten ersten Wahrscheinlichkeitsverteilung das entsprechende semantisch segmentierte Bild zu erzeugen. Dazu kann beispielsweise für jeden Bildpunkt die maximale Wahrscheinlichkeit aller Objektklassen der vorgegebenen Vielzahl von Objektklassen bestimmt werden. Hierzu können für das nicht fehlerhafte Bild die erste Wahrscheinlichkeitsverteilung, gegebenenfalls die zweite Wahrscheinlichkeitsverteilung und gegebenenfalls die weiteren Wahrscheinlichkeitsverteilungen, für das nicht fehlerhafte Bild zugrunde gelegt werden. Für das fehlerhafte Bild kann die geschätzte erste Wahrscheinlichkeitsverteilung, optional in Kombination mit der ersten Wahrscheinlichkeitsverteilung für das fehlerhafte Bild, zugrunde gelegt werden sowie gegebenenfalls die entsprechenden Wahrscheinlichkeitsverteilungen beziehungsweise geschätzten Wahrscheinlichkeitsverteilungen für die zweite Objektklasse und gegebenenfalls die weiteren Objektklassen.
Gemäß zumindest einer Ausführungsform beinhalten die Eingangsdaten für den zweiten Teil des Algorithmus zur semantischen Bildsegmentierung eine Überlagerung der geschätzten ersten Wahrscheinlichkeitsverteilung für das fehlerhafte Bild mit der ersten Wahrscheinlichkeitsverteilung für das fehlerhafte Bild.
Die Überlagerung kann beispielsweise anhand einer gewichteten Summe der entsprechenden Wahrscheinlichkeitswerte für die einzelnen Bildpunkte bestimmt werden. Beispielsweise kann der zweite Teil des Algorithmus zur semantischen Bildsegmentierung also die wahrscheinlichste Klasse für einen entsprechenden Bildpunkt des semantisch segmentierten Bildes anhand der folgenden Vorschrift bestimmen:
S(x,y) = ARGMAXiie Kjtcd * P’i(x,y) + (1 - ai) * Pi(x,y)].
Dabei läuft i über alle Elemente der Vielzahl K vorgegebener Objektklassen, (x,y) bezeichnet die zweidimensionale Pixelposition des entsprechenden Bildpunkts und S(x,y) diejenige Objektklasse, die anhand des zweiten Teils des Algorithmus dem Bildpunkt des semantisch segmentierten Bildes zugeordnet wird. P,(x,y) entspricht der Wahrscheinlichkeit für die Objektklasse i basierend auf der entsprechenden Wahrscheinlichkeitsverteilung für die Objektklasse i für den Aufnahmezeitraum des fehlerhaften Bildes und P’i(x,y) entspricht der Wahrscheinlichkeit für die Objektklasse i basierend auf der geschätzten Wahrscheinlichkeitsverteilung für den Aufnahmezeitraum des fehlerhaften Bildes a, ist ein Gewichtungsparameter für die Objektklasse i, der als 0 und kleiner oder gleich 1 ist. a, kann beispielsweise auch konstant für alle Objektklassen i sein. Je größer a, ist, desto kleiner ist der Beitrag der i-ten Wahrscheinlichkeitsverteilung und desto größer ist der Beitrag der geschätzten i-ten Wahrscheinlichkeitsverteilung. Ist a, gleich 1, so wird zur Bestimmung des semantisch segmentierten Bildes nur die geschätzte i-te Wahrscheinlichkeitsverteilung berücksichtigt.
Gemäß zumindest einer Ausführungsform wird basierend auf dem optischen Fluss des nicht fehlerhaften Bildes ein geschätzter optischer Fluss für das fehlerhafte Bild bestimmt. Die geschätzte erste Wahrscheinlichkeitsverteilung für das fehlerhafte Bild wird erzeugt, indem wenigstens der Teil der ersten Wahrscheinlichkeitsverteilung für das nicht fehlerhafte Bild gemäß dem geschätzten optischen Fluss für das fehlerhafte Bild verschoben wird.
Da in die Berechnung des optischen Flusses für das fehlerhafte Bild die Pixelwerte des fehlerhaften Bildes selbst eingehen, ist im Allgemeinen auch der so bestimmte optische Fluss für das fehlerhafte Bild fehlerhaft. Dementsprechend kann der optische Fluss des nicht fehlerhaften Bildes extrapoliert werden, um den optischen Fluss für das fehlerhafte Bild zu schätzen. So kann die Zuverlässigkeit des semantisch segmentierten Bildes für den Aufnahmezeitraum des fehlerhaften Bildes weiter erhöht werden.
Gemäß zumindest einer Ausführungsform wird für jedes der Bilder durch Anwendung des ersten Teils des Algorithmus zur semantischen Bildsegmentierung eine zweite Wahrscheinlichkeitsverteilung betreffend die zweite Objektklasse erzeugt.
Gemäß zumindest einer Ausführungsform wird eine geschätzte zweite Wahrscheinlichkeitsverteilung für das fehlerhafte Bild erzeugt, indem wenigstens ein Teil der zweiten Wahrscheinlichkeitsverteilung für das nicht fehlerhafte Bild abhängig von dem optischen Fluss für das nicht fehlerhafte Bild verschoben wird. Das semantisch segmentierte Bild für den Aufnahmezeitraum des fehlerhaften Bildes wird abhängig von der geschätzten zweiten Wahrscheinlichkeitsverteilung erzeugt.
Dies kann insbesondere gemäß dem oben erläuterten Zusammenhang für S(x,y) erfolgen. Für die gegebenenfalls vorgesehenen weiteren Objektklassen der Vielzahl vorgegebener Objektklassen kann analog wie für die erste und die zweite Objektklasse vorgegangen werden. Gemäß zumindest einer Ausführungsform wird für jedes der Bilder ein erstes Unsicherheitsmaß für die jeweilige erste Wahrscheinlichkeitsverteilung bestimmt und ein zweites Unsicherheitsmaß für die jeweilige zweite Wahrscheinlichkeitsverteilung. Das nicht fehlerhafte Bild wird abhängig von dem entsprechenden ersten Unsicherheitsmaß und dem entsprechenden zweiten Unsicherheitsmaß des nicht fehlerhaften Bildes als nicht fehlerhaft identifiziert. Das fehlerhafte Bild wird abhängig von dem entsprechenden ersten Unsicherheitsmaß und dem entsprechenden zweiten Unsicherheitsmaß des fehlerhaften Bildes als fehlerhaft identifiziert.
Insbesondere kann auch für die weiteren Objektklassen ein entsprechendes Unsicherheitsmaß für die jeweilige Wahrscheinlichkeitsverteilung bestimmt werden und zur Identifizierung des fehlerhaften Bildes als fehlerhaft und des nicht fehlerhaften Bildes als nicht fehlerhaft herangezogen werden.
Beispielsweise kann für die erste Wahrscheinlichkeitsverteilung und die zweite Wahrscheinlichkeitsverteilung und gegebenenfalls für die weiteren
Wahrscheinlichkeitsverteilungen jeweils eine Unsicherheitsverteilung bestimmt werden. Die jeweilige Unsicherheitsverteilung gibt dabei für jeden der Bildpunkte einen Unsicherheitswert oder Konfidenzwert an, wobei der Unsicherheitswert zum Ausdruck bringt, mit welcher Unsicherheit die entsprechende Wahrscheinlichkeit für diesen Bildpunkt gemäß der entsprechenden Wahrscheinlichkeitsverteilung behaftet ist beziehungsweise der Konfidenzwert eine entsprechende Konfidenz beschreibt.
Eine Unsicherheitsverteilung für eine Objektklasse hängt dabei insbesondere von der Wahrscheinlichkeitsverteilung für diese Objektklasse ab, kann aber in verschiedenen Ausführungsformen auch von allen anderen Wahrscheinlichkeitsverteilungen für die übrigen Objektklassen abhängen. Insbesondere kann die Unsicherheit für einen Bildpunkt für eine bestimmte Objektklasse umso höher sein, je höher die Wahrscheinlichkeit für diese Objektklasse ist und je geringer die Wahrscheinlichkeit für übrige Objektklassen ist.
Auf diese Weise kann die Identifizierung des fehlerhaften Bildes als fehlerhaft und des nicht fehlerhaften Bildes als nicht fehlerhaft mit erhöhter Zuverlässigkeit erfolgen.
Gemäß zumindest einer Ausführungsform wird für jedes der Bilder durch Anwendung des ersten Teils des Algorithmus zur semantischen Bildsegmentierung eine dritte Wahrscheinlichkeitsverteilung betreffend eine dritte Objektklasse der Vielzahl vorgegebener Objektklassen erzeugt, wobei die dritte Objektklasse ein Störobjekt betrifft. Für jedes der Bilder der Vielzahl aufeinanderfolgender Bilder wird abhängig von der jeweiligen dritten Wahrscheinlichkeitsverteilung das Vorhandensein des Störobjekts in dem jeweiligen Bild geprüft, um das nicht fehlerhafte Bild als nicht fehlerhaft zu identifizieren und das fehlerhafte Bild als fehlerhaft zu identifizieren.
Das Störobjekt kann beispielsweise einem Scheibenwischer des Fahrzeugs selbst, in diesem Zusammenhang auch als Ego-Fahrzeug bezeichnet, einer Verschmutzung auf einer Windschutzscheibe des Ego-Fahrzeugs und so weiter entsprechen. Gegebenenfalls kann die dritte Objektklasse auch mehrere verschiedene Störobjekte betreffen.
Wird das Störobjekt in dem jeweiligen Bild identifiziert, so kann mit erhöhter Wahrscheinlichkeit davon ausgegangen werden, dass das entsprechende Bild fehlerhaft ist. Wird das Störobjekt nicht in dem Bild identifiziert, so spricht dies dafür, dass das entsprechende Bild nicht fehlerhaft ist.
Gemäß zumindest einer Ausführungsform beinhaltet der erste Teil des Algorithmus ein künstliches neuronales Netzwerk, insbesondere ein trainiertes künstliches neuronales Netzwerk.
Das neuronale Netzwerk kann beispielsweise einem faltenden neuronalen Netzwerk, CNN, entsprechen. Neuronale Netzwerke und insbesondere CNNs haben sich als besonders gut geeignet und leistungsfähig zur semantischen Bildsegmentierung, insbesondere von Kamerabildern, erwiesen. Die Architektur des neuronalen Netzwerks kann dabei einer bekannten Architektur entsprechen. Auch das Trainieren des neuronalen Netzwerks kann in einer bekannten Weise, beispielsweise basierend auf einem überwachten Training, erfolgen. Das Training und die Architektur des neuronalen Netzwerks sind für das verbesserte Konzept nicht von grundsätzlicher Bedeutung. Insbesondere kann das computerimplementierte Verfahren nach dem verbesserten Konzept beliebige neuronale Netzwerke einsetzen, die dazu in der Lage sind, Wahrscheinlichkeitsverteilungen wie beschrieben zu erzeugen.
Gemäß zumindest einer Ausführungsform wird ein unmittelbar auf das fehlerhafte Bild folgendes weiteres Bild der Vielzahl aufeinanderfolgender Bilder als fehlerhaft identifiziert. Eine geschätzte erste Wahrscheinlichkeitsverteilung für das weitere fehlerhafte Bild wird erzeugt, indem wenigstens ein weiterer Teil der ersten Wahrscheinlichkeitsverteilung, der gleich oder verschieden zu dem Teil der ersten Wahrscheinlichkeitsverteilung sein kann, für das nicht fehlerhafte Bild abhängig von dem optischen Fluss für das nicht fehlerhafte Bild verschoben wird. Abhängig von der geschätzten ersten Wahrscheinlichkeitsverteilung für das weitere fehlerhafte Bild wird ein weiteres semantisch segmentiertes Bild für den Aufnahmezeitraum des weiteren fehlerhaften Bildes erzeugt.
Für das weitere fehlerhafte Bild und das weitere semantisch segmentierte Bild gelten die Ausführungen bezüglich des fehlerhaften Bildes und des semantisch segmentierten Bildes analog. Dabei wird für die Schätzung der ersten Wahrscheinlichkeitsverteilung für das weitere fehlerhafte Bild jedoch nicht das unmittelbar vorangehende Bild der Vielzahl von aufeinanderfolgenden Bildern verwendet, da es sich dabei gerade um das fehlerhafte Bild handelt. Stattdessen wird das letzte verfügbare nicht fehlerhafte Bild zugrundegelegt.
Gemäß dem verbesserten Konzept wird auch ein Verfahren zur wenigstens teilweise automatischen Steuerung eines Fahrzeugs angegeben, wobei mittels eines Umfeldsensorsystems des Fahrzeugs eine Vielzahl aufeinanderfolgender Bilder erzeugt wird, wobei jedes der Bilder einem zugehörigen Aufnahmezeitraum entspricht, und die Bilder an eine Recheneinrichtung des Fahrzeugs übermittelt werden. Mittels der Recheneinrichtung wird ein computerimplementiertes Verfahren zur semantischen Bildsegmentierung gemäß dem verbesserten Konzept durchgeführt. Mittels der Recheneinrichtung werden Steuersignale zur wenigstens teilweise automatischen Steuerung des Fahrzeugs abhängig von dem semantisch segmentierten Bild für den Aufnahmezeitraum des fehlerhaften Bilds erzeugt.
Die Recheneinrichtung und/oder das Umfeldsensorsystem können dabei Teil eines elektronischen Fahrzeugsteuerungssystems des Fahrzeugs sein.
Unter einem elektronischen Fahrzeugsteuerungssystem kann hier und im Folgenden ein elektronisches System verstanden werden, das dazu eingerichtet ist, das Fahrzeug vollautomatisch oder vollautonom zu führen oder zu steuern, insbesondere ohne dass ein Eingriff in eine Steuerung durch einen Fahrer erforderlich ist. Das Fahrzeug beziehungsweise das elektronische Fahrzeugsteuerungssystem führt dabei alle erforderlichen Funktionen, wie gegebenenfalls erforderliche Lenk-, Brems- und/oder Beschleunigungsmanöver, die Beobachtung und Erfassung des Straßenverkehrs sowie die damit verbundenen erforderlichen Reaktionen selbsttätig und vollautomatisch durch. Insbesondere kann das elektronische Fahrzeugsteuerungssystem zur Implementierung eines vollautomatischen oder vollautonomen Fahrmodus des Kraftfahrzeugs nach Stufe 5 der Klassifizierung gemäß SAE J3016 dienen. Unter einem elektronischen Fahrzeugsteuerungssystem kann auch ein Fahrerassistenzsystem (englisch: "advanced driver assistance System", ADAS) verstanden werden, welches den Fahrer bei einer teilweise automatisierten oder teilautonomen Fahrt des Kraftfahrzeugs unterstützt. Insbesondere kann das elektronische Fahrzeugsteuerungssystem zur Implementierung eines teilweise automatisierten oder teilautonomen Fahrmodus des Kraftfahrzeugs nach einer der Stufen 1 bis 4 gemäß der SAE J3016-Klassifizierung dienen. Hier und im Folgenden bezieht sich „SAE J3016“ auf die entsprechende Norm in der Version vom Juni 2018.
Die Bilder der Vielzahl aufeinanderfolgender Bilder stellen insbesondere eine durch ein Sichtfeld des Umfeldsensorsystems festgelegte Umgebung des Fahrzeugs dar. Das Umfeldsensorsystem beinhaltet beispielsweise eine Kamera zum Erzeugen der Bilder als entsprechende Kamerabilder beziehungsweise als Bilddatenstrom.
Gemäß dem verbesserten Konzept wird auch ein elektronisches Fahrzeugsteuerungssystem zur wenigstens teilweise automatischen Steuerung des Fahrzeugs angegeben. Das elektronische Fahrzeugsteuerungssystem weist ein Umfeldsensorsystem für das Fahrzeug auf, das dazu eingerichtet ist, eine Vielzahl aufeinanderfolgender Bilder zu erzeugen, wobei jedes der Bilder einem zugehörigen Aufnahmezeitraum entspricht. Das elektronische Fahrzeugsteuerungssystem weist eine Recheneinrichtung auf, die dazu eingerichtet ist, auf jedes der Bilder einen ersten Teil eines Algorithmus zur semantischen Bildsegmentierung anzuwenden, um für jedes der Bilder eine zugehörige erste Wahrscheinlichkeitsverteilung betreffend eine erste Objektklasse zu erzeugen, wobei eine Vielzahl vorgegebener Objektklassen die erste Objektklasse sowie wenigstens eine zweite Objektklasse beinhaltet. Die Recheneinrichtung ist dazu eingerichtet, für jedes der Bilder einen optischen Fluss zu bestimmen, eines der Bilder als nicht fehlerhaft zu identifizieren und ein auf das nicht fehlerhafte Bild folgendes der Bilder als fehlerhaft zu identifizieren. Die Recheneinrichtung ist dazu eingerichtet, eine geschätzte erste Wahrscheinlichkeitsverteilung für das fehlerhafte Bild zu erzeugen und dazu wenigstens einen Teil der ersten Wahrscheinlichkeitsverteilung für das nicht fehlerhafte Bild abhängig von dem optischen Fluss des nicht fehlerhaften Bildes zu verschieben. Die Recheneinrichtung ist dazu eingerichtet, abhängig von der geschätzten ersten Wahrscheinlichkeitsverteilung ein semantisch segmentiertes Bild für den Aufnahmezeitraum des fehlerhaften Bildes zu erzeugen.
Gemäß zumindest einer Ausführungsform des elektronischen Fahrzeugsteuerungssystems ist die Recheneinrichtung dazu eingerichtet, Steuersignale zur wenigstens teilweise automatischen Steuerung des Fahrzeugs abhängig von dem semantisch segmentierten Bild für den Aufnahmezeitraum des fehlerhaften Bildes zu erzeugen.
Die Steuersignale können beispielsweise an einen oder mehrere Aktuatoren des Fahrzeugs oder des Fahrzeugsteuerungssystems übermittelt werden, die die wenigstens teilweise automatische Steuerung des Fahrzeugs umsetzen können, insbesondere abhängig von den jeweils erhaltenen Steuersignalen.
Weitere Ausführungsformen des elektronischen Fahrzeugsteuerungssystems nach dem verbesserten Konzept folgen direkt aus den verschiedenen Ausführungsformen des computerimplementierten Verfahrens zur semantischen Bildsegmentierung nach dem verbesserten Konzept sowie aus dem Verfahren zur wenigstens teilweise automatischen Steuerung eines Fahrzeugs nach dem verbesserten Konzept und jeweils umgekehrt. Insbesondere kann ein elektronisches Fahrzeugsteuerungssystem nach dem verbesserten Konzept dazu eingerichtet sein, ein computerimplementiertes Verfahren zur semantischen Bildsegmentierung oder ein Verfahren zur wenigstens teilweise automatischen Steuerung eines Fahrzeugs nach dem verbesserten Konzept auszuführen oder das Fahrzeugsteuerungssystem führt ein solches Verfahren aus.
Gemäß dem verbesserten Konzept wird auch ein Kraftfahrzeug, insbesondere ein teilweise oder vollständig automatisch steuerbares Kraftfahrzeug, mit einem elektronischen Fahrzeugsteuerungssystem nach dem verbesserten Konzept angegeben.
Gemäß dem verbesserten Konzept wird ein erstes Computerprogramm mit ersten Befehlen angegeben. Wenn die ersten Befehle durch ein Computersystem ausgeführt werden, insbesondere durch eine Recheneinrichtung eines elektronischen Fahrzeugsteuerungssystems nach dem verbesserten Konzept, veranlassen die ersten Befehle das Computersystem dazu, ein computerimplementiertes Verfahren zur semantischen Bildsegmentierung gemäß dem verbesserten Konzept durchzuführen.
Gemäß dem verbesserten Konzept wird ein zweites Computerprogramm mit zweiten Befehlen angegeben. Wenn die zweiten Befehle durch ein elektronisches Fahrzeugsteuerungssystem nach dem verbesserten Konzept ausgeführt werden, insbesondere durch die Recheneinrichtung des elektronischen Fahrzeugsteuerungssystems, veranlassen die zweite Befehle das elektronische Fahrzeugsteuerungssystem dazu, ein Verfahren zur wenigstens teilweise automatischen Steuerung eines Fahrzeugs nach dem verbesserten Konzept durchzuführen.
Gemäß dem verbesserten Konzept wird auch ein computerlesbares Speichermedium angegeben, das ein erstes Computerprogramm und/oder ein zweites Computerprogramm nach dem verbesserten Konzept speichert.
Das erste und das zweite Computerprogramm sowie das computerlesbare Speichermedium können als jeweilige Computerprogrammprodukte mit den ersten beziehungsweise den zweiten Befehlen verstanden werden.
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen.
Im Folgenden werden Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:
Fig. 1 eine schematische Darstellung eines Kraftfahrzeugs mit einer beispielhaften Ausführungsform eines elektronischen Fahrzeugsteuerungssystems nach dem verbesserten Konzept; und
Fig. 2 eine schematische Darstellung von Verfahrensschritten einer beispielhaften
Ausführungsform eines computerimplementierten Verfahrens zur semantischen Bildsegmentierung nach dem verbesserten Konzept.
Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsbeispiele der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebenen Ausführungsbeispiele auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
In Fig. 1 sind schematisch ein Kraftfahrzeug 1 sowie eine beispielhafte Ausführungsform eines elektronischen Fahrzeugsteuerungssystems 2 des Kraftfahrzeugs 1 nach dem verbesserten Konzept dargestellt. Das Fahrzeugsteuerungssystem 2 weist ein Umfeldsensorsystem 3, insbesondere eine Kamera, beispielsweise eine Frontkamera, für das Kraftfahrzeug 1 auf sowie eine Recheneinrichtung 4, die mit dem Umfeldsensorsystem 3 verbunden ist. Die Recheneinrichtung 4 ist dazu eingerichtet, Steuersignale für Aktuatoren (nicht dargestellt) des Fahrzeugs 1 zu erzeugen, um das Kraftfahrzeug 1 vollautomatisch oder vollautonom zu führen oder zu steuern und/oder eine oder mehrere Fahrerassistenzfunktionen zur teilweise automatischen oder teilautonomen Steuerung des Kraftfahrzeugs 1 auszuführen. Angesteuert durch die Recheneinrichtung 4 kann das Kraftfahrzeug 1 erforderliche Funktionen, wie beispielsweise Lenk-, Brems-, Beschleunigungsmanöver und so weiter selbsttätig und automatisch durchführen oder den Fahrer bei einer teilweise automatisierten Fahrt entsprechend unterstützen. Die Recheneinrichtung 4 kann dazu Sensordaten verschiedener Sensoren des Fahrzeugsteuerungssystems 2 beziehungsweise des Kraftfahrzeugs 1 berücksichtigen, unter anderem auch Bilddaten, die mittels des Umfeldsensorsystems 3 erzeugt werden können.
Insbesondere kann das Umfeldsensorsystem 3 einen Bilddatenstrom erzeugen, auch als Videostream bezeichnet, der eine Vielzahl aufeinanderfolgender Bilder beinhaltet, wobei jedes der Bilder einem entsprechenden Frame oder Aufnahmezeitraum entspricht. Das Umfeldsensorsystem 3 kann den Videodatenstrom beziehungsweise die Bilder des Videodatenstroms an die Recheneinrichtung 4 übermitteln, wo sie wenigstens vorübergehend gespeichert werden können. Die Recheneinrichtung 4 ist insbesondere dazu eingerichtet, ein computerimplementiertes Verfahren zur semantischen Bildsegmentierung nach dem verbesserten Konzept durchzuführen.
Fig. 2 zeigt schematisch verschiedene Verfahrensschritte gemäß einer beispielhaften Ausführungsform eines computerimplementierten Verfahrens zur semantischen Bildsegmentierung nach dem verbesserten Konzept, wie es beispielsweise von der Recheneinrichtung 4 des elektronischen Fahrzeugsteuerungssystems 2 aus Fig. 1 durchgeführt werden kann.
Im Schritt S1 erhält die Recheneinrichtung 4 von dem Umfeldsensorsystem 3 den Bilddatenstrom mit einer Vielzahl aufeinanderfolgender Bilder, von denen im Beispiel der Fig. 2 nur zwei aufeinanderfolgende Bilder 5a, 5b schematisch dargestellt sind. Im Beispiel der Fig. 2 ist das erste Bild 5a beispielsweise nicht fehlerhaft und das zweite Bild 5b, welches unmittelbar auf das erste Bild 5a folgt, ist fehlerhaft. Beispielsweise kann in dem zweiten Bild 5b ein Scheibenwischer des Kraftfahrzeugs 1 abgebildet sein, der einen dahinterliegenden Bereich der Umgebung des Fahrzeugs 1 für das Umfeldsensorsystem 3, welches im vorliegenden Fall als Kamera ausgestaltet ist, verdeckt.
In Schritt S2 wendet die Recheneinrichtung 4 einen ersten Teil eines Algorithmus zur semantischen Bildsegmentierung, beispielsweise ein faltendes neuronales Netzwerk, CNN, 6 auf jedes der Bilder 5a, 5b an. Als Ergebnis des ersten Teils des Algorithmus wird für jedes der Bilder 5a, 5b eine zugehörige Wahrscheinlichkeitsverteilung für jeweils eine Vielzahl von vordefinierten Objektklassen erzeugt. Die Objektklassen können beispielsweise unterschiedliche Verkehrsteilnehmer wie andere Kraftfahrzeuge, Zweiräder, Fußgänger und so weiter spezifizieren oder Teile der Straße, Gebäude, Infrastruktureinrichtungen und so weiter. In Fig. 2 ist beispielhaft eine erste Wahrscheinlichkeitsverteilung 7 für das zweite Bild 5b gezeigt, welches eine erste Objektklasse betrifft.
Die erste Wahrscheinlichkeitsverteilung 7 gibt daher für jeden Bildpunkt des zweiten Bildes 5b an, wie hoch die Wahrscheinlichkeit dafür ist, dass der entsprechende Bildpunkt zu einem Objekt der ersten Objektklasse gehört. Die Wahrscheinlichkeit kann zwischen 0 und 1 liegen oder anderes normiert sein und ist in Fig. 2 durch Graustufen schematisch dargestellt. Ebenso wird eine entsprechende erste Wahrscheinlichkeitsverteilung für das erste Bild 5a als Ausgabe des CNN 6 erzeugt sowie jeweilige Wahrscheinlichkeitsverteilungen für die Bilder 5a, 5b für alle weiteren Objektklassen.
In Schritt S3 wird für jedes der Bilder des Bilddatenstroms, insbesondere für die Bilder 5a, 5b, ein optischer Fluss bestimmt. Der optische Fluss 8 für das erste Bild 5a ist in Fig. 2 schematisch durch fünf zweidimensionale Vektoren dargestellt. Tatsächlich weist der optische Fluss 8 für jeden Bildpunkt des ersten Bildes 5a einen zweidimensionalen Vektor auf, dessen Länge dem Betrag der Geschwindigkeit des entsprechenden Bildpunkts bezüglich eines unmittelbar vorangehenden Bildes (nicht dargestellt) des Bilddatenstroms angibt und die Richtung des zweidimensionalen Vektors die entsprechende Richtung der Geschwindigkeit. In analoger Weise wird für jedes weitere Bild inklusive dem zweiten Bild 5b des Bilddatenstroms in Schritt S3 ein entsprechender optischer Fluss bestimmt.
In Schritt S4 überprüft die Recheneinrichtung 4 für jedes der Bilder des Videodatenstroms, ob es fehlerhaft ist oder nicht. Insbesondere identifiziert die Recheneinrichtung 4 in Schritt S4 das erste Kamerabild 5a als nicht fehlerhaft und das zweite Kamerabild 5b als fehlerhaft. Dazu kann die Recheneinrichtung 4 die Wahrscheinlichkeitsverteilungen für das jeweils zu überprüfende Bild für alle Objektklassen berücksichtigen, um eine Unsicherheitsverteilung 9 für das entsprechende Bild zu berechnen. Die Unsicherheitsverteilung 9 kann dabei für jede Objektklasse berechnet werden. Im einfachsten Fall kann die Unsicherheitsverteilung 9 für eine Objektklasse alleine basierend auf der entsprechenden Wahrscheinlichkeitsverteilung für diese Objektklasse bestimmt werden. Je höher die Wahrscheinlichkeit des entsprechenden Bildpunkts für die entsprechende Objektklasse, desto geringer ist beispielsweise die Unsicherheit. Vorzugsweise werden jedoch für die Bestimmung der Unsicherheitsverteilung 9 für eine der Objektklassen auch die Wahrscheinlichkeitsverteilungen desselben Bildes für die übrigen Objektklassen berücksichtigt. Insbesondere kann die Unsicherheit umso kleiner sein, je größer die Wahrscheinlichkeit für die betrachtete Objektklasse ist und je kleiner die jeweiligen Wahrscheinlichkeiten für die übrigen Objektklassen sind.
Sodann kann die Recheneinrichtung 4 beispielsweise für jede der Unsicherheitsverteilungen 9 ein Unsicherheitsmaß bestimmen, beispielsweise durch Mittelwertbildung aller Unsicherheitswerte der entsprechenden Unsicherheitsverteilung 9. Die Recheneinrichtung 4 kann das entsprechende Unsicherheitsmaß für jedes der Bilder und für jede der Objektklassen mit einem entsprechenden Grenzwert vergleichen und das zu prüfende Bild abhängig von einem Ergebnis des Vergleichs beziehungsweise der Vergleiche als fehlerhaft oder nicht fehlerhaft identifizieren. Beispielsweise kann die Recheneinrichtung 4 das Bild als fehlerhaft identifizieren, wenn eines der Unsicherheitsmaße für die verschiedenen Objektklassen den entsprechenden Grenzwert überschreitet und das entsprechende Bild anderenfalls als nicht fehlerhaft identifizieren.
Wie erwähnt, wird im Folgenden davon ausgegangen, dass das erste Bild 5a als nicht fehlerhaft identifiziert wird und das zweite Bild 5b als fehlerhaft. Die Recheneinrichtung 4 kann dann in Schritt S5 einen geschätzten optischen Fluss für das fehlerhafte Bild 5b bestimmen. Dazu kann die Recheneinrichtung 4 von dem optischen Fluss 8 des nicht fehlerhaften Bildes 5a ausgehen und diesen entsprechend der Framedauer, also der Aufnahmezeitdauer eines Frames beziehungsweise des Kehrwerts der Framerate, extrapolieren, um so einen geschätzten optischen Fluss 10 für das fehlerhafte Bild 5b zu ermitteln. Nun kann die Recheneinrichtung 4 in Schritt S6 eine geschätzte erste Wahrscheinlichkeitsverteilung 11 für das fehlerhafte Bild 5b erzeugen, indem sie die erste Wahrscheinlichkeitsverteilung für das nicht fehlerhafte Bild 5a gemäß dem geschätzten optischen Fluss 10 verschiebt. Diese Schritte können für alle weiteren Wahrscheinlichkeitsverteilungen für die unterschiedlichen Objektklassen ebenfalls durchgeführt werden. Mit anderen Worten werden sämtliche Wahrscheinlichkeitsverteilungen für alle Objektklassen des ersten nicht fehlerhaften Bildes 5a entsprechend dem geschätzten optischen Fluss 10 verschoben, um entsprechende geschätzte Wahrscheinlichkeitsverteilungen für das fehlerhafte Bild 5b zu erhalten.
In Schritt S7 kann die Recheneinrichtung 4 dann die geschätzten
Wahrscheinlichkeitsverteilungen für das fehlerhafte Bild 5b verwenden, um ein semantisch segmentiertes Bild 12 für das fehlerhafte Bild 5b zu erzeugen. Hierzu kann die Recheneinrichtung beispielsweise für jeden Bildpunkt eine ARGMAX Funktion berechnen, die die jeweilige Objektklasse für den jeweiligen Bildpunkt mit der höchsten Wahrscheinlichkeit zurückgibt. Die Recheneinrichtung 4 kann dabei die ARGMAX Funktion beispielsweise auf die geschätzten Wahrscheinlichkeitsverteilungen alleine anwenden, ohne die Wahrscheinlichkeitsverteilungen für das fehlerhafte Bild 5b, die direkt aus dem CNN 6 erhalten werden, zu berücksichtigen, da diese fehlerhaft sind. Vorzugsweise wird jedoch eine Überlagerung der fehlerhaften Wahrscheinlichkeitsverteilung aus dem Ergebnis des CNN 6 mit der entsprechenden geschätzten Wahrscheinlichkeitsverteilung für das fehlerhafte Bild 5b zugrunde gelegt. Beispielsweise können die jeweilige Wahrscheinlichkeitsverteilung und die zugehörige geschätzte Wahrscheinlichkeitsverteilung gewichtet summiert werden, wie gemäß dem obenstehenden Ausdruck für S(x,y) dargelegt.
Solche Ausführungsformen sind besonders vorteilhaft, weil damit diejenigen Teile des fehlerhaften Bildes 5b exakt berücksichtigt werden können, die nicht von der Ursache für die Fehlerhaftigkeit, also von der Verdeckung oder der Verschmutzung oder dergleichen, beeinflusst sind. Diejenigen Teile, für die das fehlerhafte Bild 5b keine adäquate Wahrscheinlichkeitsverteilung liefert, beispielsweise weil die entsprechenden Bildbereiche verdeckt sind, werden durch die geschätzte Wahrscheinlichkeitsverteilung berücksichtigt. So kann die verfügbare Information maximal ausgenutzt werden, um ein möglichst zuverlässiges Ergebnis zu erhalten.
Zum Vergleich ist in Fig. 2 auch ein hypothetisches semantisch segmentiertes Bild 12‘ für das fehlerhafte Bild 5b dargestellt, bei dem das computerimplementierte Verfahren nach dem verbesserten Konzept nicht eingesetzt wurde, bei dem also allein die fehlerhafte Wahrscheinlichkeitsverteilung aus dem CNN 6 verwendet wurde. Wie gut zu erkennen ist, spiegelt sich der Fehler aus dem fehlerhaften Bild 5b direkt im semantisch segmentierten Bild 12‘ wider. Die Recheneinrichtung 4 kann nun im Rahmen eines Verfahrens zum automatischen oder teilweise automatischen Steuern des Kraftfahrzeugs 1 das semantisch segmentierte Bild 12 für das fehlerhafte Bild 5b berücksichtigen.
Die Bildsegmentierung nach dem verbesserten Konzept kann insbesondere abwechselnd mit der konventionellen semantischen Segmentierung nicht fehlerhafter Bilder eingesetzt werden. So kann während eines live übertragenen Bilddatenstroms wiederholt zwischen der semantischen Segmentierung in konventioneller Weise und der semantischen Segmentierung gemäß dem verbesserten Konzept hin- und hergewechselt werden, wenn die entsprechende Überprüfung der Kamerabilder fehlerhafte Bilder beziehungsweise nicht fehlerhafte Bilder identifiziert.
Die Schätzung der Wahrscheinlichkeitsverteilungen und die Extrapolation des optischen Flusses kann dabei nicht nur von einem nicht fehlerhaften Bild auf das darauffolgende fehlerhafte Bild genutzt werden, sondern auch für auf das fehlerhafte Bild folgende weitere fehlerhafte Bilder. Im Allgemeinen kann für die semantische Segmentierung eines fehlerhaften Bildes stets der optische Fluss des letzten nicht fehlerhaften Bildes entsprechend extrapoliert werden und die entsprechende Wahrscheinlichkeitsverteilung des letzten nicht fehlerhaften Bildes dementsprechend verschoben werden.
Bezugszeichenliste
Kraftfahrzeug elektronisches Fahrzeugsteuerungssystem
Umfeldsensorsystem
Recheneinrichtung a, 5b Bilder neuronales Netzwerk Wahrscheinlichkeitsverteilung optischer Fluss Unsicherheitsverteilung 0 extrapolierter optischer Fluss 1 geschätzte Wahrscheinlichkeitsverteilung2 12 semantisch segmentierte Bilder 1 bis S7 Verfahrensschritte

Claims

Patentansprüche
1. Computerimplementiertes Verfahren zur semantischen Bildsegmentierung, wobei eine Vielzahl aufeinanderfolgender Bilder (5a, 5b) erhalten wird, wobei jedes der Bilder (5a, 5b) einem zugehörigen Aufnahmezeitraum entspricht; und auf jedes der Bilder (5a, 5b) ein erster Teil eines Algorithmus zur semantischen Bildsegmentierung angewendet wird, um für jedes der Bilder (5a, 5b) eine zugehörige erste Wahrscheinlichkeitsverteilung (7) betreffend eine erste Objektklasse zu erzeugen, wobei eine Vielzahl vorgegebener Objektklassen die erste Objektklasse sowie eine zweite Objektklasse beinhaltet; dadurch gekennzeichnet, dass für jedes der Bilder (5a, 5b) ein optischer Fluss (8) bestimmt wird; eines der Bilder (5a) als nicht fehlerhaft identifiziert wird und ein auf das nicht fehlerhafte
Bild (5a) folgendes der Bilder (5b) als fehlerhaft identifiziert wird; eine geschätzte erste Wahrscheinlichkeitsverteilung (11) für das fehlerhafte Bild (5b) erzeugt wird, indem wenigstens ein Teil der ersten Wahrscheinlichkeitsverteilung für das nicht fehlerhafte Bild (5a) abhängig von dem optischen Fluss (8) für das nicht fehlerhafte
Bild (5a) verschoben wird; und abhängig von der geschätzten ersten Wahrscheinlichkeitsverteilung (11) ein semantisch segmentiertes Bild (12) für den Aufnahmezeitraum des fehlerhaften Bildes (5b) erzeugt wird.
2. Computerimplementiertes Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass abhängig von der geschätzten ersten Wahrscheinlichkeitsverteilung (11) Eingangsdaten für einen zweiten Teil des Algorithmus zur semantischen Bildsegmentierung erzeugt werden; und der zweite Teil des Algorithmus zur semantischen Bildsegmentierung auf die Eingangsdaten angewendet wird, um das semantisch segmentierte Bild (12) für den Aufnahmezeitraum des fehlerhaften Bildes (5b) zu erzeugen.
3. Computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Eingangsdaten für den zweiten Teil des Algorithmus zur semantischen Bildsegmentierung eine Überlagerung der geschätzten ersten Wahrscheinlichkeitsverteilung (11) mit der ersten Wahrscheinlichkeitsverteilung (7) für das fehlerhafte Bild (5b) beinhalten.
4. Computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass basierend auf dem optischen Fluss (8) des nicht fehlerhaften Bildes (5a) ein geschätzter optischer Fluss (10) für das fehlerhafte Bild (5b) bestimmt wird; und die geschätzte erste Wahrscheinlichkeitsverteilung (11) für das fehlerhafte Bild (5b) erzeugt wird, indem wenigstens der Teil der ersten Wahrscheinlichkeitsverteilung für das nicht fehlerhafte Bild (5a) gemäß dem geschätzten optischen Fluss (10) für das fehlerhafte Bild (5b) verschoben wird.
5. Computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für jedes der Bilder (5a, 5b) durch Anwendung des ersten Teils des Algorithmus zur semantischen Bildsegmentierung eine zweite Wahrscheinlichkeitsverteilung betreffend die zweite Objektklasse erzeugt wird; eine geschätzte zweite Wahrscheinlichkeitsverteilung für das fehlerhafte Bild (5b) erzeugt wird, indem wenigstens ein Teil der zweiten Wahrscheinlichkeitsverteilung für das nicht fehlerhafte Bild (5a) abhängig von dem optischen Fluss (8) für das nicht fehlerhafte Bild (5a) verschoben wird; und das semantisch segmentierte Bild (12) für den Aufnahmezeitraum des fehlerhaften Bildes (5b) abhängig von der geschätzten zweiten Wahrscheinlichkeitsverteilung erzeugt wird.
6. Computerimplementiertes Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass für jedes der Bilder (5a, 5b) ein erstes Unsicherheitsmaß für die jeweilige erste Wahrscheinlichkeitsverteilung (7) bestimmt wird und für jedes der Bilder (5a, 5b) ein zweites Unsicherheitsmaß für die jeweilige zweite Wahrscheinlichkeitsverteilung bestimmt wird; das nicht fehlerhafte Bild (5a) abhängig von dem entsprechenden ersten Unsicherheitsmaß und dem entsprechenden zweiten Unsicherheitsmaß als nicht fehlerhaft identifiziert wird; und das fehlerhafte Bild (5b) abhängig von dem entsprechenden ersten Unsicherheitsmaß und dem entsprechenden zweiten Unsicherheitsmaß als fehlerhaft identifiziert wird.
7. Computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass für jedes der Bilder (5a, 5b) durch Anwendung des ersten Teils des Algorithmus zur semantischen Bildsegmentierung eine dritte Wahrscheinlichkeitsverteilung betreffend eine dritte Objektklasse der Vielzahl vorgegebener Objektklassen erzeugt wird, wobei die dritte Objektklasse ein Störobjekt betrifft; für jedes der Bilder (5a, 5b) abhängig von der jeweiligen dritten
Wahrscheinlichkeitsverteilung das Vorhandensein des Störobjekts in dem jeweiligen Bild geprüft wird, um das nicht fehlerhafte Bild (5a) als nicht fehlerhaft zu identifizieren und das fehlerhafte Bild (5b) als fehlerhaft zu identifizieren.
8. Computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der erste Teil des Algorithmus zur semantischen Bildsegmentierung ein künstliches neuronales Netzwerk (6) beinhaltet.
9. Computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein unmittelbar auf das fehlerhafte Bild (5b) folgendes weiteres Bild als fehlerhaft identifiziert wird; eine geschätzte erste Wahrscheinlichkeitsverteilung für das weitere fehlerhafte Bild erzeugt wird, indem wenigstens ein weiterer Teil der ersten Wahrscheinlichkeitsverteilung für das nicht fehlerhafte Bild (5a) abhängig von dem optischen Fluss (8) für das nicht fehlerhafte Bild (5a) verschoben wird; und abhängig von der geschätzten ersten Wahrscheinlichkeitsverteilung für das weitere fehlerhafte Bild ein weiteres semantisch segmentiertes Bild für den Aufnahmezeitraum des weiteren fehlerhaften Bildes erzeugt wird.
10. Verfahren zur wenigstens teilweise automatischen Steuerung eines Fahrzeugs (1), wobei mittels eines Umfeldsensorsystems (3) des Fahrzeugs (1) eine Vielzahl aufeinanderfolgender Bilder (5a, 5b) erzeugt wird und die Bilder (5a, 5b) an eine Recheneinrichtung (4) des Fahrzeugs übermittelt werden und wobei jedes der Bilder (5a, 5b) einem zugehörigen Aufnahmezeitraum entspricht, dadurch gekennzeichnet, dass mittels der Recheneinrichtung (4) ein computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 9 durchgeführt wird; und mittels der Recheneinrichtung (4) Steuersignale zur wenigstens teilweise automatischen Steuerung des Fahrzeugs (1) abhängig von dem semantisch segmentierten Bild (12) für den Aufnahmezeitraum des fehlerhaften Bildes (5b) erzeugt werden.
11. Elektronisches Fahrzeugsteuerungssystem (2) zur wenigstens teilweise automatischen Steuerung eines Fahrzeugs (1), aufweisend ein Umfeldsensorsystem (3) für das Fahrzeug (1), das dazu eingerichtet ist, eine Vielzahl aufeinanderfolgender Bilder (5a, 5b) zu erzeugen, wobei jedes der Bilder (5a, 5b) einem zugehörigen Aufnahmezeitraum entspricht; und eine Recheneinrichtung (4), die dazu eingerichtet ist, auf jedes der Bilder (5a, 5b) einen ersten Teil eines Algorithmus zur semantischen Bildsegmentierung anzuwenden, um für jedes der Bilder (5a, 5b) eine zugehörige erste Wahrscheinlichkeitsverteilung (7) betreffend eine erste Objektklasse zu erzeugen, wobei eine Vielzahl vorgegebener Objektklassen die erste Objektklasse sowie wenigstens eine zweite Objektklasse beinhaltet; dadurch gekennzeichnet, das die Recheneinrichtung (4) dazu eingerichtet ist, für jedes der Bilder (5a, 5b) einen optischen Fluss (8) zu bestimmen; eines der Bilder (5a, 5b) als nicht fehlerhaft zu identifizieren und ein auf das nicht fehlerhafte Bild folgendes der Bilder (5a, 5b) als fehlerhaft zu identifizieren; eine geschätzte erste Wahrscheinlichkeitsverteilung (11) für das fehlerhafte Bild (5b) zu erzeugen und dazu wenigstens ein Teil der ersten Wahrscheinlichkeitsverteilung für das nicht fehlerhafte Bild (5a) abhängig von dem optischen Fluss (8) des nicht fehlerhaften
Bildes (5a) zu verschieben; und abhängig von der geschätzten ersten Wahrscheinlichkeitsverteilung (11) ein semantisch segmentiertes Bild (12) für den Aufnahmezeitraum des fehlerhaften Bildes (5b) zu erzeugen.
12. Elektronisches Fahrzeugsteuerungssystem (2) nach Anspruch 11, dadurch gekennzeichnet, dass die Recheneinrichtung (4) dazu eingerichtet ist, Steuersignale zur wenigstens teilweise automatischen Steuerung des Fahrzeugs (1) abhängig von dem semantisch segmentierten Bild (12) für den Aufnahmezeitraum des fehlerhaften Bildes (5b) zu erzeugen.
13. Kraftfahrzeug (1) mit einem elektronischen Fahrzeugsteuerungssystem (2) nach einem der Ansprüche 11 oder 12.
14. Computerprogrammprodukt mit Befehlen, welche, wenn sie durch ein Computersystem ausgeführt werden, das Computersystem dazu veranlassen, ein computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 9 durchzuführen.
15. Computerprogrammprodukt mit Befehlen, welche, wenn sie durch ein elektronisches Fahrzeugsteuerungssystem (2) nach einem der Ansprüche 11 oder 12 ausgeführt werden, das elektronische Fahrzeugsteuerungssystem (2) dazu veranlassen, ein Verfahren nach Anspruch 10 durchzuführen.
PCT/EP2022/056249 2021-03-18 2022-03-10 Semantische bildsegmentierung eines bilddatenstroms WO2022194679A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021202668.0 2021-03-18
DE102021202668 2021-03-18

Publications (1)

Publication Number Publication Date
WO2022194679A1 true WO2022194679A1 (de) 2022-09-22

Family

ID=80999387

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/056249 WO2022194679A1 (de) 2021-03-18 2022-03-10 Semantische bildsegmentierung eines bilddatenstroms

Country Status (1)

Country Link
WO (1) WO2022194679A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2381416A1 (de) * 2009-01-20 2011-10-26 Honda Motor Co., Ltd. Bildwiederherstellungsverfahren in einem computeransichtssystem
US20200090322A1 (en) 2018-09-13 2020-03-19 Nvidia Corporation Deep neural network processing for sensor blindness detection in autonomous machine applications

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2381416A1 (de) * 2009-01-20 2011-10-26 Honda Motor Co., Ltd. Bildwiederherstellungsverfahren in einem computeransichtssystem
US20200090322A1 (en) 2018-09-13 2020-03-19 Nvidia Corporation Deep neural network processing for sensor blindness detection in autonomous machine applications
WO2020112213A2 (en) * 2018-09-13 2020-06-04 Nvidia Corporation Deep neural network processing for sensor blindness detection in autonomous machine applications

Similar Documents

Publication Publication Date Title
EP1789906B1 (de) Verfahren zur bildbasierten fahreridentifikation in einem kraftfahrzeug
WO2018177484A1 (de) Verfahren und system zur vorhersage von sensorsignalen eines fahrzeugs
EP3466239A1 (de) Verfahren für den betrieb einer selbstfahrenden landwirtschaftlichen arbeitsmaschine
DE102017219282A1 (de) Verfahren und Vorrichtung zum automatischen Erzeugen eines künstlichen neuronalen Netzes
WO2020048669A1 (de) Verfahren zum bestimmen einer spurwechselangabe eines fahrzeugs, ein computerlesbares speichermedium und ein fahrzeug
DE102019217723A1 (de) Fahrsicherheits-steuersystem unter verwendung von umgebungsgeräuschen und steuerverfahren dafür
DE102019209457A1 (de) Verfahren zum Trainieren eines künstlichen neuronalen Netzes, künstliches neuronales Netz, Verwendung eines künstlichen neuronalen Netzes sowie entsprechendes Computerprogramm, maschinenlesbares Speichermedium und entsprechende Vorrichtung
DE102019214200A1 (de) Übersetzung von Trainingsdaten zwischen Beobachtungsmodalitäten
DE102019122250A1 (de) Verfahren sowie Steuergerät für ein System zum Steuern eines Kraftfahrzeugs
DE102008007152B4 (de) Verfahren zur Parametrisierung des Augenöffnungsgrades eines Fahrers eines Kraftfahrzeugs
DE102018121866A1 (de) Verfahren zur Tiefenabschätzung von zweidimensionalen Sensordaten
EP3748453B1 (de) Verfahren und vorrichtung zum automatischen ausführen einer steuerfunktion eines fahrzeugs
WO2021228894A1 (de) Bildauswertungsverfahren in der mikroskopie
DE102020200499A1 (de) Verfahren zum Generieren von gelabelten Daten, insbesondere für das Training eines neuronalen Netzes, unter Verwendung ungelabelter, partitionierter Stichproben
WO2022194679A1 (de) Semantische bildsegmentierung eines bilddatenstroms
DE102019129904A1 (de) Automatische Fahrkompetenzanalyse
EP3857455A1 (de) Maschinelles lernsystem, sowie ein verfahren, ein computerprogramm und eine vorrichtung zum erstellen des maschinellen lernsystems
DE102022201679A1 (de) Verfahren und Vorrichtung zum Trainieren eines neuronalen Netzes
DE102019218078B4 (de) Bestimmung eines Sachverhalts im Umfeld eines Kraftfahrzeugs
EP4248418A2 (de) Verfahren und system zur annotation von sensordaten
EP3772017A1 (de) Bahnsignalerkennung für autonome schienenfahrzeuge
DE102020110689A1 (de) Maschinendiagnosesystem und Maschinendiagnoseverfahren
DE102023002181B3 (de) Adaptive Filterkette zum Anzeigen eines Umfeldmodells in einem Fahrzeug
DE102019209292A1 (de) Verfahren zum Betreiben einer Umfeldsensorik eines Fahrzeugs und Umfeldsensorik
EP3866135B1 (de) Verfahren zum steuern einer lichtsignalanlage

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22713922

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22713922

Country of ref document: EP

Kind code of ref document: A1