WO2024056570A1 - Verfahren und system zum trainieren eines auswertungsmodells zum erkennen eines sitzbelegungszustands einer sitzanordnung auf basis von radarpunktwolken - Google Patents

Verfahren und system zum trainieren eines auswertungsmodells zum erkennen eines sitzbelegungszustands einer sitzanordnung auf basis von radarpunktwolken Download PDF

Info

Publication number
WO2024056570A1
WO2024056570A1 PCT/EP2023/074835 EP2023074835W WO2024056570A1 WO 2024056570 A1 WO2024056570 A1 WO 2024056570A1 EP 2023074835 W EP2023074835 W EP 2023074835W WO 2024056570 A1 WO2024056570 A1 WO 2024056570A1
Authority
WO
WIPO (PCT)
Prior art keywords
seat
radar
point cloud
points
measurement data
Prior art date
Application number
PCT/EP2023/074835
Other languages
English (en)
French (fr)
Inventor
Joel Ewig
Lena Werner
Original Assignee
Gestigon Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gestigon Gmbh filed Critical Gestigon Gmbh
Publication of WO2024056570A1 publication Critical patent/WO2024056570A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/04—Systems determining presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Definitions

  • the present invention relates to a method, a computer program and a system configured to carry out the method, each for automatically recognizing a seat occupancy status of a seating arrangement with at least one seat using a trained evaluation model.
  • the invention also relates to a method for training such an evaluation model, in particular a machine learning model.
  • seat occupancy mats are known in particular, which are integrated into the seats (usually one per seat) and pressure-sensitive sensors for detecting occupancy of the respective seat use.
  • a seat occupancy status of the seat is determined depending on the sensor signals or sensor data from these sensors, usually by means of a threshold value test.
  • an improved solution for training an evaluation model for automated recognition of a seat occupancy status of a seating arrangement is to be specified.
  • a first aspect of the solution presented here relates to a method, in particular a computer-implemented one, for training an evaluation model, in particular a machine learning model, for automated recognition of a seat occupancy status of a seating arrangement with at least one seat.
  • the method comprises: (i) acquiring, in particular receiving or generating, measurement data which represent an associated radar point cloud, wherein the radar point cloud was or is obtained on the basis of a radar scanning of a spatial area surrounding the seat arrangement at least in sections and one of several predefined possible seat occupancy states assigned to the seating arrangement; (ii) generating augmented measurement data representing an associated augmented point cloud from the measurement data associated with the radar point cloud; and (iii) generating training data from the measurement data and the augmented measurement data, the training data being provided as input data to the evaluation model in order to obtain as its output an evaluation result which is assigned to the seat occupancy status of the seating arrangement.
  • Generating the augmented measurement data includes: (i) Determine multiple anchor points within the spatial area; (ii) determining a transformation with respect to each of the anchor points, each of the transformation being applied to at least a portion of the points of the radar point cloud to obtain a transformed point cloud associated with the respective anchor point; and (iii) merging the transformed point clouds associated with the anchor points to obtain the augmented point cloud associated with the augmented measurement data.
  • an evaluation model which can in particular be a machine learning model, can be effectively trained, so that the accuracy in recognizing a seat occupancy status can be improved.
  • the training method is particularly advantageous for the machine learning of a radar-based system for recognizing seat occupancy.
  • the method involves training for machine learning using actually measured radar point clouds and augmented point clouds in parallel. By augmenting (also called “expanding”) the points from different anchor points or starting points, multiple sets of augmented (expanded) point clouds can be easily obtained. These augmented point clouds are stitched together to obtain the additional training data.
  • seat occupancy status of a seating arrangement with at least one seat, as used herein, is to be understood in particular as meaning information which indicates whether or to what extent the seating arrangement or at least one of its seats is occupied by an object, in particular a thing or a person . is occupied.
  • the seat occupancy status can only indicate the presence or absence of an object, or in a more developed example, in the case of the presence of at least one object on the seating arrangement or one or more of its seats, a statement about the type or another Specify a property, such as a spatial extent, of the object.
  • radar point cloud is to be understood in particular as meaning a set of points of a vector space obtained by means of radar scanning of at least one object surface, which has a, typically unorganized, spatial structure (“cloud”).
  • clouds typically unorganized, spatial structure
  • the points of the radar point cloud may be referred to as “radar points”.
  • One (radar )Point cloud can be described in particular by the (radar) points it contains.
  • the radar points in turn can each be described in particular by their spatial coordinates, which indicate for each radar point a location of reflection of an emitted radar signal on an object surface, measured during radar scanning. Additional attributes such as: B. measured Doppler velocity or a signal-to-noise ratio (SNR) can be recorded.
  • SNR signal-to-noise ratio
  • augmentation or “data augmentation” as used herein means an expansion or enlargement of a data set that is used for training purposes for an evaluation model, in particular a machine learning model.
  • Data augmentation is used to increase the amount of data by adding slightly modified copies of existing data or newly created synthetic data from existing data. It also acts as a regulator when training a machine learning model and helps reduce overfitting when training a machine learning model.
  • augmented point cloud means in particular a point cloud that was obtained through data augmentation of a radar point cloud.
  • anchor point as used herein is to be understood in particular as a starting point or reference point that is used for the points of the point cloud to be transformed with regard to a transformation of a point cloud.
  • an anchor point can serve as a reference point for a measurement, such as a distance measurement, as a center for a transformation, such as a center of rotation for a rotation.
  • the anchor point can form a zero point of a coordinate system or space in which the transformation is carried out.
  • the anchor point can also be subject to the transformation itself.
  • evaluation model is to be understood as meaning a model, in particular a mathematical one, which uses a radar point cloud or one or more parameters characterizing it as input variable(s) in order to deliver an evaluation result depending on this, in the present case one of several predefined possible seat occupancy states of the seating arrangement.
  • the evaluation model can in particular be a mathematical estimation function, where the radar point cloud represents empirical data as a sample and the evaluation result represents an estimated value determined depending on this.
  • the evaluation model can in particular be a “machine learning model” (or equivalently “machine learning model”), which here includes in particular a mathematical model created using at least one machine learning algorithm on the basis of example data, which is referred to as training data.
  • a statistical model for making predictions or decisions is to be understood without the algorithm(s) being explicitly programmed for making such predictions or decisions.
  • decision tree-based machine learning models are machine learning models.
  • a condition A or B is satisfied by one of the following conditions: A is true (or present) and B is false (or absent), A is false (or absent) and B is true (or present), and both A and B are true (or present).
  • the terms “configured” or “set up” to fulfill a specific function (and respective modifications thereof) as may be used herein are understood to mean, in the sense of the invention, that the corresponding device is already in a configuration or setting in which it fulfills the function carry out or at least it can be set - ie configurable - in such a way that it can carry out the function after the appropriate setting.
  • the configuration can be carried out, for example, by appropriately setting parameters of a process flow or switches or the like to activate or deactivate functionalities or settings.
  • the device can have several predetermined configurations or operating modes, so that the configuration can be carried out by selecting one of these configurations or operating modes.
  • the anchor points are points from the radar point cloud associated with the measurement data. This simplifies the determination of the anchor points, since no new points have to be created in the spatial area, but a selection can be made from the existing points in the radar point cloud.
  • the anchor points are determined such that each of the anchor points within the spatial region is at a greatest distance from the respective remaining anchor points. This allows the transformations to be distributed across the spatial area in the best possible way. This also allows different types of transformations to be carried out, especially when compared to anchor points that are close together.
  • the anchor points can be determined in such a way that a first anchor point is determined randomly or alternatively also determined manually. A second anchor point is then selected with the greatest possible distance from the first anchor point. All subsequent anchor points are then determined with the greatest possible distance from the anchor points that have already been determined.
  • the so-called “Farthest Point Sampling” (FPS) can be used, in particular to select the anchor points from the set of radar points. Alternatively, all anchor points could be determined randomly, but then the greatest possible distance between the anchor points is no longer guaranteed.
  • each of the transformations includes at least one of rotation, scaling, and translation with respect to the respective anchor point.
  • a transformation can be one of the above or a combination include from it.
  • the values of rotation, scaling and translation can be determined randomly. These transformations can be easily applied to the points of the radar point cloud, for example using appropriate matrices. Optimized value ranges of the transformations can be determined using hyperparameter optimization, e.g. Bayesian optimization.
  • each of the transformations is weighted point by point with a weighting factor, the weighting factor depending on a distance between a point of the radar point cloud to be transformed and the respective anchor point.
  • the effect of the respective transformation on the individual points of the point cloud can be influenced by the weighting.
  • “Pointwise” means that each point in the point cloud receives a weighting factor.
  • the weighting factors are advantageously chosen so that the transformation has a smaller effect on points that are at a greater distance from the corresponding anchor point than on points that are closer to the anchor point. To do this, a transformed point can be multiplied by the weighting factor or, if the weighting factors are chosen accordingly, divided. In this way, local transformations arise, so to speak, with the respective anchor point as the center.
  • the weighting factors can be selected according to a Gaussian distribution depending on the distance to the anchor point. In other words, this results in “smoothing” with a Gaussian kernel.
  • the value o can be 0.5, for example.
  • the transformed point clouds assigned to the anchor points are combined by forming a point-by-point average of the transformed point clouds assigned to the anchor points. In this way, an augmented point cloud can be easily generated from the transformed point clouds.
  • Several transformed points are assigned to each point of the radar point cloud, whereby the number corresponds to the number of anchor points, since a transformed point cloud is assigned to each anchor point.
  • the training data is generated by a weighted sum of the measurement data and the augmented measurement data.
  • Weighting can be done with a parameter, for example a difficulty parameter a, which can take values from 0 to 1.
  • the augmented measurement data can be weighted with a and the actual measurement data with (1 - a).
  • the difficulty parameter can also be determined through appropriate hyperparameter optimization.
  • the seating arrangement may have a plurality of seats, wherein the seat occupancy state may be an individual or cumulative seat occupancy state of the seats.
  • the set of radar points for the radar point cloud is divided into several clusters, each containing a subset of the radar points, by means of cluster formation depending on the respective spatial position of the radar points in relation to the seats, in order to assign one of the clusters that is spatially closest to each of the seats assigned individually, with the augmented measurement data being generated individually for each cluster.
  • the seat occupancy state of the seat arrangement is determined for each of the seats as a function of the radar point cloud determined for the associated cluster in order to obtain an evaluation result, in particular a classification result, which characterizes a seat occupancy state of the respective seat.
  • the information to be output is then defined depending on the individual evaluation results for the different seats. If the augmented measurement data is generated individually for each cluster, the efficiency of the training data can be increased because the entire radar point cloud does not have to be used for the training data. Alternatively, it is also possible to apply the augmentation to the entire radar point cloud.
  • the radar point cloud is segmented into several clusters by assigning a subset of the radar points of the respective radar point cloud to each of the seats as a cluster depending on their respective position in such a way that the radar points of the cluster are in a defined closed, in particular cuboid, spatial area in the environment of the seat.
  • This enables particularly simple and less computationally intensive cluster formation and thus seat-related seat occupancy recognition, whereby the location (position and orientation) and the shape of the spatial area is or can be defined in such a way that it corresponds to that of a typical object to be recognized, in particular one Person on a seat of the seating arrangement usually overlaps the area of space occupied.
  • the set of its points is divided into several clusters, each containing a subset of the points, by means of cluster formation depending on the respective spatial position of the points in relation to the seats, in order to assign one to each of the seats that is spatially closest to it to assign the clusters individually.
  • clustering occurs (also) after the augmentation of the radar point cloud. This can further improve the result since some points might lie outside an original cluster after the augmentation, i.e. after the transformations. Such points are then no longer assigned to the original cluster during clustering after augmentation.
  • a cluster can be created using corresponding spatial areas assigned to the individual seats, which are preferably cuboid and essentially cover the area in which a person is expected to be at the respective seat.
  • the individual radar points of the radar point cloud are each represented by a position of the respective radar point in three-dimensional space and by at least one of the following parameters: (i) a Doppler shift value of the radar signal to the respective radar point; (iii) a signal-to-noise ratio value of the radar signal to the respective radar point. These parameters can be used in particular for pre-filtering the radar point cloud as part of pre-processing prior to feature determination.
  • a second aspect of the solution presented here relates to a, in particular computer-implemented, method for the automated recognition of a, in particular seat-related, seat occupancy state of a seat arrangement with at least one seat (or equivalently: seat), in particular a seat in or for a vehicle, such as an automobile ( e.g. truck, car or bus).
  • the method comprises: (i) acquiring, in particular receiving or generating, measurement data that represents an associated radar point cloud.
  • Each radar point cloud is or was obtained on the basis of a radar scan of a spatial area that at least partially surrounds the seating arrangement; (ii) determining, in particular estimating, a seat occupancy status of the seat arrangement using an evaluation model that, depending on the radar point cloud, has one of several predefined possible ones provides seat occupancy states of the seating arrangement as an evaluation result; and (iii) outputting information defined depending on the evaluation result.
  • the method according to the second aspect uses an evaluation model, in particular a machine learning model, which was trained using the method according to the first aspect.
  • an evaluation result (in particular in the sense of a prediction or classification) that characterizes the seat occupancy state of the seat arrangement can be obtained on the basis of a radar point cloud, which is obtained by means of a radar scan of a spatial area surrounding the seat arrangement.
  • radar-based solutions can be implemented that can reliably detect seat occupancy status (in particular exclusively) on a radar basis and, on the basis of this, certain functionalities or systems, such as a seat belt warning or an airbag system, overall or selectively activate, deactivate or control/regulate.
  • the information to be output can in particular represent the evaluation result itself. It can also be a detectable signal, in particular one that can be detected with a human sense, such as a warning, or a control signal for controlling a signal source or a data signal carrying the information.
  • Embodiments of the method according to the first aspect may also be applicable to the method according to the second aspect and vice versa.
  • the seating arrangement has a plurality of seats for which a seat occupancy status is to be determined individually or cumulatively as part of the method.
  • the set of its radar points is divided into several clusters, each containing a subset of the radar points, by means of cluster formation depending on the respective spatial position of the radar points in relation to the seats, in order to assign one of the clusters that is spatially closest to each of the seats assign individually.
  • the seat occupancy state of the seat arrangement is determined for each of the seats as a function of the radar point cloud determined for the associated cluster in order to obtain an evaluation result, in particular a classification result, which characterizes a seat occupancy state of the respective seat.
  • the information to be output is then defined depending on the individual evaluation results for the different seats.
  • each radar point cloud is segmented into several clusters by assigning a subset of the radar points of the respective radar point cloud to each of the seats as a cluster depending on their respective position in such a way that the radar points of the cluster are in a defined closed spatial area, in particular a cuboid. in the vicinity of the seat.
  • This enables a particularly simple and less computationally intensive cluster formation and thus seat-related seat occupancy recognition, whereby the location (position and orientation) and the shape of the spatial area is or can be defined in such a way that it corresponds to that of a typical object to be recognized, in particular a person, on a
  • the seat of the seating arrangement generally overlaps the area of space occupied.
  • a seat-related, ie individual for each seat, seat occupancy recognition is made possible, which is particularly advantageous or even necessary if a seat-related reaction is to be made to the recognized seat occupancy, for example for a specific seat depending on its recognized seat occupancy a specific functionality or a specific system, such as a seat-related airbag system, a seat-related seat belt warning or a seat-related seat heating, is to be activated or deactivated or otherwise controlled.
  • the cluster formation can in particular take place in such a way that the clusters are disjoint, so that no radar point is assigned to two different clusters.
  • the or each individual radar point cloud is segmented into several clusters by assigning a subset of the radar points to each of the seats as a cluster depending on their respective position, in particular uniquely for each radar point, so that the radar points of the cluster are in a defined, closed, especially cuboid, room area in the vicinity of the seat.
  • the assignment can in particular be carried out in such a way that each radar point is assigned to the cluster of the seat closest to it.
  • the radar point cloud can be divided into clusters, ie subsets of the radar point cloud localized in the vicinity of the respective seats, so that the determination of seat-specific seat occupancy states can be carried out specifically and therefore with high reliability on the basis of the cluster assigned to the respective seat.
  • the method further comprises: determining the respective value of at least one defined parameter for characterizing radar point clouds.
  • the evaluation model is or is defined in such a way that when determining the seat occupancy status of the seat arrangement, the evaluation result is determined depending on the respective values of the at least one parameter for the radar point clouds.
  • the evaluation model can be determined and applied in a simplified manner, since instead of entire radar point clouds, only the values of at least one parameter have to be taken into account as input variables.
  • the time course of the values can reflect a movement or a specific movement pattern of one or more objects on the seat arrangement, so that the evaluation model can determine the seat occupancy status of the seat arrangement in a particularly reliable manner on this basis.
  • the series of their respective values is analyzed to determine whether a periodic course, in particular a course corresponding to a periodic breathing pattern, of the parameter is detected.
  • the evaluation result is then determined depending on the result of the analysis.
  • a periodic course in particular a course corresponding to a periodic breathing pattern
  • the evaluation result is then determined depending on the result of the analysis.
  • the information it is possible to define the information to be output according to the method depending on the recognition or non-recognition of such a periodic course.
  • one or several detected frequencies of the periodic course are taken into account, in particular in such a way that the information is defined depending on whether the or a frequency lies within a specific frequency range such as a typical respiratory frequency range.
  • a seat belt warning functionality or an airbag system can be controlled depending on whether a breathing frequency and thus, with high probability, a person has been detected on the seat arrangement or a specific seat thereof.
  • the or one of the parameters is or is determined by the number of radar points in the radar point cloud or a variable dependent thereon. If, during radar scanning, the number of radar points in the radar point cloud generated depends on the extent to which the scanned object moves, the extent of the movement can be reflected in the parameter(s), in particular with regard to the aforementioned detection of a breathing frequency of the object . In addition to the number of radar points, other characteristics of the point cloud (or a cluster) can also be used as a parameter, such as a position of the center of gravity of the point cloud (or a cluster), the density of the points (of a cluster) and / or an average Doppler value.
  • the evaluation model includes a trained machine learning model.
  • Data that represents at least one radar point cloud or values of one or more specific parameters are made available to the machine learning model as input data in order to receive the evaluation result as its output.
  • the evaluation result can in particular indicate a class of a seat occupancy status classification.
  • the machine learning model can in particular be a decision tree-based model or a model based on an artificial neural network.
  • outputting the information includes driving a signal source depending on the information to cause the signal source to output a defined signal depending on the driving.
  • the signal source can in particular be an audio source, an optical signal source, in particular a display device for images or text, and/or a haptic actuator or a combination of at least two of the aforementioned signal sources.
  • the detected seat occupancy status can be communicated to a user based on the signaling or used to control another technical system, such as an airbag system.
  • the signal source is controlled as a function of the information such that it outputs a signal, in particular defined by the control, when the information results from an evaluation result, according to which at least one seat of the seating arrangement is occupied and/or a selected predetermined one seat occupancy status exists.
  • the method further comprises: (i) detecting a seat belt fastening state of at least one seat of the seating assembly or receiving seat belt information identifying this seat belt fastening state; (ii) the signal source is controlled as a function of the seat belt information and the information from the evaluation result in such a way that it outputs a belt fastening warning signal if, according to the information, at least one seat of the seat arrangement is occupied and/or a selected predetermined seat occupancy state is present and indicates seat belt information, that the associated seat belt of the seat is not fastened.
  • a radar-based seat belt fastening testing and warning system can be achieved, particularly with regard to detection only.
  • the individual radar points of the radar point cloud are each represented by a position of the respective radar point in three-dimensional space and by at least one of the following parameters: (i) a Doppler shift value of the radar signal to the respective radar point; (iii) a signal-to-noise ratio value of the radar signal to the respective radar point.
  • These parameters can be used in particular for pre-filtering the radar point cloud as part of pre-processing prior to feature determination.
  • the determination of the seat occupancy status of the seat arrangement based on the evaluation model can be carried out exclusively or at least predominantly on the basis of those radar points whose Doppler shift value is at or above a predetermined shift threshold that is different from zero.
  • so-called dynamic radar points are used as a basis for the evaluation, i.e. those radar points that indicate a movement of the scanned object whose Doppler shift value is at or above the shift threshold.
  • This can be used in particular to further increase the quality, in particular the reliability, of the method, because static, ie essentially stationary, points on the object surfaces, such as points on a seat of a seat, are not included in the evaluation or are only included in a smaller number than such Points that show dynamics and can therefore most likely be assigned to a living being, especially a person or an animal.
  • This allows the utilization of the information obtained through the evaluation (e.g. for airbag control or a seat belt warning system) to take place in particular depending on whether a living being was detected or a static object surface.
  • a third aspect of the present solution relates to a system, in particular a data processing device, for automatically recognizing a, in particular respective, seat occupancy state of a seat arrangement with at least one seat, in particular with at least one vehicle seat in or for a vehicle.
  • the system has a data processing device that is configured, in particular by means of a corresponding computer program, to carry out the method according to the second aspect to detect the seat occupancy status.
  • a fourth aspect of the present solution relates to a computer program or computer program product comprising instructions which, when executed on the data processing device of the system according to the third aspect, cause the system to carry out the method according to the second aspect.
  • the computer program can in particular be stored on a non-volatile data carrier.
  • a non-volatile data carrier is preferably a data carrier in the form of an optical data carrier or a flash memory module.
  • the computer program can be present as a file on a data processing unit, in particular on a server, and can be downloaded via a data connection, for example the Internet or a dedicated data connection, such as a proprietary or local network.
  • the computer program can have a plurality of interacting individual program modules.
  • the modules can in particular be configured or at least can be used in such a way that they can be executed on different devices (computers or processor units) in the sense of distributed computing, which are geographically spaced apart from one another and connected to one another via a data network.
  • the system according to the third aspect can accordingly have a program memory in which the computer program is stored.
  • the system can also be set up to access a computer program available externally, for example on one or more servers or other data processing units, via a communication connection, in particular in order to exchange data with it that are used during the course of the method or computer program or outputs of the computer program represent.
  • a fifth aspect of the present solution relates to a vehicle comprising: (i) a seating arrangement with at least one seat; (ii) a radar sensor for radar scanning of the seat arrangement at least in sections; and (iii) a system according to the third aspect for automatically detecting a, in particular respective, seat occupancy state of the seat arrangement as a function of an at least section-wise radar scanning of the seat arrangement carried out by the radar sensor, in particular according to a method according to the second aspect.
  • FIG. 1 shows schematically an exemplary embodiment of a vehicle that is equipped with a system for automatically detecting a seat occupancy status of a seat arrangement in the vehicle;
  • FIG. 2 shows schematically the vehicle from FIG. 1, the passenger seat being occupied here;
  • 3A shows an exemplary two-dimensional representation of a radar point cloud recorded by a radar sensor of the vehicle from FIG. 2;
  • 3B shows an exemplary representation of a clustering of the radar point cloud from FIG. 3A according to the positions of the individual seats of the seating arrangement;
  • FIG. 4 shows a flowchart to illustrate an exemplary embodiment of a method for automatically detecting a seat occupancy status of a seat arrangement
  • FIG. 5 shows a flowchart to illustrate an exemplary embodiment of a method for training an evaluation model for the automated recognition of a seat occupancy status of a seat arrangement
  • FIG. 6 shows an exemplary representation of four radar points during augmentation
  • Fig. 7 shows an exemplary three-dimensional representation of a radar point cloud with an augmented point cloud obtained therefrom.
  • FIG. 1 The exemplary embodiment of a vehicle 100 shown schematically in FIG. 1 has a seat arrangement 105 with five individual seats or seats 105a to 105e. Each of the seats 105a to 105e is suitable for accommodating one person as a passenger of the vehicle 100.
  • the vehicle 100 further includes a radar sensor 110, which is mounted within the vehicle cabin on the ceiling and is configured so that it can scan the seating arrangement 105, at least substantially, using radar beams. Accordingly, the seats 105a to 105e, in particular their seating surfaces, are at least predominantly located within an observation field 110a that can be scanned by the radar sensor 110.
  • the vehicle 100 has a system 115 for automatically detecting a seat occupancy state of the seat arrangement 105 depending on a radar scanning of the seat arrangement 105 carried out by the radar sensor 110, at least in sections with respect to the observation field 1 10a.
  • the system 1 15 in particular has a data processing unit 115a with at least one microprocessor and a memory 1 15b signal-connected thereto, in which a computer program configured to carry out the method described below with reference to FIG. 4 for automatically detecting a seat occupancy state of the seat arrangement 105 is stored . Furthermore, the sensor data generated by the radar sensor 110 during the radar scanning or information already obtained from it through further processing can be or will be stored in the memory 115b.
  • the vehicle 100 shown in FIG. 2 corresponds to the vehicle from FIG. 1, although here the passenger seat 105b is occupied by a person P.
  • FIGS. 3A and 3B reference will be made to the constellation from FIG. 2.
  • FIGS. 3A and 3B each of which represents a radar point cloud, with the respective, in itself three-dimensional radar point cloud being represented in two dimensions by projecting the positions of the radar points of the radar point cloud onto a plane spanned by two of its dimensions was reduced.
  • 3A illustrates an exemplary radar point cloud 305 as captured as a result of a radar scan of the seating arrangement 105 by the radar sensor 110 during a specified time interval (measurement period).
  • the location of the individual radar points within the radar point cloud 305 can be determined by spatial coordinates For example, Cartesian coordinates X and Y can be assigned to the drawing plane and to each individual point. In fact, if the dimension reduction based on the drawing is ignored, in reality there is a third coordinate Z for the third spatial dimension (cf. the coordinates X, Y and Z shown in FIG. 7).
  • the individual radar points can be classified depending on the amount of this Doppler shift, in particular be divided into two different classes. The latter can be done, for example, by comparing the Doppler shift with a predefined shift threshold that corresponds to a specific shift speed. Depending on the result of the comparison, those radar points 310 that, according to the value of their associated Doppler shift, have no velocity or a velocity of the object surface at the reflection point that is below the displacement wave may be classified as “static” radar points (in Figs. 3A and 3B each shown with a filled black circle). Conversely, those radar points 315 that have a Doppler shift above the shift threshold can be classified as “dynamic” radar points 315 (each shown with a black ring in FIGS. 3A and 3B).
  • the classification of the radar points 310 and 315 according to their Doppler shift is not absolutely necessary, but it can be used to process the radar point cloud 305, in particular as part of a pre-processing that takes place before its evaluation, in particular to filter it depending on the classification. For example, such filtering could be carried out in such a way that only dynamic radar points 315 are taken into account for the evaluation, for example in order to only detect moving objects.
  • the same radar point cloud 305 as in FIG. 3A is shown in FIG. 3B.
  • cuboid (3D case) or, in the present 2D representation, rectangular, selected spatial areas 325a to 325e are shown, which are spatially assigned to the respective position of the individual seats 105a to 105e.
  • the definition of these spatial areas 325a to 325e can now be used to cluster the radar point cloud 305, with each radar point 310 or 315, respectively possible, is assigned to that spatial area 325a to 325e in which it is located. All radar points that are not located in one of the spatial areas 325a to 325e can remain ignored. It can be seen in particular that the areas 320 with a particularly high radar point density are in the area of the passenger seat 105b, on which the person P is located according to FIG. 2.
  • the method can in particular be designed as a computer-implemented method. For this purpose, it can be stored in particular in the memory 1 15b of the system 1 15 as a computer program and can be executed on the data processing unit 1 15a.
  • a radar point cloud 305 is captured by receiving radar measurement data, in the present example from the radar sensor 110 of the vehicle 100, in a step 410 and further processing it to form one or more radar point clouds.
  • the radar point cloud 305 that is now present can then be clustered in a further process 420 by checking for each of its radar points whether it lies within one of the defined spatial areas 325a to 325e (see FIG. 3B) and, if so, in which one.
  • each of the points can either be assigned to one of the spatial areas 325a to 325e or to the other observation field. All radar points that lie within the same spatial area 325a to 325e are combined into a respective cluster.
  • each of the seats 105a to 105e is assigned a corresponding cluster of the radar point cloud 305. This forms the basis for an evaluation to be carried out individually for each seat 105a to 105e as to whether the respective seat 105a to 105e is or was occupied while the radar point cloud 305 was formed or not.
  • a corresponding parameter K can be determined for each of the clusters in a process 430, whereby this parameter K can be defined in particular as the number of radar points in the cluster. If no filtering according to the Doppler shift value has taken place, this can involve a joint counting of both the static and the dynamic radar points 310 and 315, respectively act. However, if the static radar points 310 were previously filtered out, it is only a matter of counting the dynamic radar points 315. Alternatively or additionally, the static radar points 310 can also be counted.
  • the parameter K can now be evaluated for the cluster for seat 105b (the same can be done analogously for the respective clusters for the other seats).
  • the parameter K (or a time course of the parameter K is made available as an input variable to an evaluation model.
  • This can in particular be a model based on machine learning, such as an artificial neural network or a decision tree-based model . “Decision tree(s)”).
  • the training and possibly validation data used for the previous training can be structured in such a way that they each have the parameter K for a large number of different radar point clouds or clusters thereof and for each course of K contain an assigned correct class of a classification of possible seat occupancy states. In this way, the model can be trained and validated in the sense of supervised learning.
  • seat occupancy states indicate whether the seat is occupied or not.
  • Classifications are conceivable in which, in the case of the presence of an object, the respective class also indicates what type of object it is, for example a moving or a stationary one, and in the case of a moving object, in particular, whether it is a person (basically recognizable in particular by a breathing pattern over the course of the parameter K).
  • process 440 If in process 440 a seat occupancy state for the seating arrangement 105 has been determined based on the evaluation model, in particular for one or more of its seats 105a to 105e individually, this result can be output as corresponding information in process 445, for example on a user interface of the vehicle or in the form of Data for further processing by one or more other systems, in particular vehicle systems.
  • this information is intended to be used in particular to check whether a seat belt warning signal is to be issued or not depending on the seat occupancy status of a respective seat 105a to 105e and the result of a test as to whether a corresponding seat belt has been fastened for this seat or not.
  • process 450 it can be checked whether the seat belt is fastened to the seat in question (here, for example, to seat 105b) and in step 455 a functionality of the vehicle 100 depending on the information about the seat occupancy status output in process 445 and the status determined in process 450 the seat belt can be controlled.
  • this can be done in such a way that in process 455 a signal source for outputting a particularly optical and/or acoustic belt status signal is activated in order to possibly signal to one or more other occupants of the vehicle that a seat is occupied but the seat belt is not fastened there.
  • the method then branches back to step 410 to start another loop run.
  • FIG. 5 shows a flowchart to illustrate an exemplary embodiment 500 of a method for training an evaluation model, which can be used in the method 400 for automatically recognizing a seat occupancy status of a seat arrangement.
  • the method 500 is explained simultaneously with reference to FIG. 6 using four exemplary points a, b, c and d.
  • a step 510 measurement data is recorded which represents an assigned radar point cloud, such as the radar point cloud 305.
  • radar point cloud 305 such as the radar point cloud 305.
  • four radar points a, b, c and d are shown at the top to illustrate the method.
  • Anchor points are then determined from the set of radar points. For example, a first anchor point can be determined randomly, and all other anchor points can be determined at a greatest distance from the previously determined anchor points. For example, 2, 3, 4 or 5 anchor points can be determined. The number of anchor points can vary depending on the application, although in one example four anchor points proved to be optimal. This can be determined through hyperparameter optimization, for example Bayesian optimization.
  • point a is selected as the anchor point. All points a, b, c and d are then copied to get points a_a, b_a, c_a and d_a.
  • a random transformation of the points with respect to the anchor point a now takes place in step 530.
  • An extent of the respective transformation can also be determined through hyperparameter optimization.
  • smoothing takes place, for example using a Gaussian kernel. This ensures that points further away from the anchor point undergo a smaller transformation than points closer to the anchor point. Appropriate weights can be selected for this. This results in the points a_a_aug_smooth, b_a_aug_smooth, c_a_aug_smooth and d_a_aug_smooth.
  • the obtained augmented points a_aug, b_aug, c_aug and d_aug are now adjusted in step 560 using a difficulty parameter a.
  • the obtained augmented points are coupled to the original points a, b, c and d so that the resulting augmented point cloud does not deviate too much from the original radar point cloud.
  • a machine learning model can be obtained that, through training with the augmented measurement data, provides a high level of accuracy in recognizing a seat occupancy state.
  • the augmented point cloud is clustered (step 570) in order to then obtain suitable input data for training the evaluation model (Step 580).
  • FIG. 7 shows the radar point cloud 705 as a three-dimensional point cloud with the coordinates X, Y and Z.
  • the view corresponds to a seat occupancy such as the seat occupancy shown in FIG. 2 with a person P in the front passenger seat.
  • the majority of points 715 are therefore in a cluster that is assigned to the passenger seat.
  • 7 also shows an augmented point cloud 710 with the points 720, which is represented by open rings. It can be seen that the augmented point cloud 710 deviates slightly from the actual radar point cloud 705.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Electromagnetism (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

Ein Verfahren zum Trainieren eines Auswertungsmodells, insbesondere eines Machine- Learning-Modells, für ein automatisiertes Erkennen eines Sitzbelegungszustands einer Sitzanordnung mit zumindest einem Sitzplatz weist auf: (i) Erfassen von Messdaten, die eine zugeordnete Radarpunktwolke (705) repräsentieren, wobei die Radarpunktwolke (705) auf Basis einer Radarabtastung eines die Sitzanordnung zumindest abschnittsweise umgebenden Raumbereichs gewonnen wurde bzw. wird und einem von mehreren vordefinierten möglichen Sitzbelegungszuständen der Sitzanordnung zugeordnet ist; (ii) Erzeugen von augmentierten Messdaten, die eine zugeordnete augmentierte Punktwolke (710) repräsentieren, aus den der Radarpunktwolke (705) zugeordneten Messdaten; und (iii) Erzeugen von Trainingsdaten aus den Messdaten und den augmentierten Messdaten, wobei die Trainingsdaten als Eingangsdaten dem Auswertungsmodell zu Verfügung gestellt werden, um als dessen Ausgabe ein Auswertungsergebnis zu erhalten, welches dem Sitzbelegungszustand der Sitzanordnung zugeordnet ist. Das Erzeugen der augmentierten Messdaten umfasst: (i) Bestimmen mehrerer Ankerpunkte innerhalb des Raumbereichs; (ii) Bestimmen einer Transformation bezüglich jedes der Ankerpunkte, wobei jede der Transformation auf die Punkte (715) der Radarpunktwolke (705) angewandt wird, um eine dem jeweiligen Ankerpunkt zugeordnete transformierte Punktwolke zu erhalten; und (iii) Zusammenfügen der den Ankerpunkten zugeordneten transformierten Punktwolken, um die augmentierte Punktwolke (710) zu erhalten, welche den augmentierten Messdaten zugeordnet ist. Ein Verfahren zum automatisierten Erkennen eines, insbesondere sitzplatzbezogenen, Sitzbelegungszustands einer Sitzanordnung mit zumindest einem Sitzplatz nutzt das trainierte Auswertungsmodell.

Description

VERFAHREN UND SYSTEM ZUM TRAINIEREN EINES AUSWERTUNGSMODELLS ZUM ERKENNEN EINES SITZBELEGUNGSZUSTANDS EINER SITZANORDNUNG AUF BASIS VON RADARPUNKTWOLKEN
Die vorliegende Erfindung betrifft ein Verfahren, ein Computerprogramm und ein zur Ausführung des Verfahrens konfiguriertes System, jeweils zum automatisierten Erkennen eines Sitzbelegungszustands einer Sitzanordnung mit zumindest einem Sitzplatz unter Verwendung eines trainierten Auswertungsmodells. Insbesondere betrifft die Erfindung auch ein Verfahren zum Trainieren eines solchen Auswertungsmodells, insbesondere eines Machine-Learning-Modells.
In verschiedenen Situationen kann es erforderlich sein, automatisiert einen aktuellen Sitzbelegungszustand einer Sitzanordnung mit zumindest einem Sitzplatz festzustellen. Eine solche Situation kann insbesondere in Fahrzeugen auftreten, beispielsweise in Kraftfahrzeugen, wo eine Konfiguration des Fahrzeugs oder ein Aktivieren, Deaktivieren und/oder Steuern einer oder mehrere Fahrzeugfunktionalitäten in Abhängigkeit von einem aktuellen Sitzbelegungszustand erfolgen sollen. Beispielsweise ist es bei Kraftfahrzeugen bekannt, in Abhängigkeit von einem erkannten Sitzbelegungszustand einen akustischen oder optischen Hinweis an Fahrzeuginsassen zum Anlegen von Sitzgurten auszugeben oder ein Aktivieren bzw. Deaktivieren von Airbags zu steuern.
Zum automatisierten Detektieren eines aktuellen Sitzbelegungszustands eines oder mehrerer Sitze, insbesondere einer Anordnung von Fahrzeugsitzen in einem Fahrzeug, sind dazu insbesondere sogenannte Sitzbelegungsmatten bekannt, die in die Sitze integriert sind (meist jeweils eine je Sitz) und druckempfindliche Sensoren zum Detektieren einer Belegung des jeweiligen Sitzes verwenden. Ein Sitzbelegungszustand des Sitzes wird dabei in Abhängigkeit von den Sensorsignalen bzw. Sensordaten dieser Sensoren bestimmt, in der Regel mittels einer Schwellwertprüfung.
Diese bekannten Lösungen setzen somit eine Ausstattung der Sitze mittels einer darin eingebauten Sensorik voraus und sind zudem meist nicht in der Lage, verschiedene Sitzbelegungszustände jenseits von „besetzt“ und „nicht besetzt“ zu unterscheiden. Des Weiteren müssen die Sensoren typischerweise ab Werk bereits in die Sitze integriert werden, sodass ein Nachrüsten schwierig oder unmöglich ist und das Erfassen eines Sitzbelegungszustands von nicht derart ausgerüsteten Sitzen entfällt. Es sind daher auch Verfahren bekannt, welche zum automatisierten Erkennen eines aktuellen Sitzplatzbelegungszustands Radartechnologie einsetzen. Mittels einer Radarabtastung des Fahrzeuginnenraums durch Radarsensoren werden Messdaten in Form von Radarpunktwolken erzeugt. Anhand der gemessenen Radarpunktwolke kann auf eine aktuelle Sitzplatzbelegung geschlossen werden. Dazu kann ein entsprechendes Auswertungsmodell herangezogen werden, welches ein Machine-Learning-Modell sein kann. Dieses Modell kann vor dem eigentlichen Einsatz mit entsprechenden Daten trainiert werden. Um ein zuverlässiges Ergebnis zu erhalten, muss jedoch eine beträchtliche Menge von Trainingsdaten vorliegen, was wiederum mit einem erheblichen Aufwand verbunden ist.
Es ist eine Aufgabe der vorliegenden Erfindung, eine verbesserte Lösung zum automatisierten Erkennen eines Sitzbelegungszustands einer Sitzanordnung mit zumindest einem Sitzplatz anzugeben. Insbesondere soll eine verbesserte Lösung zum Trainieren eines Auswertungsmodells für ein automatisiertes Erkennen eines Sitzbelegungszustands einer Sitzanordnung angegeben werden.
Die Lösung dieser Aufgabe wird gemäß der Lehre der unabhängigen Ansprüche erreicht. Verschiedene Ausführungsformen und Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.
Ein erster Aspekt der hier vorgestellten Lösung betrifft ein, insbesondere computerimplementiertes, Verfahren zum Trainieren eines Auswertungsmodells, insbesondere eines Machine-Learning-Modells, für ein automatisiertes Erkennen eines Sitzbelegungszustands einer Sitzanordnung mit zumindest einem Sitzplatz. Das Verfahren weist auf: (i) Erfassen, insbesondere Empfangen oder Erzeugen, von Messdaten, die eine zugeordnete Radarpunktwolke repräsentieren, wobei die Radarpunktwolke auf Basis einer Radarabtastung eines die Sitzanordnung zumindest abschnittsweise umgebenden Raumbereichs gewonnen wurde bzw. wird und einem von mehreren vordefinierten möglichen Sitzbelegungszuständen der Sitzanordnung zugeordnet ist; (ii) Erzeugen von augmentierten Messdaten, die eine zugeordnete augmentierte Punktwolke repräsentieren, aus den der Radarpunktwolke zugeordneten Messdaten; und (iii) Erzeugen von Trainingsdaten aus den Messdaten und den augmentierten Messdaten, wobei die Trainingsdaten als Eingangsdaten dem Auswertungsmodell zu Verfügung gestellt werden, um als dessen Ausgabe ein Auswertungsergebnis zu erhalten, welches dem Sitzbelegungszustand der Sitzanordnung zugeordnet ist. Das Erzeugen der augmentierten Messdaten umfasst: (i) Bestimmen mehrerer Ankerpunkte innerhalb des Raumbereichs; (ii) Bestimmen einer Transformation bezüglich jedes der Ankerpunkte, wobei jede der Transformation auf zumindest einen Teil der Punkte der Radarpunktwolke angewandt wird, um eine dem jeweiligen Ankerpunkt zugeordnete transformierte Punktwolke zu erhalten; und (iii) Zusammenfügen der den Ankerpunkten zugeordneten transformierten Punktwolken, um die augmentierte Punktwolke zu erhalten, welche den augmentierten Messdaten zugeordnet ist.
Mithilfe des Verfahrens nach dem ersten Aspekt lässt sich ein Auswertungsmodell, welches insbesondere ein Machine-Learning-Modell sein kann, effektiv trainieren, sodass die Genauigkeit beim Erkennen eines Sitzbelegungszustands verbessert werden kann. Mithilfe der Daten-Augmentation kann auf einfache Weise eine vergrößerte Menge an Trainingsdaten erzeugt werden, ohne dass dafür neue tatsächliche Messdaten benötigt werden. Das Trainingsverfahren ist insbesondere für das maschinelle Lernen eines radargestützten Systems zur Erkennung einer Sitzplatzbelegung vorteilhaft. Das Verfahren beinhaltet ein Training für maschinelles Lernen unter paralleler Verwendung von tatsächlich gemessenen Radarpunktwolken und augmentierten Punktwolken. Durch das Augmentieren (auch „Erweitern“ genannt) der Punkte von verschiedenen Ankerpunkten bzw. Ausgangspunkten aus, können auf einfache Weise mehrere Sätze augmentierter (erweiterter) Punktwolken erhalten werden. Diese erweiterten Punktwolken werden zusammengefügt, um die zusätzlichen Trainingsdaten zu erhalten.
Unter dem Begriff „Sitzbelegungszustand“ einer Sitzanordnung mit zumindest einem Sitz, wie hierin verwendet, ist insbesondere eine Information zu verstehen, die angibt, ob oder inwieweit die Sitzanordnung bzw. zumindest einer ihrer Sitze mit einem Objekt, insbesondere einer Sache oder einer Person belegt bzw. besetzt ist. Der Sitzbelegungszustand kann in einem einfachen Beispiel nur das Vorhandensein bzw. die Abwesenheit eines Objekts angeben, oder aber in einem weiterentwickelten Beispiel für den Fall des Vorhandenseins zumindest eines Objekts auf der Sitzanordnung bzw. einem oder mehreren ihrer Sitze, eine Aussage zur Art oder einer anderen Eigenschaft, wie etwa einer räumlichen Ausdehnung, des Objekts angeben.
Unter dem Begriff „Radarpunktwolke“, wie hierin verwendet, ist insbesondere eine mittels Radar-Abtastung zumindest einer Objektoberfläche gewonnenen Menge von Punkten eines Vektorraums zu verstehen, die eine, typischerweise unorganisierte, räumliche Struktur („Wolke“) aufweist. Im Falle einer Radarpunktwolke können die Punkte der Radarpunktwolke als „Radarpunkte“ bezeichnet werden. Eine (Radar- )Punktwolke kann insbesondere durch die in ihr enthaltenen (Radar-)Punkte beschrieben werden. Die Radarpunkte wiederum können jeweils insbesondere durch ihre Raumkoordinaten beschrieben werden, wobei diese je Radarpunkt einen bei der Radarabtastung gemessenen Ort der Reflexion eines ausgestrahlten Radarsignals an einer Objektoberfläche angeben. Zu den Radarpunkten können zusätzlich Attribute, wie z. B. gemessene Dopplergeschwindigkeit oder ein Signal-zu-Rausch-Verhältnis (SNR) erfasst sein.
Unter dem Begriff „Augmentation“ bzw. „Daten-Augmentation“, wie hierin verwendet, ist eine Erweiterung oder Vergrößerung einer Datenmenge zu verstehen, die zu Trainingszwecken für ein Auswertungsmodell, insbesondere Machine-Learning-Modell verwendet wird. Mittels Daten-Augmentation (bzw. Datenerweiterung) wird eine Vergrößerung der Datenmenge durch Hinzufügen leicht veränderter Kopien bereits vorhandener Daten oder neu erstellter synthetischer Daten aus vorhandenen Daten erreicht. Sie fungiert auch als Regulativ beim Trainieren eines Machine-Learning- Modells und hilft dabei, eine Überanpassung (engl. „overfitting“) beim Training eines Machine-Learning-Modells zu reduzieren.
Unter dem Begriff „augmentierte Punktwolke“, wie hierin verwendet, ist insbesondere eine Punktwolke zu verstehen, die durch Daten-Augmentation einer Radarpunktwolke erhalten wurde.
Unter dem Begriff „Ankerpunkt“, wie hierin verwendet, ist insbesondere ein Ausgangspunkt oder Bezugspunkt zu verstehen, der hinsichtlich einer Transformation einer Punktwolke für die zu transformierenden Punkte der Punktwolke verwendet wird. Beispielsweise kann ein Ankerpunkt als Bezugspunkt für eine Messung, wie eine Abstandsmessung, als Zentrum für eine Transformation, wie ein Drehzentrum für eine Rotation dienen. Der Ankerpunkt kann dabei einen Nullpunkt eines Koordinatensystems oder Raums bilden, in dem die Transformation ausgeführt wird. Der Ankerpunkt kann auch selbst der Transformation unterliegen.
Unter dem Begriff „Auswertungsmodell“, wie hierin verwendet, ist ein, insbesondere mathematisches, Modell zu verstehen, das eine Radarpunktwolke oder eine oder mehrere sie charakterisierende Kenngrößen als Eingangsgröße(n) nutzt, um in Abhängigkeit davon ein Auswertungsergebnis zu liefern, vorliegend einen von mehreren vordefinierten möglichen Sitzbelegungszuständen der Sitzanordnung. Das Auswertungsmodell kann insbesondere eine mathematische Schätzfunktion sein, wobei die Radarpunktwolke empirische Daten als Stichprobe darstellt und das Auswertungsergebnis einen in Abhängigkeit davon bestimmten Schätzwert darstellt. Das Auswertungsmodell kann insbesondere ein „Maschinenlern-Modell“ (bzw. gleichbedeutend „Machine-Learning-Modell“) sein, worunter hier insbesondere ein mittels zumindest eines Algorithmus des maschinellen Lernens auf der Grundlage von Beispieldaten, die als Trainingsdaten bezeichnet werden, erstelltes mathematisches, insbesondere statistisches, Modell zum Treffen von Vorhersagen oder Entscheidungen zu verstehen ist, ohne dass der bzw. die Algorithmen explizit für das Treffen solcher Vorhersagen oder Entscheidungen programmiert werden. Insbesondere sind Entscheidungsbaum-basierte Modelle zum maschinellen Lernen (engl. „decision trees“) Machine-Learning-Modelle.
Die hierein gegebenenfalls verwendeten Begriffe „umfasst“, „beinhaltet“, „schließt ein“, „weist auf“, „hat“, „mit“, oder jede andere Variante davon sollen eine nicht ausschließliche Einbeziehung abdecken. So ist beispielsweise ein Verfahren oder eine Vorrichtung, die eine Liste von Elementen umfasst oder aufweist, nicht notwendigerweise auf diese Elemente beschränkt, sondern kann andere Elemente einschließen, die nicht ausdrücklich aufgeführt sind oder die einem solchen Verfahren oder einer solchen Vorrichtung inhärent sind.
Ferner bezieht sich „oder“, sofern nicht ausdrücklich das Gegenteil angegeben ist, auf ein inklusives oder und nicht auf ein exklusives „oder“. Zum Beispiel wird eine Bedingung A oder B durch eine der folgenden Bedingungen erfüllt: A ist wahr (oder vorhanden) und B ist falsch (oder nicht vorhanden), A ist falsch (oder nicht vorhanden) und B ist wahr (oder vorhanden), und sowohl A als auch B sind wahr (oder vorhanden).
Die Begriffe „ein“ oder „eine“, wie sie hier verwendet werden, sind im Sinne von „ein/eine oder mehrere“ definiert. Die Begriffe "ein anderer" und „ein weiterer“ sowie jede andere Variante davon sind im Sinne von „zumindest ein Weiterer“ zu verstehen.
Der Begriff „Mehrzahl“ oder „mehrere“, wie er hier verwendet wird, ist im Sinne von „zwei oder mehr“ zu verstehen.
Unter dem hierein gegebenenfalls verwendeten Begriffen „konfiguriert“ oder „eingerichtet“ eine bestimmte Funktion zu erfüllen, (und jeweiligen Abwandlungen davon) ist im Sinne der Erfindung zu verstehen, dass die entsprechende Vorrichtung bereits in einer Ausgestaltung oder Einstellung vorliegt, in der sie die Funktion ausführen kann oder sie zumindest so einstellbar - d.h. konfigurierbar - ist, dass sie nach entsprechender Einstellung die Funktion ausführen kann. Die Konfiguration kann dabei beispielsweise über eine entsprechende Einstellung von Parametern eines Prozessablaufs oder von Schaltern oder ähnlichem zur Aktivierung bzw. Deaktivierung von Funktionalitäten bzw. Einstellungen erfolgen. Insbesondere kann die Vorrichtung mehrere vorbestimmte Konfigurationen oder Betriebsmodi aufweisen, so dass das Konfigurieren mittels einer Auswahl einer dieser Konfigurationen bzw. Betriebsmodi erfolgen kann.
Nachfolgend werden verschiedene beispielhafte Ausführungsformen des Verfahrens beschrieben, die jeweils, soweit dies nicht ausdrücklich ausgeschlossen wird oder technisch unmöglich ist, beliebig miteinander sowie mit den weiteren beschriebenen anderen Aspekten der vorliegenden Lösung kombiniert werden können.
Bei einigen Ausführungsformen sind die Ankerpunkte Punkte aus der den Messdaten zugeordneten Radarpunktwolke. Dies vereinfacht die Bestimmung der Ankerpunkte, da keine neuen Punkte in dem Raumbereich erzeugt werden müssen, sondern eine Auswahl aus den vorhandenen Punkten der Radarpunktwolke erfolgen kann.
Bei einigen Ausführungsformen werden die Ankerpunkte derart bestimmt, dass jeder der Ankerpunkte innerhalb des Raumbereichs einen größten Abstand zu den jeweiligen restlichen Ankerpunkten aufweist. Dadurch können die Transformationen bestmöglich auf den Raumbereich verteilt werden. Außerdem erlaubt dies verschiedenartige Transformationen durchzuführen, insbesondere im Vergleich zu dicht beieinander liegenden Ankerpunkten. Die Bestimmung der Ankerpunkte kann dabei so erfolgen, dass ein erster Ankerpunkt zufällig bestimmt oder alternativ auch manuell bestimmt wird. Ein zweiter Ankerpunkt wird dann mit größtmöglichem Abstand zum ersten Ankerpunkt ausgewählt. Alle folgenden Ankerpunkte werden dann jeweils mit größtmöglichem Abstand zu den bereits bestimmten Ankerpunkten bestimmt. Es kann das sogenannte „Farthest Point Sampling“ (FPS) angewandt werden, insbesondere um die Ankerpunkte aus der Menge der Radarpunkte auszuwählen. Alternativ könnten auch alle Ankerpunkte per Zufallsprinzip bestimmt werden, wobei dann jedoch ein größtmöglicher Abstand der Ankerpunkte nicht mehr garantiert ist.
Bei einigen Ausführungsformen umfasst jede der Transformationen zumindest eine aus Rotation, Skalierung und Translation (Verschiebung) bezüglich des jeweiligen Ankerpunkts. Eine Transformation kann eine der genannten oder eine Kombination daraus umfassen. Die Werte der Rotation, Skalierung und Translation können zufällig bestimmt werden. Diese Transformationen lassen sich auf die Punkte der Radarpunktwolke einfach anwenden, beispielsweise mittels entsprechender Matrizen. Optimierte Wertebereiche der Transformationen können mittels Hyperparameteroptimierung, z.B. Bayessche Optimierung, bestimmt werden.
Bei einigen Ausführungsformen wird jede der Transformationen punktweise mit einem Gewichtungsfaktor gewichtet, wobei der Gewichtungsfaktor jeweils von einem Abstand eines zu transformierenden Punkts der Radarpunktwolke und des jeweiligen Ankerpunkts abhängt. Durch die Gewichtung lässt sich die Auswirkung der jeweiligen Transformation auf die einzelnen Punkte der Punktwolke beeinflussen. „Punktweise“ bedeutet hierbei, dass jeder Punkt der Punktwolke einen Gewichtungsfaktor erhält. Vorteilhaft werden die Gewichtungsfaktoren dabei so gewählt, dass die Transformation auf Punkte, die einen größeren Abstand zum entsprechenden Ankerpunkt haben, eine geringere Auswirkung hat als auf Punkte, die näher am Ankerpunkt liegen. Dazu kann ein transformierter Punkt mit dem Gewichtungsfaktor multipliziert oder bei entsprechender Wahl der Gewichtsfaktoren dividiert werden. Auf diese Weise entstehen gewissermaßen lokale Transformationen mit dem jeweiligen Ankerpunkt als Zentrum. Beispielsweise können die Gewichtungsfaktoren entsprechend einer Gaußschen Verteilung abhängig vom Abstand zum Ankerpunkt gewählt werden. Mit anderen Worten erfolgt dadurch eine „Glättung“ mit einem Gauß-Kern. Der Gewichtungsfaktor w kann beispielsweise als w =
Figure imgf000009_0001
gewählt werden, wobei d der Betrag des Abstands von einem Punkt zum Ankerpunkt ist. Der Wert o kann beispielsweise 0,5 betragen.
Bei einigen Ausführungsformen erfolgt das Zusammenfügen der den Ankerpunkten zugeordneten transformierten Punktwolken durch Bilden eines punktweisen Mittelwerts der den Ankerpunkten zugeordneten transformierten Punktwolken. Auf diese Weise kann eine augmentierte Punktwolke auf einfache Weise aus den transformierten Punktwolken erzeugt werden. Jedem Punkt der Radarpunktwolke sind mehrere transformierte Punkte zugeordnet, wobei die Anzahl jeweils der Anzahl der Ankerpunkte entspricht, da jedem Ankerpunkt eine transformierte Punktwolke zugeordnet ist.
Bei einigen Ausführungsformen werden die Trainingsdaten durch eine gewichtete Summe der Messdaten und der augmentierten Messdaten erzeugt. Durch Verknüpfung der erhaltenen augmentierten Messdaten mit den eigentlichen Messdaten kann sichergestellt werden, dass die Trainingsdaten einen Bezug zu den eigentlichen Messdaten haben und beispielsweise nicht zu beliebig von den Messdaten abweichen. Es kann eine Gewichtung mit einem Parameter erfolgen, beispielsweise eine Schwierigkeitsparameter a, welcher Werte von 0 bis 1 annehmen kann. Hier können die augmentierten Messdaten mit a gewichtet werden und die eigentlichen Messdaten mit (1 - a). Der Schwierigkeitsparameter kann auch durch entsprechende Hyperparameteroptimierung ermittelt werden.
Die Sitzanordnung kann eine Mehrzahl von Sitzplätzen aufweisen, wobei der Sitzbelegungszustand ein individueller oder kumulativer Sitzbelegungszustand der Sitzplätze sein kann.
Bei einigen Ausführungsformen wird für die Radarpunktwolke die Menge ihrer Radarpunkte mittels Cluster-Bildung in Abhängigkeit von der jeweiligen räumlichen Lage der Radarpunkte in Bezug auf die Sitzplätze in mehrere jeweils eine Untermenge der Radarpunkte enthaltende Cluster unterteilt, um jedem der Sitzplätze einen ihm räumlich nächstliegenden der Cluster individuell zuzuordnen, wobei die augmentierten Messdaten für jedes Cluster individuell erzeugt werden. Das Bestimmen des Sitzbelegungszustands der Sitzanordnung, erfolgt für jeden der Sitzplätze in Abhängigkeit von der für den jeweils zugehörigen Cluster bestimmten Radarpunktwolke, um ein einen Sitzbelegungszustand des jeweiligen Sitzplatzes kennzeichnendes Auswertungsergebnis, insbesondere Klassifikationsergebnis, zu erhalten. Die auszugebende Information wird dann in Abhängigkeit von den jeweiligen individuellen Auswertungsergebnissen zu den verschiedenen Sitzplätzen definiert. Werden die augmentierten Messdaten für jedes Cluster individuell erzeugt, kann die Effizienz der Trainingsdaten gesteigert werden, da nicht die gesamte Radarpunktwolke für die Trainingsdaten herangezogen werden muss. Alternativ ist es jedoch auch möglich, die Augmentation auf die gesamte Radarpunktwolke anzuwenden.
Bei einigen Ausführungsformen wird die Radarpunktwolke in mehrere Cluster segmentiert, indem jedem der Sitzplätze als Cluster eine Teilmenge der Radarpunkte der jeweiligen Radarpunktwolke in Abhängigkeit von deren jeweiliger Position so zugeordnet wird, dass die Radarpunkte des Clusters in einem definierten geschlossenen, insbesondere quaderförmigen, Raumbereich im Umfeld des Sitzplatzes liegen. Dies ermöglicht eine besonders einfache und wenig rechenintensive Clusterbildung und somit sitzplatzbezogene Sitzbelegungserkennung, wobei die Lage (Position und Orientierung) und die Form des Raumbereichs so definiert ist oder werden kann, dass sie den von einem typischen zu erkennenden Objekt, insbesondere einer Person, auf einem Sitz der Sitzanordnung in der Regel eingenommenen Raumbereich stark überlappt.
Bei einigen Ausführungsformen wird für die augmentierte Punktwolke die Menge ihrer Punkte mittels Cluster-Bildung in Abhängigkeit von der jeweiligen räumlichen Lage der Punkte in Bezug auf die Sitzplätze in mehrere jeweils eine Untermenge der Punkte enthaltende Cluster unterteilt wird, um jedem der Sitzplätze einen ihm räumlich nächstliegenden der Cluster individuell zuzuordnen. Mit anderen Worten, das Clustern erfolgt (auch) nach der Augmentation der Radarpunktwolke. Dies kann das Ergebnis weiter verbessern, da einige Punkte nach der Augmentation, d.h. nach den Transformationen, außerhalb eines ursprünglichen Clusters liegen könnten. Solche Punkte werden bei der Clusterung nach der Augmentation dann nicht mehr dem ursprünglichen Cluster zugerechnet. Insbesondere kann wie oben beschrieben ein Cluster mittels entsprechender den einzelnen Sitzplätzen zugeordneten Raumbereichen erfolgen, welche vorzugsweise quaderförmig sind und den Bereich im Wesentlichen abdecken, in dem eine Person auf dem jeweiligen Sitzplatz zu erwarten ist.
Bei einigen Ausführungsformen werden die einzelnen Radarpunkte der Radarpunktwolke jeweils durch eine Position des jeweiligen Radarpunkts im dreidimensionalen Raum sowie durch zumindest einen der folgenden Parameter repräsentiert: (i) einen Doppler-Verschiebungswert des Radarsignals zum jeweiligen Radarpunkt; (iii) einen Signal-zu-Rausch-Abstands-Wert des Radarsignals zum jeweiligen Radarpunkt. Diese Parameter können insbesondere zur Vorfilterung der Radarpunktwolke im Rahmen einer der Merkmalsbestimmung vorangehenden Vorprozessierung genutzt werden.
Ein zweiter Aspekt der hier vorgestellten Lösung betrifft ein, insbesondere computerimplementiertes, Verfahren zum automatisierten Erkennen eines, insbesondere sitzplatzbezogenen, Sitzbelegungszustands einer Sitzanordnung mit zumindest einem Sitzplatz (bzw. gleichbedeutend: Sitz), insbesondere Sitzplatz in oder für ein Fahrzeug, wie etwa ein Automobil (z.B. LKW, PKW oder Bus). Das Verfahren weist auf: (i) Erfassen, insbesondere Empfangen oder Erzeugen, von Messdaten, die eine zugeordnete Radarpunktwolke repräsentieren. Jede Radarpunktwolke wird oder wurde auf Basis einer Radarabtastung eines die Sitzanordnung zumindest abschnittsweise umgebenden Raumbereichs gewonnen; (ii) Bestimmen, insbesondere Schätzen, eines Sitzbelegungszustands der Sitzanordnung anhand eines Auswertungsmodells, das in Abhängigkeit von der Radarpunktwolke einen von mehreren vordefinierten möglichen Sitzbelegungszuständen der Sitzanordnung als Auswertungsergebnis liefert; und (iii) Ausgeben einer in Abhängigkeit von dem Auswertungsergebnis definierten Information. Das Verfahren gemäß dem zweiten Aspekt nutzt ein Auswertungsmodell, insbesondere ein Machine-Learning-Modell, welches mit Hilfe des Verfahrens gemäß dem ersten Aspekt trainiert wurde.
Mithilfe des Verfahrens nach dem zweiten Aspekt lässt sich auf Basis einer Radarpunktwolke, die mittels einer Radarabtastung eines die Sitzanordnung umgebenden Raumbereichs gewonnenen wird, ein Sitzbelegungszustand der Sitzanordnung kennzeichnendes Auswertungsergebnis (insbesondere im Sinne einer Voraussage oder Klassifikation) erhalten. So lassen sich, insbesondere im Fahrzeugkontext (insbesondere für Automobile), radarbasierte Lösungen implementieren, die einen Sitzbelegungszustand (insbesondere ausschließlich) radarbasiert zuverlässig erkennen können und auf Basis davon bestimmte Funktionalitäten oder System, wie etwa einen Gurtwarner oder ein Airbag-System, insgesamt oder selektiv aktivieren, deaktivieren oder steuern/regeln können. Durch das Training mit den augmentierten Messdaten kann die Qualität des Auswertungsergebnisses bei der tatsächlichen Erkennung eines Sitzbelegungszustands verbessert werden, da zum Training eine große Menge von Daten verwendet werden kann.
Die auszugebende Information kann insbesondere das Auswertungsergebnis selbst repräsentieren. Sie kann auch ein, insbesondere mit einem menschlichen Sinn erfassbares, detektierbares Signal sein, wie etwa ein Warnhinweis, oder ein Steuersignal zur Ansteuerung einer Signalquelle oder ein die Information tragendes Datensignal.
Nachfolgend werden verschiedene beispielhafte Ausführungsformen des Verfahrens gemäß dem zweiten Aspekt beschrieben, die jeweils, soweit dies nicht ausdrücklich ausgeschlossen wird oder technisch unmöglich ist, beliebig miteinander sowie mit den weiteren beschriebenen anderen Aspekten der vorliegenden Lösung kombiniert werden können. Auch können Ausführungsformen des Verfahrens gemäß dem ersten Aspekt auf das Verfahren gemäß dem zweiten Aspekt anwendbar sein und umgekehrt. Mit anderen Worten, Merkmale des Verfahrens, welche beim Trainieren des Auswertungsmodells Anwendung finden, können gleichermaßen bei der Erkennung eines Sitzbelegungszustands Anwendung finden, und umgekehrt. Bei einigen Ausführungsformen weist die Sitzanordnung eine Mehrzahl von Sitzplätzen auf, für die individuell oder kumulativ ein Sitzbelegungszustand im Rahmen des Verfahrens zu bestimmen ist. Für jede (einzelne) Radarpunktwolke wird die Menge ihrer Radarpunkte mittels Cluster-Bildung in Abhängigkeit von der jeweiligen räumlichen Lage der Radarpunkte in Bezug auf die Sitzplätze in mehrere jeweils eine Untermenge der Radarpunkte enthaltende Cluster unterteilt, um jedem der Sitzplätze einen ihm räumlich nächstliegenden der Cluster individuell zuzuordnen. Das Bestimmen des Sitzbelegungszustands der Sitzanordnung, erfolgt für jeden der Sitzplätze in Abhängigkeit von der für den jeweils zugehörigen Cluster bestimmten Radarpunktwolke, um ein einen Sitzbelegungszustand des jeweiligen Sitzplatzes kennzeichnendes Auswertungsergebnis, insbesondere Klassifikationsergebnis, zu erhalten. Die auszugebende Information wird dann in Abhängigkeit von den jeweiligen individuellen Auswertungsergebnissen zu den verschiedenen Sitzplätzen definiert.
Bei einigen zugehörigen Ausführungsformen wird jede Radarpunktwolke in mehrere Cluster segmentiert, indem jedem der Sitzplätze als Cluster eine Teilmenge der Radarpunkte der jeweiligen Radarpunktwolke in Abhängigkeit von deren jeweiliger Position so zugeordnet wird, dass die Radarpunkte des Clusters in einem definierten geschlossenen Raumbereich, insbesondere einem Quader, im Umfeld des Sitzplatzes liegen. Dies ermöglicht eine besonders einfache und wenig rechenintensive Clusterbildung und somit sitzplatzbezogene Sitzbelegungserkennung, wobei die Lage (Position und Orientierung) und die Form des Raumbereichs so definiert ist oder werden kann, dass sie den von einem typischen zu erkennenden Objekt, insbesondere einer Person, auf einem Sitz der Sitzanordnung in der Regel eingenommenen Raumbereich stark überlappt.
Es wird somit im Falle einer mehrsitzigen Sitzanordnung eine sitzplatzbezogene, d.h. je Sitz individuelle, Sitzplatzbelegungserkennung ermöglicht, was insbesondere dann vorteilhaft oder gar erforderlich ist, wenn sitzplatzbezogen auf die erkannte Sitzplatzbelegung reagiert werden soll, etwa indem für einen bestimmten Sitz in Abhängigkeit von dessen erkannter Sitzplatzbelegung eine bestimmte Funktionalität oder ein bestimmtes System, wie etwa ein sitzplatzbezogenes Airbag-System, eine sitzplatzbezogene Gurtanlegewarnung oder eine sitzplatzbezogene Sitzheizung aktiviert bzw. deaktiviert oder anderweitig gesteuert werden soll. Die Clusterbildung kann bei einigen Ausführungsformen insbesondere so erfolgen, dass die Cluster disjunkt sind, so dass kein Radarpunkt zwei verschiedenen Clustern zugeordnet ist. Bei einigen Ausführungsformen wird die bzw. jede einzelne Radarpunktwolke in mehrere Cluster segmentiert, indem jedem der Sitzplätze als Cluster eine Teilmenge der Radarpunkte in Abhängigkeit von deren jeweiliger Position so zugeordnet wird, insbesondere je Radarpunkt eindeutig, dass die Radarpunkte des Clusters in einem definierten geschlossenen, insbesondere quaderförmigen, Raumbereich im Umfeld des Sitzplatzes liegen. Die Zuordnung kann insbesondere so erfolgen, dass jeder Radarpunkt dem Cluster des ihm nächstliegenden Sitzplatzes zugeordnet wird. So lässt sich die Radarpunktwolke in Cluster, d.h. im Umfeld der jeweiligen Sitze lokalisierten, Teilmengen der Radarpunktwolke aufteilen, so dass das Bestimmen von sitzspezifischen Sitzbelegungszuständen gezielt und daher mit hoher Zuverlässigkeit auf Basis des dem jeweiligen Sitz zugeordneten Clusters erfolgen kann.
Bei einigen Ausführungsformen weist das Verfahren des Weiteren auf: Bestimmen des jeweiligen Werts zumindest einer definierten Kenngröße zur Charakterisierung von Radarpunktwolken. Das Auswertungsmodell ist oder wird so festgelegt, dass bei dem Bestimmen des Sitzbelegungszustands der Sitzanordnung das Auswertungsergebnis in Abhängigkeit von den jeweiligen Werten der zumindest einen Kenngröße für die Radarpunktwolken bestimmt wird. Auf diese Weise kann das Auswertungsmodell in einer vereinfachten Weise bestimmt und angewandt werden, da anstelle ganzer Radarpunktwolken nur noch die Werte der zumindest eine Kenngröße als Eingangsgrößen berücksichtigt werden müssen. Insbesondere kann so der zeitliche Verlauf der Werte eine Bewegung oder ein bestimmtes Bewegungsmuster eines oder mehrerer Objekte auf der Sitzanordnung widerspiegeln, sodass das Auswertungsmodell auf dieser Basis den Sitzbelegungszustand der Sitzanordnung in besonders zuverlässiger Weise bestimmen kann.
Bei einigen Ausführungsformen wird für zumindest eine der Kenngrößen die Serie ihrer jeweiligen Werte dahingehend analysiert, ob darin ein periodischer Verlauf, insbesondere ein zu einem periodischen Atmungsmuster korrespondierender Verlauf, der Kenngröße detektiert wird. Das Auswertungsergebnis wird dann in Abhängigkeit vom Ergebnis der Analyse bestimmt. So kann insbesondere nicht nur die Anwesenheit irgendeines Objekts auf einem Sitz der Sitzanordnung erkannt werden, sondern sogar mit hoher Zuverlässigkeit eine Unterscheidung von auf der Sitzanordnung vorhandenen lebenden Objekten, vor allem von Personen und Säugetieren wie etwa Haustieren (z.B. Hunden), getroffen werden. Insbesondere ist es möglich, die verfahrensgemäß auszugebende Information in Abhängigkeit vom Erkennen bzw. Nicht-Erkennen eines solchen periodischen Verlaufs zu definieren. Dabei können auch insbesondere eine oder mehrere detektierte Frequenzen des periodischen Verlaufs berücksichtigt werden, insbesondere so, dass die Information in Abhängigkeit davon definiert wird, ob die bzw. eine Frequenz innerhalb eines bestimmten Frequenzbereichs wie etwa eines typischen Atemfrequenzbereichs liegt. So lässt sich insbesondere eine Gurtanlegewarnfunktionalität oder ein Airbag-System in Abhängigkeit davon steuern, ob eine Atemfrequenz und somit mit hoher Wahrscheinlichkeit eine Person auf der Sitzanordnung bzw. einem bestimmten Sitz davon erkannt wurde.
Bei einigen Ausführungsformen ist oder wird die bzw. eine der Kenngrößen durch die Anzahl der Radarpunkte in der Radarpunktpunktwolke oder eine davon abhängige Größe festgelegt. Wenn bei der Radarabtastung die Anzahl der Radarpunkte der dabei erzeugten Radarpunktwolke davon abhängt, in welchem Ausmaß sich das abgetastete Objekt bewegt, lässt sich so in der bzw. den Kenngrößen das Ausmaß der Bewegung abbilden, insbesondere im Hinblick auf das vorgenannte Erkennen einer Atemfrequenz des Objekts. Als Kenngröße können neben der Anzahl der Radarpunkte auch weitere Merkmale der Punktwolke (bzw. eines Clusters) genutzt werden, wie beispielsweise eine Position des Schwerpunkts der Punktwolke (bzw. eines Clusters), die Dichte der Punkte (eines Clusters) und/oder ein mittlerer Doppler-Wert.
Bei einigen Ausführungsformen umfasst das Auswertungsmodell ein trainiertes Machine-Learning-Modell. Daten, die zumindest eine Radarpunktwolke oder Werte von einer oder mehreren dazu bestimmten Kenngrößen repräsentieren, werden dabei als Eingangsdaten dem Machine-Learning-Modell zu Verfügung gestellt, um als dessen Ausgabe das Auswertungsergebnis zu erhalten. Dies erlaubt eine besonders flexible und anpassungsfähige Implementierung des Auswertungsmodells, wobei das Maschinenlernen dazu genutzt werden kann, das Auswertungsmodell und somit die Qualität und Zuverlässigkeit der Sitzbelegungserkennung kontinuierlich zu verbessern. Das Auswertungsergebnis kann dabei insbesondere eine Klasse einer Sitzbelegungszustandsklassifikation angeben. Das Machine-Learning-Modell kann insbesondere Entscheidungsbaum-basiertes Modell oder ein auf einem künstlichen neuronalen Netz beruhendes Modell sein. Wie oben im Zusammenhang mit dem Verfahren nach dem ersten Aspekt erläutert, wird das Auswertungsmodell vor der Verwendung in dem Verfahren nach dem zweiten Aspekt mit Trainingsdaten trainiert, wobei hierfür augmentierte Daten genutzt werden, um die Menge der Daten zu erhöhen, die dem Auswertungsmodell für das Training als Eingangsdaten zur Verfügung gestellt werden können. Bei einigen Ausführungsformen umfasst das Ausgeben der Information ein Ansteuern einer Signalquelle in Abhängigkeit von der Information, um die Signalquelle zu veranlassen, in Abhängigkeit von der Ansteuerung ein definiertes Signal auszugeben. Die Signalquelle kann insbesondere eine Audioquelle, eine optische Signalquelle, insbesondere Anzeigevorrichtung für Bild oder Text, und/oder ein Haptik-Aktuator oder eine Kombination aus zumindest zwei der vorgenannten Signalquellen sein kann. So kann anhand der Signalisierung der erkannte Sitzbelegungszustand einem Benutzer mitgeteilt oder zur Steuerung eines anderen technischen Systems, wie etwa eines Airbagsystems, genutzt werden.
Bei einigen dieser Ausführungsformen wird die Signalquelle so in Abhängigkeit von der Information angesteuert, dass sie ein, insbesondere durch die Ansteuerung definiertes, Signal ausgibt, wenn die Information aus einem Auswertungsergebnis resultiert, demgemäß zumindest ein Sitz der Sitzanordnung belegt ist und/oder ein ausgewählter vorbestimmter Sitzbelegungszustand vorliegt.
Bei einigen Ausführungsformen weist das Verfahren des Weiteren auf: (i) Detektieren eines Sitzgurtanlegezustands zumindest eines Sitzes der Sitzanordnung oder Empfangen einer diesen Sitzgurtanlegezustand kennzeichnenden Sitzgurtinformation; (ii) wobei die Signalquelle so in Abhängigkeit von der Sitzgurtinformation und der Information aus dem Auswertungsergebnis angesteuert wird, dass sie ein Gurtanlegehinweissignal ausgibt, wenn gemäß der Information zumindest ein Sitz der Sitzanordnung belegt ist und/oder ein ausgewählter vorbestimmter Sitzbelegungszustand vorliegt und Sitzgurtinformation angibt, dass der zugehörige Sitzgurt des Sitzes nicht angelegt ist. So lässt sich ein, insbesondere im Hinblick auf die Detektion ausschließlich, radarbasiertes Sitzgurtanlegeprüf- und -warnsystem erreichen.
Bei einigen Ausführungsformen werden die einzelnen Radarpunkte der Radarpunktwolke jeweils durch eine Position des jeweiligen Radarpunkts im dreidimensionalen Raum sowie durch zumindest einen der folgenden Parameter repräsentiert: (i) einen Doppler-Verschiebungswert des Radarsignals zum jeweiligen Radarpunkt; (iii) einen Signal-zu-Rausch-Abstands-Wert des Radarsignals zum jeweiligen Radarpunkt. Diese Parameter können insbesondere zur Vorfilterung der Radarpunktwolke im Rahmen einer der Merkmalsbestimmung vorangehenden Vorprozessierung genutzt werden. Insbesondere kann bei einigen dieser Ausführungsformen das Bestimmen des Sitzbelegungszustands der Sitzanordnung anhand des Auswertungsmodells ausschließlich oder zumindest zahlenmäßig überwiegend auf Basis solcher Radarpunkte erfolgen, deren Doppler-Verschiebungswert bei oder oberhalb einer von Null verschiedenen vorbestimmten Verschiebungsschwelle liegt. So werden nur oder zumindest überwiegend sogenannte dynamische Radarpunkte als Basis für die Auswertung genutzt, also solche Radarpunkte, die eine Bewegung des abgetasteten Objekts anzeigen, deren Doppler-Verschiebungswert bei oder oberhalb der Verschiebungsschwelle liegt. Dies kann insbesondere zur weiteren Erhöhung der Qualität, insbesondere der Zuverlässigkeit des Verfahrens genutzt werden, weil statische, d.h. im Wesentlichen unbewegte Punkte auf den Objektoberflächen, wie etwa Punkte auf einer Sitzfläche eines Sitzes, nicht oder nur in geringerer Anzahl in die Auswertung einfließen als solche Punkte, die eine Dynamik zeigen und somit mit hoher Wahrscheinlichkeit einem Lebewesen, insbesondere einer Person oder einem Tier, zuzuordnen sind. Damit kann die Verwertung der durch die Auswertung gewonnenen, ausgegebenen Information (z.B. zur Airbag-Steuerung oder einem Gurtwarnsystem) insbesondere in Abhängigkeit davon erfolgen, ob ein Lebewesen erkannt wurde oder eine statische Objektoberfläche.
Ein dritter Aspekt der vorliegenden Lösung betrifft ein System, insbesondere eine Datenverarbeitungsvorrichtung, zum automatisierten Erkennen eines, insbesondere jeweiligen, Sitzbelegungszustands einer Sitzanordnung mit zumindest einem Sitzplatz, insbesondere mit zumindest einem Fahrzeugsitz in einem bzw. für ein Fahrzeug. Dabei weist das System eine Datenverarbeitungsvorrichtung auf, die konfiguriert ist, insbesondere mittels eines entsprechenden Computerprogramms, zum Erkennen des Sitzbelegungszustands das Verfahren nach dem zweiten Aspekt auszuführen.
Ein vierter Aspekt der vorliegenden Lösung betrifft ein Computerprogramm oder Computerprogrammprodukt, aufweisend Anweisungen, die bei ihrer Ausführung auf der Datenverarbeitungsvorrichtung des Systems nach dem dritten Aspekt, das System veranlassen, das Verfahren nach dem zweiten Aspekt auszuführen.
Das Computerprogramm kann insbesondere auf einem nichtflüchtigen Datenträger gespeichert sein. Bevorzugt ist dies ein Datenträger in Form eines optischen Datenträgers oder eines Flashspeichermoduls. Dies kann vorteilhaft sein, wenn das Computerprogramm als solches unabhängig von einer Prozessorplattform gehandelt werden soll, auf der das ein bzw. die mehreren Programme auszuführen sind. In einer anderen Implementierung kann das Computerprogramm als eine Datei auf einer Datenverarbeitungseinheit, insbesondere auf einem Server vorliegen, und über eine Datenverbindung, beispielsweise das Internet oder eine dedizierte Datenverbindung, wie etwa ein proprietäres oder lokales Netzwerk, herunterladbar sein. Zudem kann das Computerprogramm eine Mehrzahl von zusammenwirkenden einzelnen Programmodulen aufweisen. Die Module können insbesondere dazu konfiguriert sein oder jedenfalls so einsetzbar sein, dass sie im Sinne von verteiltem Rechnen (engl. „Distributed computing“ auf verschiedenen Geräten (Computern bzw. Prozessoreinheiten ausgeführt werden, die geografisch voneinander beabstandet und über ein Datennetzwerk miteinander verbunden sind.
Das System nach dem dritten Aspekt kann entsprechend einen Programmspeicher aufweisen, in dem das Computerprogramm abgelegt ist. Alternativ kann das System auch eingerichtet sein, über eine Kommunikationsverbindung auf ein extern, beispielsweise auf einem oder mehreren Servern oder anderen Datenverarbeitungseinheiten verfügbares Computerprogramm zuzugreifen, insbesondere um mit diesem Daten auszutauschen, die während des Ablaufs des Verfahrens bzw. Computerprogramms Verwendung finden oder Ausgaben des Computerprogramms darstellen.
Ein fünfter Aspekt der vorliegenden Lösung betrifft ein Fahrzeug, aufweisend:(i) eine Sitzanordnung mit zumindest einem Sitzplatz; (ii) einen Radarsensor zur zumindest abschnittsweisen Radarabtastung der Sitzanordnung; und (iii) ein System nach dem dritten Aspekt zum automatisierten Erkennen eines, insbesondere jeweiligen, Sitzbelegungszustands der Sitzanordnung in Abhängigkeit von einer durch den Radarsensor ausgeführten, zumindest abschnittsweisen Radarabtastung der Sitzanordnung, insbesondere gemäß einem Verfahren nach dem zweiten Aspekt.
Die in Bezug auf den ersten und zweiten Aspekt der vorliegenden Lösung erläuterten Merkmale und Vorteile gelten entsprechend auch für die weiteren Aspekte der Lösung.
Weitere Vorteile, Merkmale und Anwendungsmöglichkeiten der vorliegenden Lösung ergeben sich aus der nachfolgenden detaillierten Beschreibung im Zusammenhang mit den Zeichnungen.
Dabei zeigt: Fig. 1 schematisch eine beispielhafte Ausführungsform eines Fahrzeugs, das mit einem System zum automatisierten Erkennen eines Sitzbelegungszustands einer Sitzanordnung im Fahrzeug ausgerüstet ist;
Fig. 2 schematisch das Fahrzeug aus Fig. 1 , wobei hier der Beifahrersitz belegt ist;
Fig. 3A eine beispielhafte zweidimensionale Darstellung einer durch einen Radarsensor des Fahrzeugs aus Fig. 2 aufgenommenen Radarpunktwolke;
Fig. 3B eine beispielhafte Darstellung einer Clusterung der Radarpunktwolke aus Fig. 3A gemäß den Positionen der einzelnen Sitzplätze der Sitzanordnung;
Fig. 4 ein Flussdiagramm zur Veranschaulichung einer beispielhaften Ausführungsform eines Verfahrens zum automatisierten Erkennen eines Sitzbelegungszustands einer Sitzanordnung;
Fig. 5 ein Flussdiagramm zur Veranschaulichung einer beispielhaften Ausführungsform eines Verfahrens zum Trainieren eines Auswertungsmodells für das automatisierte Erkennen eines Sitzbelegungszustands einer Sitzanordnung;
Fig. 6 eine beispielhafte Darstellung von vier Radarpunkten während der Augmentation; und
Fig. 7 eine beispielhafte dreidimensionale Darstellung einer Radarpunktwolke mit einer daraus erhaltenen augmentierten Punktwolke.
In den Figuren bezeichnen gleiche Bezugszeichen gleiche, ähnliche oder einander entsprechende Elemente. In den Figuren dargestellte Elemente sind nicht notwendigerweise maßstabsgetreu dargestellt. Vielmehr sind die verschiedenen in den Figuren dargestellten Elemente derart wiedergegeben, dass ihre Funktion und genereller Zweck dem Fachmann verständlich werden. In den Figuren dargestellte Verbindungen und Kopplungen zwischen funktionellen Einheiten und Elementen können, soweit nicht ausdrücklich anders angegeben, auch als indirekte Verbindung oder Kopplung implementiert werden. Funktionale Einheiten können insbesondere als Hardware, Software oder eine Kombination aus Hardware und Software implementiert werden. Die in Fig. 1 schematisch dargestellte beispielhafte Ausführungsform eines Fahrzeugs 100 weist eine Sitzanordnung 105 mit fünf einzelnen Sitzen bzw. Sitzplätzen 105a bis 105e auf. Jeder der Sitzplätze 105a bis 105e ist geeignet, eine Person als Passagier des Fahrzeugs 100 aufzunehmen. Das Fahrzeug 100 weist des Weiteren einen Radarsensor 1 10 auf, der innerhalb der Fahrzeugkabine an deren Decke montiert und so konfiguriert ist, dass er die Sitzanordnung 105, zumindest im Wesentlichen, mithilfe von Radarstrahlen abtasten kann. Dementsprechend liegen die Sitzplätze 105a bis 105e, insbesondere deren Sitzflächen, zumindest jeweils überwiegend, innerhalb eines durch den Radarsensor 110 abtastbaren Beobachtungsfelds 110a. Darüber hinaus weist das Fahrzeug 100 ein System 115 zum automatisierten Erkennen eines Sitzbelegungszustands der Sitzanordnung 105 in Abhängigkeit von einer durch den Radarsensor 110 ausgeführten, zumindest abschnittsweise bezüglich des Beobachtungsfelds 1 10a ausgeführten Radarabtastung der Sitzanordnung 105 auf.
Das System 1 15 weist insbesondere eine Datenverarbeitungseinheit 115a mit zumindest einen Mikroprozessor sowie einen damit signalverbundenen Speicher 1 15b auf, in dem ein zur Durchführung des im Weiteren unter Bezugnahme auf Fig. 4 beschriebenen Verfahrens zum automatisierten Erkennen eines Sitzbelegungszustands der Sitzanordnung 105 konfiguriertes Computerprogramm gespeichert ist. Des Weiteren können in dem Speicher 115b die vom Radarsensor 110 bei der Radarabtastung erzeugten Sensordaten oder daraus bereits durch Weiterverarbeitung gewonnene Informationen abgelegt sein oder werden.
Das in Fig. 2 dargestellte Fahrzeug 100 entspricht dem Fahrzeug aus Fig. 1 , wobei hier jedoch der Beifahrersitz 105b durch eine Person P belegt ist. Bei der weiteren folgenden Diskussion der Fig. 3A und 3B wird auf die Konstellation aus Fig. 2 Bezug genommen.
Nachfolgend wird nun auf die Fig. 3A und 3B Bezug genommen, die jeweils eine Radarpunktwolke darstellen, wobei zum Zwecke der Darstellbarkeit die jeweilige, an sich dreidimensionale Radarpunktwolke durch Projektion der Positionen der Radarpunkte der Radarpunktwolke auf eine durch zwei ihrer Dimensionen aufgespannte Ebene auf zwei Dimensionen reduziert wurde.
In Fig. 3A ist eine beispielhafte Radarpunktwolke 305 illustriert, wie sie als Ergebnis einer Radarabtastung der Sitzanordnung 105 durch den Radarsensor 1 10 während eines festgelegten Zeitintervalls (Messzeitraum) erfasst wurde. Die Lage der einzelnen Radarpunkte innerhalb der Radarpunktwolke 305 kann durch Raumkoordinaten dargestellt werden, beispielsweise kann man der Zeichenebene und entsprechend jedem einzelnen Punkte kartesische Koordinaten X und Y zuordnen. Tatsächlich kommt in Wirklichkeit, wenn die Dimensionsreduzierung aufgrund der Zeichnung außer Acht gelassen wird, noch eine dritte Koordinate Z für die dritte Raumdimension zu (vgl. die in Fig. 7 dargestellten Koordinaten X, Y und Z).
Wenn bei der Radarabtastung nicht nur die räumlichen Positionen der Stellen, an denen der Radarstrahl von den abgetasteten Objekten reflektiert wird, als Koordinaten erfasst werden, sondern auch eine jeweilige Dopplerverschiebung gemessen wird, dann können die einzelnen Radarpunkte in Abhängigkeit vom Betrag dieser Dopplerverschiebung klassifiziert, insbesondere in zwei verschiedene Klassen eingeteilt werden. Letzteres kann etwa dadurch erfolgen, dass die Dopplerverschiebung mit einer vordefinierten Verschiebungsschwelle, die zu einer bestimmten Verschiebungsgeschwindigkeit korrespondiert, verglichen werden. In Abhängigkeit vom Ergebnis des Vergleichs können diejenigen Radarpunkte 310, die gemäß dem Wert ihrer zugeordneten Dopplerverschiebung keine Geschwindigkeit oder eine Geschwindigkeit der Objektoberfläche am Reflexionspunkt aufweisen, die unterhalb der Verschiebungswelle liegt, als „statische“ Radarpunkte klassifiziert werden (in den Fig. 3A und 3B jeweils mit einem gefüllten schwarzen Kreis dargestellt). Umgekehrt können diejenigen Radarpunkte 315, die eine Dopplerverschiebung oberhalb der Verschiebungsschwelle aufweisen, als „dynamische“ Radarpunkte 315 klassifiziert werden (in den Fig. 3A und 3B jeweils mit einem schwarzen Ring dargestellt).
Die Klassifizierung der Radarpunkte 310 und 315 entsprechend ihrer Dopplerverschiebung ist nicht zwingend erforderlich, sie kann jedoch genutzt werden, um die Radarpunktwolke 305, insbesondere im Rahmen einer vor ihrer Auswertung erfolgenden Vorprozessierung zu verarbeiten, insbesondere in Abhängigkeit von der Klassifizierung zu filtern. Beispielsweise könnte eine solche Filterung derart erfolgen, dass nur dynamische Radarpunkte 315 für die Auswertung berücksichtigt werden, um etwa nur bewegte Objekte zu erkennen.
In Fig. 3B ist dieselbe Radarpunktwolke 305 wie in Fig. 3A dargestellt. Zusätzlich sind hier jedoch quaderförmige (3D-Fall) bzw. in der vorliegenden 2D-Darstellung rechteckige, ausgewählte Raumbereiche 325a bis 325e eingezeichnet, die räumlich der jeweiligen Lage der einzelnen Sitzplätze 105a bis 105e zugeordnet sind. Die Definition dieser Raumbereiche 325a bis 325e kann nun herangezogen werden, um die Radarpunktwolke 305 zu Clustern, wobei jeder Radarpunkt 310 bzw. 315, soweit möglich, demjenigen Raumbereich 325a bis 325e zugeordnet wird, in dem er liegt. Alle nicht in einem der Raumbereiche 325a bis 325e liegenden Radarpunkte können im Weiteren unberücksichtigt bleiben. Man sieht insbesondere, dass die Bereiche 320 mit besonders hoher Radarpunktdichte im Bereich des Beifahrersitzes 105b liegen, auf dem sich gemäß Fig. 2 die Person P befindet.
Fig. 4 zeigt ein Flussdiagramm zur Veranschaulichung einer beispielhaften Ausführungsform 400 eines Verfahrens zum automatisierten Erkennen eines Sitzbelegungszustands einer Sitzanordnung. Das Verfahren kann insbesondere als computerimplementiertes Verfahren ausgebildet sein. Dazu kann es insbesondere im Speicher 1 15b des Systems 1 15 als Computerprogramm abgelegt sein und auf der Datenverarbeitungseinheit 1 15a ablauffähig sein.
Bei dem Verfahren 400 wird eine Radarpunktwolke 305 erfasst, indem in einem Schritt 410 Radarmessdaten, im vorliegenden Beispiel vom Radarsensor 110 des Fahrzeugs 100, empfangen werden und weiterverarbeitet werden, um eine oder mehrere Radarpunktwolken zu bilden.
Die nun vorliegende Radarpunktwolke 305 kann sodann in einem weiteren Prozess 420 geclustert werden, indem für jeden ihrer Radarpunkte geprüft wird, ob er innerhalb von einem der definierten Raumbereiche 325a bis 325e (vgl. Fig. 3B) liegt und gegebenenfalls in welchem. Somit kann jeder der aller Punkte entweder einen der Raumbereiche 325a bis 325e oder dem sonstigen Beobachtungsfeld zugeordnet werden. Alle Radarpunkte, die innerhalb desselben Raumbereichs 325a bis 325e liegen, werden zu einem jeweiligen Cluster zusammengefasst. Im Ergebnis ist somit jedem der Sitzplätze 105a bis 105e ein entsprechendes Cluster der Radarpunktwolke 305 zugeordnet. Dies bildet die Basis dafür, dass im Weiteren je Sitzplatz 105a bis 105e individuell eine Auswertung dahingehend erfolgen kann, ob der jeweilige Sitzplatz 105a bis 105e während die Radarpunktwolke 305 gebildet wurde, belegt ist bzw. war oder nicht.
Um die nachfolgende Auswertung der geclusterten Radarpunktwolke 305 zu erleichtern, kann für jeden der Cluster in einem Prozess 430 eine entsprechende Kenngröße K bestimmt werden, wobei diese Kenngröße K insbesondere als die Anzahl der Radarpunkte in dem Cluster definiert sein kann. Soweit keine Filterung gemäß Dopplerverschiebungswert stattgefunden hat, kann es sich dabei um eine gemeinsame Zählung sowohl der statischen als auch der dynamischen Radarpunkte 310 bzw. 315 handeln. Falls jedoch die statischen Radarpunkte 310 zuvor ausgefiltert wurden, handelt es sich nur noch um eine Zählung der dynamischen Radarpunkte 315. Alternativ oder zusätzlich können auch die statischen Radarpunkte 310 gezählt werden.
Nun kann die Auswertung der Kenngröße K für den Cluster zum Sitz 105b erfolgen (gleiches kann analog für die jeweiligen Cluster zu den anderen Sitzplätzen erfolgen). Dazu wird im Prozess 440 die Kenngröße K (bzw. ein zeitlicher Verlauf der Kenngröße K als Eingangsgröße einem Auswertungsmodell zur Verfügung gestellt. Dies kann insbesondere ein auf maschinellem Lernen beruhendes Modell sein, wie etwa ein künstliches neuronales Netz oder ein Entscheidungsbaum-basiertes Modell (engl. „Decision tree(s)“). Die für das vorausgehende Training benutzten Trainings- und gegebenenfalls Validierungsdaten können dabei so strukturiert sein, dass sie jeweils der Art nach der Kenngröße K für eine Vielzahl verschiedener Radarpunktwolken bzw. Cluster davon sowie je Verlauf von K eine zugeordnete korrekte Klasse einer Klassifizierung möglicher Sitzbelegungszustände enthalten. So kann das Modell im Sinne eines überwachten Lernens (Supervised learning) trainiert und validiert werden. Im einfachsten Fall geben dabei Sitzbelegungszustände an, ob der Sitz belegt ist oder nicht. Es sind jedoch auch weiter entwickelte Klassifikationen denkbar, bei denen im Falle der Anwesenheit eines Objekts zusätzlich durch die jeweilige Klasse angegeben wird, welche Art von Objekt es sich handelt, beispielsweise um ein bewegtes oder um ein unbewegtes, und im Fall eines bewegten Objekts insbesondere, ob es sich um eine Person handelt (grundsätzlich insbesondere anhand eines Atemmusters im Verlauf der Kenngröße K erkennbar).
Wenn im Prozess 440 anhand des Auswertungsmodells ein Sitzbelegungszustand für die Sitzanordnung 105 bestimmt wurde, insbesondere für einen oder mehrere ihrer Sitzplätze 105a bis 105e individuell, kann dieses Ergebnis als entsprechende Information im Prozess 445 ausgegeben werden, beispielsweise an einer Benutzerschnittstelle des Fahrzeugs oder in Form von Daten zur Weiterverarbeitung durch ein oder mehrere andere Systeme, insbesondere Systeme des Fahrzeugs.
Im vorliegenden Beispiel soll diese Information insbesondere dazu verwendet werden, zu prüfen, ob in Abhängigkeit vom Sitzbelegungszustand eines jeweiligen Sitzes 105a bis 105e und dem Ergebnis einer Prüfung dahingehend, ob ein entsprechender Sicherheitsgurt für diesen Sitz angelegt wurde oder nicht, ein Gurtwarnsignal auszugeben oder nicht. Dazu kann im Prozess 450 geprüft werden, ob der Sicherheitsgurt zum betreffenden Sitz (hier beispielsweise zum Sitz 105b) angelegt ist und im Schritt 455 eine Funktionalität des Fahrzeugs 100 in Abhängigkeit vom der im Prozess 445 ausgegebenen Information zum Sitzbelegungszustand und dem im Prozess 450 bestimmten Status des Sicherheitsgurts gesteuert werden. Insbesondere kann dies so erfolgen, dass im Prozess 455 eine Signalquelle zur Ausgabe eines insbesondere optischen und/oder akustischen Gurtstatussignals angesteuert wird, um einem oder mehreren anderen Insassen des Fahrzeugs gegebenenfalls zu signalisieren, dass ein Sitz zwar belegt aber dort der Sicherheitsgurt nicht angelegt ist. Danach verzweigt das Verfahren zurück zum Schritt 410, um einen weiteren Schleifendurchlauf zu starten.
Fig. 5 zeigt ein Flussdiagramm zur Veranschaulichung einer beispielhaften Ausführungsform 500 eines Verfahrens zum Trainieren eines Auswertungsmodells, welche in dem Verfahren 400 zum automatisierten Erkennen eines Sitzbelegungszustands einer Sitzanordnung zur Anwendung kommen kann. Das Verfahren 500 wird gleichzeitig mit Bezug auf Fig. 6 anhand von vier beispielhaften Punkten a, b, c und d erläutert.
Zunächst werden in einem Schritt 510 Messdaten erfasst, welche eine zugeordnete Radarpunktwolke repräsentieren, wie beispielsweise die Radarpunktwolke 305. In Fig. 6 sind zur Veranschaulichung des Verfahrens ganz oben vier Radarpunkte a, b, c und d dargestellt. Sodann werden Ankerpunkte aus der Menger der Radarpunkte bestimmt. Beispielsweise kann ein erster Ankerpunkt zufällig bestimmt werden, und alle weiteren Ankerpunkte jeweils mit einem größten Abstand zu den zuvor bestimmten Ankerpunkten. Beispielsweise können 2, 3, 4 oder 5 Ankerpunkte bestimmt werden. Die Anzahl der Ankerpunkte kann je nach Anwendung variieren, wobei sich in einem Beispiel vier Ankerpunkte als optimal erwiesen haben. Dies kann durch Hyperparameteroptimierung ermittelt werden, beispielsweise durch Bayessche Optimierung. In dem in Fig. 6 gezeigten Beispiel wird der Punkt a als Ankerpunkt ausgewählt. Alle Punkte a, b, c und d werden sodann kopiert, um die Punkte a_a, b_a, c_a und d_a zu erhalten.
Es erfolgt nun in Schritt 530 eine zufällige Transformation der Punkte bezüglich des Ankerpunkts a. Dies umfasst eine zufällig ausgewählte Rotation, eine zufällig ausgewählte Skalierung und eine zufällig ausgewählte Translation. So werden die Punkte a_a_aug, b_a_aug, c_a_aug und d_a_aug erhalten. Ein Ausmaß der jeweiligen Transformation kann ebenfalls durch Hyperparameteroptimierung bestimmt werden. Nach der T ransformation erfolgt eine Glättung, beispielsweise mittels eines Gauß-Kerns. Dies sorgt dafür, dass Punkte, die weiter von dem Ankerpunkt entfernt liegen, einer kleineren Transformation unterliegen als solche Punkte, die näher am Ankerpunkt liegen. Dafür können entsprechende Gewichte ausgewählt werden. Es resultieren daraus die Punkte a_a_aug_smooth, b_a_aug_smooth, c_a_aug_smooth und d_a_aug_smooth.
Die Transformation und Glättung wird für jeden der Ankerpunkte wiederholt. Beispielsweise würden sich für den Ankerpunkt c die Punkte a_c_aug_smooth, b_c_aug_smooth, c_c_aug_smooth und d_c_aug_smooth ergeben. In Schritt 550 werden dann alle transformierten und geglätteten Punktwolken vereint. Dies kann beispielsweise durch bilden eines punktweisen Mittels erfolgen, beispielsweise a_aug = (a_a_aug_smooth + a_c_aug_smooth)/2, etc., um daraus Punkte a_aug, b_aug, c_aug und d_aug zu erhalten (nicht dargestellt in Fig. 6).
Die erhaltenen augmentierten Punkte a_aug, b_aug, c_aug und d_aug werden nun in Schritt 560 mittels eines Schwierigkeitsparameters a angepasst. Hierbei werden die erhaltenen augmentierten Punkte an die ursprünglichen Punkte a, b, c und d gekoppelt, damit die resultierende augmentierte Punktwolke nicht zu stark von der ursprünglichen Radarpunktwolke abweicht. Ein Ergebnis kann durch a_result= a_aug * a + a * (1-a) erhalten werden, ebenso für b_result, c_result und d_result. Auf diese Weise kann ein Machine-Learning-Modell erhalten werden, das durch das Training mit den augmentierten Messdaten eine hohe Genauigkeit bei der Erkennung eines Sitzbelegungszustands liefert.
Da sich die Positionen der erhaltenen Punkte a_result, b_result, c_result und d_result von den Positionen der ursprünglichen Punkte a, b, c und d unterscheiden können, wird die augmentierte Punktwolke geclustert (Schritt 570), um dann geeignete Eingangsdaten zum Trainieren des Auswertungsmodells zu erhalten (Schritt 580).
In Fig. 7 ist schließlich ein weiteres Beispiel einer Radarpunktwolke 705 veranschaulicht. Die Darstellung zeigt die Radarpunktwolke 705 als dreidimensionale Punktwolke mit den Koordinaten X, Y und Z. Die Ansicht entspricht einer Sitzplatzbelegung wie der in Fig. 2 gezeigten Sitzplatzbelegung mit einer Person P auf dem Beifahrersitz. Dies ist in Fig. 7 durch die Verdichtung der Radarpunkte 715 oben rechts (was im Fahrzeug vorne rechts entspricht) erkennbar. Die Mehrheit der in Punkte 715 liegt somit in einem Cluster, welches dem Beifahrersitz zugeordnet ist. Außerdem zeigt Fig. 7 eine augmentierte Punktwolke 710 mit den Punkten 720, was durch nicht ausgefüllte Ringe dargestellt ist. Es ist erkennbar, dass die augmentierte Punktwolke 710 leicht von der eigentlichen Radarpunktwolke 705 abweicht. Insbesondere finden sich größere Abweichungen innerhalb des Clusters des Beifahrersitzes, wohingegen die Abweichungen in den Randbereichen kleiner sind (in der Darstellung werden die Punkte 720 der augmentierten Punktwolke 710 meist durch die Punkte 715 der Radarpunktwolke 720 verdeckt und sind daher in Fig. 7 nicht sichtbar).
Während vorausgehend wenigstens eine beispielhafte Ausführungsform beschrieben wurde, ist zu bemerken, dass eine große Anzahl von Variationen dazu existiert. Es ist dabei auch zu beachten, dass die beschriebenen beispielhaften Ausführungsformen nur nichtlimitierende Beispiele darstellen, und es nicht beabsichtigt ist, dadurch den Umfang, die Anwendbarkeit oder die Konfiguration der hier beschriebenen Vorrichtungen und Verfahren zu beschränken. Vielmehr wird die vorausgehende Beschreibung dem Fachmann eine Anleitung zur Implementierung mindestens einer beispielhaften Ausführungsform liefern, wobei sich versteht, dass verschiedene Änderungen in der Funktionsweise und der Anordnung der in einer beispielhaften Ausführungsform beschriebenen Elemente vorgenommen werden können, ohne dass dabei von dem in den angehängten Ansprüchen jeweils festgelegten Gegenstand sowie seinen rechtlichen Äquivalenten abgewichen wird.
BEZUGSZEICHENLISTE
P Person auf dem Beifahrersitz
100 Fahrzeug
105 Sitzanordnung
105a-e Sitze bzw. Sitzplätze
110 Radarsensor
110a Beobachtungsfeld des Radarsensors 110
115 System zum automatisierten Erkennen eine Sitzbelegungszustands
115a Datenverarbeitungseinheit
115b Speicher
305 Radarpunktwolke
310 statische Radarpunkte
315 dynamische Radarpunkte
320 Bereiche der Radarpunktwolke 305 mit hoher Radarpunktdichte
325a-e Raumbereiche zur Clusterdefinition
400 Verfahren zum automatisierten Erkennen eines Sitzbelegungszustands
410-455 einzelne Prozesse oder Verfahrensschritte im Rahmen des Verfahrens 400
500 Verfahren zum Trainieren eines Auswertungsmodells
510-580 einzelne Prozesse oder Verfahrensschritte im Rahmen des Verfahrens 500
705 Radarpunktwolke
710 augmentierte Punktwolke
715 Punkt der Radarpunktwolke 705
720 Punkt der augmentierten Punktwolke 710

Claims

ANSPRÜCHE Verfahren zum Trainieren eines Auswertungsmodells für ein automatisiertes Erkennen eines Sitzbelegungszustands einer Sitzanordnung (105) mit zumindest einem Sitzplatz (105a-e), wobei das Verfahren aufweist:
Erfassen von Messdaten, die eine zugeordnete Radarpunktwolke (305) repräsentieren, wobei die Radarpunktwolke (305) auf Basis einer Radarabtastung eines die Sitzanordnung (105) zumindest abschnittsweise umgebenden Raumbereichs gewonnen wurde bzw. wird und einem von mehreren vordefinierten möglichen Sitzbelegungszuständen der Sitzanordnung (105) zugeordnet ist;
Erzeugen von augmentierten Messdaten, die eine zugeordnete augmentierte Punktwolke repräsentieren, aus den der Radarpunktwolke (305) zugeordneten Messdaten, wobei das Erzeugen der augmentierten Messdaten umfasst:
Bestimmen mehrerer Ankerpunkte innerhalb des Raumbereichs;
Bestimmen einer T ransformation bezüglich jedes der Ankerpunkte, wobei jede der Transformation auf zumindest einen Teil der Punkte der Radarpunktwolke (305) angewandt wird, um eine dem jeweiligen Ankerpunkt zugeordnete transformierte Punktwolke zu erhalten; und Zusammenfügen der den Ankerpunkten zugeordneten transformierten Punktwolken, um die augmentierte Punktwolke zu erhalten, welche den augmentierten Messdaten zugeordnet ist; und
Erzeugen von Trainingsdaten aus den Messdaten und den augmentierten Messdaten, wobei die Trainingsdaten als Eingangsdaten dem Auswertungsmodell zu Verfügung gestellt werden, um als dessen Ausgabe ein Auswertungsergebnis zu erhalten, welches dem Sitzbelegungszustand der Sitzanordnung (105) zugeordnet ist. Verfahren nach Anspruch 1 , wobei die Ankerpunkte Punkte aus der den Messdaten zugeordneten Radarpunktwolke (305) sind.
Verfahren nach Anspruch 1 oder 2, wobei die Ankerpunkte derart bestimmt werden, dass jeder der Ankerpunkte innerhalb des Raumbereichs einen größten Abstand zu den jeweiligen restlichen Ankerpunkten aufweist. Verfahren nach einem der vorhergehenden Ansprüche, wobei jede der Transformationen zumindest eine aus Rotation, Skalierung und Translation bezüglich des jeweiligen Ankerpunkts umfasst. Verfahren nach einem der vorhergehenden Ansprüche, wobei jede der Transformationen punktweise mit einem Gewichtungsfaktor gewichtet wird, wobei der Gewichtungsfaktor jeweils von einem Abstand eines zu transformierenden Punkts der Radarpunktwolke und des jeweiligen Ankerpunkts abhängt. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Zusammenfügen der den Ankerpunkten zugeordneten transformierten Punktwolken durch Bilden eines punktweisen Mittelwerts der den Ankerpunkten zugeordneten transformierten Punktwolken erfolgt. Verfahren nach einem der vorhergehenden Ansprüche, wobei die T rainingsdaten durch eine gewichtete Summe der Messdaten und der augmentierten Messdaten erzeugt werden. Verfahren nach einem der vorhergehenden Ansprüche, wobei: die Sitzanordnung (105) eine Mehrzahl von Sitzplätzen (105a-e) aufweist, wobei der Sitzbelegungszustand ein individueller oder kumulativer Sitzbelegungszustand der Sitzplätze (105a-e) ist; und für die Radarpunktwolke (305) die Menge ihrer Radarpunkte (310, 315) mittels Cluster-Bildung in Abhängigkeit von der jeweiligen räumlichen Lage der Radarpunkte (310, 315) in Bezug auf die Sitzplätze (105a-e) in mehrere jeweils eine Untermenge der Radarpunkte (310, 315) enthaltende Cluster unterteilt wird, um jedem der Sitzplätze (105a-e) einen ihm räumlich nächstliegenden der Cluster individuell zuzuordnen, wobei die augmentierten Messdaten für jedes Cluster individuell erzeugt werden. Verfahren nach Anspruch 8, wobei die Radarpunktwolke (305) in mehrere Cluster segmentiert wird, indem jedem der Sitzplätze (105a-e) als Cluster eine Teilmenge der Radarpunkte (310, 315) der jeweiligen Radarpunktwolke (305) in Abhängigkeit von deren jeweiliger Position so zugeordnet wird, dass die Radarpunkte (310, 315) des Clusters in einem definierten geschlossenen Raumbereich im Umfeld des Sitzplatzes (105a-e) liegen.
0. Verfahren nach einem der vorhergehenden Ansprüche, wobei: die Sitzanordnung (105) eine Mehrzahl von Sitzplätzen (105a-e) aufweist, wobei der Sitzbelegungszustand ein individueller oder kumulativer Sitzbelegungszustand der Sitzplätze (105a-e) ist; und für die augmentierte Punktwolke (305) die Menge ihrer Punkte (310, 315) mittels Cluster-Bildung in Abhängigkeit von der jeweiligen räumlichen Lage der Punkte (310, 315) in Bezug auf die Sitzplätze (105a-e) in mehrere jeweils eine Untermenge der Punkte (310, 315) enthaltende Cluster unterteilt wird, um jedem der Sitzplätze (105a-e) einen ihm räumlich nächstliegenden der Cluster individuell zuzuordnen. 1. Verfahren nach einem der vorausgehenden Ansprüche, wobei die einzelnen Radarpunkte (310, 315) jeder Radarpunktwolke (305) jeweils durch eine Position des jeweiligen Radarpunkts im dreidimensionalen Raum sowie durch zumindest einen der folgenden Parameter repräsentiert werden:
- Einen Doppler-Verschiebungswert des Radarsignals zum jeweiligen Radarpunkt;
- Einen Signal-zu-Rausch-Abstands-Wert des Radarsignals zum jeweiligen Radarpunkt. 2. Verfahren zum automatisierten Erkennen eines Sitzbelegungszustands einer Sitzanordnung (105) mit zumindest einem Sitzplatz (105a-e), wobei das Verfahren aufweist:
Erfassen von Messdaten, die eine zugeordnete Radarpunktwolke (305) repräsentieren, wobei jede Radarpunktwolke (305) auf Basis einer Radarabtastung eines die Sitzanordnung (105) zumindest abschnittsweise umgebenden Raumbereichs gewonnen wurde bzw. wird;
Bestimmen eines Sitzbelegungszustands der Sitzanordnung (105) anhand eines Auswertungsmodells, das gemäß einem Verfahren nach einem der Ansprüche 1 bis 1 1 erstellt wurde und in Abhängigkeit von der Radarpunktwolke einen von mehreren vordefinierten möglichen Sitzbelegungszuständen der Sitzanordnung (105) als Auswertungsergebnis liefert; und
Ausgeben einer in Abhängigkeit von dem Auswertungsergebnis definierten Information. 3. Verfahren nach Anspruch 12, wobei das Ausgeben der Information ein Ansteuern einer Signalquelle in Abhängigkeit von der Information umfasst, um die Signalquelle zu veranlassen, in Abhängigkeit von der Ansteuerung ein definiertes Signal auszugeben, wobei die Signalquelle so in Abhängigkeit von der Information angesteuert wird, dass sie ein Signal ausgibt, wenn die Information aus einem Auswertungsergebnis resultiert, demgemäß zumindest ein Sitz der Sitzanordnung (105) belegt ist und/oder ein ausgewählter vorbestimmter Sitzbelegungszustand vorliegt. Verfahren nach Anspruch 13, des Weiteren aufweisend:
Detektieren eines Sitzgurtanlegezustands zumindest eines Sitzes der Sitzanordnung (105) oder Empfangen einer diesen Sitzgurtanlegezustand kennzeichnenden Sitzgurtinformation; wobei die Signalquelle so in Abhängigkeit von der Sitzgurtinformation und der Information aus dem Auswertungsergebnis angesteuert wird, dass sie ein Gurtanlegehinweissignal ausgibt, wenn gemäß der Information zumindest ein Sitz der Sitzanordnung (105) belegt ist und/oder ein ausgewählter vorbestimmter Sitzbelegungszustand vorliegt und Sitzgurtinformation angibt, dass der zugehörige Sitzgurt des Sitzes nicht angelegt ist. System (1 15) zum automatisierten Erkennen eines Sitzbelegungszustands einer Sitzanordnung (105) mit zumindest einem Sitzplatz (105a-e), wobei das System (1 15) eine Datenverarbeitungsvorrichtung aufweist, die konfiguriert ist, zum Erkennen des Sitzbelegungszustands das Verfahren nach einem der Ansprüche 12 bis 14 auszuführen. Computerprogramm oder Computerprogrammprodukt, aufweisend Anweisungen, die bei ihrer Ausführung auf der Datenverarbeitungsvorrichtung des Systems (1 15) nach Anspruch 15, das System (115) veranlassen, das Verfahren nach einem der Ansprüche 12 bis 14 auszuführen. Fahrzeug (100), aufweisend: eine Sitzanordnung (105) mit zumindest einem Sitzplatz (105a-e); einen Radarsensor (1 10) zur zumindest abschnittsweisen Radarabtastung der Sitzanordnung (105); und ein System (1 15) nach Anspruch 15 zum automatisierten Erkennen eines Sitzbelegungszustands der Sitzanordnung (105) in Abhängigkeit von einer durch den Radarsensor (1 10) ausgeführten, zumindest abschnittsweisen Radarabtastung der Sitzanordnung (105).
PCT/EP2023/074835 2022-09-14 2023-09-11 Verfahren und system zum trainieren eines auswertungsmodells zum erkennen eines sitzbelegungszustands einer sitzanordnung auf basis von radarpunktwolken WO2024056570A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022123465.7A DE102022123465A1 (de) 2022-09-14 2022-09-14 Verfahren und system zum trainieren eines auswertungsmodells zum erkennen eines sitzbelegungszustands einer sitzanordnung auf basis von radarpunktwolken
DE102022123465.7 2022-09-14

Publications (1)

Publication Number Publication Date
WO2024056570A1 true WO2024056570A1 (de) 2024-03-21

Family

ID=88020699

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/074835 WO2024056570A1 (de) 2022-09-14 2023-09-11 Verfahren und system zum trainieren eines auswertungsmodells zum erkennen eines sitzbelegungszustands einer sitzanordnung auf basis von radarpunktwolken

Country Status (2)

Country Link
DE (1) DE102022123465A1 (de)
WO (1) WO2024056570A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3846143A2 (de) * 2020-01-06 2021-07-07 Aptiv Technologies Limited Fahrzeuginsassenwarnsystem
EP3985411A1 (de) * 2020-10-19 2022-04-20 Aptiv Technologies Limited Verfahren und vorrichtung zur erkennung von objekten
US11410388B1 (en) * 2021-03-16 2022-08-09 Huawei Technologies Co., Ltd. Devices, systems, methods, and media for adaptive augmentation for a point cloud dataset used for training

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016209667A1 (de) 2016-06-02 2017-12-07 Robert Bosch Gmbh Sicherheitseinrichtung für ein Fahrzeug
DE102016219517B4 (de) 2016-10-07 2019-06-19 Audi Ag Kraftfahrzeug und Verfahren zur Ermittlung einer Insasseninformation
DE102017214009B4 (de) 2017-08-10 2020-06-18 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Erkennung der Anwesenheit und/oder Bewegung eines Fahrzeuginsassen
US10861176B2 (en) 2018-11-27 2020-12-08 GM Global Technology Operations LLC Systems and methods for enhanced distance estimation by a mono-camera using radar and motion data
DE102020005138A1 (de) 2020-08-21 2020-11-26 Daimler Ag Verfahren zur Erkennung einer variabel im Fahrzeug einstellbaren und versetzbaren bzw. entnehmbaren Bestuhlung
DE102021001374A1 (de) 2021-03-16 2021-04-29 Daimler Ag Verfahren zur Überwachung eines Fahrzeuginnenraums und Fahrzeug

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3846143A2 (de) * 2020-01-06 2021-07-07 Aptiv Technologies Limited Fahrzeuginsassenwarnsystem
EP3985411A1 (de) * 2020-10-19 2022-04-20 Aptiv Technologies Limited Verfahren und vorrichtung zur erkennung von objekten
US11410388B1 (en) * 2021-03-16 2022-08-09 Huawei Technologies Co., Ltd. Devices, systems, methods, and media for adaptive augmentation for a point cloud dataset used for training

Also Published As

Publication number Publication date
DE102022123465A1 (de) 2024-03-14

Similar Documents

Publication Publication Date Title
DE102006024979B4 (de) Verfahren und Vorrichtung zum Detektieren der Anwesenheit eines Insassen innerhalb eines Fahrzeugs
WO2019179946A1 (de) Erzeugung synthetischer radarsignale
EP3497476A1 (de) Kraftfahrzeug und verfahren zur 360°-umfelderfassung
DE69330021T2 (de) Verbessertes System zur Mustererkennung für Sonar und andere Anwendungen
DE102015121339A1 (de) Systeme und verfahren zum ermitteln eines zustands einer fahrbahn
DE102019113928A1 (de) Mikrodoppler-vorrichtung und verfahren zur anhängererkennung und -verfolgung
DE102020105642A1 (de) Entwerfen von und verarbeiten mit antennenarrays zur beseitigung von fehldetektionen in einem radarsystem
DE102018216078A1 (de) Verfahren und Vorrichtung zum Betreiben eines Steuerungssystems
DE102020117555A1 (de) Verfahren und vorrichtung zur insassenklassifizierung
DE102021207613A1 (de) Verfahren zur Qualitätssicherung eines Systems
WO2024056570A1 (de) Verfahren und system zum trainieren eines auswertungsmodells zum erkennen eines sitzbelegungszustands einer sitzanordnung auf basis von radarpunktwolken
WO2020048560A1 (de) Verfahren und verarbeitungseinheit zur verfolgung eines objektes
EP4289661B1 (de) Verfahren und system zum erkennen eines sitzbelegungszustands einer sitzanordnung auf basis von radarpunktwolken
EP2758799A1 (de) Verfahren und vorrichtung zur extraktion von konturen aus sonarbildern
DE102019202523A1 (de) Verfahren und Vorrichtung zum Betreiben eines Steuerungssystems
WO2023156312A1 (de) Verfahren und system zum erkennen eines sitzbelegungszustands einer sitzanordnung auf basis von radarpunktwolken
WO2022129266A1 (de) Verfahren zur detektion zumindest eines objektes einer umgebung mittels reflexionssignalen eines radar-sensorsystems
WO2024121221A1 (de) Verfahren zum erstellen eines auswertungsmodells zum erkennen eines sitzbelegungszustands einer sitzanordnung
WO2021180470A1 (de) Verfahren zur qualitätssicherung eines beispielbasierten systems
WO2023156318A1 (de) Verfahren und vorrichtungen zum radargestützten erkennen eines sitzbelegungszustands einer sitzplatzanordnung
DE102021206625A1 (de) Computerimplementiertes Verfahren und System zur Unterstützung einer Installation eines bildgebenden Sensors und Trainingsverfahren
DE102020204362A1 (de) Verfahren zum Bewerten einer Geste eines Fahrzeuginsassen in einem Innenraum eines Fahrzeugs, ein Verfahren zum Beleuchten eines Objekts sowie ein Beleuchtungssystem
DE102019128686A1 (de) Verfahren und Vorrichtung zur Ermittlung von Bewegungsinformation in Bezug auf ein Objekt
DE102022131558A1 (de) Verfahren und system zum erkennen eines sitzpelegungszustands in einem fahrzeug
WO2022248171A1 (de) Verfahren zur qualitätssicherung eines systems

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23768828

Country of ref document: EP

Kind code of ref document: A1